CN103310430B - 对非均匀运动模糊进行去模糊的方法和设备 - Google Patents

对非均匀运动模糊进行去模糊的方法和设备 Download PDF

Info

Publication number
CN103310430B
CN103310430B CN201310079470.7A CN201310079470A CN103310430B CN 103310430 B CN103310430 B CN 103310430B CN 201310079470 A CN201310079470 A CN 201310079470A CN 103310430 B CN103310430 B CN 103310430B
Authority
CN
China
Prior art keywords
image
noise
sub
estimation
blurred picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310079470.7A
Other languages
English (en)
Other versions
CN103310430A (zh
Inventor
赵程昱
李承勇
文永秀
李时和
李致荣
赵城显
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Pohang University of Science and Technology Foundation POSTECH
Original Assignee
Samsung Electronics Co Ltd
Pohang University of Science and Technology Foundation POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Pohang University of Science and Technology Foundation POSTECH filed Critical Samsung Electronics Co Ltd
Publication of CN103310430A publication Critical patent/CN103310430A/zh
Application granted granted Critical
Publication of CN103310430B publication Critical patent/CN103310430B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种对非均匀运动模糊进行去模糊的方法和设备。所述设备可通过使用多帧估计模糊图像的非均匀运动模糊信息，并且迭代地执行非均匀运动模糊信息的估计和潜像的获得来提供更清晰的图像，从而提高用于估计非均匀运动模糊信息的精确度，并减小处理时间。

Description

对非均匀运动模糊进行去模糊的方法和设备
本申请要求于2012年3月13日提交到韩国知识产权局的第10-2012-0025622号韩国专利申请的优先权利益，该申请的公开通过引用包含于此。
技术领域
一个或多个示例实施例涉及一种用于使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法和设备。
背景技术
模糊是在使用用于获得图像的设备(例如，相机)时获得图像的处理期间经常发生的现象。模糊现象是图像质量的劣化的主要因素之一。
当在光亮不足的环境下(例如，昏暗的室内位置或日落之后的室外位置)使用相机等来获得图像时，需要足够的光亮来获得清晰非模糊的图像。因此，为了获得足够的光亮，图像传感器可需要暴露于光比平常更长的时间段。然而，当曝光时间很长时，由于拍摄处理期间图像传感器被摇晃而可在图像中发生模糊。
由于需要的信息量可大于获得的信息量，所以难以从图像去除模糊。
发明内容
通过提供一种对非均匀运动模糊进行去模糊的方法来实现上述和/或其他方面，所述方法包括：接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，所述噪声图像中不存在模糊；针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像。
执行图像亮度配准的步骤可包括：从所述噪声图像去除噪声；针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。
所述方法还可包括：迭代地执行非均匀运动模糊信息的估计和潜像的获得。
迭代执行的步骤可包括：在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。
所述方法还可包括：在第一迭代期间，估计已去除了噪声的噪声图像的非均匀运动模糊信息。
所述方法还可包括：在第二迭代和随后的迭代中的每个迭代期间，使用在先前的迭代期间获得的潜像来更新非均匀运动模糊信息。
获得潜像的步骤可包括：针对通过迭代执行获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy(RL)解卷积算法来获得从所述多帧恢复的最终的潜像。
估计非均匀运动模糊信息的步骤可包括：估计已执行了图像亮度配准的模糊图像的单应矩阵；使用估计的单应矩阵，计算单应矩阵的权重。
可将单应矩阵的估计和权重的计算迭代地执行预定次数。
获得潜像的步骤可包括：基于RL解卷积算法，使用剩余的模糊图像和剩余的潜像来对所述非均匀运动模糊进行去模糊。
通过提供一种用于对非均匀运动模糊进行去模糊的设备来实现上述和/或其他方面，所述设备包括：接收单元，用于接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，所述噪声图像中不存在模糊；执行单元，用于针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；估计单元，用于估计通过执行亮度配准产生的模糊图像的非均匀运动模糊信息；获得单元，基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像。
执行单元可包括：噪声去除装置，用于从所述噪声图像去除噪声；执行装置，用于针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。
所述设备还可包括：控制单元，用于迭代地执行非均匀运动模糊信息的估计和潜像的获得。
控制单元在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。
控制单元可在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。
控制单元可在第二迭代和随后的迭代中的每个迭代期间，使用在先前的迭代期间获得的潜像来更新非均匀运动模糊信息。
获得单元可针对通过迭代执行获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy(RL)解卷积算法来获得从所述多帧恢复的最终的潜像。
估计单元可包括：估计装置，用于估计已执行了图像亮度配准的模糊图像的单应矩阵；计算装置，用于使用估计的单应矩阵，计算单应矩阵的权重。
可将由估计单元进行的单应矩阵的估计和由计算单元进行的权重的计算迭代地执行预定次数。
通过提供一种对非均匀运动模糊进行去模糊的方法来实现上述和/或其他方面。所述方法包括：接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊；通过结合所述模糊图像和噪声图像，获得与所述模糊图像相比具有更少的运动模糊的潜像。
通过提供一种对非均匀运动模糊进行去模糊的方法来实现上述和/或其他方面。所述方法包括：针对包括非均匀运动模糊的模糊图像和不存在噪声的噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；基于估计的非均匀运动模糊信息，在多帧中通过对非均匀运动模糊进行去模糊来获得潜像。
实施例的其他方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本公开的实施可以被理解。
附图说明
从下面结合附图对实施例的描述，这些和/或其他方面将会变得清楚并更易于理解，其中：
图1示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法；
图2示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法；
图3示出根据示例实施例的构成多帧的模糊图像；
图4示出根据示例实施例的构成多帧的噪声图像；
图5示出图3的模糊图像的灰度图像；
图6示出根据示例性实施例的针对模糊图像和已从图4的噪声图像去除了噪声之后的噪声图像执行直方图匹配的结果；
图7示出根据示例实施例的通过对非均匀运动模糊进行去模糊的方法来估计的非均匀运动模糊；
图8示出根据示例实施例的使用对非均匀运动模糊进行去模糊的方法来对非均匀运动模糊进行去模糊的结果；
图9示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的设备。
具体实施方式
现在将详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述这些实施例以解释本公开。
提供图1以描述根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法。
参照图1，为了使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊，在操作110中可提供包括模糊图像和噪声图像的多帧。在此情况下，可使用长曝光来获得模糊图像，并且可使用短曝光和高国际标准化组织(ISO)敏感度来获得噪声图像。
在操作120，可处理在操作110中输入的噪声图像。
即，可去除包括在多帧中的噪声图像中的噪声，为了校正模糊图像和已去除了噪声的噪声图像之间的曝光时间之差，可应用直方图匹配。
在此情况下，可根据包括在噪声图像中的噪声的类型，使用边缘保留噪声去除方案。在此处理期间，尽管详细信息(例如，纹理)可被消除，但是大部分边缘信息可被保留，并可用于操作130中的单应矩阵估计。在操作120，可从噪声图像去除噪声，噪声图像可被校正以具有与模糊图像的颜色相似的颜色。
在操作130，可使用图像配准(image registration)来估计非均匀运动模糊信息。即，可通过对包括在多帧中的模糊图像与已在操作120去除了噪声的图像进行配准来估计非均匀运动模糊信息。
当迭代地执行操作130和140时，在第一迭代中，可基于已去除了噪声的图像来估计模糊图像的非均匀运动模糊信息。然而，从第二迭代中，可基于在操作140期间获得的可去模糊了非均匀运动模糊的潜像来估计模糊图像的非均匀运动模糊信息。
随着迭代的数量增加，估计的非均匀运动模糊信息可收敛于相机抖动时的实际运动的信息。另外，随着迭代的次数增加，获得的用于估计非均匀运动模糊信息的潜像(即，中间潜像)可变得更清晰。然而，获得的潜像(例如，中间潜像)可仅用于非均匀运动模糊信息的估计，不会对将在操作150中恢复的最终清晰的图像产生直接影响。
在操作140，可基于在操作130中估计的非均匀运动模糊信息，通过应用Richardson-Lucy(RL)解卷积算法来获得清晰的图像(即，潜像)。操作140中恢复的潜像可通过执行操作130和140的迭代被提供为操作130的输入。
在对非均匀运动模糊进行去模糊的方法中，为了更有效地估计非均匀运动模糊信息并获取潜像，可通过在操作130和140的迭代期间使用多尺度迭代处理方案来改变图像的分辨率来提高估计和恢复的精确度。
在多尺度迭代处理方案中，可以以可估计大尺度运动模糊的模糊信息的低分辨率来估计非均匀运动模糊信息。通过将通过低分辨率获得的先前的非均匀运动模糊信息进行向上采样，可以以高的分辨率估计由于相对小的运动而出现的模糊的信息。当使用多尺度迭代处理方案时，可估计由于不可能使用单个尺度来处理的相对大的运动而引起的模糊。另外，通过首先估计相对大的模糊，可加速处理率。
在操作150，可恢复最终的潜像。在通过操作130和140的迭代获得输入模糊图像的非均匀运动模糊信息之后，可使用最终估计的非均匀运动模糊信息、包括非均匀运动模糊的输入模糊图像和不存在模糊的噪声图像的全部来执行解卷积，以在操作150获得已去模糊了非均匀运动模糊的最终图像。在实施例中，最终图像可还具有比噪声图像更少的噪声。在这种情况下，可基于估计的非均匀运动模糊信息，通过对每个颜色通道(例如，红色(R)通道、绿色(G)通道和蓝色(B)通道中的每一个颜色通道)执行解卷积，恢复最终的潜像。
在下文中，将详细描述对非均匀运动模糊进行去模糊的方法。
通常，可通过等式1来表示运动模糊。
[等式1]
B＝K*L+N
在等式1中，B表示模糊图像，K表示指示图像的模糊信息的点扩散函数(PSF)或运动模糊核心。L表示潜像(即，不存在模糊的清晰的图像)。N表示在获得图像的处理期间发生的未知的噪声，*表示卷积运算符。
可通过向量形式的等式2来表示等式1。
[等式2]
在等式2，b、l和n表示等式1的B、L、N的向量表达式。Ti表示指示相机在时间点ti的平移运动的行列式，wi表示相机在时间点ti停止时的相对时间长度(即，相机在时间点ti的曝光时间)。这里，∑iwi＝1。
等式2可指示使用相机的路径的每个点上(即，行列式Ti)的清晰图像I的总和来表示模糊图像b。这里，等式1和等式2以不同的方式表示相同的模型。
可使用等式1或等式2的运动模糊模型来计算清晰的图像I。在此情况下，由于用于估计清晰的图像(即，潜像)的模糊模型可假设图像中包括的所有像素可均匀地移动，因此可能难以对由于相机的旋转运动(而不是平移运动)而出现的非均匀运动模糊进行去模糊。
因此，可使用可表示非均匀运动模糊的另一模型更有效地对非均匀运动模糊进行去模糊。
当相机的抖动指示非平移运动时，可能难以以等式1的形式表示非均匀运动模糊。因此，如由等式3所表示，通过以单应矩阵Pi替换等式2的Ti来得出描述相机的非均匀运动模糊效果的另一非均匀运动模糊模型。
[等式3]
在对非均匀运动模糊进行去模糊的方法中，可通过应用等式3来执行盲目运动去模糊。
通常，在盲目运动去模糊中，可基于输入的模糊图像b计算潜像I和非均匀运动模糊信息Pi和wi。然而，根据示例实施例，可使用包括模糊图像和噪声图像的多帧。即，可使用输入模糊图像b和通过从噪声图像IN去除噪声而获得的图像ND两者，来最终计算清晰的潜像I和非均匀运动模糊信息Pi和wi。
在对非均匀运动模糊进行去模糊的方法中，可针对包括在输入的多帧中的模糊图像执行估计非均匀运动模糊信息的操作和获得潜像的操作，以获得可满足等式3的非均匀运动模糊信息Pi和wi以及恢复的清晰的潜像。
在此情况下，可迭代地处理估计非均匀运动模糊信息的操作和获得潜像的操作。
可通过迭代处理逐步完善指示非均匀运动模糊信息的P和w的精确度。
可使用通过迭代处理获得的最终非均匀运动模糊信息P和w、包括非均匀运动模糊的输入模糊图像b和通过从不存在非均匀运动模糊的噪声图像IN去除噪声而获得的图像ND，通过对模糊图像中的非均匀运动模糊进行去模糊来获得最终的潜像。
在此情况下，通过从噪声图像IN去除噪声来获得图像ND的方法可不受限，可根据在噪声图像IN中包括的噪声的类型来使用去除噪声的任何方法。
在迭代执行估计非均匀运动模糊信息的处理和获得潜像的处理的优化处理期间估计的中间潜像可不对去模糊了非均匀运动模糊的最终图像产生直接影响。即，中间潜像可对非均匀运动模糊信息P和w的估计产生影响，从而不直接影响去模糊了非均匀运动模糊的最终的清晰图像。
可使用图像亮度配准来执行估计非均匀运动模糊信息的处理。所述处理可包括两个处理：估计指示非均匀运动模糊的单应矩阵P的处理；计算相应的单应矩阵的权重w的处理。
在估计非均匀运动模糊信息的处理中，当提供中间潜像I时，可计算指示非均匀运动模糊的单应矩阵P。为了计算单应矩阵P，可重新排列等式3来获得等式4。
[等式4]
在对非均匀运动模糊进行去模糊的方法中，为了计算等式4中的单个单应矩阵Pi，可通过应用图像亮度配准算法来计算最小化左侧和右侧wiPil之间的差的单应矩阵Pi。为了计算整个单应矩阵集P，可通过逐个选择单应矩阵Pi来计算所有单应矩阵。
在计算单应矩阵时，当使用模糊图像和噪声图像执行图像亮度配准时，由于模糊图像和噪声图像之间的曝光时间之差而可能难以执行图像亮度配准。因此，可使用直方图匹配方案，将噪声图像的色调值改变为与模糊图像的色调值相似，然后可执行图像亮度配准。
当计算整个单应矩阵集P时，可使用计算的整个单应矩阵集P来计算单应矩阵的权重w。为了计算权重w，等式3可表示为等式5。
[等式5]
b＝Lw+n
在等式5，L＝[P1l P2l...Pnl]，L表示m乘以n(m x n)的矩阵。这里，m表示包括在图像中的像素的数量，n表示单应矩阵的数量。
通常，m＞＞n，等式5中的权重w可需要具有大于或等于“0”的值。因此，非负最小二乘法可被用于计算权重w。为了使用非负最小二乘法，如等式6中所示，可以以正规方程的形式来表示等式5。
可使用等式6来计算权重w。
[等式6]
w＝(LTL+βI)-1LTb
在等式6中，β表示将被用于解决括号中的行列式的逆矩阵不存在的情况的归一化参数。I表示单位矩阵。
在估计非均匀运动模糊信息的处理中，可通过使用等式4和等式6的迭代执行，计算与当前提供的潜像I相应的优化的单应矩阵P和权重w。
这里，在第一迭代期间，已去除了噪声的图像ND可被用作潜像I，并且可使用在先前的迭代期间获得的潜像，在第二迭代和随后的迭代中的每一个迭代期间更新非均匀运动模糊信息。
每次更新潜像I时，可迭代地执行非均匀运动模糊信息P和w的估计。通过所述迭代处理，可计算最优化的潜像I和与最优化的潜像I相应的非均匀运动模糊图像P和w。
在获得潜像的处理中，可基于估计的非均匀运动模糊信息P和w、输入模糊图像b和输入噪声图像lN来计算潜像l。
如等式7所表示，可由已去除了噪声的图像ND和包括原始的清晰的边缘信息的剩余的潜像Δl之和来表示潜像I。
[等式7]
l＝ND+Δl
在等式7中，剩余的潜像Δl表示可在去除噪声的处理期间消失的图像的清晰的信息。使用等式3和等式7，可由等式8来表示剩余的潜像Δl中的非均匀运动模糊Δb。
[等式8]
为了求解等式8，可计算剩余的潜像Δl。适用于非均匀运动模糊而被扩展的Richardson-Lucy(RL)解卷积算法可被用于计算剩余的潜像Δl。
可通过对剩余的潜像执行解卷积来减小可造成图像质量的劣化的振铃现象(ringing artifact)。
可使用等式9，在每个迭代期间计算潜像Δl。
[等式9]
在等式9，PT表示通过逆向应用单应矩阵P而变换的单应矩阵。
通过将已去除了噪声的图像ND通过求解等式9来获得的剩余的潜像Δl相加起来获得最终的清晰图像。
然而，作为求解等式9的结果获得的剩余的潜像Δl可包括清晰图像和小的振铃现象。即，可减小振铃现象，但是可不完全消除振铃现象。
因此，可使用更完善的控制增益的(Gain-Controlled)RL解卷积算法。可使用等式10来计算通过迭代地执行控制增益的RL解卷积而获得的剩余的潜像Δl。
[等式10]
在等式10中，如等式11所表示，可获取lgain。
[等式11]
在等式11中，α表示用于控制增益图的效果的变量。表示当使用标准偏差为0.5的高斯金字塔(Gaussian pyramid)来对去除了噪声的图像的梯度进行模糊时金字塔中第一阶段的图像。
尽管等式11中的α值可以与0和1之间的预定值相应，但是通常可使用值0.2。
作为等式10的控制增益的RL解卷积的结果，当与等式9的RL解卷积相比时，可获得更平滑的结果图像，所述结果图像可被用于去除任何振铃现象。
等式9的结果和等式10的结果可相互互补地使用。可通过将等式9的RL解卷积的结果和等式10的控制增益的RL解卷积的结果均应用到联合双边滤波器(joint bilateralfilter)来获得主要仅包括振铃现象的图像。可通过从等式9的RL解卷积的结果减去主要仅包括振铃现象的图像来获得不存在振铃现象的清晰的剩余的潜像。可通过将不存在振铃现象的剩余的潜像与等式10的控制增益的RL解卷积的结果相加，来获得最终的清晰的潜像。
图2示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法。
参照图2，在操作201，用于对非均匀运动模糊进行去模糊的设备(在下文中，可称为去模糊设备)可接收包括模糊图像和不存在模糊的噪声图像的多帧，其中，模糊图像包括非均匀运动模糊。
在操作203，去模糊设备可使用用于校正曝光时间之差的直方图匹配来执行针对模糊图像和噪声图像的图像亮度配准。
在此情况下，去模糊设备可从噪声图像去除噪声，并可针对模糊图像和已去除噪声的噪声图像执行图像亮度配准。
在操作205，去模糊设备可估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息。
在此情况下，为了估计非均匀运动模糊信息，去模糊设备可估计已执行了图像亮度配准的模糊图像的单应矩阵，并可基于估计的单应矩阵，计算单应矩阵的权重。估计单应矩阵的处理和计算权重的处理可被迭代地执行预定次数，或者可在关于包括估计的单应矩阵的单应矩阵集的误差值的变化小于预定水平或阈值之前被执行。
在操作207，去模糊设备可基于估计的非均匀运动模糊信息，在多帧中通过对非均匀运动模糊进行去模糊来获得潜像。去模糊设备可通过随后的迭代的执行，基于RL解卷积算法使用剩余的模糊图像和剩余的潜像来对非均匀运动模糊进行去模糊。
在操作209，去模糊设备可迭代地执行估计非均匀运动模糊信息的操作205和获得潜像的操作207。在此情况下，可通过多尺度处理方案，在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时执行操作209。
在此情况下，可在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。另外，可在第二个迭代和随后的迭代中的每一个迭代期间使用在先前迭代期间获得的潜像来更新非均匀运动模糊信息。
在操作211，去模糊设备可通过迭代执行来获得最终的非均匀运动模糊信息。
在操作213，去模糊设备可通过针对最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像应用RL解卷积算法来获得从多帧恢复的最终的潜像。
在下文中，将参照图3至图8描述使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法的每个操作的中间图像。
图3示出根据示例实施例的包括构成多帧的包括非均匀运动模糊的模糊图像，图4示出根据示例实施例的构成多帧的不存在模糊的噪声图像。在实施例中，包括图3的非均匀运动模糊的模糊图像和图4的噪声图像可构成相同的多视点帧。
图5示出图3的模糊图像的灰度图像，图6示出通过从图4的噪声图像去除噪声获得的图像的灰度图像。
图7示出使用图5和图6估计的图3的模糊图像中的非均匀运动模糊，图8示出使用在图7中估计的非均匀运动模糊信息对模糊进行去模糊的最终的潜像。
根据示例实施例，可使用两种类型的图像(即，模糊图像和噪声图像)，互补地恢复对模糊进行了去模糊的最终的潜像。
图9示出根据示例实施例的用于使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的设备。
去模糊设备可包括例如接收单元910、执行单元930、估计单元950、获得单元970和控制单元990。
接收单元910可接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，而噪声图像中不存在模糊。
执行单元930可使用用于校正曝光时间之差的直方图匹配，针对模糊图像和噪声图像执行图像亮度配准。执行单元930可包括噪声去除装置931和执行装置935。
噪声去除单元931可从噪声图像去除噪声。
执行装置935可针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。
估计单元950可估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息。估计单元950可包括例如估计装置951和计算装置955。
估计装置951可估计已执行了图像亮度配准的模糊图像的单应矩阵。
计算装置955可基于估计的单应矩阵，计算单应矩阵的权重。
在此情况下，由估计单元951进行的单应矩阵的估计和由计算单元955进行的权重的计算可被迭代地执行预定次数，或可在关于包括估计的单应矩阵的单应矩阵集的误差值的变化小于预定水平或阈值之前被执行。
获得单元970可基于估计的非均匀运动模糊信息，通过对多帧中的非均匀运动模糊进行去模糊来获得潜像。
这里，获得单元970可通过针对通过随后的迭代执行中获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了模糊的噪声图像，应用RL解卷积算法来获得从多帧恢复的最终的潜像。
控制单元990可迭代地执行由估计单元950进行的非均匀运动模糊信息的估计和由获得单元970进行的潜像的获得。
控制单元990在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。
在此情况下，控制单元990可在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。另外，控制单元990可使用在先前的迭代期间获得的潜像，在第二迭代和随后的迭代中的每一个迭代期间更新非均匀运动模糊信息。
根据示例实施例，可通过使用包括模糊图像和噪声图像的多帧估计模糊图像的非均匀运动模糊信息，来精确迅速地估计更清晰的图像。
根据示例实施例，可通过迭代地执行非均匀运动模糊信息的估计并获得潜像来提高用于估计非均匀运动模糊信息的精确度。
根据上述实施例的所述方法可被记录在包括程序指令的非暂时计算机可读介质中，以实现通过计算机实施的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等，或者包括它们的组合。非暂时计算机可读介质的示例包括磁介质(例如，硬盘、软盘和磁带)；光学介质(例如，CD ROM盘、DVD)；磁光介质(例如，光盘)；被专门构造为存储和执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等)。
程序指令的示例包括机器代码(例如，由编译器所产生的)和包含可由计算机使用解释器执行的更高级代码的文件两者。为了执行上述实施例的操作，描述的硬件装置可被构造为用作一个或多个软件模块，反之亦然。可由对于单元专门的处理器或者由对于一个或更多软件模块共同的处理器来执行这里描述的一个或更多软件模块。描述的方法可在通用计算机或处理器上被执行，或可在特定机器(例如，在此描述的用于对非均匀运动模糊趋模糊的设备)上被执行。
尽管已显示和描述了实施例，但是本领域的技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行改变，其中，本公开的范围由权利要求及其等同物来限定。

Claims (20)

1.一种对非均匀运动模糊进行去模糊的方法，所述方法包括：
接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括除了平移运动之外的运动而引起的非均匀运动模糊，所述噪声图像中不存在模糊；
针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；
估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；
基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像，
迭代地执行非均匀运动模糊信息的估计和潜像的获得，
其中，迭代地执行非均匀运动模糊信息的估计和潜像的获得的步骤包括：根据多尺度迭代处理方案，在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。
2.如权利要求1所述的方法，其中，执行图像亮度配准的步骤包括：
从所述噪声图像去除噪声；
针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。
3.如权利要求2所述的方法，还包括：
在第一迭代期间，估计已去除了噪声的噪声图像的非均匀运动模糊信息。
4.如权利要求2所述的方法，还包括：
在第二迭代和随后的迭代中的每个迭代期间，使用在先前的迭代期间获得的潜像来更新非均匀运动模糊信息。
5.如权利要求2所述的方法，其中，潜像的获得包括：针对通过迭代地执行估计获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy RL解卷积算法来获得从所述多帧恢复的最终的潜像。
6.如权利要求1所述的方法，其中，估计非均匀运动模糊信息的步骤包括：
估计已执行了图像亮度配准的模糊图像的单应矩阵；
使用估计的单应矩阵，计算单应矩阵的权重。
7.如权利要求6所述的方法，其中，将单应矩阵的估计和权重的计算迭代地执行预定次数。
8.如权利要求1所述的方法，其中，获得潜像的步骤包括：基于RL解卷积算法，使用剩余的模糊图像和剩余的潜像来对所述非均匀运动模糊进行去模糊。
9.如权利要求1所述的方法，其中，潜像与模糊图像相比具有更少的运动模糊，潜像与噪声图像相比具有更少的噪声。
10.一种用于对非均匀运动模糊进行去模糊的设备，所述设备包括：
接收单元，用于接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括除了平移运动之外的运动而引起的非均匀运动模糊，所述噪声图像中不存在模糊；
执行单元，用于针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；
估计单元，用于估计通过执行亮度配准产生的模糊图像的非均匀运动模糊信息；
获得单元，基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像；
控制单元，用于迭代地执行非均匀运动模糊信息的估计和潜像的获得，
其中，控制单元根据多尺度迭代处理方案，在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。
11.如权利要求10所述的设备，其中，执行单元包括：
噪声去除装置，用于从所述噪声图像去除噪声；
执行装置，用于针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。
12.如权利要求11所述的设备，其中，控制单元在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。
13.如权利要求11所述的设备，其中，控制单元在第二迭代和随后的迭代中的每个迭代期间，使用先前的迭代期间获得的潜像来更新非均匀运动模糊信息。
14.如权利要求11所述的设备，其中，获得单元针对通过迭代地执行估 计获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy RL解卷积算法来获得从所述多帧恢复的最终的潜像。
15.如权利要求10所述的设备，其中，估计单元包括：
估计装置，用于估计已执行了图像亮度配准的模糊图像的单应矩阵；
计算装置，用于使用估计的单应矩阵，计算单应矩阵的权重。
16.如权利要求15所述的设备，其中，将由估计单元进行的单应矩阵的估计和由计算单元进行的权重的计算迭代地执行预定次数。
17.如权利要求10所述的设备，其中，潜像与模糊图像相比具有更少的运动模糊，潜像与噪声图像相比具有更少的噪声。
18.一种对非均匀运动模糊进行去模糊的方法，所述方法包括：
接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括除了平移运动之外的运动而引起的非均匀运动模糊；
针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；
通过估通过执行图像亮度配准产生的模糊图像的单应矩阵，并使用估计的单应矩阵计算单应矩阵的权重，估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；
基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像；
迭代地执行非均匀运动模糊信息的估计和潜像的获得，以获得与所述模糊图像相比具有更少的运动模糊的潜像，
其中，迭代地执行非均匀运动模糊信息的估计和潜像的获得的步骤包括：根据多尺度迭代处理方案，在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。
19.如权利要求18所述的方法，其中，使用相对长的曝光时间来获得所述模糊图像，使用相对短的曝光时间来获得所述噪声图像。
20.如权利要求19所述的方法，其中，所述潜像与噪声图像相比，具有更少的噪声。
CN201310079470.7A 2012-03-13 2013-03-13 对非均匀运动模糊进行去模糊的方法和设备 Expired - Fee Related CN103310430B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0025622 2012-03-13
KR1020120025622A KR101844332B1 (ko) 2012-03-13 2012-03-13 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN103310430A CN103310430A (zh) 2013-09-18
CN103310430B true CN103310430B (zh) 2017-10-27

Family

ID=49135607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310079470.7A Expired - Fee Related CN103310430B (zh) 2012-03-13 2013-03-13 对非均匀运动模糊进行去模糊的方法和设备

Country Status (4)

Country Link
US (1) US8995781B2 (zh)
JP (1) JP2013192224A (zh)
KR (1) KR101844332B1 (zh)
CN (1) CN103310430B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201520906A (zh) * 2013-11-29 2015-06-01 Univ Nat Taiwan Science Tech 影像註冊方法
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
WO2016149328A1 (en) * 2015-03-16 2016-09-22 Commscope Technologies Llc Das management by radio access network node
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10516875B2 (en) 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
KR101862490B1 (ko) * 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
CN107633490B (zh) * 2017-09-19 2023-10-03 北京小米移动软件有限公司 图像处理方法、装置及存储介质
CN108830802B (zh) * 2018-05-16 2022-07-08 浙江大学 一种基于短曝图像梯度导向的图像模糊核估计方法
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109190571B (zh) * 2018-09-12 2020-11-13 内蒙古大学 一种放牧绵羊采食典型植物种类的检测识别方法及其装置
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
KR102665968B1 (ko) * 2019-06-27 2024-05-16 삼성전자주식회사 블러 추정 방법 및 장치
KR20220028962A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 이미지 개선 방법, 이미지 개선 장치, 그 장치의 학습 방법 및 학습 장치
KR102197089B1 (ko) 2020-09-22 2020-12-30 엘아이지넥스원 주식회사 단일 영상 비균일 블러 제거를 위한 딥러닝 기반 다중 학습 구조

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345940B2 (ja) * 1999-04-13 2009-10-14 株式会社リコー 手ぶれ画像補正方法、記録媒体及び撮像装置
US20020180876A1 (en) 2001-06-01 2002-12-05 Sobol Robert E. Intelligent motion blur minimization
KR100985026B1 (ko) 2002-05-28 2010-10-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 영상의 모션 블러, 플리커 및 밝기 손실을 감소시키기 위한 방법, 비-스트로보스코픽 디스플레이 디바이스
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
CN101019167A (zh) 2004-09-03 2007-08-15 皇家飞利浦电子股份有限公司 针对LCD视频/图形处理器的廉价运动模糊减小（eco－过激励）
JP4250583B2 (ja) * 2004-09-30 2009-04-08 三菱電機株式会社 画像撮像装置及び画像復元方法
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
KR100639164B1 (ko) 2005-03-12 2006-10-26 전재춘 영상 장치의 흔들림에 의한 영상 블러링 제거 방법
US7728909B2 (en) 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
KR100805802B1 (ko) 2005-12-09 2008-02-21 한국전자통신연구원 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
KR100860967B1 (ko) 2007-04-16 2008-09-30 삼성전자주식회사 영상의 모션 블러를 제거하기 위한 장치 및 방법
JP2009088935A (ja) * 2007-09-28 2009-04-23 Sanyo Electric Co Ltd 画像記録装置、画像補正装置及び撮像装置
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
KR20090057619A (ko) 2007-12-03 2009-06-08 주식회사 대우일렉트로닉스 모션 블러 개선 장치 및 방법
KR100957275B1 (ko) 2008-03-21 2010-05-12 현대자동차주식회사 차량 배기 계의 후 처리 장치를 구성하는 매연 여과 필터의다단 재생 방법
KR101018518B1 (ko) 2008-09-24 2011-03-03 한양대학교 산학협력단 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
US8238694B2 (en) * 2008-10-03 2012-08-07 Microsoft Corporation Alignment of sharp and blurred images based on blur kernel sparseness
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
US8379120B2 (en) * 2009-11-04 2013-02-19 Eastman Kodak Company Image deblurring using a combined differential image
CN101710416A (zh) * 2009-12-07 2010-05-19 中国科学院新疆生态与地理研究所 多目标遥感图像云的处理方法
JP5511403B2 (ja) * 2010-01-20 2014-06-04 キヤノン株式会社 画像処理装置およびその制御方法
KR101140414B1 (ko) 2010-02-22 2012-05-03 한국외국어대학교 연구산학협력단 디블러링 지원 디지털 촬영 장치 및 그 방법
EP2574038B1 (en) * 2010-05-21 2018-10-24 Panasonic Intellectual Property Corporation of America Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
WO2012110894A1 (en) * 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images

Also Published As

Publication number Publication date
US8995781B2 (en) 2015-03-31
CN103310430A (zh) 2013-09-18
KR101844332B1 (ko) 2018-04-03
JP2013192224A (ja) 2013-09-26
US20130243346A1 (en) 2013-09-19
KR20130104258A (ko) 2013-09-25

Similar Documents

Publication Publication Date Title
CN103310430B (zh) 对非均匀运动模糊进行去模糊的方法和设备
US10534998B2 (en) Video deblurring using neural networks
CN103310413B (zh) 对非均匀运动模糊进行去模糊的方法和设备
US9311901B2 (en) Variable blend width compositing
CN109087256A (zh) 一种基于深度学习的图像去模糊方法及系统
JP4585456B2 (ja) ボケ変換装置
CN113454981A (zh) 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术
EP2189939A2 (en) Image restoration from multiple images
CN107590791B (zh) 图像增强方法以及图像处理装置
CN108702496A (zh) 用于实时色调映射的系统和方法
US20130016239A1 (en) Method and apparatus for removing non-uniform motion blur using multi-frame
WO2020126023A1 (en) Image processor
JP2020531931A (ja) 画像処理方法および装置、記憶媒体、コンピュータ装置
CN105578021A (zh) 双目相机的成像方法及其装置
Jaroensri et al. Generating training data for denoising real rgb images via camera pipeline simulation
CN108492259A (zh) 一种图像处理方法及图像处理系统
WO2022198381A1 (zh) 图像处理方法及图像处理装置
US11783454B2 (en) Saliency map generation method and image processing system using the same
JP2018536884A (ja) ディスプレイにおけるピクセル明度及び／又は色差応答変動の検出及び／又は補正のためのシステム及び方法
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
CN110858895A (zh) 一种图像处理方法和装置
JP4927005B2 (ja) 変化要因情報のデータの生成法および信号処理装置
EP3588439A1 (en) Method and device for processing a sequence of original frames
JP5495500B2 (ja) 変化要因情報のデータの生成法および信号処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171027

Termination date: 20200313