CN103310430A - 对非均匀运动模糊进行去模糊的方法和设备 - Google Patents

Abstract

一种对非均匀运动模糊进行去模糊的方法和设备。所述设备可通过使用多帧估计模糊图像的非均匀运动模糊信息，并且迭代地执行非均匀运动模糊信息的估计和潜像的获得来提供更清晰的图像，从而提高用于估计非均匀运动模糊信息的精确度，并减小处理时间。

Description

对非均匀运动模糊进行去模糊的方法和设备

本申请要求于2012年3月13日提交到韩国知识产权局的第10-2012-0025622号韩国专利申请的优先权利益，该申请的公开通过引用包含于此。

技术领域

一个或多个示例实施例涉及一种用于使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法和设备。

背景技术

模糊是在使用用于获得图像的设备(例如，相机)时获得图像的处理期间经常发生的现象。模糊现象是图像质量的劣化的主要因素之一。

当在光亮不足的环境下(例如，昏暗的室内位置或日落之后的室外位置)使用相机等来获得图像时，需要足够的光亮来获得清晰非模糊的图像。因此，为了获得足够的光亮，图像传感器可需要暴露于光比平常更长的时间段。然而，当曝光时间很长时，由于拍摄处理期间图像传感器被摇晃而可在图像中发生模糊。

由于需要的信息量可大于获得的信息量，所以难以从图像去除模糊。

发明内容

通过提供一种对非均匀运动模糊进行去模糊的方法来实现上述和/或其他方面，所述方法包括：接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，所述噪声图像中不存在模糊；针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像。

执行图像亮度配准的步骤可包括：从所述噪声图像去除噪声；针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。

所述方法还可包括：迭代地执行非均匀运动模糊信息的估计和潜像的获得。

迭代执行的步骤可包括：在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。

所述方法还可包括：在第一迭代期间，估计已去除了噪声的噪声图像的非均匀运动模糊信息。

所述方法还可包括：在第二迭代和随后的迭代中的每个迭代期间，使用在先前的迭代期间获得的潜像来更新非均匀运动模糊信息。

获得潜像的步骤可包括：针对通过迭代执行获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy(RL)解卷积算法来获得从所述多帧恢复的最终的潜像。

估计非均匀运动模糊信息的步骤可包括：估计已执行了图像亮度配准的模糊图像的单应矩阵；使用估计的单应矩阵，计算单应矩阵的权重。

可将单应矩阵的估计和权重的计算迭代地执行预定次数。

获得潜像的步骤可包括：基于RL解卷积算法，使用剩余的模糊图像和剩余的潜像来对所述非均匀运动模糊进行去模糊。

通过提供一种用于对非均匀运动模糊进行去模糊的设备来实现上述和/或其他方面，所述设备包括：接收单元，用于接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，所述噪声图像中不存在模糊；执行单元，用于针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；估计单元，用于估计通过执行亮度配准产生的模糊图像的非均匀运动模糊信息；获得单元，基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像。

执行单元可包括：噪声去除装置，用于从所述噪声图像去除噪声；执行装置，用于针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。

所述设备还可包括：控制单元，用于迭代地执行非均匀运动模糊信息的估计和潜像的获得。

控制单元在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。

控制单元可在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。

控制单元可在第二迭代和随后的迭代中的每个迭代期间，使用在先前的迭代期间获得的潜像来更新非均匀运动模糊信息。

获得单元可针对通过迭代执行获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy(RL)解卷积算法来获得从所述多帧恢复的最终的潜像。

估计单元可包括：估计装置，用于估计已执行了图像亮度配准的模糊图像的单应矩阵；计算装置，用于使用估计的单应矩阵，计算单应矩阵的权重。

可将由估计单元进行的单应矩阵的估计和由计算单元进行的权重的计算迭代地执行预定次数。

通过提供一种对非均匀运动模糊进行去模糊的方法来实现上述和/或其他方面。所述方法包括：接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊；通过结合所述模糊图像和噪声图像，获得与所述模糊图像相比具有更少的运动模糊的潜像。

通过提供一种对非均匀运动模糊进行去模糊的方法来实现上述和/或其他方面。所述方法包括：针对包括非均匀运动模糊的模糊图像和不存在噪声的噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；基于估计的非均匀运动模糊信息，在多帧中通过对非均匀运动模糊进行去模糊来获得潜像。

实施例的其他方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本公开的实施可以被理解。

附图说明

从下面结合附图对实施例的描述，这些和/或其他方面将会变得清楚并更易于理解，其中：

图1示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法；

图2示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法；

图3示出根据示例实施例的构成多帧的模糊图像；

图4示出根据示例实施例的构成多帧的噪声图像；

图5示出图3的模糊图像的灰度图像；

图6示出根据示例性实施例的针对模糊图像和已从图4的噪声图像去除了噪声之后的噪声图像执行直方图匹配的结果；

图7示出根据示例实施例的通过对非均匀运动模糊进行去模糊的方法来估计的非均匀运动模糊；

图8示出根据示例实施例的使用对非均匀运动模糊进行去模糊的方法来对非均匀运动模糊进行去模糊的结果；

图9示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的设备。

具体实施方式

现在将详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述这些实施例以解释本公开。

提供图1以描述根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法。

参照图1，为了使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊，在操作110中可提供包括模糊图像和噪声图像的多帧。在此情况下，可使用长曝光来获得模糊图像，并且可使用短曝光和高国际标准化组织(ISO)敏感度来获得噪声图像。

在操作120，可处理在操作110中输入的噪声图像。

即，可去除包括在多帧中的噪声图像中的噪声，为了校正模糊图像和已去除了噪声的噪声图像之间的曝光时间之差，可应用直方图匹配。

在此情况下，可根据包括在噪声图像中的噪声的类型，使用边缘保留噪声去除方案。在此处理期间，尽管详细信息(例如，纹理)可被消除，但是大部分边缘信息可被保留，并可用于操作130中的单应矩阵估计。在操作120，可从噪声图像去除噪声，噪声图像可被校正以具有与模糊图像的颜色相似的颜色。

在操作130，可使用图像配准(image registration)来估计非均匀运动模糊信息。即，可通过对包括在多帧中的模糊图像与已在操作120去除了噪声的图像进行配准来估计非均匀运动模糊信息。

当迭代地执行操作130和140时，在第一迭代中，可基于已去除了噪声的图像来估计模糊图像的非均匀运动模糊信息。然而，从第二迭代中，可基于在操作140期间获得的可去模糊了非均匀运动模糊的潜像来估计模糊图像的非均匀运动模糊信息。

随着迭代的数量增加，估计的非均匀运动模糊信息可收敛于相机抖动时的实际运动的信息。另外，随着迭代的次数增加，获得的用于估计非均匀运动模糊信息的潜像(即，中间潜像)可变得更清晰。然而，获得的潜像(例如，中间潜像)可仅用于非均匀运动模糊信息的估计，不会对将在操作150中恢复的最终清晰的图像产生直接影响。

在操作140，可基于在操作130中估计的非均匀运动模糊信息，通过应用Richardson-Lucy(RL)解卷积算法来获得清晰的图像(即，潜像)。操作140中恢复的潜像可通过执行操作130和140的迭代被提供为操作130的输入。

在对非均匀运动模糊进行去模糊的方法中，为了更有效地估计非均匀运动模糊信息并获取潜像，可通过在操作130和140的迭代期间使用多尺度迭代处理方案来改变图像的分辨率来提高估计和恢复的精确度。

在多尺度迭代处理方案中，可以以可估计大尺度运动模糊的模糊信息的低分辨率来估计非均匀运动模糊信息。通过将通过低分辨率获得的先前的非均匀运动模糊信息进行向上采样，可以以高的分辨率估计由于相对小的运动而出现的模糊的信息。当使用多尺度迭代处理方案时，可估计由于不可能使用单个尺度来处理的相对大的运动而引起的模糊。另外，通过首先估计相对大的模糊，可加速处理率。

在操作150，可恢复最终的潜像。在通过操作130和140的迭代获得输入模糊图像的非均匀运动模糊信息之后，可使用最终估计的非均匀运动模糊信息、包括非均匀运动模糊的输入模糊图像和不存在模糊的噪声图像的全部来执行解卷积，以在操作150获得已去模糊了非均匀运动模糊的最终图像。在实施例中，最终图像可还具有比噪声图像更少的噪声。在这种情况下，可基于估计的非均匀运动模糊信息，通过对每个颜色通道(例如，红色(R)通道、绿色(G)通道和蓝色(B)通道中的每一个颜色通道)执行解卷积，恢复最终的潜像。

在下文中，将详细描述对非均匀运动模糊进行去模糊的方法。

通常，可通过等式1来表示运动模糊。

[等式1]

B＝K*L+N

在等式1中，B表示模糊图像，K表示指示图像的模糊信息的点扩散函数(PSF)或运动模糊核心。L表示潜像(即，不存在模糊的清晰的图像)。N表示在获得图像的处理期间发生的未知的噪声，*表示卷积运算符。

可通过向量形式的等式2来表示等式1。

[等式2]

$b=\underset{i}{\mathrm{\Σ}}{w}_i{T}_{i}l+n$

在等式2，b、l和n表示等式1的B、L、N的向量表达式。T_i表示指示相机在时间点t_i的平移运动的行列式，w_i表示相机在时间点t_i停止时的相对时间长度(即，相机在时间点t_i的曝光时间)。这里，∑_iw_i＝1。

等式2可指示使用相机的路径的每个点上(即，行列式T_i)的清晰图像I的总和来表示模糊图像b。这里，等式1和等式2以不同的方式表示相同的模型。

可使用等式1或等式2的运动模糊模型来计算清晰的图像I。在此情况下，由于用于估计清晰的图像(即，潜像)的模糊模型可假设图像中包括的所有像素可均匀地移动，因此可能难以对由于相机的旋转运动(而不是平移运动)而出现的非均匀运动模糊进行去模糊。

因此，可使用可表示非均匀运动模糊的另一模型更有效地对非均匀运动模糊进行去模糊。

当相机的抖动指示非平移运动时，可能难以以等式1的形式表示非均匀运动模糊。因此，如由等式3所表示，通过以单应矩阵P_i替换等式2的T_i来得出描述相机的非均匀运动模糊效果的另一非均匀运动模糊模型。

[等式3]

$b=\underset{i}{\mathrm{\Σ}}{w}_i{P}_{i}l+n$

在对非均匀运动模糊进行去模糊的方法中，可通过应用等式3来执行盲目运动去模糊。

通常，在盲目运动去模糊中，可基于输入的模糊图像b计算潜像I和非均匀运动模糊信息P_i和w_i。然而，根据示例实施例，可使用包括模糊图像和噪声图像的多帧。即，可使用输入模糊图像b和通过从噪声图像I_N去除噪声而获得的图像N_D两者，来最终计算清晰的潜像I和非均匀运动模糊信息P_i和w_i。

在对非均匀运动模糊进行去模糊的方法中，可针对包括在输入的多帧中的模糊图像执行估计非均匀运动模糊信息的操作和获得潜像的操作，以获得可满足等式3的非均匀运动模糊信息P_i和w_i以及恢复的清晰的潜像。

在此情况下，可迭代地处理估计非均匀运动模糊信息的操作和获得潜像的操作。

可通过迭代处理逐步完善指示非均匀运动模糊信息的P和w的精确度。

可使用通过迭代处理获得的最终非均匀运动模糊信息P和w、包括非均匀运动模糊的输入模糊图像b和通过从不存在非均匀运动模糊的噪声图像I_N去除噪声而获得的图像N_D，通过对模糊图像中的非均匀运动模糊进行去模糊来获得最终的潜像。

在此情况下，通过从噪声图像I_N去除噪声来获得图像N_D的方法可不受限，可根据在噪声图像I_N中包括的噪声的类型来使用去除噪声的任何方法。

在迭代执行估计非均匀运动模糊信息的处理和获得潜像的处理的优化处理期间估计的中间潜像可不对去模糊了非均匀运动模糊的最终图像产生直接影响。即，中间潜像可对非均匀运动模糊信息P和w的估计产生影响，从而不直接影响去模糊了非均匀运动模糊的最终的清晰图像。

可使用图像亮度配准来执行估计非均匀运动模糊信息的处理。所述处理可包括两个处理：估计指示非均匀运动模糊的单应矩阵P的处理；计算相应的单应矩阵的权重w的处理。

在估计非均匀运动模糊信息的处理中，当提供中间潜像I时，可计算指示非均匀运动模糊的单应矩阵P。为了计算单应矩阵P，可重新排列等式3来获得等式4。

[等式4]

$b-\underset{j\≠i}{\mathrm{\Σ}}{w}_j{P}_{j}l=w_i{P}_{i}l+n$

在对非均匀运动模糊进行去模糊的方法中，为了计算等式4中的单个单应矩阵P_i，可通过应用图像亮度配准算法来计算最小化左侧

和右侧w_iP_il之间的差的单应矩阵P_i。为了计算整个单应矩阵集P，可通过逐个选择单应矩阵P_i来计算所有单应矩阵。

在计算单应矩阵时，当使用模糊图像和噪声图像执行图像亮度配准时，由于模糊图像和噪声图像之间的曝光时间之差而可能难以执行图像亮度配准。因此，可使用直方图匹配方案，将噪声图像的色调值改变为与模糊图像的色调值相似，然后可执行图像亮度配准。

当计算整个单应矩阵集P时，可使用计算的整个单应矩阵集P来计算单应矩阵的权重w。为了计算权重w，等式3可表示为等式5。

[等式5]

b＝Lw+n

在等式5，L＝[P₁l P₂l...P_nl]，L表示m乘以n(m x n)的矩阵。这里，m表示包括在图像中的像素的数量，n表示单应矩阵的数量。

通常，m＞＞n，等式5中的权重w可需要具有大于或等于“0”的值。因此，非负最小二乘法可被用于计算权重w。为了使用非负最小二乘法，如等式6中所示，可以以正规方程的形式来表示等式5。

可使用等式6来计算权重w。

[等式6]

w＝(L^TL+βI)^-1L^Tb

在等式6中，β表示将被用于解决括号中的行列式的逆矩阵不存在的情况的归一化参数。I表示单位矩阵。

在估计非均匀运动模糊信息的处理中，可通过使用等式4和等式6的迭代执行，计算与当前提供的潜像I相应的优化的单应矩阵P和权重w。

这里，在第一迭代期间，已去除了噪声的图像N_D可被用作潜像I，并且可使用在先前的迭代期间获得的潜像，在第二迭代和随后的迭代中的每一个迭代期间更新非均匀运动模糊信息。

每次更新潜像I时，可迭代地执行非均匀运动模糊信息P和w的估计。通过所述迭代处理，可计算最优化的潜像I和与最优化的潜像I相应的非均匀运动模糊图像P和w。

在获得潜像的处理中，可基于估计的非均匀运动模糊信息P和w、输入模糊图像b和输入噪声图像l_N来计算潜像l。

如等式7所表示，可由已去除了噪声的图像N_D和包括原始的清晰的边缘信息的剩余的潜像Δl之和来表示潜像I。

[等式7]

l＝N_D+Δl

在等式7中，剩余的潜像Δl表示可在去除噪声的处理期间消失的图像的清晰的信息。使用等式3和等式7，可由等式8来表示剩余的潜像Δl中的非均匀运动模糊Δb。

[等式8]

$\mathrm{\Δb}=\underset{i}{\mathrm{\Σ}}{w}_i{P}_i\mathrm{\Δl}+n$

为了求解等式8，可计算剩余的潜像Δl。适用于非均匀运动模糊而被扩展的Richardson-Lucy(RL)解卷积算法可被用于计算剩余的潜像Δl。

可通过对剩余的潜像执行解卷积来减小可造成图像质量的劣化的振铃现象(ringing artifact)。

可使用等式9，在每个迭代期间计算潜像Δl。

[等式9]

${\mathrm{\Δl}}_{n+l}=\left(\underset{i}{\mathrm{\Σ}}{w}_i{P_i}^T\frac{\mathrm{\ΔB}+l}{\underset{i}{\mathrm{\Σ}}{w}_i{P}_i({\mathrm{\Δl}}_n+l)}\right)\·({\mathrm{\Δl}}_n+l)-l$

在等式9，P^T表示通过逆向应用单应矩阵P而变换的单应矩阵。

通过将已去除了噪声的图像N_D通过求解等式9来获得的剩余的潜像Δl相加起来获得最终的清晰图像。

然而，作为求解等式9的结果获得的剩余的潜像Δl可包括清晰图像和小的振铃现象。即，可减小振铃现象，但是可不完全消除振铃现象。

因此，可使用更完善的控制增益的(Gain-Controlled)RL解卷积算法。可使用等式10来计算通过迭代地执行控制增益的RL解卷积而获得的剩余的潜像Δl。

[等式10]

${\mathrm{\Δl}}_{n+l}=l_{\mathrm{gain}}\·\{\left(\underset{i}{\mathrm{\Σ}}{w}_i{P_i}^T\frac{\mathrm{\ΔB}+l}{\underset{i}{\mathrm{\Σ}}{w}_i{P}_i({\mathrm{\Δl}}_n+l)}\right)\·({\mathrm{\Δl}}_n+l)-l\}$

在等式10中，如等式11所表示，可获取l_gain。

[等式11]

$l_{\mathrm{gain}}=(1-\mathrm{\α})+\mathrm{\α}\underset{l}{\mathrm{\Σ}}\left|\right|\▿N_D^l\left|\right|$

在等式11中，α表示用于控制增益图的效果的变量。

表示当使用标准偏差为0.5的高斯金字塔(Gaussian pyramid)来对去除了噪声的图像的梯度进行模糊时金字塔中第一阶段的图像。

尽管等式11中的α值可以与0和1之间的预定值相应，但是通常可使用值0.2。

作为等式10的控制增益的RL解卷积的结果，当与等式9的RL解卷积相比时，可获得更平滑的结果图像，所述结果图像可被用于去除任何振铃现象。

等式9的结果和等式10的结果可相互互补地使用。可通过将等式9的RL解卷积的结果和等式10的控制增益的RL解卷积的结果均应用到联合双边滤波器(joint bilateral filter)来获得主要仅包括振铃现象的图像。可通过从等式9的RL解卷积的结果减去主要仅包括振铃现象的图像来获得不存在振铃现象的清晰的剩余的潜像。可通过将不存在振铃现象的剩余的潜像与等式10的控制增益的RL解卷积的结果相加，来获得最终的清晰的潜像。

图2示出根据示例实施例的使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法。

参照图2，在操作201，用于对非均匀运动模糊进行去模糊的设备(在下文中，可称为去模糊设备)可接收包括模糊图像和不存在模糊的噪声图像的多帧，其中，模糊图像包括非均匀运动模糊。

在操作203，去模糊设备可使用用于校正曝光时间之差的直方图匹配来执行针对模糊图像和噪声图像的图像亮度配准。

在此情况下，去模糊设备可从噪声图像去除噪声，并可针对模糊图像和已去除噪声的噪声图像执行图像亮度配准。

在操作205，去模糊设备可估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息。

在此情况下，为了估计非均匀运动模糊信息，去模糊设备可估计已执行了图像亮度配准的模糊图像的单应矩阵，并可基于估计的单应矩阵，计算单应矩阵的权重。估计单应矩阵的处理和计算权重的处理可被迭代地执行预定次数，或者可在关于包括估计的单应矩阵的单应矩阵集的误差值的变化小于预定水平或阈值之前被执行。

在操作207，去模糊设备可基于估计的非均匀运动模糊信息，在多帧中通过对非均匀运动模糊进行去模糊来获得潜像。去模糊设备可通过随后的迭代的执行，基于RL解卷积算法使用剩余的模糊图像和剩余的潜像来对非均匀运动模糊进行去模糊。

在操作209，去模糊设备可迭代地执行估计非均匀运动模糊信息的操作205和获得潜像的操作207。在此情况下，可通过多尺度处理方案，在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时执行操作209。

在此情况下，可在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。另外，可在第二个迭代和随后的迭代中的每一个迭代期间使用在先前迭代期间获得的潜像来更新非均匀运动模糊信息。

在操作211，去模糊设备可通过迭代执行来获得最终的非均匀运动模糊信息。

在操作213，去模糊设备可通过针对最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像应用RL解卷积算法来获得从多帧恢复的最终的潜像。

在下文中，将参照图3至图8描述使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的方法的每个操作的中间图像。

图3示出根据示例实施例的包括构成多帧的包括非均匀运动模糊的模糊图像，图4示出根据示例实施例的构成多帧的不存在模糊的噪声图像。在实施例中，包括图3的非均匀运动模糊的模糊图像和图4的噪声图像可构成相同的多视点帧。

图5示出图3的模糊图像的灰度图像，图6示出通过从图4的噪声图像去除噪声获得的图像的灰度图像。

图7示出使用图5和图6估计的图3的模糊图像中的非均匀运动模糊，图8示出使用在图7中估计的非均匀运动模糊信息对模糊进行去模糊的最终的潜像。

根据示例实施例，可使用两种类型的图像(即，模糊图像和噪声图像)，互补地恢复对模糊进行了去模糊的最终的潜像。

图9示出根据示例实施例的用于使用包括模糊图像和噪声图像的多帧来对非均匀运动模糊进行去模糊的设备。

去模糊设备可包括例如接收单元910、执行单元930、估计单元950、获得单元970和控制单元990。

接收单元910可接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，而噪声图像中不存在模糊。

执行单元930可使用用于校正曝光时间之差的直方图匹配，针对模糊图像和噪声图像执行图像亮度配准。执行单元930可包括噪声去除装置931和执行装置935。

噪声去除单元931可从噪声图像去除噪声。

执行装置935可针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。

估计单元950可估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息。估计单元950可包括例如估计装置951和计算装置955。

估计装置951可估计已执行了图像亮度配准的模糊图像的单应矩阵。

计算装置955可基于估计的单应矩阵，计算单应矩阵的权重。

在此情况下，由估计单元951进行的单应矩阵的估计和由计算单元955进行的权重的计算可被迭代地执行预定次数，或可在关于包括估计的单应矩阵的单应矩阵集的误差值的变化小于预定水平或阈值之前被执行。

获得单元970可基于估计的非均匀运动模糊信息，通过对多帧中的非均匀运动模糊进行去模糊来获得潜像。

这里，获得单元970可通过针对通过随后的迭代执行中获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了模糊的噪声图像，应用RL解卷积算法来获得从多帧恢复的最终的潜像。

控制单元990可迭代地执行由估计单元950进行的非均匀运动模糊信息的估计和由获得单元970进行的潜像的获得。

控制单元990在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。

在此情况下，控制单元990可在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。另外，控制单元990可使用在先前的迭代期间获得的潜像，在第二迭代和随后的迭代中的每一个迭代期间更新非均匀运动模糊信息。

根据示例实施例，可通过使用包括模糊图像和噪声图像的多帧估计模糊图像的非均匀运动模糊信息，来精确迅速地估计更清晰的图像。

根据示例实施例，可通过迭代地执行非均匀运动模糊信息的估计并获得潜像来提高用于估计非均匀运动模糊信息的精确度。

根据上述实施例的所述方法可被记录在包括程序指令的非暂时计算机可读介质中，以实现通过计算机实施的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等，或者包括它们的组合。非暂时计算机可读介质的示例包括磁介质(例如，硬盘、软盘和磁带)；光学介质(例如，CD ROM盘、DVD)；磁光介质(例如，光盘)；被专门构造为存储和执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等)。

程序指令的示例包括机器代码(例如，由编译器所产生的)和包含可由计算机使用解释器执行的更高级代码的文件两者。为了执行上述实施例的操作，描述的硬件装置可被构造为用作一个或多个软件模块，反之亦然。可由对于单元专门的处理器或者由对于一个或更多软件模块共同的处理器来执行这里描述的一个或更多软件模块。描述的方法可在通用计算机或处理器上被执行，或可在特定机器(例如，在此描述的用于对非均匀运动模糊趋模糊的设备)上被执行。

尽管已显示和描述了实施例，但是本领域的技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行改变，其中，本公开的范围由权利要求及其等同物来限定。

Claims (24)

1.一种对非均匀运动模糊进行去模糊的方法，所述方法包括：

接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，所述噪声图像中不存在模糊；

针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；

估计通过执行图像亮度配准产生的模糊图像的非均匀运动模糊信息；

基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像。

2.如权利要求1所述的方法，其中，执行图像亮度配准的步骤包括：

从所述噪声图像去除噪声；

针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。

3.如权利要求2所述的方法，还包括：

迭代地执行非均匀运动模糊信息的估计和潜像的获得。

4.如权利要求3所述的方法，其中，迭代地执行估计的步骤包括：在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。

5.如权利要求3所述的方法，还包括：

在第一迭代期间，估计已去除了噪声的噪声图像的非均匀运动模糊信息。

6.如权利要求3所述的方法，还包括：

在第二迭代和随后的迭代中的每个迭代期间，使用在先前的迭代期间获得的潜像来更新非均匀运动模糊信息。

7.如权利要求3所述的方法，其中，潜像的获得包括：针对通过迭代地执行估计获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy RL解卷积算法来获得从所述多帧恢复的最终的潜像。

8.如权利要求1所述的方法，其中，估计非均匀运动模糊信息的步骤包括：

估计已执行了图像亮度配准的模糊图像的单应矩阵；

使用估计的单应矩阵，计算单应矩阵的权重。

9.如权利要求8所述的方法，其中，将单应矩阵的估计和权重的计算迭代地执行预定次数。

10.如权利要求1所述的方法，其中，获得潜像的步骤包括：基于RL解卷积算法，使用剩余的模糊图像和剩余的潜像来对所述非均匀运动模糊进行去模糊。

11.如权利要求1所述的方法，其中，潜像与模糊图像相比具有更少的运动模糊，潜像与噪声图像相比具有更少的噪声。

12.一种用于对非均匀运动模糊进行去模糊的设备，所述设备包括：

接收单元，用于接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊，所述噪声图像中不存在模糊；

执行单元，用于针对所述模糊图像和噪声图像，使用用于校正曝光时间之差的直方图匹配来执行图像亮度配准；

估计单元，用于估计通过执行亮度配准产生的模糊图像的非均匀运动模糊信息；

获得单元，基于估计的非均匀运动模糊信息，在所述多帧中通过对非均匀运动模糊进行去模糊来获得潜像。

13.如权利要求13所述的设备，其中，执行单元包括：

噪声去除装置，用于从所述噪声图像去除噪声；

执行装置，用于针对模糊图像和已去除了噪声的噪声图像执行图像亮度配准。

14.如权利要求14所述的设备，还包括：

控制单元，用于迭代地执行非均匀运动模糊信息的估计和潜像的获得。

15.如权利要求15所述的设备，其中，控制单元在改变通过执行图像亮度配准产生的模糊图像的分辨率的同时，迭代地执行非均匀运动模糊信息的估计和潜像的获得。

16.如权利要求15所述的设备，其中，控制单元在第一迭代期间估计已去除了噪声的噪声图像的非均匀运动模糊信息。

17.如权利要求15所述的设备，其中，控制单元在第二迭代和随后的迭代中的每个迭代期间，使用先前的迭代期间获得的潜像来更新非均匀运动模糊信息。

18.如权利要求15所述的设备，其中，获得单元针对通过迭代地执行估计获得的最终的非均匀运动模糊信息、包括非均匀运动模糊的模糊图像和已去除了噪声的噪声图像，通过应用Richardson-Lucy RL解卷积算法来获得从所述多帧恢复的最终的潜像。

19.如权利要求13所述的设备，其中，估计单元包括：

估计装置，用于估计已执行了图像亮度配准的模糊图像的单应矩阵；

计算装置，用于使用估计的单应矩阵，计算单应矩阵的权重。

20.如权利要求20所述的设备，其中，将由估计单元进行的单应矩阵的估计和由计算单元进行的权重的计算迭代地执行预定次数。

21.如权利要13所述的设备，其中，潜像与模糊图像相比具有更少的运动模糊，潜像与噪声图像相比具有更少的噪声。

22.一种对非均匀运动模糊进行去模糊的方法，所述方法包括：

接收包括模糊图像和噪声图像的多帧，其中，所述模糊图像包括非均匀运动模糊；

通过结合所述模糊图像和噪声图像，获得与所述模糊图像相比具有更少的运动模糊的潜像。

23.如权利要求23所述的方法，其中，使用相对长的曝光时间来获得所述模糊图像，使用相对短的曝光时间来获得所述噪声图像。

24.如权利要求24所述的方法，其中，所述潜像与噪声图像相比，具有更少的噪声。

Images