CN102005030A - 用于减少运动模糊的方法、系统和计算机程序产品 - Google Patents

Abstract

本发明公开了用于减少运动模糊的方法、系统和计算机程序产品。根据该方法，捕获至少两个图像帧(F_i)。提供值的序列(E)。通过顺次地将一个序列值与每个捕获的帧(F_i)相关联来处理所有捕获的帧(F_j)。累加所有捕获的经处理的帧(F_j)，以及对累加后的帧(F_A)应用解卷积。本发明还涉及用于减少运动模糊的系统。

Description

用于减少运动模糊的方法、系统和计算机程序产品

技术领域

本发明涉及编码式曝光摄影(coded exposure photography)领域。更具体而言，本发明涉及用于减少图像数据中的运动模糊的方法，用于执行该方法的各步骤的计算机程序产品，用于减少图像数据中的运动模糊的系统以及用于减少运动模糊的系统的成像设备。

背景技术

当用相机捕获图像时，图像并不是表示单个的瞬间，而是表示一段时间里的场景。所以，相对于相机移动的任意对象在利用点扩展函数(pointspread function，PSF)的卷积(例如，箱式过滤器或宽带过滤器)之后，图像将模糊。运动模糊可能由于捕获图像时不稳定的手抖动或对象运动而发生，并且图像将沿着相对运动方向被模糊。

运动模糊可以以下三种不同方式来处理：

1.短曝光时间成像

2.使用传统的相机方法来进行图像去模糊

3.使用晃动快门(Flutter Shutter)方法来进行图像去模糊

在短曝光时间成像的情况中，每个单独的帧都可能是有噪声的。曝光时间越低，到达感测器的光子数越少，因此，所捕获的图像噪声越多。由于感测器没有捕获到足够的光，因此，色调也有可能丢失。

在使用传统的相机进行的上述第二种去模糊方法的情况中，高的空间频率由于如图1中所示的相机曝光样式(pattern)的箱状特性而丢失。在图1中，示出在x轴上示出时间并在y轴上示出快门的打开和关闭的示图。当图像与这种响应相卷积时，其使得高频内容模糊。

因此，在带限响应的情况中，傅里叶域的PSF覆盖是不完备的并且信息会丢失。因此，出现平坦模糊和运动模糊，导致连续的模糊。这参考图2来进行更详细的说明。图2示出PSF的傅里叶谱。在x轴中，示出归一化后的频率，并且在y轴上，以dB示出大小。可见，傅里叶谱在其谱中包含用30指示的若干个0。在如图2中所示，PSF的傅里叶谱在其谱中包含零的情况中，逆滤波将放大噪声并且产生环状伪影(ringing artifact)并且使得解卷积成为不适定(ill-posed)问题。

现在，将说明使用晃动快门方法进行去模糊的上述第三种可能。在R.Raskar等的文件“Coded Exposure Photography：Motion Deblurring usingFluttered Shutter”(编码式曝光摄影：使用晃动快门的运动去模糊)中记载了这样的方法，该文件被通过引用结合于此。快门在单个曝光时间期间根据随机二进制编码序列打开和关闭，该编码序列例如如在A.Agracal等的文件“Coded Exposure Deblurring：Optimized Codes for PSF Estimation andInvertibility”(编码式曝光去模糊：用于PSF估计和可逆性的优化代码)中所记载的那样。该序列被选择以使得所产生的运动模糊PSF具有平坦的频谱并且保留高的空间频率。在图3中示出该系统的框图。

系统100包括编码式曝光相机101，其使用晃动快门方法摄取若干帧。然后，模糊的图像111被提交给PSF估计单元103。通过用户交互接收到的信息120也被提交给PSF估计单元103，PSF估计单元103确定PSF。然后，信息113被提交给解卷积单元105，解卷积单元105执行解卷积并且最终的去模糊图像115被输出。

因此，本发明的目标问题是改进现有技术。更具体地，本发明的目的是减少现有技术所造成的问题。

发明内容

该目的用独立权利要求的特征来实现。

更具体而言，本发明的一个技术方案提供了一种用于减少运动模糊的方法，该方法包括以下步骤：捕获至少两个图像帧，提供值的序列，通过顺次地将一个序列值与每个捕获的帧相关联来处理每个捕获的帧，累加所有捕获的经处理的帧，以及对累加后的帧应用解卷积。还提供了与该方法相应的用于减少运动模糊的系统。

本发明的另一技术方案提供了一种用于减少运动模糊的系统，该系统包括：用于捕获至少两个图像帧的帧捕获器，用于提供值的序列的序列提供器，用于通过顺次地将一个序列值与每个捕获的帧相关联来处理每个捕获的帧的帧处理器，用于累加所有捕获的经处理的帧的帧累加器，以及用于对累加后的帧应用解卷积的解卷积单元。还提供了一种设备，该设备优选地是包括该系统的具有突发拍摄模式的照相机或摄像机。

在从属权利要求中阐述了更多特征和优势。

附图说明

现在，在以下对优选实施例的描述中将关于附图来更详细地描述本发明，在附图中：

图1示出传统曝光样式，

图2示出利用传统技术获得的PSF的频谱，

图3示出根据现有技术的系统的示意性框图，

图4示出根据本发明的系统的示意性框图，

图5示出利用根据本发明的方法获得的PSF的频谱，

图6示出根据本发明第一实施例的方法的处理步骤的流程图，以及

图7示出根据本发明第二实施例的方法的处理步骤的流程图。

具体实施方式

运动模糊是在正常地捕获图像的同时在时域发生的现象。其发生在移动对象或相机运动或相机抖动的情况中。因此，为了补偿该运动模糊，可以使用不同的方法。使用利用带限曝光时间的传统的相机来对模糊图像去模糊本身是不适定问题。在该方法中，曝光时间充当时间箱式滤波器，使得当其与输入图像卷积时，移动对象模糊并且模糊图像中高的空间频率丢失。这使得使用传统相机经由解卷积来去模糊变成不适定问题，但是利用晃动快门方法变成适定(well-posed)问题。

在晃动快门方法而不是使用恒定曝光时间时，相机快门在整个曝光期间按照二进制编码序列被关闭和打开，因此其将箱式滤波器行为转变成提供保留高的空间频率的方式的宽带滤波器。这意味着模糊图像本身将保留高的频率值。该方法中的问题之一是根据二进制代码来编码图像。为此，需要外部硬件或具有特殊触发模式或者其快门可以被电子地控制的相机，即，在不控制相机快门也不触发相机的情况下，不可能根据编码序列来捕获图像。为此，需要触发源/设备。在相机处理之间估计PSF非常困难。该方法的另一问题是依赖用户交互来估计PSF。为了正确恢复图像，PSF非常重要。该方法的第三个问题在于编码序列不能根据图像内容被优化。

因此，本发明提出一种帧处理技术，其中，所捕获的帧的一部分根据预先定义的代码序列被丢弃和/或被加权。在本发明中，运动估计可以用于PSF(点扩展函数)的估计。定义帧丢弃/加权的代码可以被优化并且不再需要外部硬件或特殊的快门时间控制相机。本发明保持编码式曝光方法的优势但是简化了实现方式。

在图4中示出根据本发明的系统的框图。系统10包括帧捕获器1，其适于捕获n帧，n是大于1的整数。在本发明中，这些帧可以使用任意类型的相机来捕获，而不必考虑快门控制功能或任意其它硬件变化，例如，图像可以使用具有突发短模式(具有安全快门速度)或视频捕获功能的任意相机来捕获。根据本发明，图像帧可以包括完整的图像或也可以是图像的一部分。本申请中所使用的术语“图像”可以是静止的图像也可以是构成视频的运动图像序列中的一个图像。

所捕获的帧11之后被提交给帧处理器2和PSF估计单元3。从而，PSF估计单元3估计点扩展函数并且将点扩展函数13提交给解卷积单元5。从而，PSF估计单元可以使用任意已知的PSF估计方法。在优选的实施例中，PSF估计单元基于运动估计和/或由运动测量感测器33(例如，回转仪、加速度计等的运动测量感测器33)提交的数据来估计点扩展函数。

从由帧捕获器1所捕获的所有帧中，帧处理器2通过将由序列提供器6所提交的编码序列E的值顺次与捕获的帧中的每一个相关联来处理每个帧。从而，帧处理器2完成帧被保持或被丢弃的选择和/或完成对捕获的帧的加权。稍后将详细描述序列提供器6和帧处理器2的功能。

由编码序列提供器6所提供的编码序列可以基于实际设置和/或图像属性被动态地确定，或者，为了减少处理量，可以提供已经存储了可以根据实际需要来选择的不同编码序列的查找表66。

处理后的帧12，即，被保持和/或加权的帧，被提交给帧累加器4，其根据稍后将说明的预先定义的方案来累加所有经处理的帧。然后，帧累加器4将累加的帧14提交给解卷积单元5，解卷积单元5根据由点扩展函数估计单元3所提交的点扩展函数13来对累加的帧14执行解卷积。

然后，最终的去模糊后的图像15被解卷积单元5输出。根据本发明，在解卷积之后，可以提供更多类型的图像校正或处理。

在图5中示出使用所提出的帧处理方法获得的频谱。可见，利用所提出的技术在该谱中没有零，并且保留了高的空间频率并且实现了优化的去模糊的图像。

以下，将参考图6来更详细地说明本发明的第一实施例。在该第一实施例中，每个捕获的帧与一个序列值相乘(即，帧的每个像素被相乘)。根据这些序列值，(如果是序列中的0)相乘后的帧被丢弃，(如果是序列中的1)相乘后的帧保持不变，或者(如果是序列中不为0或1的任意值)相乘后的帧通过不同的加权而被保持。

处理在步骤S0中开始。在随后的步骤S1中，由帧捕获器1捕获n帧。

在步骤S2中，由序列提供器6提供序列E(i)。序列E包括等于或大于捕获的帧的数目的许多值，这样，每个捕获的帧都具有分配值。然而，也有可能提供具有比捕获的帧少的值的序列，从而在捕获帧上使用同一序列一次以上。

在一个实施例中，序列E包括连续的值，这些值例如可以是等于1、大于1或小于1的有理数值。该序列可以包括0或不包括0。如果提供0，则被乘以0的相对应的帧不被进一步处理，即，相对应的帧被丢弃。

序列E例如可以包括0和1之间的任意值，所以，通过帧与相对应的值的相乘，可以进行帧的加权。

在优选实施例中，该序列是包括值0和1的二进制编码序列，其中，0表示帧F_i应当被丢弃并且1表示帧F_i应当被保持。

然而，本发明不限于以上定义的序列，但是可以包括支持捕获的帧的丢弃和/或加权的任意其它类型的序列。

在接下来的步骤S3中，开始重复的处理，即，对于所有的帧F_i重复的处理。在步骤S4中，每个帧F_i随后与序列的值E(i)相乘，从而获得m个相乘后的帧F_j，j＝1，...m，从而，m等于或小于n，n是捕获的图像帧的数目。

显然，对于序列中的0，相对应的帧将被丢弃。同样，当提供该序列内的若干不同值时，这些帧可以被加权。

在接下来的步骤中，相乘后的捕获帧被累加，这将在稍后进行描述。

然后，步骤S6中的最终图像通过对累加的帧执行解卷积来获得。

现在，将说明本发明的第二实施例。在该实施例中，这些帧不与序列值相乘，而是，这些序列值用作用来判决处理捕获的帧的类型的指示符或标志。在优选实施例中，该序列包括0和1的值，这样，利用该序列，定义了一个帧是应当被丢弃还是被保持。

该处理从步骤S10中开始。在以下的步骤S11中，由帧捕获器1捕获n帧。

根据本发明的优选实施例，第一帧F₁被保持，从而，在接下来的步骤S12中，第一帧F₁被读出。

如已经说明的，序列E定义所捕获的图像帧应当被丢弃还是被保持。在优选实施例中，该序列包括等于或大于捕获的帧的数目的许多符号，使得每个帧可以被分配一个符号。根据符号的类型，可以确定相对应的帧是应当被保持还是被丢弃。

在一个实施例中，该序列是包括符号0和1的二进制编码序列，其中，0表示帧应当被丢弃，并且1表示帧应当被保持。

从而，根据本发明的编码序列E可以定义为：

E(i)∈{0；1}，对于所有i＝1，...n

这意味着E是这样的序列，其中每个帧被分配一个符号。如果0被分配给一个帧，则该帧被丢弃，并且如果1被分配给一个帧，则该帧被保持。

然而，本发明不限于二进制编码序列，但是可以使用包括任意类型的符号的任意其它类型的序列。这些符号可以被帧处理器2识别为指示符或标志，并且这些帧被相应地处理。从而，序列值与处理步骤之间的任意关系都是可以的。

在第一帧F₁被读出并且被保持之后，在以下步骤S13中，对于从帧2到帧n的所有以下帧i，开始重复。

在接下来的步骤S14中，检查二进制编码序列E(i)，并且在下一步骤S15中，对于当前考虑的帧，检查编码序列是否等于1。如果不是这种情况，即，序列等于0，则在步骤S16中，相对应的帧F_i被丢弃，并且对于下一帧，在步骤S13中继续处理。

否则，如果在步骤S15中发现序列E(i)等于1，则在接下来的步骤S17中，当前考虑的帧被保持并被读出。

在步骤S18中，第一帧F₁和所有保持的帧被累加。

如果所有的帧都要么被丢弃要么被保持，并且在累加之后，则在步骤S19中，获得最终的图像。

现在，将更详细地说明累加的处理。对于累加这些帧，可以使用不同的机制。一种机制是等待直到所有的帧都已经被处理并且之后计算所有经处理的捕获帧的和并且将和除以经处理的帧的数目。

为了使得其更清楚，用于累加p个经处理的帧的第一累加方法用下式得到累加的帧F_A：

$F_A=\left(\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{F}_i\right)/p$

另一种可能是通过将第一处理帧与预定数目的随后的处理帧相加并且将和除以相加的帧的数目来迭代地确定累加的帧。利用该步骤，获得第一中间帧，并且该中间帧又与预定数目的随后的处理帧相加并且除以相加的帧的数目来获得第二中间帧，该步骤被重复直到所有的帧都被累加为止。

利用所提出的技术，可以使用具有突发拍摄模式的任意相机或任意摄像机来根据编码序列捕获图像，而没有任意外部硬件需求和约束并且没有任意触发模式需求。不再需要另外的外部硬件或具有特殊的触发模式的相机。

利用所提出的技术，PSF可以通过使用运动估计或通过使用例如用于回转仪、加速度计等的运动测量感测器来估计。从而，仍然可以使用根据本发明的编码序列。此外，根据本发明的PSF估计相比于已知方法更为强壮。具体而言，不必执行任何盲目的PSF估计。

利用所提出的技术，可以根据实际设置和/或图像的内容来优化编码序列。编码序列例如可以基于对象的宽度。如果对象例如仅一个像素厚，则编码序列可以被优化为获得最小模糊。另一方面，如果对象是若干像素厚，则编码序列可以被优化为保存更厚的对象。

也可以使用噪声与增益属性、亮度设置等来适配编码序列。

当在非频闪显示设备中显示图像(特别是液晶显示面板(LCD)、薄膜晶体管显示器(TFT)、彩色顺序显示器(color sequential display)、等离子显示面板(PDP)、数字微反射镜设备或有机发光二极管(OLED)显示器)时，尤其可以使用本系统、方法和计算机程序产品。

已经为了图解和说明的目的提供了对本发明优选实施例的前述说明。不希望是穷尽性的或将本发明限制于所公开的具体形式。许多修改和变更对于本领域技术人员是显而易见的。实施例被选择并描述以最好地描述本发明的基本原理及其实际应用，从而使得本领域技术人员理解本发明、各种实施例，并且构想到适于具体使用的各种修改例。

尽管已经以专用于结构特征和/或方法步骤的语言描述了本发明，但是，应当理解，权利要求中所限定的发明不一定限于所描述的具体特征或步骤。而是，这些具体特征和步骤作为实现要求保护的发明的优选形式被公开。

Claims (31)

1.一种用于减少运动模糊的方法，包括以下步骤：

捕获(S1)至少两个图像帧(F_i)，

提供(S2)值的序列(E)，

通过顺次地将一个序列值与每个捕获的帧(F_i)相关联来处理(S4，S14)每个捕获的帧(F_i)，

累加(S5)所有捕获的经处理的帧(F_j)，以及

对累加后的帧(F_A)应用解卷积(S6)。

2.根据权利要求1所述的方法，

其中，所述关联的步骤包括用所述序列值来限定捕获的帧(F_i)是应当被丢弃还是被保持并且/或包括用所述序列值来对所述捕获的帧(F_i)进行加权。

3.根据权利要求1或2所述的方法，

其中，所述序列(E)包括等于或大于捕获的帧(F_i)的数目的许多值，每个帧(F_i)具有所分配的值。

4.根据权利要求1、2或3所述的方法，

其中，所述序列(E)包括连续的值。

5.根据权利要求1到4中任意一项所述的方法，

其中，所述序列(E)包括等于或小于1的有理数值。

6.根据以上权利要求中任一项所述的方法，

其中，所述处理的步骤包括顺次地将每个捕获的帧(F_i)与一个序列值相乘。

7.根据权利要求1至5中任一项所述的方法，

其中，所述序列(E)是包括值0和1的二进制编码序列，并且其中，0表示帧(F_i)应当被丢弃并且1表示帧(F_i)应当被保持。

8.根据以上权利要求中任一项所述的方法，

包括基于运动估计或基于由运动测量感测器(33)提交的数据来估计点扩展函数的步骤。

9.根据权利要求1至8中任一项所述的方法，

其中，对于累加，所有经处理的帧(F_j)被相加并且被除以相加的帧的数目。

10.根据权利要求1至9中任一项所述的方法，

包括保持第一帧(F₁)。

11.根据权利要求10所述的方法，

其中，对于累加，所述第一图像帧(F₁)和预定数目的随后的经处理的帧(F_j)被相加并且被除以相加的帧的数目，从而获得中间帧。

12.根据权利要求11所述的方法，

其中，对于累加，每个之前获得的中间帧和预定数目的随后的经处理的帧被相加并且除以相加的帧的数目直到获得最终的累加后的帧为止。

13.根据以上权利要求中任一项所述的方法，

包括根据实际设置和/或图像内容来动态生成所述序列(E)的步骤。

14.根据权利要求1至13中任一项所述的方法，

包括根据所述实际设置和/或所述图像内容来选择被存储在查找表(66)中的序列(E)的步骤。

15.一种用于减少运动模糊的系统，包括

用于捕获至少两个图像帧(F_i)的帧捕获器(1)，

用于提供值的序列(E)的序列提供器(6)，

用于通过顺次地将一个序列值与每个捕获的帧(F_i)相关联来处理每个捕获的帧(F_i)的帧处理器(2)，

用于累加所有捕获的经处理的帧(F_j)的帧累加器(4)，以及

用于对累加后的帧(F_A)应用解卷积的解卷积单元(5)。

16.根据权利要求15所述的系统，

其中，用于关联的帧处理器(2)适于用所述序列值来限定捕获的帧(F_i)是应当被丢弃还是被保持并且/或适于用所述序列值来对所述捕获的帧(F_i)进行加权。

17.根据权利要求15或16所述的系统，

其中，所述序列提供器(6)提供序列(E)，所述序列(E)包括等于或大于捕获的帧(F_i)的数目的许多值，每个帧(F_i)具有所分配的值。

18.根据权利要求15、16或17所述的系统，

其中，所述序列提供器(6)提供序列(E)，所述序列(E)包括连续的值。

19.根据权利要求15至18中任一项所述的系统，

其中，所述序列提供器(6)提供序列(E)，所述序列(E)包括等于或小于1的有理数值。

20.根据以上权利要求中任一项所述的系统，

其中，所述帧处理器(2)顺次地将每个捕获的帧(F_i)与一个序列值相乘。

21.根据权利要求15至19中任一项所述的系统，

其中，所述序列提供器(6)提供包括值0和1的二进制编码序列，并且其中，0表示帧(F_i)应当被丢弃并且1表示帧(F_i)应当被保持。

22.根据以上权利要求中任一项所述的系统，

还包括点扩展函数估计单元(3)，所述点扩展函数估计单元(3)用于基于运动估计或基于由运动测量感测器(33)提交的数据来估计点扩展函数。

23.根据权利要求15至22中任一项所述的系统，

其中，用于累加的帧累加器(4)计算所有经处理的帧(F_j)的和并且将该和除以相加的帧的数目。

24.根据权利要求15至23中任一项所述的系统，

其中，所述帧累加器保持第一帧(F₁)。

25.根据权利要求24所述的系统，

其中，用于累加的帧累加器(4)计算所述第一图像帧(F₁)和预定数目的随后的经处理的帧(F_j)的和并且将所述和除以相加的帧的数目，从而获得中间帧。

26.根据权利要求25所述的系统，

其中，用于累加的帧累加器(4)重复计算每个之前获得的中间帧和预定数目的随后的经处理的帧的和并且将所述和除以相加的帧的数目的步骤直到获得最终的累加后的帧为止。

27.根据以上权利要求中任一项所述的系统，

其中，所述序列提供器(6)适于根据实际设置和/或图像内容来动态生成所述序列(E)。

28.根据权利要求15至26中任一项所述的系统，

其中，所述序列提供器(6)适于根据所述实际设置和/或所述图像内容来选择被存储在查找表(66)中的序列(E)。

29.一种设备，特别是一种具有突发拍摄模式的照相机或摄像机，包括根据权利要求15到28中任一项所述的系统(10)。

30.一种用于减少运动模糊的系统，包括

用于捕获至少两个图像帧(F_i)的装置，

用于提供值的序列(E)的装置，

用于通过顺次地将一个序列值与每个捕获的帧(F_i)相关联来处理每个捕获的帧(F_i)的装置，

用于累加所有捕获的经处理的帧(F_j)的装置，以及

用于对累加后的帧(F_A)应用解卷积的装置。

31.一种存储在计算机可读介质上的计算机程序产品，使得计算机执行以下步骤：

捕获(S1)至少两个图像帧(F_i)，

提供(S2)值的序列(E)，

通过顺次地将一个序列值与每个捕获的帧(F_i)相关联来处(S4，S14)每个捕获的帧(F_i)，

累加(S5)所有捕获的经处理的帧(F_j)，以及

对累加后的帧(F_A)应用解卷积(S6)。

Images