CN101438318A - 减少场景图像中的模糊的方法和场景图像去模糊装置 - Google Patents

Abstract

一种对相机获取的场景的图像去模糊的方法和系统。根据开闭序列对获取的场景的光场进行时间调制。在曝光时间期间通过相机的传感器对经调制的光场进行积分，以生成编码后的输入图像。根据拖影矩阵的伪逆矩阵对编码后的输入图像进行解码，以产生模糊减少的解码后的输出图像。

Description

减少场景图像中的模糊的方法和场景图像去模糊装置

技术领域

本发明总体上涉及图像处理，并且更具体地涉及对图像进行去模糊。

背景技术

运动是对人类视觉感知的重要帮助。它有助于我们观察、解释和更好地理解我们的环境。尽管它对人类观察者是有用的，运动常常不利于摄影。最清晰和最细腻的图像要求完全静止的相机和场景。这对于自然设置下的业余摄影来说是极其困难的。

常规的相机包括多个手动或自动控制，用于处理各种相机参数和场景参数，例如焦深(focus depth)和曝光时间。然而，处理场景中的运动的解决方案有限。典型地，曝光时间随着运动量的增加而减小。

当前的成像实践一般遵循“瞬时的”理想(ideal)、无需计算的零阶模型运动选择。理想地，使曝光时间尽可能最长，从而使运动对象看起来仍然基本上不动。

期望提供一种改进的感测(sensing)方法，该方法将能够使数字相机使用一阶运动模型。

运动模糊是在获取图像时的积分或“曝光时间”过程中相机与场景之间的相对运动引起。可以通过图像解卷积而将运动模糊图像恢复到丢失的空间频率，只要运动是平移不变的(至少是局部地平移不变的)，并且也称为点扩散函数(PSF)的导致模糊的模糊函数是已知的。

然而，图像解卷积属于一类不适定(ill-posed)的逆问题，该问题的解的唯一性无法建立，并且该解对输入数据中的摄动(perturbation)过于敏感。已知多种运动去模糊和再模糊的技术。

曝光时间解决方案

缩短曝光时间是常用的解决方案。然而，短曝光时间增加了噪声，并且不必要地对图像的静止区域带来损失。高速相机可以捕捉快速运动，但其就感测、带宽和存储而言是昂贵的。高速相机也无法利用帧间的相关性(coherence)。通常，高速相机要求明亮的光。借助适度曝光时间且持续时间极其短暂的闪光能够获得高速对象的视觉震撼结果。然而，在户外或远距离场景中闪光灯(strobed flash)通常不切实际。此外，闪光仅仅捕捉了瞬间的动作，而无法表示场景中的整体(general)运动。

智能相机

为了克服相机运动，使用对相机运动进行补偿的惯性传感器，自适应光学器件能够被物理地稳定。另选地，一些CMOS相机在正常曝光时间内执行高速帧捕捉，使得能够去除基于多个图像的运动模糊。给定合理的曝光时间，这些技术就能够产生清晰和鲜明的图像。

混合成像系统可使用辅助低分辨率高帧率传感器来估计PSF。即使长时间曝光，精确的PSF也能够使去模糊成为可能。这些方法对相机运动进行了补偿，但没有对场景内的对象运动做出响应。

视频分析

可以将部分信息合并以便基于由摄像机捕捉到的连续帧或者根据由具有重叠曝光时间的多个协同定位的相机捕捉到的帧来对视频进行估计和去模糊。

后处理解决方案

给定模糊PSF，主要有两类对图像去模糊的方法。第一类方法在频域中能够使用维纳滤波器或正则求逆(regularized inversion)，并且需要计算去模糊图像的傅立叶(余弦)变换。第二类方法包括迭代更新法。它们包括Lucy-Richardson算法和基于图像统计而对丢失指数(loss indices)进行迭代优化的其它更新。

通过使用在曝光较长的照片中观察到的色彩限制也能够改善有噪声的短曝光的图像。基于应用到PSF的各种假设，广泛地采用盲解卷积来增强单个模糊图像。对于任意运动，PSF估计仍然是具有挑战性的问题。并且即使PSF已知，去模糊图像也由于放大的噪声、重采样和量化问题的缘故而通常显著劣于原始图像。通常是只可能对小的运动进行去模糊。

编码采样

在信号处理中普遍使用二进制码和连续码来调制具有宽带响应的信号。这些码包括“啁啾”(chirp)，这些啁啾在脉冲间隔期间对宽频带上的载波进行扫描。最大长度序列(m序列)和修正均一冗余阵列(MURA)是用于通过循环卷积(circular convolution)来编码和解码的常用选择。编码孔径天文成像使用MURA码来改进信噪比，同时捕捉不适于常规透镜的X射线波长和伽玛射线波长。

宽带信号在许多技术中都有应用，例如用于抗噪声通信的扩频编码和码分复用(CDMA)，用于减小与其它信道的干扰。声学家使用m序列来设计展现了最小声音衍射的二维面板。

考虑经由解卷积来对一维信号进行去模糊的问题。目标是估计由线性系统的点扩散函数P(x)模糊的信号S(x)。然后，已知测得图像信号I(x)为

I(x)＝P(x)*S(x)，                                    (1)

其中*表示卷积。在理想情况下，经由解卷积滤波器P⁺(x)能够恢复图像的良好估计S′(x)，从而：

S′(x)＝P⁺(x)*I(x)                                   (2)

在带限点扩散函数或具有不完全覆盖的傅立叶域的点扩散函数情况下，信息丢失并且无法解卷积。例如，在曝光持续时间T内捕捉图像等效于在时域中借助箱形滤波器进行的卷积。所得到的改变是平坦模糊。在频域中，信号乘以带限的同步函数，该同步函数在2/T的间隔处为零并且在其它在大多数频率处具有显著的衰减。

为了克服此问题，多种方法利用迭代最大似然估计法根据可能解的范围选择其重建。一类公知的技术使用基于贝叶斯公式的统计模型来形成图像。Lucy-Richardson算法是基于非线性比的方法，该方法产生非负灰度级值。迭代解卷积技术可应用于整体图像模糊，并且假设整个信号I(x)可用。但迭代解卷积无法处理其中场景的几个部分具有不同PSF的情况，例如运动对象位于静止有纹理背景前面的情况。当运动对象的一部分被遮挡时，无法观察到I(x)的一些值。

发明内容

常规相机在曝光时间期间使快门打开，并且试图利用图像稳定和/或解卷积技术来对图像去模糊。这种技术可减少由于相机运动而引起的整体图像模糊，但无法校正运动遮光板(occluder)引起的模糊。此外，解卷积会产生强噪声伪影。

本发明的实施方式最小化了相机所获取的场景图像中的运动模糊。在整个曝光时间期间不是保持快门打开，而是使快门快速地“闪动”(flutter)。即，快门以不规则时序打开和关闭，以便产生编码图像。

然后可以对编码图像进行解码，以便改进运动对象的图像中的细节。解码使用了线性代数来将编码后的模糊图像分为锐利、静止的前景和背景图像。

本发明的实施方式可对具有极大运动、纹理背景和局部遮光板的图像去模糊。

应当注意：此处描述的调制、采样和解码技术也可与其它能量领域例如超声和声纳感测一起使用。在该领域中，由于装置的限制或因为声纳装置的运动，所感测到的信号被低通滤波。通过使用时间采样码，可以减少高频分量的衰减。

高频采样技术也可用于导致图像拖影(smear)的其它装置。例如，透镜的焦距不准导致散焦d模糊图像。通过将高频图案(pattern)放置在透镜前面，可以对像素模糊进行编码，从而在稍后的解码过程中能够恢复聚焦的锐利图像。

应当注意：调制和编码可以在相机外部或内部实现，并且可以包括幅度、频率、相位、脉宽、不透明度(opacity)或快门的偏振调制(polarizationmodulation)。

发明效果

经由闪动曝光序列进行的去模糊具有多个优点。编码成像方法，例如在航天或断层成像术中使用的这些方法，典型地对原始图像进行感测，这些原始图像对人类观察者是无意义的。幸运的是，在本发明中，编码后的曝光图像既使未成功地解码也是有用的。与平坦模糊相比，图像在最坏的情况下以一半的强度模糊了一半。编码后的序列容易实现，因为与更复杂的连续不透明度控制相反，其需要二进制不透明度的交换(toggling)。在数字相机中，可以直接利用快门实现二进制切换过程或者在感测芯片自身上实现二进制切换过程。

附图说明

图1A为根据本发明实施方式的去模糊相机的示意图；

图1B为根据本发明实施方式的去模糊相机的示意图；

图1C为根据本发明实施方式的去模糊相机的示意图；

图1D为根据本发明一个实施方式的图像去模糊方法的流程图；

图2为随时间运动的对象的示意图和所得到的强度轮廓；

图3为根据本发明一个实施方式的用于将未知图像变换为模糊图像的线性系统的示意图；

图4A为根据本发明一个实施方式的模糊图像；

图4B为与图4A中的图像对应的去模糊图像；

图4C为根据本发明一个实施方式的具有边界框(bounding box)的图像；

图4D为根据本发明一个实施方式的具有切空部位(cut-out)的图像；

图4E为根据本发明一个实施方式的具有散景(Bokeh)效果的图像；

图5为根据本发明一个实施方式的具有重叠的运动对象的图像；

图6A为具有遮挡对象的图像；以及

图6B为将图6A中的遮挡对象去掉后的图像。

具体实施方式

图1A、1B和1C示出了根据本发明实施方式的去模糊相机的简化示意图。相机包括透镜110、固态图像传感器120、快门130和快门控制器140。在一个优选实施方式中，该相机为数字相机，并且传感器包括像素阵列。这些像素可以包括在Bayer网格中交织的RGB像素。该相机可以是单个的光传感器。该相机也可以是产生图像序列或帧序列的数字摄相机。在线150上产生输入图像作为数字信号。

在图1B所示的实施方式中，通过传感器控制器141来实现图1A中的快门功能，传感器控制器141可以瞬时地开闭(on and off)传感器120，同时获得输入能量场101并进行积分。该能量场可以是任何类型的电磁辐射(例如可见光或红外光)或者声学辐射(例如超声和声纳)。

在图1C所示的实施方式中，在获取图像的同时，闪光灯单元175“闪动”或频闪(strobed)。

所有实施方式基本上都根据二进制开闭序列对传感器120获取的光场在时间上进行调制，从而在曝光时间期间产生积分模糊输入图像150。

并非在曝光时间的全部持续时间期间使快门保持打开，而是我们使快门“闪动”，即以快速的不规则的二进制序列或时间码型使快门打开和关闭。不同的二进制序列可用于图像序列中的不同图像。还应当注意：二进制序列可以为任意的开闭序列，或者为伪随机序列。即，不像在常规相机中那样仅具有单个开(打开)并紧随着单个闭(关闭)，而是快门打开和关闭多次，并且快门打开和关闭的次数在曝光持续时间内是变化的。

我们将所得到的图像称为编码模糊图像I(x)。闪动以如下方式交替打开和关闭运动积分，该方式为所得到的点扩散函数(PSF)P(x)在傅立叶域中具有最大覆盖范围。换句话说，利用二进制开闭序列进行的调制导致了所得到的点扩散函数的适定的(well-posed)可逆傅立叶变换。在没有快门的相机实施方式中，可以通过在曝光时间结束时对传感器积分和采样的同时开闭传感器而实现闪动。也可以通过快速地开闭闪光灯单元而实现“闪动”或调制。传感器的闪动还可以与闪光灯的频闪相结合以实现特殊效果。

开/闭切换时间可以小于100毫秒。典型地，总曝光时间大约为200毫秒，并且编码曝光时间包括例如大约52次切换。

所观察到的模糊图像是经调制的光场的时间积分与空间对象运动之间的卷积。虽然对象运动事先是未知的，但可以选择时间码型，从而使卷积(模糊)图像I(x)保持相对较高的运动对象空间频率，并且使我们能够使用解码过程160来恢复空间频率。如图所示，该解码过程可以是在相机内部，在这种情况下输出图像152是一去模糊图像。另选地，过程160可外部地应用于模糊输入图像。

图1D示出了根据本发明一个实施方式的输入图像去模糊方法。使用开闭编码码型183由闪动控制器182对场景的光场101进行调制和编码(181)，从而产生编码后的和模糊的输入图像184。编码图像被解码(185)，从而产生去模糊的输出图像186。

图4A和4B示出了运动出租车前后的图像。

运动模型

更一般地，如图2和图3示意性地示出的那样，我们使用线性代数来描述卷积。令B表示模糊的输入图像像素值。图像B的每个像素是所期望的未模糊图像的强度的线性组合X，并可以写作：

AX＝B+η                     (3)

矩阵A表示拖影矩阵。拖影矩阵描述了输入图像与点扩散函数P(x)的卷积，而η代表由于噪声、量化误差及模型不精确度所导致的测量不确定性。

对于二维PSF，矩阵A为循环(circulant)分块矩阵，而对于一维PSF来说，矩阵A为循环矩阵。为简明起见，我们将针对一维PSF情况描述编码和解码过程，该一维PSF情况可容易地扩展到二维的情况。

给定T秒有限曝光时间，我们将积分或曝光时间划分为m个时间片段(称为时块)，从而每个时块为T/m秒长。开闭时块码型是长度为m的二进制序列183。运动模糊过程为时间201到空间203投影，其中在一维运动情况下，T秒内的运动导致了k个像素的线性模糊。因此，在单个时块的持续时间内，拖影覆盖了k/m个像素。

如图2示意性地所示，考虑对象随时间在黑色背景的前面在空间上向上运动并沿着垂直扫描线评价(evaluate)的简单情况。如果PSF在图像像素坐标下长度为k，则在第一时块内位置(u，v)处的像素被线性地拖影直到像素(u，v+k-1)。如果对象沿着运动方向的长度为n个像素，则总的模糊宽度为w，其中w＝(n+k-1)。我的目标是根据观察到的n+k-1个像素来确定n个像素的最佳估计。

拖影矩阵A可如下获得。未知图像X中的每个像素都对拖影之后的总共k个像素有贡献。循环矩阵A的第一列是后面紧接着n-1个零的长度为k的PSF向量。通过循环地单步向前对条目进行置换(permute)而从前一列获得每个后续列。因此，在黑色背景的情况下，与P(x)的线形卷积或者乘以循环矩阵A等效于与填充有n-1个零的长度为k的PSF向量的循环卷积。

在实践中，由于X沿拖影方向仅具有n个未知的值，因此可以通过将矩阵A截取到前n列而创建过约束的最小二乘系统。因此，矩阵A的大小变为(n+k-1)×n。在平坦模糊的情况下，具有恒定值的长度为n的输入信号的时空投影产生了具有梯形强度轮廓的响应。轮廓中的每个斜边(ramp)跨越k个像素，并且平坦段为n-k-1个像素。对于编码后的模糊来说，强度轮廓的整体形状仍然是梯形，但快门的快速闪动使斜边变为更呈锯齿状的形状210，如图2所示。

码选择

我们的目标是选择改善成像过程可逆性的时间码(temporal code)。我们通过研究编码矩阵的条件数及码的频谱的方差来分析可逆性。

在存在不确定性和噪声的情况下，可通过标准矩阵条件分析来判定扩散矩阵A的可逆性。条件数为最大奇异(singular)值与最小奇异值的比，并且表示解X对输入图像B中的噪声η的灵敏度。我们注意到：循环矩阵的特征值包括循环矩阵的第一列的离散傅立叶变换(DFT)的幅度，并且矩阵A中的每一列为填充了零的PSF向量。基于该观察，我们选择具有宽带频率响应的码序列，从而使拖影矩阵的对应条件数尽可能地大。

理论上讲，我们可以例如使用类啁啾函数连续地随时间对所得到的滤波器的不透明度进行调制，从而获得宽带频率响应。然而在实践中，具有固定时块持续时间的二进制(开闭)不透明度切换更容易实现。

对宽带二进制码的选择包括Walsh-Hadamard码、最大长度序列和修正均一随机排列(MURA)码。MURA序列看起来是明显的选择，因为其离散傅立叶变换是平坦的。然而对于运动模糊来说，与填充有n-1个零的长度为k的PSF向量进行循环卷积，其中n是沿着运动方向的以像素为单位的对象的长度。如下所述，MURA对于填充有零的码型而言不是最优的，从而促使我们寻找可能最好的码。

没有填充零的MURA码型的DFT是平坦的。然而，DFT仅能够精确地求解离散频率。对于落在DFT线之间的分量存在谱泄漏。零填充导致频率分量的更大分辨率，并且揭示了MURA码型的弱点。

由于解码涉及到频谱的反转(inversion)，我们还将光滑度约束添加到我们的对最佳二进制时块码型的搜索中。频率响应应当具有低方差，从而在解码期间不正确的PSF估计不会导致不正确的空间频率的放大。箱形滤波器序列和填充MURA序列的频率响应包括深降(deep dip)或零，从而产生两者的高方差。频域中的尖峰(spike)导致了伪(spurious)放大。

为了找到具有低方差和宽带响应的码，我们对长度为m的二进制码202执行穷尽搜索。寻找最平坦响应的线性搜索涉及寻找具有最大频率幅度与最小频率幅度之间的最小比的码。此外，我们通过解的标准偏差对解进行加权。

最后，我们确定序列长度183的长度m。如稍后所述，理想的时块数等于模糊大小k。根据本发明的实施方式的相机理想地具有自动闪动模式(一种类似于自动聚焦特征的运动自适应形式)，以基于感测到的光流自行(on the fly)确定长度m。可通过实验确定折衷值。我们选择m＝52个时块的序列。我们使用穷尽性搜索而找到的最优码序列为：

1010000111000001010000110011110111010111001001100111

运动解码

线性解

给定估计出的PSF，我们可以使用已知的图像解卷积过程来对模糊图像去模糊。然而在下述几种情况下，我们发现难以经由解卷积添加更多约束，而是，线性代数过程法更切实际并且是更优选的。我们使用最小二乘估计将去模糊的图像

求解为：

$\hat{X}=A^{+}B---\left(4\right)$

其中在最小二乘的意义上，A⁺是矩阵A的伪逆(pseudo-inverse)阵。由于输入图像可具有不同于m的运动模糊k，我们首先通过因子m/k来扩大/缩小给定的模糊图像。然后，我们对X进行估计，并且通过k/m将X缩放回其原始大小。

在以下部分中，我们侧重于一维的PSF。现实世界中的对象在帧内的运动由于能量和惯性约束的缘故而趋向于一维运动。我们将运动的一维线状路径称为运动线。注意：给定运动线上的场景特征仅对该运动线上的像素有贡献，因此运动线是独立的。

可独立于其它运动线而确定每个运动线的解。在以下描述中，不失一般性，假设运动线为朝着水平扫描线。然而在例如相机抖动的例子中，PSF通常是二维下的一维流形(manifold)的集合。我们的方法也可以扩展到这些PSF。

通常，去模糊过程160需要知道哪些像素属于图像的模糊运动前景区域，哪些属于未模糊的静止背景区域。分类错误可能导致解码错误，其中，未模糊的背景像素损害了沿着整个运动线的结果。

可以使用任何已知的方法将区域分类为模糊区域和未模糊区域。在静止相机的情况下，经由帧差分或通过对运动对象在两个连续帧内的位置进行比较可以获得运动对象的“切空部位”或侧影(silhouette)。在交互式去模糊过程中，如图4C所示，用户可以指定围绕模糊对象的轴向对齐的边界框400。对图像中的运动对象进行定位的许多技术是已知的。

边界框的宽度w_b通常比模糊宽度w＝(n+k-1)稍大。用户指定模糊长度k，该模糊长度k表示对象的形状为n′＝w_b-k+1。值n′可以认为是n的逼近值。如果长度沿着每个运动线不同，则用户指定切空部位401，如图4D所示，而不是指定边界框。

背景估计

我们现在解决由于静止非模糊背景前面的不透明对象运动而导致的运动模糊问题。这是常见但又困难的情况，因为运动对象趋向于与背景“混”(blend)在一起。获知运动对象的PSF以对图像去模糊是不够的。我们探讨该问题，对情况进行分类，并且发现在某些情形下，在模糊对象的边界处可见的未知背景能够在去模糊过程期间恢复。

模糊图像由下式给出：

B＝AX+A_gX_g                   (5)

其中X是运动前景对象，X_g是静止背景，A_g是背景衰减矩阵，其元素对静止背景进行衰减。矩阵A_g可以书写为：

A_g＝I-diag(A*I_(n+k-1)×1)     (6)

其中I_q×1是全1且长度为q的向量，diag(v)是通过将向量v置于主对角上而返回的方矩阵。

对背景估计进行的分析是基于对模糊区域有贡献的像素背景数量g。在大小为(n+k-1)的模糊区域内，当n>k时，背景仅在边缘附近可见，并且仅对2k个像素有贡献。

然而，当n<k时，对象拖影比其长度更长，并且在所有模糊像素中背景局部地可见。因此，g＝min(2k，n+k-1)。给定在(n+k-1)个像素处的观察值，我们对最少n+2k个值进行估计。可通对对象运动和与背景图像对应的纹理复杂性添加约束而估计另外的k+1个未知数。

我们考虑以下情况来估计前景X和背景X_g：

1.具有已知形状和纹理背景的宽对象：n>k；

2.具有未知形状的宽对象：n>k并且

i.    恒定背景；

ii.   纹理背景但纹理的边缘位于模糊区域之外；

iii.  纹理背景，且纹理边缘穿过模糊区域；及

3.在大于其长度的距离上被模糊的窄对象：n<k。

在情况1中，我们限定长度为n′＝n的指定模糊区域，从而指定的切空部位精确地标出了模糊对象的形状。由于我们知道背景像素的梯形部分的斜边的精确位置，因此我们可以创建背景衰减矩阵A_g。我们可以通过做出背景具有频率这一简化假设而从背景的2k个可能值中估计出多达k-1个值。

在情况2(i)中，对象形状未知。在背景恒定时，我们可以将背景当作产生了“拖影”值的运动对象的一部分。剩下的问题仅是对单个未知背景色彩进行估计。由于每个运动线是独立的，我们可以恢复每个运动线的不同背景。这种估计是可能的，仅仅因为我们的编码曝光方法提供了拖影矩阵A的相当多的条件数。对于箱形滤波的或平坦的模糊而言，条件数较低，并且试图找到该相同估计是非常不稳定的。拖影矩阵的多个奇异值对于箱形滤波的PSF来说相对较小，并且随着未知数的数量增加，线性解变得病态(ill-conditioned)。

在情况2(ii)中，背景不是恒定的，但在背景的边缘位于模糊区域之外时我们仍然可以恢复前景。我们使用梯度域方法来消除背景的变化。前景中的最高可能梯度由PSF衰减了2/m的因子或者更多。因此，沿着运动线的所有幅度大于2/m的梯度可能是背景边缘，并且将这些梯度设置为零。通过对从前景区域起向外的变更梯度进行积分而重建出了运动线。

在情况2(iii)中，背景边缘与前景模糊混在一起，并且被高度地衰减。在这种情况下我们仅可以合成背景纹理。

在情况3中，每个模糊像素具有来自背景的贡献。注意：这种情况不具有唯一解。因为背景衰减对所有像素而言都是非零的，我们可以获得导致相同模糊图像的X和X_g二者的多个解。具体地说，给定解X₁和X_g1，我们总是能够找到另一个解X₂，并且对背景进行修正，使得：

AX₁+A_gX_g1＝AX₂+A_gX_g2                    (7)

然后值X_g2由下式给出：

X_g2＝(A_g)^-1(A(X₁-X₂)+A_gX_g1)

注意：在n>k的其它情况下，由于完全没有看到背景，并且背景贡献矩阵A_g不可逆。

虽然我们侧重于物理值的线性或迭代估计，但也可以获得其它视觉上结果令人愉快的解。这些技术包括纹理合成、图像修复(inpainting)、结构传播、或者未遮挡背景或“远方背景(clean plate)”图像的捕捉。

简单运动推广

通过应用图像弯折(warping)，我们能够使我们的方法160与沿着与消失点交汇的线的立体运动同样地对围绕固定中心的平面旋转中的、投影为仿射变换的简单运动的更广泛的集合进行解码。虽然编码模糊的PSF最初是非线性的和位置相关的，但是可以对大多数线性运动进行弯折，从而产生具有与图像扫描线对齐的空间不变均一长度位移向量的图像。由于运动模糊跟随着该相同的位移向量场，弯折图像提供了现在适于解码的均一宽度编码模糊区域。为了产生最终结果，我们只是应用反弯折，以使解码图像返回到其原始的几何形式。在立体弯折的情况下，可以在对运动线的消失点进行估计之后应用纠正(rectification)。在纠正之后，所有的弯折运动线在相机图像空间内平行。

面内转动(例如旋转的风扇或摆动的钟摆)产生了形成围绕转动中心的同心圆的运动线。可通过在极坐标下去模糊来对此处理。

再合成

去模糊的结果对广范的应用是有益的。我们描述了再造(recreate)艺术性模糊的例子，并且在以下段落中描述其它应用。

运动散景

我们可从单个模糊图像中产生任意运动模糊。散景是日文术语，其通常用来描述图像中变化的、艺术地控制的聚焦或眩光效果。通过使用针孔或具有可变形状的孔径，摄影师可以使明亮的点状对象当这些点位于焦外时看起来像盘形、三角形、星形和其它形式。焦外区域的色彩和亮度有助于感知特定质量的光线和户外感觉。

我们通过使用艺术家选择的时块贡献而在时间模糊中产生散景。由箱形滤波而导致的平坦模糊产生了图像，该图像中丢失了大多数可见细节。卡通艺术家或汽车广告商通过生成小的条纹(streak)而不是通过利用箱形滤波器使整个图像形成拖影来表示运动。

我们可以通过不对沿着运动线的具有高梯度的像素进行解码而从去模糊像素产生该图像。我们使这种局部高梯度的图像形成拖影。注意：背景适当地“突出于(peak)”这些条纹。然后，我们将该拖影图像重叠在适度模糊的结果上，如图4E所示。

运动粘贴

如图5所示，我们可以将新对象叠加在恢复后的运动对象与由于运动引起而适当地混合了三个元素的背景之间。为此，我们将目标图像在时间上划分为具有k个独立时块图像的序列。对于每个时块，我们利用针对该时块而线性插值的位移来定位原始汽车和插入的汽车。这三层定义了遮挡关系。然后，我们使用所期望的PSF对所产生的k个图像进行混合。

应用

相机运动

通常使用基于陀螺的光学器件物理稳定来解决相机运动。还能够从相机摇动导致的模糊图像来恢复相机运动。在这种情况下，PSF比较复杂，并且可能需要单独的方法来对二维PSF进行估计。这可以经由嵌入到相机中的加速度计或陀螺仪或者利用辅助低分辨率高帧率相机来实现。因为我们假设平移不变，即所有的点共享相同的PSF，因此只需要对单个特征进行跟踪。例如，可以将点光源(例如发光二极管)放置在视场中。将光线的拖影用作我们的PSF。

局部遮挡移除

运动模糊将运动对象的色彩沿着其运动线广泛分散。如果运动对象被狭窄且静止的前景对象局部地遮挡，则我们仍然可以恢复运动对象的所有局部遮挡区域的色彩。诸如图像修复的技术“幻化(hallucinate)”了可能的像素值，但编码模糊能够使我们包围完全观察到的系统。

在一维PSF的情况下，如果模糊宽度的大小为w，并且局部遮光板的长度为d，则在所记录的n+k-1个像素中，只有n+k-1-d个像素可用来重建n个像素。如果模糊大小k大于遮光板长度d，则可以恢复所有的丢失的d个像素。图6B示出了从图6A中以一个杆作为遮光板的模糊图像恢复的汽车图像。

我们可以在离散频域中通过矩阵条件分析来分析编码后的曝光。然而，各种要素：码序列、码长度、模糊长度和解码之后对应的噪声它们之间的关系也可以为连续域。我们对二进制码进行优化，以便通过分析离散傅立叶变换来改善拖影矩阵A的特征值。我们相信，根据本发明实施方式的码可应用于其中在解码过程中将线性混合模型反转的其它领域。我们通过穷尽性的线性搜索而获得了我们的码。然而，也可以使用其它搜索技术。

通过编码后的曝光进行的解卷积展现了与单个通信信道的码分复用及解复用的相似性。如此处所述，CDMA领域和带有背景噪声的同步正交码或信道接收中的进展能够改进并拓展编码模糊摄影中的结果。编码和重建与断层扫描术及编码孔径成像具有几个相似性，并且利用这种关系可以在时间图像处理中产生进一步的益处。

效果

对摄像机和运动视频的扩展通过利用帧对帧的相关性而可以改善运动估计。两个或多个相机的重叠时块能够产生非常精细的时间分辨率。类似地，用于从多于一个对象的重叠运动中对模糊进行解码的方法能够产生另外的复杂的遮挡效果。

通过处理一般的三维运动，正如我们针对局部遮挡情况描述的一样，当存在运动模糊时，单个图像分片(patch)的不完全采样可以用于慢速运动的“动作回放”序列。

聚焦和深度也影响二维下的模糊大小。将编码后的聚焦与编码后的曝光组合起来可以产生基于图像中的最大局部方差的可解码深度图。

超声和声纳

应当注意：我们的调制、采样和解码技术还用于其它领域，例如超声和声纳感测。其中，感测信号由于装置限制或因为声纳装置的移动而被低通滤波。通过使用时间采样码，可以减少高频分量的衰减。

聚焦

我们的高频采样技术也可用于导致输入图像中的拖影的其它装置。例如，透镜的焦距不准导致散焦(defocus)模糊图像。通过将高频图案放置在透镜前面，可以对像素模糊进行编码，以便在稍后的解码过程中恢复聚焦的锐利图像。

PSF计算

编码后的曝光可以使PSF估计更容易实现。由于平坦模糊的原因，在单帧内进行运动估计相对困难。因为编码后的曝光保留了更多的高频分量，因此可应用帧间光流处理。已知用于根据图像序列和视频来分析运动的多种技术。编码曝光摄相机可以极大地改善光流、PSF估计和图像稳定的结果。通过利用连续帧内的相关性，还能够实现新的渲染效果。相关性可用来改进背景建模，从而在解码操作期间减少背景场景中的干扰。

相机

在一个实现中，我们使用了外部触发的快门。内部实施可以根据全局分布的时块信号在传感器的像素级开始和停止入射光的积分。

在这种情况下，R、G和B像素可以使用利用了Bayer网格(即色彩传感器交织)的不同二进制码，以获得更精细的时空分辨率。这些码可以保持恒定，或者码长度可以基于帧间运动而自适应地选择。这些码还可以用来控制频闪发光闪光灯。因此，此处描述的技术可用于其中对象高速运动的应用中。频闪预闪光灯对场景分析和减少红眼可能是有效的。极短的闪光持续时间通常用来定格场景运动，但编码闪光序列提供了更强大的控制运动感测的能力。

然而，周围光线的存在改变了具有编码闪光序列的运动的PSF。结果是两个PSF的线性组合：由环境光引起的平坦模糊，以及由频闪光引起的编码模糊。如果PSF是正交编码的，则变得能够分别恢复平坦模糊和编码模糊。类似地，多相机、多照明结构中的编码闪光与编码曝光的组合可用于恢复运动侧影、自身阴影效果(self-shadowing)及遮挡次序。

图1A、1B和1C中的相机上可装备有用于手动控制的“运动旋钮”170。与自动聚焦系统类似，相机也可具有“自动闪动”装置，其中相机电子器件可以自行确定最佳码序列长度和持续时间。对于图1C所示的本发明实施方式来说，旋钮170可用来手动控制闪光灯控制器142，以便设置编码闪光序列。超声传感器或辅助低分辨率相机可通过检测和测量对象运动来触发闪动。

分析

有益的是可以对根据本发明的实施方式的解卷积输出与常规方法进行比较。

噪声

我们的解码过程中的噪声主要是由高频分量放大引起的。保留编码后的PSF，但适度地衰减除了最低频率分量之外的所有频率分量。对于线性系统Ax＝b，假设噪声和方差σ²独立同分布，则x的协方差阵C_x由下式给出：

C_x＝σ²(A^TA)^-1                         (8)

对于52个时块的序列183，所得到的矩阵C_x接近于对角阵，并且对于范围从100到1000个像素的对象大小，最大对角项等于77。因此，噪声放大大约为18db。相比较而言，对于平坦模糊，C_x的最大值为1474.9，其噪声放大为41.6db。

我们的方法可以将图像去模糊到单个时块内的运动的程度。与利用单个时块(即T/m秒)的曝光捕捉到的图像进行比较。由于编码曝光的累积曝光时间大约为T/2，因此模糊区域中的SNR可能要好m/2那么多。然而，对于短暂曝光成像，关键性的优点是区域内没有运动模糊，因此其不需要去模糊。我们的系统可以记录具有减少的噪声的锐利图像。

分辨率

二进制码选择对系统性能具有较大影响。长码(即m较大)精细地对曝光时间进行细分，并且能够对大量模糊进行解码，但对少量模糊则效率很低。相反，短码具有每时块的更长持续时间，并且无法解决单个时块内的模糊。我们希望使比值k/m保持比每时块一个像素稍大，以实现对模糊的可能最好的采样。

发明效果

经由闪动曝光序列进行的去模糊具有多个优点。诸如在航天或断层成像术中使用的编码成像方法通常感测对人类观察者来说无意义的原始图像。幸运的是，在本发明的情况下，编码后的曝光图像即使未成功地解码也是有用的。与平坦模糊相比，图像在最坏的情况下以一半的强度模糊了一半。编码序列容易实现，因为与更复杂的连续不透明度控制相反，其需要二进制不透明度的交换。在数字相机中，可以利用快门或者在传感芯片自身上直接实现二进制切换处理。

本发明的实施方式提供了对相机的积分的时间码型的改变，从而能够实际上将图像去模糊。对于运动对象，在时域中所选择的闪动序列在空间域中保持了更高的频率。

尽管以优选实施方式为例描述了发明，但应当理解，可在本发明的精神和范围内做出各种其它变更和修正。因此，所附权利要求的目的是涵盖落入本发明的真实精神和范围内的所有这种变型和修正。

Claims (41)

1、一种用于减少由相机获取的场景的图像中的模糊的方法，该方法包括以下步骤：

在曝光时间期间根据时间编码码型对由相机图像传感器获取并积分的场景的光线进行时间调制，以生成编码后的输入图像；以及

根据所述编码码型的反转码型对所述编码后的输入图像进行解码，以产生模糊减少的解码后的输出图像。

2、根据权利要求1所述的方法，其中，所述模糊由相机运动引起。

3、根据权利要求1所述的方法，其中，所述模糊由对象运动引起。

4、根据权利要求1所述的方法，其中，所述模糊由相机运动和对象运动的组合引起。

5、根据权利要求1所述的方法，其中，所述调制是离散调制。

6、根据权利要求1所述的方法，其中，所述调制是连续调制。

7、根据权利要求1所述的方法，其中，所述调制是从包括以下调制的组中选择的，即这些调制为：幅度调制、频率调制、相位调制、脉宽调制、不透明度调制、偏振调制及它们的组合。

8、根据权利要求1所述的方法，其中，通过在所述曝光时间期间重复地打开和关闭相机快门而执行所述调制。

9、根据权利要求1所述的方法，其中，通过在所述曝光时间期间重复地改变相机快门的不透明度而执行所述调制。

10、根据权利要求1所述的方法，其中，通过在所述曝光时间期间由所述相机图像传感器重复地开始和停止积分而执行所述调制。

11、根据权利要求1所述的方法，其中，通过在所述曝光时间期间在保持相机快门打开的同时重复地打开和关闭用于对所述场景进行照明的闪光灯单元而执行所述调制。

12、根据权利要求1所述的方法，其中，通过在所述曝光时间期间重复地打开和关闭相机快门并且重复地打开和关闭闪光灯单元而执行所述调制。

13、根据权利要求1所述的方法，其中，所述相机图像传感器是固态传感器并且包括像素阵列。

14、根据权利要求1所述的方法，其中，所述相机图像传感器是单个光电传感器。

15、根据权利要求1所述的方法，其中，所述相机是被配置为生成输入图像序列和去模糊的输出图像序列的摄像机。

16、根据权利要求15所述的方法，其中，对所述序列内的不同图像应用不同的时间调制。

17、根据权利要求1所述的方法，其中，所述调制使得所得到的点扩散函数的傅立叶域内的覆盖范围最大化。

18、根据权利要求1所述的方法，其中，所述调制导致了所得到的点扩散函数的适定的可逆傅立叶变换。

19、根据权利要求1所述的方法，其中，通过在所述相机内操作的过程来执行所述解码。

20、根据权利要求17所述的方法，其中，所述点扩散函数是所述经调制的光和所述场景内的运动对象的空间运动二者的积分。

21、根据权利要求1所述的方法，其中，所述时间调制被选择为：使得保留所述场景内的运动对象的相对较高的空间频率，并且在所述解码期间恢复所述相对较高的空间频率。

22、根据权利要求1所述的方法，其中，根据相机快门的打开和关闭的伪随机序列进行所述调制。

23、根据权利要求1所述的方法，其中，通过解卷积过程执行所述解码。

24、根据权利要求1所述的方法，其中，通过使用了用于估计所述输出图像的最小二乘估计的线性代数过程来执行所述解码。

25、一种对包括运动对象的场景的图像进行去模糊的装置，该装置包括：

用于在曝光时间期间对由相机的传感器获取的包括运动对象的场景的光场进行时间调制以生成编码后的输入图像的装置，其中所述调制是根据所述光场的二进制开闭序列进行的；以及

用于对所述编码后的输入图像进行解码，以产生模糊减少的解码后的输出图像的装置。

26、根据权利要求25所述的装置，其中，所述用于调制的装置是所述相机的快门。

27、根据权利要求25所述的装置，其中，所述用于调制的装置是所述相机的不透明度滤波器。

28、根据权利要求25所述的装置，其中，所述用于调制的装置是所述相机的闪光灯单元。

29、根据权利要求25所述的装置，其中，在获取所述光场的同时所述用于调制的装置打开和关闭所述传感器。

30、根据权利要求25所述的装置，其中，所述用于调制的装置按以下方式对所述光场进行调制，该方式为使得所得到的点扩散函数在傅立叶域内具有最大覆盖范围。

31、根据权利要求25所述的装置，其中，所述输入图像是所述经调制的光场的时间积分与空间对象运动之间的卷积。

32、根据权利要求25所述的装置，其中，所述调制是连续调制。

33、根据权利要求25所述的装置，其中，所述调制是离散调制。

34、根据权利要求25所述的装置，其中，所述二进制开闭序列为：

1010000111000001010000110011110111010111001001100111。

35、根据权利要求25所述的装置，其中，将所述相机的运动恢复。

36、一种用于减少场景的图像中的模糊的方法，该方法包括以下步骤：

在曝光时间期间根据时间编码码型对由传感器获取并积分的场景的能量场进行时间调制，以生成编码后的输入图像；以及

根据所述编码码型的反转码型对所述编码后的输入图像进行解码，以产生模糊减少的解码后的输出图像。

37、根据权利要求36所述的方法，其中，所述能量场是电磁辐射。

38、根据权利要求36所述的方法，其中，所述能量场是声音辐射。

39、根据权利要求36所述的方法，其中，所述调制是连续调制。

40、根据权利要求36所述的方法，其中，所述调制是离散调制。

41、根据权利要求36所述的方法，其中，所述调制是从包括对所述场景与所述传感器之间的快门进行的以下调制的组中选择的，即对所述快门进行的这些调制为：幅度调制、频率调制、相位调制、脉宽调制、不透明度调制、偏振调制及它们的组合。

Images