CN103430058A - 包括相机的相机系统、相机、操作相机的方法以及用于对记录的图像去卷积的方法 - Google Patents

Abstract

一种系统和相机，其中所述相机在光路中包括漫射器(4)。所述系统或相机包括用来调制漫射器(4)在由所述透镜在图像的曝光期间在所述传感器上投影的图像上的漫射属性的装置(6)。逆点扩散函数被应用于所采集到的模糊图像(10)以便将所述模糊图像去卷积(24)为较清晰的图像。运动不变图像能够如此被实现。

Description

包括相机的相机系统、相机、操作相机的方法以及用于对记录的图像去卷积的方法

技术领域

本发明涉及一种包括具有透镜和图像传感器的相机的相机系统。

本发明还涉及一种具有透镜和图像传感器的相机。

本发明还涉及一种操作包括透镜和图像传感器的相机的方法。

本发明还涉及一种用于对通过包括透镜和图像传感器的相机所记录的图像数据进行去卷积的方法。

背景技术

诸如CMOS和CCD传感器这样的常规图像传感器对在曝光时间期间冲击它们的所有光进行整合。这提供了静态对象的清晰图像，但导致针对当快门打开时移动的对象的空间模糊。没有交点对准（即未被定位于焦平面中）的对象也是模糊的。所谓的运动模糊与曝光时间和对象速度成比例。当相机在低光水平条件下操作时，运动模糊是特别麻烦的。在这样的情况下，长曝光时间被期望获得足够高的信噪水平使得场景的暗区域能够被充分地成像。因此，许多相机遭受运动模糊与动态范围之间的经典权衡。曝光时间需要是长的以便捕获足够的光，但需要是小的以便减少运动模糊。在本发明的框架内，词相机包括用于拍摄相片的相机以及用于视频目的的相机。

用来减少未被定位于焦平面中的对象的模糊的相机和方法从Nagahara等人的文章“Flexible Depth of Field Photography”, H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008中得知。

在Nagahara等人的文章中，示出了用于拍摄相片的相机，其中传感器与固定焦点透镜之间的距离是变化的。传感器在曝光时间期间被扫过一定距离。扫描（sweeping）距离被布置来扫描一系列场景深度范围以便提高景深。在Nagahara等人的文章中公开的现有技术相机减少了失焦模糊。为了减少失焦模糊，传感器被沿着光轴扫描以便覆盖特定深度范围。这个构思也被称作“扫描焦点相机”。

焦点的扫描为合成图像作准备，所述合成图像实际上是在各种焦点深度处的许多图像的组合。表征由扫描通过各个焦点位置所引起的模糊的点扩展函数(PSF)能够被计算。点扩展函数实际上是对象的点将在传感器上形成的图像。对于完全焦点对准的对象，点扩展将为零，并且因此PSF将是狄拉克(Dirac)函数。这个函数的傅里叶变换对于所有频率来说将是恒定的。对于没有焦点对准的点，PSF是展开（spread-out）函数，对于当相机是固定的时的运动中的对象来说，PSF将由于运动而被展开在一定距离上。根据PSF，一个人能够计算逆点扩展函数(IPSF)。用逆点扩展函数对合成图像去卷积使清晰图像得以被获得并且增加的景深被获得。这归因于当传感器被扫描时针对在各个距离处的静态对象的PSF在很大程度上变得相同的事实。因此，用同一个IPSF对原始图像去卷积将提供在所有距离或至少增加范围的距离处的清晰图像，并且增加的景深针对静态对象被获得。

尽管失焦模糊及其减少可能是重要的，但是如上面所解释的主要问题针对移动对象而存在并且保持（即，运动模糊），尤其是对于较大的曝光时间来说。

运动模糊能够借助于视频处理而被反转。这个通过沿着运动轨迹的运动估计和逆滤波被实现。这个是例如从US 6930676得知的。然而，实际上，这样的程序的结果遭受不准确的运动矢量，特别是对于封闭区域而言。一个人必须知道运动轨迹并且根据它们推导出运动矢量以便能够进行逆滤波。在专业应用中使用的许多独立相机中，运动矢量可能根本不是可得到的。例如，用于监视或活动监控的许多相机的记录仅将输入提供给基于计算机视觉的分析程序(例如，可疑对象的自动检测、对老龄人的跌倒检测等)。在这些场景中，原始输入帧的质量是针对检测系统的性能的决定因数。足够准确的运动矢量在相机内可能不是动态可得到的，并且记录的视频的后处理不是实时监控系统中的选项。对于拍摄单个快照的相机来说，准确地确定运动矢量从根本上是不可能的。如果有可能的话，在封闭区域处运动的估计也是极其困难和不准确的。在低光条件下，问题由于缺少光而增加。除去运动模糊的另一方法是让相机跟随移动对象。然而，这同样具有大量的明显缺点。尽管移动对象不是模糊的，但是其它一切都是。此外，一个人必须知道对象的方向以及速度以便完成这样的事实。这个方法因此仅在其中能够做出移动的速度和方向的相当准确的确定的情形下是可能的，例如在一级方程式赛车或跳台滑雪情况下，其中运动的方向被提前相当准确地知道，以及速度的相对准确的估计可以被提前作出。

其次，大多数传统相机以可调节快门和光圈为特征，其在时间和空间维度上为通过透镜进来的光开窗。这些能够典型地被表征为箱式滤波器(即在有限间隔上具有恒定灵敏度)，其与在对应的时间域和空间频域中的辛克(sinc)调制相对应。结果是，一些高频率在采集期间被完全抑制，并且即使当完善的运动信息将是可得到的时也不能够在逆FIR滤波期间被恢复。实际上，逆滤波应该被极度小心地进行以便避免噪声的放大和伪影的引入。

在国际专利申请WO 2010/131142中，一种系统被描述，在所述系统中扫描焦点设定（set-up）被用来完成运动不变成像。这通过快速地扫描焦点而被实现，所述扫描焦点是通过移动传感器或透镜或改变透镜的焦点来实现的。

因为扫描焦点被使用，所采集到的图像遍及焦点扫描范围是清晰的，背景和前景是清晰的。对于人类眼睛而言，这样的全焦点对准图像常常看起来是不自然的。

简言之，用于减少图像中的运动模糊的各种已知方式具有它们的缺点。

发明内容

本发明的目标是以可替换的方式来减少运动模糊。

为此目的，根据本发明的系统和相机的特征在于相机在光路中包括漫射器(diffuser)，所述系统或相机包括用来调制所述漫射器在由透镜在图像的曝光期间投影在传感器上的图像上的漫射属性的装置。

根据本发明的操作相机的方法的特征在于相机在光路中包括漫射器，并且在图像采集期间所述漫射器的漫射属性被调制。

根据本发明的用于对图像数据去卷积的方法的特征在于相机在光路中包括漫射器，并且在图像采集期间所述漫射器的漫射属性被调制，以及逆点扩展函数被应用于所采集到的图像以便对所采集到的图像去卷积。

运动模糊由对象在与光轴垂直的方向上（例如在水平或垂直方向上）的移动引起。这个运动提供对象在曝光期间在传感器上的明显运动，其抹掉了记录图像中的移动对象的图像，这导致了运动模糊。调制漫射器通过引入附加的模糊看起来仅是反生产的（contraproductive）。然而，由于漫射器的调制而导致的图像的模糊能够通过对图像去卷积而被取消，所述去卷积是通过使用针对由于动态漫射器而导致的模糊核的适当的逆点扩展函数(IPSF)实现的，所述逆点扩展函数(IPSF)相当于用于由动态漫射器所引起的模糊的点扩展函数的逆。

本发明人已认识到，通过放置于光路中的调制漫射器对图像的模糊的引入能够实际上被用来有效地抵消运动模糊。由动态漫射器所引入的模糊核在实际程度上变得对于一系列对象速度来说是相同的。通过使用IPSF，这使运动不变成像成为可能，所述IPSF通过引入图像的动态模糊为一系列对象速度提供清晰图像。相机可以在图像采集期间具有固定焦点。

应当注意，动态漫射器能够被放置在光路中的任何地方、在透镜的前面、或者在透镜与传感器的传感器之间。将动态漫射器放置在透镜的前面使现有相机得以被转换成根据本发明的相机。将动态漫射器放置在相机与传感器之间具有所述动态漫射器的位置能够被准确地确定的优点。

动态漫射能够例如通过使用电调制的漫射器和漫射器驱动器来实现，所述漫射器驱动器负责根据来自系统控制器的控制信号改变漫射属性，其中系统控制器使漫射器的动态调制与相机快门同步。

替换地，具有静态属性的漫射器能够被使用，并且所述漫射器的位置能够通过当快门是打开的时将漫射器从靠近传感器的位置移动到更遥远的位置而在曝光时间期间被改变。在这个实施例中，漫射器的属性本身未被调制。然而，通过在曝光时间期间调制漫射器的位置，所述漫射器在图像上的漫射效应被调制，并且从而漫射器的效应变成动态的。

然而，优选地，经调制的漫射器具有固定的位置并且该漫射器的漫射属性被调制。相机的各部分的移动可能引起振动，所述振动可以引起不能够被通过去卷积而抵消的模糊并且还可能在适当的时候引起摩擦或松弛，全部潜在地具有负面的效应。

本发明还涉及用于记录图像的系统，所述系统包括相机，进一步包括用于对记录的图像去卷积的去卷积器，其中，所述相机在光路中包括动态漫射器，所述系统或相机此外包括用来在图像整合期间将漫射器的属性从透明调制到漫射的装置，并且其中，记录的图像被用逆点扩展函数去卷积。

附图说明

这些和其它目标以及有利方面从将使用以下图被描述的示范性实施例中将变得明显。

图1图示了本发明的相机系统的主要构件。

图2图示了用来对记录的图像进行滤波的算法、系统以及方法。

图3图示了本发明的方法中的各步骤。

图4图示了动态漫射器的效应。

图5A和5B用图表表示图示了漫射效应与施加到漫射器的电压之间的关系。

图6、7以及8分别图示了传感器整合区域、有效系统模糊核以及系统模糊核在对数坐标图上的空时表示。

图9至11图示了针对移动对象的系统模糊核。

图12和13图示了针对快速移动对象的系统模糊核，其中对象速度超过模糊速度。

图14A和14B图示了动态漫射器的两个实施例。

图15A和15B图示了用于动态漫射器的电极的两个实施例。

图未按比例绘制。一般地，相同的构件在图中通过相同的附图标记来表示。

具体实施方式

本发明是基于这样的见解，即：通过在曝光时间期间改变相机参数，记录的图像的特点能够被修改。这被利用来设计其运动糢糊在实际的速度范围内是几乎与对象的运动无关的相机，并且优选地设计其频率行为使记录的信号更好地适合于逆滤波的相机。这允许清晰图像从较长的曝光时间记录被生成而不需要运动估计。换句话说，依照本发明的相机甚至能够针对非常有挑战性的光学成像条件提供具有高SNR的清晰图像，所述条件即：对象在低光照水平下以各种未知的速度移动。为此目的，动态漫射器存在于光路中并且该漫射器的漫射属性在曝光时间期间被从透明的修改为漫射的，其优选地与曝光同步。这能够通过将漫射器放置在光路内的固定位置处并且在曝光期间动态地改变漫射器的漫射属性，或者通过使用具有固定漫射属性的漫射器并且在曝光期间移动该漫射器来完成。当然，为了增加漫射中的改变的范围，所述两个的任何组合也能够是可能的。

图1图示了本发明的各种实施例。

对象P通过透镜2被聚焦。经聚焦的图像在图1中通过这样的点来图示，在所述点处来自对象的光线交叉。在图1中，相机在光路中具有动态漫射器4，所述漫射器4在这个实施例中位于透镜2与传感器3之间。漫射器4的漫射动作在曝光时间期间被动态地调节。传统相机的构思因此被修改，在于经调制的漫射器4被定位于其光路，所述经调制的漫射器4在图像整合期间正改变其漫射属性(从透明的到漫射的)。这个构思在图1中被图示。系统包括传统相机系统的元件，并且此外包括经调制的漫射器，以及在这个例子中包括漫射器驱动器6，所述漫射器驱动器6负责根据控制信号改变漫射属性，所述控制信号由使漫射器的动作与相机快门同步的系统控制器5所提供。

离开漫射器4的光线束示意性地说明了动作中的漫射器，即离开漫射器的光的漫射束。在这个图中提供了其中位于固定位置的漫射器的动态漫射属性变化的设定。替换地，一个人能够使用具有固定属性的漫射器并且在曝光期间从靠近传感器的位置(在该位置处漫射器具有很小效果)到传感器来回移动漫射器。该漫射器将导致由于漫射器的漫射效应而被模糊的图像。代替清晰点，模糊点在传感器3上被成像。模糊点的形状还被称作模糊核。在图1中，对象被假定为静止的。

本发明人已经认识到，通过放置于光路中的经调制的漫射器引入对图像的模糊能够实际上被用来有效地抵消运动模糊。由动态漫射器所引入的模糊核在很大程度上变得对于一系列对象速度来说是相同的。由于漫射器的漫射动作而被以模糊方式在传感器上成像的点的PSF在很大程度上对于一系列对象速度来说是相同的。通过使用IPSF，这使运动不变成像成为可能，所述IPSF通过引入图像的动态模糊向一系列对象速度提供清晰图像。

图2图示了记录的模糊图像如何被去卷积以便提供清晰图像。图2图示了用于对记录的图像去卷积的方法和用于记录图像数据并且对记录的图像数据去卷积的系统。图像被包括透镜2和传感器3的相机记录。漫射器4被定位在透镜2与传感器中间。漫射器驱动器6在曝光期间调节漫射器4的漫射功能。传感器3的图像数据被阅读器读取。对应的图像10被示意性地示出为模糊图像。所记录的模糊图像10在去卷积器20中被去卷积以便产生经锐化的图像11。

所述系统包括去卷积器20以便对模糊图像10的图像数据去卷积。所述方法通过在所记录的图像上执行去卷积操作来对图像11的记录图像数据进行去卷积。为了便于理解，用于去卷积的算法和去卷积的方法以许多步骤被示出。第一步骤22将计算或者建立点扩展函数PSF。在简单的实施例中，用于由于漫射器的动作而导致的模糊的PSF函数被针对静态对象与任何其它参数无关地计算。因为如在下面所解释的那样，对于大范围的速度而言，PSF函数几乎与针对本发明的实施例的速度无关，所以用于静态对象的IPSF对于广范围的速度而言将是针对最佳PSF的良好的一阶近似（first order approximation）。在更先进的实施例中，对象的距离或对象的速度可以被用来微调PSF并且从而微调IPSF。对象的距离例如能够被相机记录。大多数相机具有允许确定对象距离的某种自动聚焦。如上面所解释的那样，人们已经发现，即使对象在扫描中间没有焦点对准，运动不变成像也是非常可能的。然而，尽管对静态对象使用单一平均PSF函数将给出良好结果，但是稍微改进的结果可以通过使PSF依赖于对象距离和可能地进一步的参数(诸如快门时间)来微调PSF而被获得。这将提供稍微不对称的且修剪的PSF。最终结果将是针对在离透镜特定距离处的移动对象的稍微更清晰的图像，其以在其它距离处的稍微不太清晰的图像为代价。

标准PSF可以被使用，在这种情况下没有必要做任何计算来获得PSF，或者，在其中PSF被微调的实施例中漫射器驱动器6的设置还可以是针对去卷积器20的输入。在图2中，这个通过框21而被示意性地指示，所述框21从漫射器驱动器6得到一些数据来微调PSF。尽管本发明允许使用针对广范围的对象速度的单一的PSF函数，但是其中能够针对特定速度微调PSF的一些二阶效应（second order effects）仍然是可能的。应用的可能领域将是超速相机，在这类实施例中，对对象的方向和速度的良好估计是预先知道的。

在步骤22中，用于特定模糊动作的PSF被计算或估计或者被设置(在例如存在大量可能的选择的条件下)。根据点扩展函数(步骤21)，逆点扩展函数IPSF被计算。模糊图像10在步骤24中被用IPS去卷积来提供锐化图像11。

图3示意性地图示了采集图像的步骤。在步骤31中，开始钮扣被按下。当然，短语“按下钮扣”仅仅是表示图像采集过程的开始的表达的象征（a figure of speaking）。例如，对于超速相机或监视相机，“按下钮扣”可能意味着记录过程在某个移动(或超过一定速度限制的移动)被诸如激光枪或红外线移动传感器这样的装置检测到之后被启动。在步骤32中，快门被打开并开始图像采集。当然，“快门”可以为物理快门或电子快门并且在图2中被用来表示使光得以到达传感器的任何过程（这相当于打开快门）或者使传感器免受光（即关闭快门）。

在图像采集期间，漫射器被扫描，即漫射效应被从几乎透明的改变为更加漫射的。

在步骤34处，快门被关闭并且图像采集被结束。模糊图像10在步骤35中被保存。在去卷积步骤中，IPSF(逆点扩展函数)被应用于这个图像。这将导致锐化图像11，所述图像11被保存。

以下图解释了本发明的构思。

为了简单起见，图像形成在下文中被认为是2D过程(时间和一个空间维度，在图中由x表示)。然而，在该文档中所讨论的构思延伸到两个横向空间维度(x, y)。

为了更好地理解运动不变成像的构思，首先概述常规相机的空时采样特性是有用的。在诸如照相机这样的常规光学成像系统中，相机被聚焦在感兴趣的对象，这相当于将传感器与透镜之间的位移固定在适当的距离处。当时空快门操作在空间和时间上是无限小的时(狄拉克δ(x, t)，即空间和时间上的奇异点)，完美的静态和运动清晰度然后能够被获得。在空间时间上，静态对象始终保持在其位置处并且因此在所有时间保持在固定位置处。曝光在时间上和在空间上是无限小的，所以它在空间和时间上是无限小的点。对于这个理想化的假想快门配置，传感器以相同的强度记录所有频率，从而对于不同的运动导致了相同的频率特性。对这样的信号的傅里叶变换对于所有值来说是1。对于狄拉克函数，所有频率被同等地采样并且在所有波数（wavenumbers）处的幅度是相等的。假如所有频率被同等地采样，则在所有可能的速度下所有波数处的幅度是相等的，即PSF函数是恒定的。所述PSF函数因此也是相等的。相等的PSF函数意味着在对象的所有速度下图像是同等清晰的并且能够通过对图像去卷积而被重建。因此理想的狄拉克快门将在所有速度下提供清晰图像。然而，完美的狄拉克快门不能够被构建并且其实际近似收集不足以创建正确图像的光。该图像对于图像中的对象的所有速度来说可能是清晰的，但没有足够的光被捕获到以使对象可见，这至少可以说是非常不切实际的。实际上，快门时间(和光圈)被调节到本地光条件，并且需要较长的曝光时间来在暗环境中收集足够的光以便维持足够的信噪比。解决问题的一个方式将是开发对光更敏感的传感器，从而使曝光时间得以变得越来越短，由此接近狄拉克函数。然而，实际上对传感器的灵敏度带来了限制并且快门必须被保持打开达足以收集光线的时间段。而且相机的价格通常因较快的传感器而急剧地增加。

大多数传统相机以在时间(即在曝光时间期间)和空间维度上为通过透镜进来的光开窗的可调节快门和光圈为特征。这些典型地能够被实时地并且在空间维度上表征为箱式滤波器(即在有限间隔上具有恒定灵敏度)，其与对应的时间和空间频域中的辛克（sinc）调制相对应。结果是，一些高频率在采集期间被完全抑制，并且即使当完善的运动信息将是可得到的时也不能够在逆FIR滤波期间被恢复。实际快门具有有限的扩展，因此箱在x方向上具有宽度。快门在快门时间t期间是打开的。

在时域和空间频域中，一些高频率被抑制。一些细节因此被丢失并且一些伪影被创建。此外，因为对于实际快门来说PSF函数对于不同的速度是不同的，所以一个人不能够使用单一的IPSF用于对记录的图像去卷积。实际上并且理论上，这意味着针对广范围的速度不可能通过某种逆滤波去卷积。简单地说，运动不变成像是不可能的。

对于全局运动，运动模糊能够通过用相机追踪运动而被防止。替换地，这个能够通过在曝光时间期间沿着横向轨迹(与光轴垂直)以所期望的速度相对于主透镜移动传感器来实现。然而，仅以目标速度移动的对象在记录的图像中将是清晰的，而所有其它场景区域仍然是模糊的或者变得甚至比在什么都没做的情况下更模糊。

现有技术文档或技术都不允许有效的运动模糊降低，除非运动或运动的方向预先是知道的，或者相机被移动或者运动矢量能够被建立，情况并非常常如此。

应当注意，在国际专利申请WO 2010/131142中一种系统被描述，在所述系统中扫描焦点设定被用来实现运动不变成像。这个通过快速地扫描焦点来实现，所述快速扫描焦点通过移动传感器或透镜或者改变透镜的焦点而实现。

因为扫描焦点被使用，所采集到的图像遍及焦点扫描范围是清晰的，背景和前景是清晰的。对于人眼而言，这样的全部焦点对准的图像常常看起来不自然。而且，相机的聚焦特性在采集期间必须被改变。

本发明通过在光路中引入动态漫射器来采用不同的路径。

图4图示了漫射器6的功能。

漫射器4以圆盘方式(即被投影在屏幕上，它将给出特定半径R_模糊的明亮圆盘)分发光线，使得外来（out-coming）的光线的角度中的变化取决于从漫射器驱动器6所施加的驱动信号E。图5A示意性地示出了作为驱动信号E的函数的光圆盘的角度。驱动器信号E越大，角度α越大并且因此光圆盘在传感器上的模糊半径R_模糊越大。驱动器信号从0到E_max并且因此角度从0或更精确地从非常小的圆盘到与最大漫射角度α (E_max)相对应的圆盘。驱动器信号E(t)被与曝光同步，以便在曝光时间期间漫射圆盘的范围从大的到几乎零并且然后再次到大。

模糊半径（其是在传感器上的模糊斑的半径）是漫射器与传感器之间的距离s的函数（该距离可以是时间相关的，因此s=s(t)），并且是角度α的函数，在公式中

R_{模糊，漫射器}(t)= s(t)xsin(α(E(t)))。

如果距离s和/或驱动器信号E改变，则模拟半径因此作为时间的函数而改变。这个改变被称作模糊速度，其能够通过

V_{模糊，漫射器}=d R_{模糊，漫射器}/dt= d(s(t)xsin(α(E(t))))/dt

来计算。

对于恒定距离s和小的α值以及α与E之间的线性关系(因此dα/dE=常量)，上述公式变成V_{模糊，漫射器} =C*dE/dt，其中C=s*常量并且其中C能够被计算或者用实验方法确定。

图6图示了作为水平轴上的时间t的函数的、光线在图像平面IP上的对应圆盘(即击中传感器的圆盘)的形状。

该圆盘从起始位置t=t₀(其中E=E_max并且因此是大模糊圆盘)到几乎一点(在曝光期间中途)，并且然后在t=t_end再次增加到大圆盘。在靠近图像平面相遇的两个锥体的点被较暗示出以便图示当模糊圆盘是小的时强度是高的，因为所有光被集中于小区域。

针对曝光的总模糊核由在曝光时间期间冲击传感器的所有光的总和给出。这主要将被集中在锥体和图像平面在其处相交的点附近。图7中由传感器所捕获的图像是与分布角度的不同值相对应的被不同地模糊的图像的叠加。整合模糊效应能够被建模为与在图6、7以及8上图示的整合模糊核的卷积，其中图6示出了传感器整合区域的时空表示，图7图示了有效的系统模糊核，以及图8在对数坐标图上图示了系统模糊核。如果一个人知道模糊核，则模糊图像能够被去卷积以便提供清晰图像，其通过用与整合模糊核对应的IPSF去卷积来实现。如果所使用的IPSF接近于用于真实情形的IPSF，则一个人将获得良好结果，即几乎清晰的图像。在图像采集期间，没有必要改变相机的聚焦属性。

图6至8中所示出的模糊核是针对静止对象的模糊核。当对象在曝光期间在图像平面中移动时，模糊核改变。图9、10以及11示出了移动对象的结果。锥体现在位于斜线上。这个线的斜率与对象速度（即对象以其在图像平面中移动的速度）有关。传感器上的这个对象速度是对象在对象平面中的速度以及对象距离与透镜和传感器之间的距离之间的比率的函数。

V_对象=dx/dt*(对象到透镜的距离/透镜传感器距离)

其中如果对象正在x方向上在图像平面中移动的话，dx/dt是图像平面中的对象速度。

如果对象正在y方向上移动，则dx/dt被用dy/dt代替，并且如果对象正在两个方向上移动，则对象速度是在x方向上的速度和在y方向上的速度的平方和的平方根，如众所周知的那样。

对象离透镜越远，传感器上的对象速度越低，对象越接近于透镜，传感器上的对象速度越高。本发明人已经发现，如果投影在传感器上的对象速度低于模糊速度V_{模糊，漫射器}的80%，则系统模糊核实际上是运动不变的。实际上，这意味着，对于如图11中所示出的移动对象的模糊核来说，一个人能够使用如图8中所示出的针对静止对象的模糊核（即，不会移动的模糊核），而不在经去卷积的图像中引入可感知的运动模糊。因为图8和11的模糊核是几乎相同的，所以对应的PSF函数是几乎相同的，并且使用单一IPSF函数对记录的图像去卷积是可能的，而且针对在低于模糊速度（优选地低于模糊速度的80%）的、传感器上的对象速度下的所有对象使清晰图像得以获得。在图11中这被沿着X轴的虚线示意性地指示，所述虚线指示了对象的图像的中心在曝光期间在传感器上行进的距离。该距离与图8的模糊核的范围相当。

除运动模糊之外，可以存在其它模糊源，因此在实践中模糊速度的100%的稍微较高的值常常是可接受的。

围绕其中投影在传感器上的对象速度等于模糊速度的情形，一个人能够观察到向类辛克核的逐渐转变，所述类辛克核是针对传统相机的特性。参见例如图12和图13，所述图12和图13图示了其中传感器上的对象速度比模糊速度更大的情形。对象的图像的斑点的中心行进的距离超过图8的模糊核的范围。

在这样的情形中，使用针对静止对象的模糊核来对快速移动对象去卷积将不会导致良好结果，因为所对应的IPSF函数大大地不同。

在2米的对象-透镜距离处的典型速度是5 km/小时，在10至20米的对象-透镜距离处的典型速度是50 km/小时。

在本发明的优选实施例中，漫射器驱动器6具有提供关于对象速度和/或到透镜的对象距离的信息的输入端。例子是超速相机，其取决于它被使用在的街道可以被35 km/小时的速度或130 km/小时的速度触发，并且可能具有到速度将在其处被测量的位置的变化距离。在这样的情况下，针对漫射器驱动器具有不同的设置可能是有用的。同样地，相机可以具有针对不同速度的设置。

应该注意，在本发明的框架内，“运动不变成像”将不被如此严格地解释为意指对于任何速度来说在任何细节水平下将不存在成像差异；本发明的目标是在实际极限内减少运动变化，即运动模糊；完美的解决方案是理想的，而不是现实的。

本发明人已认识到，如果模糊速度大于对象速度，优选地多于传感器上对象速度的125%，则针对最大对象速度在传感器上捕获的对象的PSF函数是基本上与针对静态对象的PSF函数相同的，并且因此运动不变成像是可能的。

应该指出，尽管上面描述的方法和设备能够盲目地运作而不必知道关于场景中并且因此在传感器上的正发生的对象速度的一切，但是如果一个人具有关于那些的信息，则增加的重建精度能够被实现(即更清晰的/较好的最终图像)。这能够被静态地完成(例如一个人知道哪些典型的速度发生，例如在其中一个人知道在其上要被分析的对象从旁边走过的传送带的速度，或者一个人猜测最佳设置是什么并且应用这样的设置的机器视觉应用中)，或者被动态地完成，其中系统(例如迭代地)测量场景中对象的速度和/或到透镜的距离并且最佳地调节漫射器驱动器的参数。

因此，在这样的优选实施例中，系统包括用来例如手动地设置漫射器驱动器的参数的装置和/或用来确立要被记录的对象的速度和到相机的距离的装置，并且其中，用于调节漫射器驱动器的装置被布置成从用来确立要被记录的对象的速度和/或距离的装置中获得信号。

在实施例中，所述漫射器是驱动信号被发送到其以便改变漫射器的漫射属性的动态漫射器。

图14A和14B示出了具有所需要的属性的实施例。在它们两者中，漫射器包括被包封在例如由透明ITO制成的两个透明电极123和124之间的液晶(LC)层125。这个装置被定位于两个透明玻璃或塑料基板121、122之间。LC是双折射的。因此LC分子的局部未对齐创建衍射效应。在缺少电场时，LC根据电极的表面被以相同方式对齐。这使得漫射器完全透明。电压可以被施加在电极之间。为此目的，电极被连接到用于在电极之间施加电压的装置。当电压被施加时，电极123、124创建具有随机/不规则局部对齐的电场。LC在该局部电场的方向上旋转。因为LC被随机地/不规则地对齐，所以局部折射效应在宏观尺度上被认为是漫射效应。在图14A和14B上示出的两个实施例不同于非均匀电场的实施方案。在图14A中，我们提出使用两个平面的ITO电极和平面电场调制层126，所述平面电场调制层126具有均匀的折射指数和非均匀的介电透明指数。这个层能够通过组合具有相同折射指数和不同介电属性的两种材料(例如，将一种封装到另一种中)而被制成。如果电压被施加到平面电极，则调制层负责非均匀电场的创建。第二实施例在图14B中被图示。在这个实施例中，至少一个平面电极122、124被用栅极127代替，所述栅极127例如能够被印在玻璃或塑料基板上。栅格尺寸应该与LC材料的厚度相当以便创建电场的充分非均匀性。栅格应该是充分规则的以便在宏观尺度上提供均匀的模糊效应。平面栅极的两个例子在图15A和15B中被图示。

将清楚的是，本发明的示范性实施例借助于例子被给出并且不将本发明限制于所给出的例子。

例如，通常图像被以可见光拍摄。然而，在本发明的框架内，图像还可以被以红外线拍摄。

去卷积器20可以构成相机的一部分，或者去卷积器是个人计算机的一部分或者位于互联网上的站点上，一个人能够将图像10发送到所述站点用于去卷积。在后者的实施例中，一个人能够发送包括（例如作为元数据）要被用在去卷积步骤23的参数（即装置6的设置）的图像数据。这样的设定的例子将是超速相机的栅格，其能够针对各种速度限制被设置，所述各种速度限制取决于局部速度限制和/或局部情况，诸如交通量、天气条件例如雾、或诸如道路维修这样的活动。每个超速相机可以具有其自己的设置，其取决于相机的类型或制造并且可能对于环境(即当时当地可适用的速度极限)而言甚至是可调节。相机将它们的图像数据发送到中心部门，并且连同图像数据一起发送当地当时可适用的速度极限和/或装置6的设置。在地区的或国家的或甚至超越国界的处理位置(其可以为互联网站点)处，具有元数据的图像数据被接收，清晰图像被制成，并且这些被添加到超速罚单。

本发明可以被用来拍摄相片或者用于视频、用于2D图像或者用于拍摄3D图像。单个漫射器或串联的两个漫射器能够被使用。漫射器的位置可以在透镜与传感器中间，或者在光路中的任何其它地方。漫射器可以被集成在透镜系统中。

因为核实际上是因或多或少的漫射图像的和而产生的，所以一个人还能够使用时间复用，其中漫射器在曝光时间期间被在透明状态与漫射状态之间进行复用，其中两个状态之间的比率是时间的函数，所述复用与曝光同步，范围从在t=t₀处的高度漫射到在曝光中间的完全透明到在t=t_结束的高度漫射。漫射器的动态行为可以略微在快门被打开之前被启动并且略微在快门的关闭之后继续。这将去除任何启动不规则行为。

在例子中，模糊速度被看作是恒定的。在实施例中，模糊速度可能是非线性的以便更多地强调曝光的中间部分或曝光的结束。

如所解释的那样，在实施例中设置模糊动作的参数是可能的。在实施例中，相机能够允许各种手动设置，其依赖于假定对象移动有多快或它被测量到有多快，其中在曝光期间漫射器的位置是静态的，但在曝光之前漫射器被移动到一定位置。如上面所解释的那样，漫射动作依赖于漫射器与传感器之间的距离s，因此，使用角度α与信号E之间的同一个关系，一个人能够通过将漫射器移动更靠近传感器或者进一步远离传感器而扩张模糊半径在曝光期间的最大范围以便扩展运动不变的范围。然而，在曝光期间，漫射器不会移动，因此在曝光期间不存在移动，所需要的唯一事情是漫射器在曝光之前被移动。

简单地说，本发明能够通过以下内容被描述：

一种系统和相机，其中所述相机在光路中包括漫射器(4)。所述系统和相机包括用来调制漫射器(4)在由透镜在图像的曝光期间投影在传感器上的图像上的漫射属性的装置(6)。逆点扩展函数被应用于所捕获的模糊图像(10)以便将模糊图像去卷积(24)为较清晰的图像。运动不变图像能够如此被实现。

去卷积能够在相机或相机系统内部被执行。

Claims (13)

1. 一种包括相机的相机系统，所述相机具有透镜(2)和图像传感器(3)，其中，所述相机在光路中包括漫射器(4)，所述系统包括用来调制所述漫射器(4)在由所述透镜于图像在所述传感器上的曝光期间在所述传感器上投影的图像上的漫射属性的装置。

2. 如权利要求1中所要求保护的相机系统，其中，所述系统包括漫射器驱动器(6)以用于动态地改变所述漫射器(4)的所述漫射属性。

3. 如权利要求1或2中所要求保护的相机系统，其中，所述漫射器驱动器被布置成用于在所述曝光期间驱动所述漫射器逐渐地从漫射状态到稍少的漫射状态到透明状态到稍少的漫射状态到漫射状态。

4. 如前述权利要求的任一项中所要求保护的相机系统，其中，所述系统具有用于调节所述漫射器驱动器的装置。

5. 如权利要求4中所要求保护的相机系统，其中，用于调节的所述装置被布置成手动地设置所述漫射器驱动器(6)的参数。

6. 如权利要求4中所要求保护的相机系统，其中，所述系统包括用来确立要被记录的对象的速度和/或到所述相机的距离的装置，并且其中用于调节所述漫射器驱动器的所述装置被布置成从用来确立要被记录的对象的所述速度和/或距离的所述装置中获得信号。

7. 如前述权利要求的任一项中所要求保护的相机系统，进一步包括用于对记录的图像去卷积的去卷积器(20)，其中，所述记录的图像(10)被用逆点扩展函数(IPSF)去卷积。

8. 如前述权利要求的任一项中所要求保护的相机系统，其中，所述动态漫射器被定位在所述透镜的前面。

9. 如权利要求1至7的任一项中所要求保护的相机系统，其中，所述动态漫射器(4)被定位在所述透镜(2)与所述传感器(3)之间。

10. 一种相机，其用于如前述权利要求的任一项中所要求保护的相机系统。

11. 一种操作相机的方法，其中所述相机包括透镜(2)和图像传感器(3)，其中所述相机在光路中包括漫射器(4)，其中在所述图像采集(32)期间所述漫射器的漫射属性被调制(33)。

12. 如权利要求1中所要求保护的方法，其中，所述漫射属性依赖于与记录对象的速度和/或到所述透镜的距离相对应的信号而被调制。

13. 一种用于对由相机所记录的图像数据去卷积的方法，所述相机包括透镜和图像传感器并且在所述光路中包括漫射器(4)，其中，在所述图像采集(32)期间所述漫射器的漫射属性被调制(33)，并且逆点扩展函数(IPSF)被应用(36)于所采集到的图像(10)以便对所述采集到的图像去卷积。

Images