CN103477644A

CN103477644A - 记录图像和从图像获得3d信息的方法、相机系统

Info

Publication number: CN103477644A
Application number: CN2012800074803A
Authority: CN
Inventors: D.N.滋纳门斯基; H.A.W.嗣梅茨
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2011-02-04
Filing date: 2012-01-27
Publication date: 2013-12-25
Anticipated expiration: 2032-01-27
Also published as: EP2671383B1; CN103477644B; US20170257616A1; US9888225B2; JP6023087B2; EP2671383A1; US20130307933A1; US10469825B2; JP2014511590A; WO2012104759A1

Abstract

拍摄两个或更多图像，其中，在图像拍摄期间执行焦点扫描。在焦点扫描期间调制曝光强度并且针对这些图像进行不同地调制。该调制提供图像中深度信息的水印。在扫描期间曝光方面的差异在这些图像中对深度信息进行不同地水印标记。通过比较这些图像，可以5计算这些图像的深度图。一种相机系统具有透镜和传感器以及用于执行焦点扫描的装置和用于在焦点扫描期间调制曝光强度的装置。调制曝光强度可以通过调制光源或焦点扫描或者调制光路中透明介质的透明度来进行。

Description

记录图像和从图像获得3D信息的方法、相机系统

技术领域

本发明涉及用于记录图像的方法和用于从图像获得3D信息的方法。本发明还涉及相机系统。

背景技术

现代成像技术的热点话题之一是3D成像。

获得3D图像的最直截了当的方式是借助于从不同的视点拍摄两个或更多个图像并且根据这两个或更多个图像构造3D图像。这样的技术基本上模仿人类视觉系统。

这样的技术的缺点在于，需要两个相机并且需要知道这两个相机之间的距离、它们的焦距（focal length）和透镜失真，并且将所拍摄的图像组合以产生3D信息。

需要允许使用单个相机或至少单个透镜获得3D信息的成像技术。

仅使用单个相机或用静态图案投影仪辅助的相机的若干种方法是已知的。这些方法可以被分为三组：基于三角测量的、基于散焦的和飞行时间类。

在基于三角测量的方法中，根据投影图案与获取的图案（即投影图案关于图像中物体给出的图像）之间的局部视差来估计深度。这样的图案的失真提供了对距离的估计。缺点在于图案要被投影并且充其量进行提供某种间接估计，该间接估计提供概率性估计，这样的估计也不是真实估计。

在焦深方法中，相机聚焦在一定距离处，并且可通过局部计算由到物体的实际距离与完美聚焦距离间的偏差造成的散焦量来估计深度图。同样是提供概率性估计，并且原则上结果存在二重性（duality），因为没有任何确定的方式来区分深度外（out-of-depth）聚焦是由于物体在聚焦平面之前还是由于物体比聚焦平面更远造成的。

与此形成对照的是，飞行时间方法的确提供了对到相机的距离的现实性估计。在“飞行时间”方法中，用5-50ns光脉冲照射物体。特殊的相机传感器然后测量发射脉冲与反射脉冲之间的延迟，该延迟随着到物体的距离而增长。在Ringbeck等人的文献“A 3-D time of flight camera for object detection”中描述了这样的相机系统的示例（Optical 3D measurement techniques 09-12.07.2007 ETH, plenary session 1: Range Imaging 1）。然而，该方法需要精密技术并且不适用所有距离，范围典型地为数米至60米，小距离难以测量。

发明内容

因此，需要用于记录图像并获得3D信息的替代方法。

为此，本发明的方法特征在于，拍摄第一和第二图像数据，其中在图像拍摄期间在聚焦范围上进行焦点扫描，由此在焦点扫描期间针对第一和第二图像不同地调制曝光强度。

曝光是每次拍摄捕获的光量。在焦点扫描期间调制曝光强度的结果是，由于最佳聚焦位置对应于空间高频的最大集中度（concentration），因而利用实际的物体-相机距离调制空间高频率。因此，在获取的图像的高频中对深度信息进行水印标记。通过不同地调制，在两个图像中深度信息被不同地水印标记。通过比较高频信息，深度信息是可获得的，并且可以计算3D深度图。

对于这些图像之一，曝光可以是不调制的。于是，调制方面的差异将在于，图像之一具有调制的曝光，而另一个没有。

然而，优选地，两个图像中的曝光以这样的方式被调制:一个图像中的调制相对于另一个图像中的调制是相反的。例如，在一个图像中，调制是从近焦点到远焦点行进的从高到低曝光，而在另一个图像中，情况正相反。

这允许获得精确的3D信息。

在实施例中，用于两个图像的曝光的总和是一个常数。

曝光强度的调制可以以各种不同的方式执行：

可以通过调制光源的强度来调制从场景中捕获的光。

可以通过在透镜前面或在相机的传感器前面的时间调制调光器来调制所捕获的光。

可以同时以及连续地拍摄第一和第二图像。

可以拍摄超过两个图像。这可能在那些其中存在的光相对较少且降噪是重要方面的情形中引起关注。

用于提供图像的方法提供了原始数据，即从其中可以计算3D信息的两个图像。

本发明还体现在一种从通过上述记录图像类方法中的任意一个拍摄的图像获得3D信息的方法，通过比较第一和第二图像中的高频信息以及根据这样的比较计算深度信息。

这两种方法（用于提供图像的方法和用于获得3D图像信息的方法）可以被集成为单个方法，但是用于获得图像信息的方法本身也提供本发明某方面的实施例。

提供从中获得3D图像信息的数据。提供以现有技术未知的方式获得的一组图像。

准备阶段（即第一和第二图像的拍摄）可以例如由相机在一个位置处拍摄、存储在相机内部的存储介质上。图像数据稍后被转移到中央处理单元，其分析数据并获得3D信息。图像数据也可以（例如经由互联网无线地）被直接转移到可与位于另一个国家的站点关联的中央处理单元，在该中央处理单元中获得3D信息。所以，两种方法（用于提供图像的方法和用于从所拍摄的图像获得3D信息的方法）均是本发明的方面。

本发明还体现在一种相机系统中，其中该相机系统包括透镜和传感器以及用于执行焦点扫描的装置，其中该相机系统包括用于在焦点扫描期间调制曝光强度的装置。

本发明的这些和其他方面将通过示例并参照附图进行更详细地解释，在附图中：

附图说明

图1图示了经由改变传感器与透镜之间的距离的扫描聚焦。

图2图示了经由改变透镜L的焦距的扫描聚焦。

图3图示了当传感器平面扫过图像平面时的模糊核，其中图像平面位于扫描范围的中部。

图4图示了用于图3的有效的系统模糊核。

图5图示了当传感器平面扫过图像平面时的模糊核，其中图像平面位于靠近扫描范围的一端。

图6图示了图5的有效的系统模糊核。

图7图示了获取具有不同调制的曝光强度的两个图像。

图8图示了根据本发明的相机系统。

图9图示了获取具有不同调制的曝光强度的两个图像。

图10图示了根据本发明的相机系统的另一个示例。

图11和12图示了根据本发明的相机系统的其他示例。

图13A和13B图示了在空间频率上用于分别在焦点扫描期间提高和降低曝光强度的振幅的频率分布。

图14A图示了作为空间频率的函数的振幅的比率。

图14B图示了作为焦点扫描的位置的函数的振幅的比率。

图15示意性图示了根据在焦点扫描期间针对具有不同调制的曝光强度的两个图像取得的图像数据计算距离。

具体实施方式

将关于特定实施例并参照某些附图描述本发明，但是本发明不限于此，而是仅仅由权利要求限定。所描述的附图仅是示意性的且是非限制性的。在附图中，为了说明的目的，一些元件的尺寸可能被夸大且未按比例绘制。当术语“包括”在本说明书和权利要求书中使用时，不排除其他元件或步骤。当指代单数名词而使用不定冠词或定冠词（例如“一”、“该”），包括多个该名词的情况，除非另外有特别陈述。

权利要求中使用的术语“包括”不应当被解释为被限于其后所列的装置；它不排除其他元件或步骤。因此，表述“包括装置A和B的设备”的范围不应当被限于仅由组件A和B构成的设备。它意味着，相对于本发明，设备的仅有的相关组件是A和B。

而且，说明书和权利要求书中的第一、第二、第三等术语用于区分相似的元件并且不一定用于描述相继的或时间先后的顺序。应当理解，如此使用的术语在适当的情形下是可互换的并且本文描述的本发明的实施例能够以不同于本文描述或图示的其他顺序操作。

本发明提供了新颖的构思：图像计算范围是根据扫描聚焦相机的两次拍摄。扫描聚焦相机是一种在图像获取期间改变聚焦距离的相机。这可以通过沿着光轴平移传感器或透镜（如图1所示针对传感器的平移）或通过改变透镜焦点数目（如图2所示）来进行。

图1图示了通过改变传感器S与透镜L之间的距离的扫描聚焦。传感器从图像平面前面的位置移动到图像平面后面的位置，从而扫过图像平面IP。当然，取代如图1所示的移动传感器，也可以移动透镜L。

图2图示了经由改变透镜L的焦距的扫描聚焦，传感器平面SP停留在一个位置处，但是通过改变透镜L的焦距，图像平面从传感器平面的前面的位置移动到后面的位置。IP代表图像平面。SP代表物体的位置。请注意，焦点扫描也对应于聚焦在透镜前面的位置的物体的位置中的扫描，并且这二者之间存在一对一的关系。

在传统成像中，传感器的位置被固定，使得只有在某个标称距离处的物体在传感器上清晰地显现。在其他距离处的物体将在传感器上出现散焦，其中散焦模糊的量与传感器和标称图像平面之间的距离成比例。

在“扫描聚焦”相机中，传感器平面在曝光期间扫过图像平面范围（图1），或者可替代地图像平面扫过围绕传感器平面的位置范围（图2）。

与传统相机形成对照，不存在到相机的单个距离，在该距离处物体清晰地在传感器上显现焦点对准。所捕获的图像反而总是模糊不清。

在两种实施方式中，传感器扫过图像平面，其中物体完美地焦点对准。因此，物体保持焦点对准仅一个时刻，而对于剩余的获取时间它或多或少地散焦。散焦的量与传感器和图像平面之间的距离直接成正比。时刻模糊可以被表示为清晰图像与具有透镜孔径形状的统一内核的卷积，所述透镜孔径在大多数情况下具有接近盘几何形状的几何形状。当传感器扫过图像平面时，模糊内核在空间上按比例缩放（scale）。内核的半径在传感器平面和图像平面重合的位置处首先减小到（几乎）零，然后再次增大。在下文中，考虑线性聚焦扫描，其中模糊内核K的半径R随时间t线性变化，并且其中开始和结束的模糊半径相等。这在图3中被图示。通过观看图3，可以发现模糊图具有指向图像平面的两个椎体的形状。如前所述，时间扫描对应于通过透镜前面的位置（即通贯焦点扫描范围）的扫描，因此，垂直轴作为t（时间）以及d（焦点扫描范围内的位置）而被给出。系统在传感器上产生的总模糊是具有线性增大半径的盘内核上的时间积分。该系统内核的图示在图4中给出，图4示出有效的系统模糊内核。可以看到，系统内核的形状介于对应于锐聚图像的Dirac delta与传统相机的平盘散焦内核之间。垂直轴是模糊内核的强度，x和y轴以任意单位表示模糊内核在x和y方向上的范围。

作为一个示例，下面的设置可被描述：

考虑具有运动传感器的系统，其中透镜具有焦距f=12mm和F-数F=1.4，这给出了a=f/(2*F)=12/(1.4*2)近似为4.3mm孔半径。假设扫描聚焦范围为距透镜250-750mm。

由于在距透镜距离x处的物体被锐聚在透镜后面的距离y=fx(x-f)处，所以我们计算出扫描聚焦范围对应于传感器-透镜距离的范围12.6-12.2mm。对于10ms曝光时间，扫描速度应当为(12.6-12.2)/0.01=40mm/s。对于位于扫描距离中部（即在透镜后面12.4mm处）的物体图像，最大模糊半径（对于在扫描间隔开始处的聚焦）将是(12.4-12.2)*a/12.2=0.0705mm或具有6μm像素的传感器上11.7个像素并且是对于一半尺寸像素的两倍。当然，对于更大的扫描范围，内核尺寸将改变。

对于传统相机，散焦量随着到图像平面的距离线性地增加。在到相机的一个特定距离处的物体将被清晰成像，但是当物体更远离或更靠近相机时，模糊增加。下面，我们将展示在扫描聚焦相机设计中模糊量对物体-相机距离的变化极其不敏感，或者换言之模糊对于任何物体而言（无论其到透镜的距离如何）或多或少是相同的。

考虑这样的情况：当到物体的距离不同于标称值但它仍然被扫描范围所覆盖（即，相机在扫描期间穿越物体图像平面，即便没有精确地在一半处，但是图像平面在焦点扫描的一端附近）。这将导致当传感器穿过实际图像平面时刻的时间偏移。因此，围绕实际的图像平面的双椎模糊示图的形状将保持不变，但是开始和结束模糊半径将是不同的，参见图5。图6类似于上面示出系统内核的图5。

如图4和6中图示的系统内核是由点源提供的模糊图像，从而函数也被称为点分布函数，即点如何在复合图像上分布（spread out）。

我们看到，不管每个物体到相机的距离如何，只要该物体的位置位于与焦点扫描对应的范围内，其将在某个时刻显现为锐聚，并且大约在这个时候，它将体验相同的模糊效应。注意到，每个时刻模糊内核的能量是恒定的。当物体靠近其图像平面时，过滤器能量被高度集中，使得锐聚时刻对应于Dirac delta内核。空间-时间积分区域的该部分支配时间积分的结果。因此，物体在传感器上被类似地模糊化，几乎不论其到相机的距离如何。

扫描聚焦内核的最大优点之一在于，其响应在频率响应中没有“零”，使得其逆运算对于所有空间频率都存在，因此扫描内核允许定义良好且紧凑的逆滤波器。对于标准内核，这是不可能的。这允许形成在全部扫描范围上焦点对准的图像。

然而，不能以任何精度根据来自单个扫描的几乎深度不变的模糊内核来估计深度。实际上，扫描聚焦方法首先且首要地被发展以提供从图像中提取在每个深度焦点对准的图像的可能性。因此，使用扫描聚焦相机似乎不会提供获得可靠深度信息的太大希望，因为实际上目的与使用扫描聚焦方法的非常基本的原因相反。

然而，发明人已经认识到，通过在焦点扫描期间调制曝光，有可能使用焦点扫描方法在获取的图像中对高频进行水印标记。通过在用扫描聚焦相机拍摄的两个图像中不同地调制曝光强度，有可能提炼深度信息。而全焦点对准图像仍然还可能被重构。因此，可以实现双赢，可以制造在所有距离处焦点对准的图像，以及另外可以获得在焦点扫描距离内的所有距离处的深度信息。

调制的曝光可以以若干不同方式实现，下面作为示例可以给出这些不同方式：

1）使用指数或恒定加速度取代恒定速度焦点扫描（聚焦距离作为时间的指数函数改变），对于指数加速度，焦点扫描速度作为时间的函数以指数方式增加或减小，对于恒定加速度，焦点扫描随时间线性地增加或减少。

2）通过调制孔径连同恒定扫描速度的焦点扫描，

3）通过调制环境照明连同恒定扫描速度的焦点扫描，

4）通过调制光的透射连同恒定扫描速度的焦点扫描，

5）上述的任意组合。

下面，我们描述相机系统的若干实施例和用于提取深度图的实施例。

在所有实施例中，图像亮度（即每个聚焦位置的曝光）直接通过控制光源或快门或通过改变系统在某位置处聚焦的时间来修改。亮度也可以在有限的波长集合中被调制（以颜色进行水印标记）。

图7图示了拍摄两个图像。在步骤71、72中，开始获取第一图像。在图1中，这是通过按压快门按钮完成的。当然，除了按压按钮之外的其他手段也可以用来发起获取过程。例如，用于拍摄野生动物图像的运动的检测或者用于拍摄跟踪违规图像的汽车超速行驶的检测可以发起所述获取。在步骤73中，为了获取图像1，从扫描开始到结束以指数加速度扫描焦点。指数加速度将导致从某个值以指数方式增加到扫描中的结束值的扫描速度。该系统于是在曝光期间将花费其大部分时间在焦点扫描开始附近，其中扫描速度是小值。然而，它不仅仅是图5的重现，因为实际上时间标度t、d被变更。图像获取结束（步骤74）并且图像被保存（步骤75）。在步骤76至80中的镜面中（in a mirror facing）重复相同的过程（即，通过以指数加速度从结束到开始位置扫描焦点）。系统将在过程的第二部分期间在焦点扫描结束附近花费其大部分时间，其中在获取图像2的过程中，扫描速度是小值。两个图像被这样获取。在该示例中，使用了指数加速度，在其他示例中可以使用恒定加速度。

因此，在获取图像1和2期间，调制曝光，对于其一个图像，在穿过图像平面之前完成大部分曝光，而在另一个图像中则完全相反。在该示例中，焦点扫描以指数加速度进行。这将导致不恒定而随时间以指数方式变化的扫描速度。当然，扫描速度也可以是不同的时间函数。一种这样的变形是使用扫描速度的恒定加速度，在此情况下，扫描速度随时间线性增加或减小。优选地，无论在什么变形中，扫描速度对于一个图像从扫描的一端到另一端增加，而对另一个图像正相反。

用于控制扫描速度的一种可替代方案是使用如下设置：其中恒定扫描速度用于拍摄两个图像但是其中照明是不同的。

图8和9图示了这样的实施例。在图9中，对于图像1和2的获取而言，扫描速度是相同的且恒定的。除了对步骤重新编号之外，图7的方案的唯一差别在于以恒定速度扫描焦点。除非鉴于某些特殊事项，以恒定扫描速度拍摄两个图像将不会提供提取深度信息的可能性。

然而，如图8所示，系统具有相机C和透镜L，该透镜的焦距可以被调整以扫描焦点。系统具有用于调整透镜焦距的装置81。实际上，具有自动/聚焦的相机已经具有用于扫描焦点以找到正确的焦距（focal distance）的装置。系统也经由装置82调整通过灯83对图像的照明。照明的强度被调整，使得在步骤93期间与在步骤98期间相比它被不同地调制。例如，照明被调制成使得它从扫描开始到结束例如以指数方式增加，但是也可以是不同的时间函数。结果是，对于步骤93且因而对于图像1，照明在扫描结束位置附近最显著，而对于步骤98且因而对于图像2，照明在开始位置附近最显著。

为了不同地叙述，如果开始位置对应于焦点对准的附近物体且结束位置对应于焦点对准的遥远物体，则在图像1中遥远物体将更突出，而在图像2中附近物体将更突出。

图10图示了关于图8的方案的变形。在灯103前面，提供了装置104以向照明传授模式。

图11示出关于图8的方案的变形。取代调整照明，借助具有可以改变的透明度的板113调整落入透镜L中的光。这样的设置可以例如用于户外场景，其中照明是由于不能受控制的源（比如太阳）决定的。

这样的具有可控透明度的装置也可以在透镜与传感器之间使用，在图12中由传感器S前面的装置123示意性图示。

先前的示例都示出了其中连续拍摄两个图像的示例。尽管许多优选实施例以这样的方式操作，但是它不是执行本发明的唯一方式。

图12的系统可以被安排成允许通过使用具有可控透明度的装置同时拍摄两个图像，其中用于图像的每个像素或线或部分的透明度可被控制且透明度被控制成使得对于例如奇数和偶数线，在针对这组线之一的焦点扫描期间透明度从低到高，并且在针对另一组线的焦点扫描期间透明度从高到低。当然，该方案可以进一步通过例如跳棋盘方法来改善，其中像素被分为两组，其中这两组在传感器上形成跳棋盘。

然后，同时拍摄两个图像。

该方案的一个变体是使用单个透镜和分离镜，其将图像分离成两个图像，这些图像被发送至不同的传感器，由此针对每一个传感器，提供具有受控透明度的装置并且在焦点扫描期间调制该板的透明度，对于传感器之一在焦点扫描期间减小透明度，针对其他传感器在焦点扫描期间增加透明度。

在图像之间的图像改变较小的情况下，相继地拍摄两个图像是有利的。该优点在于这两个图像可以被非常精确地关联。同时拍摄两个图像提供了确保传感器上的位置对应的附加步骤。然而，这样的设置在拍摄相对较快地运动的物体的图像的情况下是有利的。

在聚焦扫描期间利用不同调制的曝光拍摄两个图像之后，进行下一个步骤，即从两个图像抽取深度信息。

可以从一对不同方式调制的聚焦扫描图像计算场景深度图。而且，可以借助校准直接从这对图像计算深度图（及其误差界），这相对于常用的“概率性”方法是一个优势，比如通过聚焦的深度估计深度，这可能给出完全错误的深度图或者甚至不可能区分两个不同的深度。

为了说明这一点，图13A和13B给出了对于若干种情形的空间频率分量的测量，即频谱图绘，其中对于图13A而言使用了增加的曝光，而对于图13B而言使用了减小的曝光。增加的曝光意味着在扫描结束时曝光最高，而在扫描开始时，曝光最低，减小的曝光意味着相反的情况。

这些线给出了对物体拍摄的图像的分布。该图例提供了物体的位置。指示“中部”意指在扫描期间物体位于扫描范围的中部。如果物体位于中部位置并且是焦点对准的，则在焦点扫描范围任一末端处的物体体验几乎100%的最大模糊效应。数字0.8意指物体位于焦点扫描结束处附近的位置处，其中当所述物体焦点对准时，则在“中部”位置的物体体验最大模糊效应的80%，数字-0.8对应于对称地位于焦点扫描开始处附近的物体。

图13A示出，对于在焦点扫描期间增加曝光强度，高空间频率分量对于位于扫描范围末端附近的物体而言是最大的，并且对于位于扫描范围的另一端处的物体而言是最低的。在焦点扫描开始时，强度是低的，因此位于焦点扫描开始附近的物体仅具有有限的高频分量（它们仅接收有限量的光），在焦点扫描的结束处附近曝光强度是高的并且物体具有大高频分量。

图13B示出，对于在焦点扫描期间减小的曝光而言，相反的情况成立。

将曲线图13A的结果除以图13B的结果提供了如图14A中所示的曲线。作为（在水平轴上给出的）空间频率的函数，绝对振幅的比值的对数（log）针对小空间频率显著变化，但是针对空间频率高于由垂直的点线所示意性指示的空间频率而言，或多或少地在相对较小余量（margin）内是常数。可以看出，在高频部分中，该比值几乎是频率不变的，即它仅依赖于焦点扫描范围中的位置并且因而依赖于透镜到物体的距离。扫描聚焦内核的形状是缩放不变的。

图14A粗略地提供了频率百分比的指示，在该频率百分比处比值变得平坦。高空间频率对应于具有比模糊内核尺寸的大约10%更小的空间波长的空间频率。因此，如果模糊内核在传感器上具有60像素尺寸，则最高空间频率为60周期/内核，即具有一个像素的空间波长的细节，最低的是总体细节，1周期/内核。在该示例中，高空间频率与低空间频率之间的截止处于模糊内核尺寸的大约10%，即大约6周期/内核，大约6至10像素以及更小的细节。如上所述，模糊内核本身是缩放不变的，因此所有测量以有效的模糊内核尺寸缩放（scale with）。有点依赖于所使用的调制的所述截止处于近似模糊内核尺寸的大约6-10%。这就是说，对于特定的相机系统，可以计算图14A的曲线以找到高与低空间频率之间的转变，即在其之上所述比值是深度的良好测量的频率范围。

图14B绘制了作为在水平轴上焦点扫描中物体的位置P的函数的在垂直轴上该空间频率不变的比值R的对数。

看的出，该比值是在焦点扫描范围内物体的位置的函数（即到透镜的距离d的函数）。

利用对该示例而言具有以指数方式增加的曝光的扫描聚焦相机获得的图像的高频能量可以根据帕塞尔（Parseval）等式而被近似为：

其中F_H（ω）是高通滤波器的傅立叶变换，F_SF1（ω）是扫描聚焦模糊内核的傅立叶变换，其对应于增加曝光，F_image（ω）是纹理的傅立叶变换，以及F_N1（ω）是图像1中的加性噪声的傅立叶变换。利用具有以指数形式减小曝光的扫描聚焦相机获得的图像的高频能量可以简单地被近似为：

其中F_SF2（ω）是扫描聚焦模糊内核的傅立叶变换，其对应于减小曝光，且F_N2（ω）是图像2中的加性噪声的傅立叶变换。

如图14A所示，对于高频，我们有

其中F（d）为在距离d处瞬时光照强度之间的比值。注意到，F（d）是依赖于物体-相机距离的函数，并且它不依赖于频率ω。如果扫描是指数型的，则F（d）也是指数型的并且Log（F（d））是d的线性函数，如图14B所示。因此，对于图像的高频能量之间的比值，我们有：

其中S是纹理的高频能量，且η₁、η₂是在第一和第二获取处的噪声能量。如果来自纹理的信号远高于噪声水平，即S>>η₁、η₂, 或者如果两个图像中噪声的能量近似相等，那么

。

因此，取得高频分量的比值提供了到物体距离的可靠估计。实验ID表明所提出的方法在卷积被限于围绕特定图像坐标的小窗口时也对到相机具有可变距离的物体有效。上面的示例针对指数地改变扫描速度给出。然而，针对线性地改变扫描速度获得近似相同的结果。

优选地，两个曝光的和是常数。

如果该条件成立，则两个图像被求和以提供（通过利用反向点扩散函数过滤）图像是完全焦点对准的图像，其中图像的所有部分是清晰的。

因此，取扫描范围的中部为x=0，优选地，支持f（x）+f（-x）=常数，其中f（x）和f(-x)是在扫描范围中部的任何一侧处的曝光强度。

如果使用常数扫描速度并在扫描期间改变光照或透明度，则这可以相对容易地获得。

对于指数型扫描，将得到高频的振幅，其满足

exp（Ax）+exp（-Ax），其中x=0对应于扫描范围的中部。

exp（Ax）+exp（-Ax）仅针对x的小范围接近常数，其也依赖于指数行为，即A的值。

在两个指数型曝光的过滤的求和图像中，在扫描范围的边界处将存在物体的轻微过度锐化，换言之，前景和背景中的物体将比扫描范围中部的物体稍显更清晰些。

指数型和线性曝光调制二者都在x=0处接近所述等式，但其中没有一个对于完整的范围而言是最优的，即使线性调制一般地提供比指数型曝光调制更恒定的锐化。

由于曝光与扫描速度成反比，因而线性或指数型曝光优选地在对应于最大可能的扫描速度的>0的低值处开始。在其他实施例（对全局快门的调制的光源）中，曝光可以以0开始。

图15示意性图示了这一点。每个图像（图像1和图像2）在步骤151、152中与空间高通滤波器卷积，如此滤波的值在步骤153和154中被求平方（或取其绝对值），这些值在步骤155和156中被低通过滤。结果是高频能量e1（对于图像1）和e2（对于图像2）。这些被用来在步骤159中制作深度图DM。在对应于图14A、14B、15A和15B的示例中，取比值e1/e2的对数，这被用来在步骤158中在查找表LUT中查找深度值，并且这提供了到透镜的距离并且因此提供了深度图。注意到，对于指数型扫描，比值e1/e2的对数给出了物体距离d的线性函数，并且因此LUT可以被简化为线性映射。应当清楚，当深度图是高频能量的比值的函数时，各种不同的方法可以被使用，比如使用LUT直接从比值e1/e2找到深度图DM，其中扫描不同于指数型，并且当所述距离可以被表达为e1/e2的函数时，直接从比值e1/e2计算深度图。

本发明还包括一种计算机程序产品，其在计算设备上执行时提供根据本发明的任意一种方法的功能。

这样的计算机程序产品可以确实地体现在携带用于由可编程处理器执行的机器可读代码的载体介质中。本发明因而涉及一种载体介质，其携带计算机程序产品，当该计算机程序产品在计算装置上执行时提供用于执行如上所述的方法中任意一个的指令。术语“载体介质”指代参与向处理器提供用于执行的指令的任何介质，比如任何机器可读信号存储介质。这样的介质可采取许多形式，包括但不限于，非易失性介质和传输介质。非易失性介质包括例如光盘或磁盘，比如作为大容量存储装置的一部分的存储设备。计算机可读介质的普通形式包括CD-ROM、DVD、软磁盘或软盘、磁带、存储芯片或盒式磁盘、或计算机可以读取的任何其他介质。计算机可读介质的各种不同的形式可涉及将一个或多个指令的一个或多个序列携带到处理器以便执行。计算机程序产品也可以在网络中（比如LAN、WAN或因特网）经由载波传输。传输介质可以采取声波或光波的形式，比如在无线电波和红外数据通信期间生成的波。传输介质包括同轴电缆、铜线和光纤，其包括包含计算机内的总线的导线。计算机可以集成在图像拍摄设备（比如相机）中，或者相机可以拍摄图像并存储它们以便稍后处理或通过有线或无线方式将图像数据传输至计算机，在该计算机中图像数据被处理以提取深度图。

可以设想在权利要求内的其他变体。

例如，在该示例中，曝光调制方面的差异在于，在图像之一中曝光增加，而在另一个图像中曝光减少。这是优选实施例，因为它允许通过取高频分量的比值达到高精度。然而，也可以调制一个图像而不调制另一个图像。如果随后取得类似于图14B中示意性图示的比值，则仍将得到相同的结果，即比值仅依赖于距离，但仅具有一半的值，并且因此具有减小的精度。

在实施例中，仅拍摄两个图像。在最广义的意义上这不是对本发明的限制，可以拍摄超过两个图像，每一个具有不同的调制。例如，可以使用具有调制的曝光的两个图像且一个具有恒定的曝光。或者，可以拍摄4个图像，两个减少曝光且两个增加曝光（但是具有不同的增加速率）。这将为系统添加冗余，从而实现获得有意义的深度数据，即使数据攫取通道之一出现故障。

简言之，本发明的各个方面可以通过下述来描述：

拍摄两个或更多个图像，其中在图像拍摄期间，执行焦点扫描。曝光强度在焦点扫描期间被调制并且针对这些图像不同地进行这样的调制。该调制提供图像中的深度信息的水印标记。在扫描期间曝光方面的差异能在这些图像中对深度信息进行不同地水印标记。这是本发明的一个方面。通过比较这些图像，可以计算这些图像的深度图。这是本发明的另一个方面。本发明的相机系统具有透镜和传感器以及用于执行焦点扫描的装置和用于在焦点扫描期间调制曝光强度的装置。调制曝光强度可以通过调制光源或焦点扫描或者通过调制光路中透明介质的透明度来进行。

在优选实施例中，根据本发明的相机系统设有用于设置扫描范围的中部并设置扫描范围的程度的装置。这允许更高效地收集用于在距透镜特定距离周围特定深度范围的3D信息。

Claims

1. 记录图像的方法，其中拍摄至少第一和第二图像，其中在图像拍摄期间，在焦点扫描范围上进行焦点扫描，其中在焦点扫描期间作为时间的函数针对第一和第二图像不同地调制曝光强度。

2. 如权利要求1所述的记录图像的方法，其中通过在焦点扫描期间作为时间的函数调制焦点扫描的速度来调制曝光强度，所述调制对于第一和第二图像是不同的。

3. 如权利要求1所述的记录图像的方法，其中通过在焦点扫描期间对光源（83,103）的时间调制来调制曝光强度，所述时间调制对于第一和第二图像是不同的。

4. 如权利要求1所述的记录图像的方法，其中通过在焦点扫描期间对光路中透明装置（113,123）的透明度进行时间调制来调制曝光强度，所述时间调制对于第一和第二图像是不同的。

5. 如权利要求4所述的记录图像的方法，其中通过透镜（L）拍摄图像，并且透明装置（113）被提供在透镜前面。

6. 如权利要求4所述的记录图像的方法，其中所述图像通过透镜（L）而被拍摄且由传感器（S）记录，并且透明装置（123）被提供在透镜（L）和传感器（S）之间的光路中。

7. 前述权利要求中任意一项所述的记录方法，其中两个图像中的曝光在焦点扫描期间作为时间的函数以这样的方式来调制：使得在第一和第二图像之一中的调制相对于在第一和第二图像的另一个中的调制是相反的，第一和第二图像的和的曝光在焦点扫描上基本恒定。

8. 从由上述记录图像的方法中任何一个拍摄的图像（图像1，图像2）通过比较第一和第二图像中的高频信息（e1，e2）并且根据这种比较计算深度图而获得3D信息的方法。

9. 计算机程序产品，包括存储在计算机可读介质上的程序代码装置，其当在计算机上运行时用于执行如权利要求1-8中任一项所述的方法。

10. 由计算机装置加载的计算机程序产品，对于如权利要求1-8中任一项所述的方法，当其在计算机上运行时，该计算机装置包括处理装置。

11. 相机系统，包括透镜（L）和传感器（S）以及用于执行焦点扫描的装置（81,101,111,121），其中该相机系统包括在焦点扫描期间作为时间的函数在焦点扫描期间调制曝光强度的装置（82,102,112,122）。

12. 如权利要求11所述的相机系统，其中相机系统包括光源（83,103）并且用于调制的装置是用于在焦点扫描期间对光源强度进行时间调制的装置（82,102）。

13. 如权利要求11所述的相机系统，其中相机系统包括透镜前面或透镜与传感器之间的透明板（113,123），其中用于调制的装置是用于在焦点扫描期间对透明板的透明度进行时间调制的装置（112,122）。

14. 如权利要求11所述的相机系统，其中相机系统被设置成在单个焦点扫描期间同时拍摄第一和第二图像，并且用于调制的装置针对第一和第二图像不同地调制曝光强度。

15. 如权利要求11所述的相机系统，其中相机系统被设置成在相继的焦点扫描期间相继地拍摄第一和第二图像，并且用于调制的装置针对第一和第二图像不同地调制曝光强度。