CN102099703A - 3d照相机及其选通方法 - Google Patents
3d照相机及其选通方法 Download PDFInfo
- Publication number
- CN102099703A CN102099703A CN2007801023367A CN200780102336A CN102099703A CN 102099703 A CN102099703 A CN 102099703A CN 2007801023367 A CN2007801023367 A CN 2007801023367A CN 200780102336 A CN200780102336 A CN 200780102336A CN 102099703 A CN102099703 A CN 102099703A
- Authority
- CN
- China
- Prior art keywords
- time
- light
- scene
- door
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
Abstract
一种获取场景的3D图像的方法,该方法包括:在发射时间发射具有某一脉冲宽度的至少一个光脉冲以照亮该场景;在多组门期间将该场景所反射的来自该至少一个光脉冲的光成像在可选通光敏面上,每一组门包括具有开始和停止时间的至少一个第一、第二和第三门,并且相对于该至少一个光脉冲的光脉冲发射时间,该至少一个第一门和至少一个第二门的开始和停止时间处于该至少一个第三门的开始和停止时间之间,其中对于该多组门中的至少一组,至少一个第三门具有大约等于该多组门中的另一组的至少一个第三门的停止时间的开始时间;以及使用在光敏面上成像的反射光的量来确定到该场景的距离。
Description
领域
本发明涉及用于获取场景的3D图像的方法和装置。
背景
能够向它们所成像的对象和对象上的各点提供距离测量的三维(3D)光学成像系统(此后称为“3D照相机”)被用于许多不同的应用中。这些应用有制成品的轮廓检查、CAD验证、机器人视觉、地理勘测、以及根据距离选择性地对对象进行成像。
一些3D照相机向它们所成像的场景中的对象的基本上所有的点提供同时测量。一般而言,这些3D照相机包括诸如激光器等光源和选通成像系统,该光源是脉冲式的或快门式的使得它提供用于照亮被成像的场景的光脉冲,该选通成像系统用于对从该场景中的对象反射的来自各光脉冲的光进行成像。选通成像系统包括具有诸如CCD或CMOS光敏表面(此后称为“光敏面”)等光敏面的照相机和诸如光学快门或选通图像增强器等用于对照相机的打开和关闭进行选通的选通装置。反射光只有在照相机被选通为打开时到达照相机时才会被记录(register)在照相机的光敏面的各个像素上。
为了对场景进行成像并且确定从照相机到该场景中的各对象的距离,通常使用从光源辐射的一系列光脉冲来照亮该场景。对于该系列中的每一辐射光脉冲,根据从辐射出该光脉冲的时间准确地确定的延迟,在此后称为“门”的一段时间内将照相机选通为打开。如果来自从场景中的对象反射的光脉冲的光在该门期间到达照相机,则它在照相机的光敏面上成像。因为辐射出光脉冲与随后的门之间流逝的时间是已知的,所以被成像的光从光源行进到该场景中的反射对象并回到照相机所花费的时间是已知的。所流逝的时间被用来确定到该对象的距离。
在一些“选通”3D照相机中,只使用光脉冲与门之间的定时来确定从3D照相机到场景中的在该照相机的光敏面的一个像素上成像的一个点的距离。换言之,在照相机被选通为打开期间像素所记录的光的量也被用来确定该距离。这些3D照相机所进行的测量的准确度是光脉冲的上升和下降时间及其平直度和照相机可被选通为打开和关闭得有多快的函数。
选通3D照相机和其用途的示例在欧洲专利EP1214609和美国专利6,057,909、US 6,091,905、US 6,100,517以及US 6,445,884中找到,它们的公开通过引用结合与此。在这些专利中描述的照相机使用照相机中的像素在照相机被选通为打开的时间期间所记录的光的量来确定到场景的连续片中的特征的距离。片位置和空间宽度是由照相机被选通为打开的门的长度和定时相对于被发射来照亮场景的光脉冲的脉冲长度和定时来定义的。
一般而言,使用至少两个门来获取场景的一片的3D图像,其中为至少一个相对长的门以及至少一个相对短的门,“前”或“后”门在时间上分别与该至少一个长门的前部分或后部分相对应。相对于发射光脉冲以照亮场景的时间,前门在长门开始的相同时间开始且后门在长门结束的相同时间结束。短门可任选地具有等于用来照亮场景的光脉冲的脉冲宽度的门宽度,并且长门具有等于两倍于该光脉冲宽度的脉冲宽度。照相机中的对场景的特征进行成像的像素在该至少一个短门期间所记录的光的量被规范化成该像素在该至少一个长门期间所记录的光的量。经规范化的所记录的光的量被用来确定到该特征的距离。
用于获取场景的3D图像的数据的总获取时间基本上等于该场景的被成像的片的数量乘以获取单个片的3D数据所需的时间,即“片获取时间”。片获取时间是记录足以提供用于确定到位于该片中的场景特征的距离的数据的各门的光的量所需的光脉冲和门的数量的函数。
使用脉冲式照明源和选通成像系统的3D照相机在S.Christie等人在测量科学与技术6(1995年9月)的第1301-1308页的“Design and Development of a Multi-detecting two Dimensional Ranging Sensor(多检测二维测距传感器的设计和开发)”中和在Yates等人在SPIE第269卷第374-385页的“Range-gated Imaging for Near Field Target Identification(用于近场目标标识的范围选通的成像)”中描述,它们通过引用结合于此。
另一3D照相机在Medina的美国专利5,081,530中描述,其通过引用结合于此。在该专利中描述的3D照相机记录从目标反射的在一对门的每一个门期间到达照相机的成像系统的光脉冲中的能量。到目标的距离是从在这两个门中的每一个期间所记录的能量之间的差与在这两个门中的每一个期间所记录的能量的总和的比率来确定的。
概述
本发明的各实施例的一方面涉及提供用于对提供用于场景的3D图像的相对短的获取时间的选通3D照相机进行选通的选通过程。
本发明的各实施例的一方面涉及提供用于提供场景的3D图像的门的配置,对于给定宽度的照亮该场景的光脉冲,该门提供该场景的具有相对大的空间宽度的各片的3D数据。
因此,根据本发明的一实施例提供了一种获取场景的3D图像的方法,该方法包括:在发射时间发射至少一个光脉冲以照亮该场景;在多组门期间将该场景所反射的来自该至少一个光脉冲的光成像在可选通光敏面上,每一组门包括具有开始和停止时间的至少一个第一、第二和第三门,并且相对于该至少一个光脉冲的光脉冲发射时间,该至少一个第一门和该至少一个第二门的开始和停止时间处于该至少一个第三门的开始和停止时间之间,其中对于该组门中的至少一组,该至少一个第三门具有大约等于该组门中的另一组的至少一个第三门的停止时间的开始时间;以及使用在光敏面上成像的反射光的量来确定到该场景的距离。
可任选地,第二门的开始时间基本上等于第一门的停止时间。可任选地,第一门的开始时间相对于第三门的开始时间延迟了该至少一个光脉冲的脉冲宽度。可任选地,第一和第二门具有相等的门宽度。可任选地,第一和第二门的门宽度等于该至少一个光脉冲的脉冲宽度的一半。可任选地,第三门的门宽度基本上等于该至少一个光脉冲的三倍脉冲宽度。
在本发明的一些实施例中,如果从在一组门的至少一个第一、第二和第三门期间被成像的特征所反射的光的量分别由Q1、Q2、Q3表示,并且至少一个第一门的开始时间由t1表示,则如果Q1≠0或Q2≠0,则到该特征的距离Df根据下式确定
如果Q1(n)≤Q2(n),则Df=ct1/2+(cΔτ)[(Q1+Q2)/Q3-1]/2,以及如果Q1(n)>Q2(n),则Df=ct1/2+(cΔτ)[1-(Q1+Q2)/Q3]/2,
其中c是光速且Δτ是该至少一个光脉冲的脉冲宽度。
作为补充或替换,如果从在一组门的至少一个第一、第二和第三门期间被成像的特征所反射的光的量分别由Q1、Q2、Q3表示,至少一个第三门的开始时间由t3表示,并且来自由其他一组门的至少一个第三门所成像的特征的光的量由Q* 3表示,则如果Q1=Q2=0,Q3≠0且Q* 3≠0,则根据下式确定到该特征的距离Df
Df=ct3/2-(cΔτpw)(Q3(n)/(Q3+Q* 3))/2,或者
Df=ct3/2-(cΔτpw)(1-Q* 3/(Q3+Q* 3))/2,
其中c是光速且Δτ是该至少一个光脉冲的脉冲宽度。
在本发明的一些实施例中,至少一个第三门的开始时间比其他一组门的至少一个第三门的停止时间早一定时间段,该时间段小于或等于该至少一个光脉冲的脉冲宽度的大约二十分之一。
根据本发明的一实施例,还提供了一种获取场景的3D图像的方法,该方法包括:在发射时间发射至少一个光脉冲以照亮该场景;在具有开始和停止时间的多个等长的门期间将该场景所反射的来自该至少一个光脉冲的光成像在可选通光敏面上,并且相对于该至少一个光脉冲的光脉冲发射时间,至少一个第一门的开始时间基本上是至少一个第二门的开始和停止时间之间的一半处的时间;以及使用在该至少一个第一门和该至少一个第二门期间在光敏面上成像的反射光的量来确定到该场景的特征的距离。
可任选地,这些门具有基本上等于两倍于该至少一个光脉冲的脉冲宽度的门宽度。
作为补充或替换,如果至少一个第一门的开始时间和从在该至少一个第一门期间被成像的特征所反射的光的量分别由t1和Q1表示,并且对于至少一个第二门分别由t2和Q2表示,则根据下式确定到该特征的距离Df
如果Q2≤Q1,则Df=(ctn/2)+cΔτ(Q2/Q1)/2,以及
如果Q1≤Q2,则Df=(ct2/2)+cΔτ(1-(Q1/Q2))/2,
其中c是光速且Δτ是该至少一个光脉冲的脉冲宽度。
根据本发明的一实施例,还提供了一种获取场景的3D图像的方法,该方法包括:在发射时间发射具有某一脉冲宽度的至少一个光脉冲以照亮该场景;在一组门期间将该场景所反射的来自该至少一个光脉冲的光成像在可选通光敏面上,该一组门包括具有开始和停止时间的至少一个第一、第二和第三门,并且相对于该至少一个光脉冲的光脉冲发射时间,每一第一门和每一第二门的开始和停止时间处于同一第三门的开始和停止时间之间;以及使用在光敏面上成像的反射光的量来确定到该场景的距离。
可任选地,第一门具有相对于第三门的开始时间大约延迟了脉冲宽度的开始时间。作为补充或替换,第二门具有比至少一个第三门的停止时间大约早了脉冲宽度的停止时间。在本发明的一些实施例中,第一门具有大约等于脉冲宽度的一半的门宽度。在本发明的一些实施例中,第二门具有大约等于脉冲宽度的一半的门宽度。在本发明的一些实施例中,第三门具有大约等于三倍脉冲宽度的门宽度。
可任选地,第一和第二门具有等于脉冲宽度的一半的门宽度,并且第三门具有大约等于三倍脉冲宽度的门宽度,其中如果从在至少一个第一、第二和第三门期间被成像的特征所反射的光的量分别由Q1、Q2、Q3表示,并且第一门的开始时间由t1表示,则根据下式确定到该特征的距离Df
如果Q2≤Q1,则Df=ct1/2+(cΔτ)(Q/Q3-1)/2;以及
如果Q1>Q2,则Df=ct1/2+(cΔτ)(1-Q/Q3)/2,
其中c是光速,Δτ是该至少一个光脉冲的脉冲宽度,且Q=(Q1+Q2)。
根据本发明的一实施例,还提供了一种可用于获取场景的3D图像的照相机,包括:可选通光敏面;以及根据本发明的一实施例来选通该光敏面的控制器。可任选地,该照相机包括可控制来使用光脉冲照亮该场景的光源。
附图简述
以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中用相同的数字来标记。附图中所示的组件的尺寸和特征通常是为了方便和清楚呈现而选择的,并且不一定按比例显示。
图1示意性地示出用于获取场景的3D图像的选通3D照相机;
图2示出根据现有技术的示出照相机的门的时间配置的时间-距离图表和被用来获取图1中示出的场景的3D图像的照亮了该场景的至少一个光脉冲;
图3示出根据现有技术的示出确定到场景中的特征的距离时的模糊性的时间-距离图表;
图4示出根据本发明的一实施例的示出用于消除图3所示的模糊性的门的时间配置的时间-距离图表;
图5示意性地示出选通照相机提供其3D数据的场景和该场景的各个片;
图6示出根据本发明的一实施例的用图表示出被用来使用图4中示出的选通配置以获取图5中示出的场景的多个片的3D数据的门的定时的时间-距离图表;
图7示出根据本发明的另一实施例的用图表示出被用来获取场景的多个片的3D数据的门的定时的时间-距离图表;
图8示出根据现有技术的用图表示出被用来获取场景的3D数据的门的另一定时配置的时间-距离图表;
图9示出根据现有技术的用图表示出被用来获取场景的3D数据的门的又一定时配置的时间-距离图表;
图10示出根据现有技术的用图表示出如图9所示地配置的被用来获取场景的多个片的3D数据的门的定时的时间-距离图表;以及
图11示出根据本发明的又一实施例的用图表示出被用来获取场景的多个片的3D数据的门的定时的时间-距离图表。
详细描述
图1示意性地示出被用来获取具有由对象31和32示意性地表示的对象的场景30的3D图像的选通3D照相机20。
完全示意性地表示的照相机20包括由镜头21表示的镜头系统和具有像素23的光敏面22,镜头系统将场景成像在像素上。光敏面22是“可选通”的,以便它可以被选择性地选通打开或关闭以使得它在所需时间段内分别对光敏感或不敏感。可任选地,光敏面中的像素是可独立地选通的。由快门选通的光敏面在美国专利6,057,909、6,327,073、6,331,911以及6,794,628中描述,它们的公开通过引用结合于此。具有可独立地选通的像素的光敏面在PCT公开WO00/36372中描述,其描述了具有可独立地选通的像素的光敏面。“门”指的是光敏面或光敏面中的像素被选通打开并变得对光敏感的时间段。为方便呈现,假定光敏面22中的所有像素23被同时选通打开或关闭。照相机20可任选地包括可控制来用光脉冲照亮场景30的合适光源26,如激光器或LED或者激光器和/或LED阵列。控制器24控制光源26的脉冲和光敏面22的选通。
为获取场景30的3D图像,控制器24控制光源26发出用于照亮场景30的至少一个光脉冲,示意性地由波状箭头40表示。来自至少一个光脉冲40中的每一个的光被场景30中的特征反射,并且所反射的光中的一些入射在照相机20上并被镜头21收集。来自至少一个光脉冲40的到达照相机20的反射光由波状箭头45示意性地表示。在发出至少一个光脉冲40中的每一个之后,控制器24在相对于发出光脉冲的时间的合适时间将光敏面22选通打开以接收镜头21所收集的反射光45并将其成像在光敏面22上。在光敏面的像素23上成像的光的量45被用来确定到场景30的被成像在这些像素上的各个特征的距离,并且从而提供该场景的3D图像。
图2示出时间-距离图表60,时间-距离图表60示出照亮场景30的光脉冲40的定时、光敏面22的门、以及由镜头21所收集的且由光敏面中的对场景30的位于与照相机20相距D处的特征进行成像的像素23所记录的光的量45之间的关系。在图表60中,与照相机20的距离D沿横坐标61来指示,并且时间分别沿右和左纵坐标62和63来指示。为方便起见,这些纵坐标以与“ct”(时间“t”乘以光速“c”)成比例的单位来缩放。
图表60中的时间-距离线70示出场景30中的特征与照相机20的距离D与光源26在任意时间tO=0发出的被该特征所反射的光子到达照相机的时间(以ct为单位)之间的关系。因为光子从光源26到特征并返回的往返时间(以ct为单位)由等式ct=2D给出,所以图表60中的线70具有等于2的斜率。如果该特征由诸如具有脉冲宽度“Δτpw”的光脉冲40等光脉冲中的光子照亮,则在从该特征反射的来自该光脉冲的第一光子到达照相机的时间开始的、具有持续时间Δτpw的时间段期间,照相机20将接收从该特征反射的来自该光脉冲的光。
例如,假定由在时间tO=0发出的光脉冲40照亮的场景30中的对象31的由圆圈71所表示的特征位于与照相机20相距Df处。在图表60中,也用数字71来标记的、位于时间-距离线70上的、具有D坐标Df的圆圈示意性地表示该特征。从特征71反射的光在时间t1(Df)首先到达照相机20,其满足等式,
t1(Df)=2Df/c。 (1)
由特征71反射的来自光脉冲40的光在等于光脉冲40的脉冲宽度Δτpw的时间段期间继续入射在照相机上,直至时间t2(Df),
t2(Df)=2Df/c+Δτpw, (2)
此时,最后反射的来自光脉冲40的光子到达照相机。从时间t1(Df)延伸到时间t2(Df)并且具有沿左手和右手时间纵坐标62和63示出的长度Δτpw的块箭头72示意性地表示到达照相机20的由特征71所反射的光。
进一步假定控制器24在由矩形80所表示的、沿左手时间纵坐标62从开始时间tsg1延伸到停止时间tsg2并具有门宽度Δτsgw=tsg2-tsg1的、相对短的门期间将光敏面22(图1)选通打开。可任选地,Δτsgw=Δτpw。
如果短门80打开,如在图表60所示,则在从t1(Df)到t2(Df)的时间段期间,特征71所反射的来自光脉冲40的光72入射在照相机20上,对该特征进行成像的像素23(图1)将记录来自该特征的光。对特征71进行成像的像素所记录的光72的量可用来确定距离Df,并且在图形上由矩形80中的阴影区域81表示。令所记录的光的量81由符号“Q”表示。则特征71距照相机20的距离Df由下式给出,
如果tsg1≤t2(Df)≤tsg2,则Df=ctsg1/2+(cΔτpw)(Q/QO-1)/2;以及(3)
如果tsg1≤t1(Df)≤tsg2,则Df=ctsg1/2+(cΔτpw)(1-Q/QO)/2。 (4)
在等式(3)和(4)中,QO是对特征71进行成像的像素23所记录的光的量,是由该特征反射并被该像素所记录的镜头21收集的来自脉冲40的所有光,而不论所反射的光在短门80期间是否到达照相机。QO是特征71的反射率和它到照相机的距离Df的函数。一般而言,如下确定QO:控制光源26发出至少一个光脉冲,并且对于每一个发出的光脉冲40,使用长门来选通照相机20以使得来自该光脉冲的被特征71所反射的到达照相机的所有光都被成像在光敏面22上。
对于场景30中的位于与照相机相距Df(Df在下限和上限距离(分别是DSL和DSU)之间)处的任何特征,照相机20在其光敏面22上在短门80期间接收并记录来自光脉冲40的反射光。上限和下限距离定义场景30的“一片”,在图表60中由阴影矩形83来示意性地指示。阴影矩形83具有位于沿时间-距离线70的具有距离坐标DSL和DSU的各点处的对角中心。DSL、DSU和Df满足以下关系,
DSL=c(tsg1-Δτpw)/2≤Df≤DSU=ctsg2/2。 (5)
片83具有空间“片宽度”
SW=(DSU-DSL)=(ctsg2-ctsg1+cΔτpw)/2=cΔτpw, (6)
其中最后一个等式在短门80具有等于脉冲宽度Δτpw的门宽度Δτsgw的假定下成立。因为时间-距离线70具有斜率2,所以矩形83具有沿时间纵坐标62的等于2SW的长度。
与短门80相对应的用于确定位于片83中的任何特征(即,在门80期间由光敏面22用来自光脉冲40的反射光来成像的任何特征)的QO的长门由沿右手时间纵坐标63的矩形90示意性地表示。在长门90期间对特征71进行成像的像素23所记录的光在图形上由门90中的阴影区域91来表示。为确保可以确定场景30中的在短门80期间在像素23上记录了光的任何特征的QO,长门90可任选地具有至少等于短门宽度Δτsgw与光脉冲40的脉冲宽度Δτpw的两倍的总和的门宽度Δτlgw,即
Δτlgw=Δτsgw+2Δτpw=3Δτpw。 (7)
等式(7)中的最后一个等式在短门80具有等于至少一个脉冲40的脉冲宽度Δτpw的门宽度Δτsgw的假定下为真。门90可任选地具有相对于发出光脉冲40的时间tO的开始时间tlg1,该开始时间等于来自场景30中的与照相机20相距DSL的特征的第一光子到达照相机的时间。门90可任选地具有停止时间tlg2,该停止时间等于来自脉冲40的最后一个光子从该场景中的与照相机20相距DSU的特征到达照相机20的时间。时间tlg1比短门80的开始时间早等于Δτpw的时间段,而时间tlg2比短门80的停止时间晚Δτpw,因此
tlg1=(tsg1-Δτpw)且tlg2=(tsg2+Δτpw)。 (8)
尽管长门90提供足以确定片83中的任何特征的QO的信息,但注意,在短门80期间对特征71进行成像的像素23上所记录的光81的量Q或在长门90期间该像素所记录的光91的量QO提供关于应当使用等式(3)或(4)中的哪一个来确定Df的信息。对于位于片83中的任何特征以及该特征的任何一组值Q和QO,对于该片中的特征而言,存在着将产生同一组值Q和QO的两个不同的距离。
例如,对于特征71的任何Df,对于位于片83中的特征,存在着另一互补距离Df *,对特征71进行成像的像素23在短门80和长门90期间将记录与这些门分别对距离Df所记录的相同量的光。具体而言,Df和Df *满足以下关系:
|Df-ctsg1/2|=|Df *-ctsg2/2|。 (9)
图3在时间-距离图表75中示意性地示出特征71的距离Df和互补距离Df *。对于距离Df,像素23所记录的光的量由分别对应于短门80和长门90的阴影区域81和91来示意性地示出,这两个门沿左时间纵坐标62示意性地示出。距离Df *的特征71的位置由圆圈71*沿时间-距离线70指示。对于Df *,像素23所记录的光的量由对应于门80和90的阴影区域81*和91*来示意性地表示,对于Df *而言,这些门沿右手时间纵坐标63示出。标记为72*的块箭头示意性地表示假如该特征位于Df *处则来自光脉冲40的、从特征71反射的、到达照相机20的光。注意,尽管对于距离Df和Df *,像素23在门80和90期间的不同时刻对光进行记录,但在每一情况下,在门80期间所记录的光的量与在门90期间所记录的量相同。
根据本发明的一实施例,在确定Df时是使用等式(3)还是等式(4)的模糊性通过在至少一个光脉冲40的每一个之后在两个短门期间(第一“前”短门和第二“后”短门,可任选地具有相等的门宽度)选通光敏面22打开来消除。例如,为确定到片83中的场景30的特征的距离(该距离具有下限距离DSL和上限距离DSU),在发出光脉冲的时间之后在具有门宽度ΔτFsgw的前短门期间在前门开始时间tFg将光敏面22选通打开。时间tFg由下式给出,
tFg=tsg1=2DSL/c+Δτpw。 (10)
类似地,在至少一个光脉冲40中的每一个之后的时刻在后短门期间在下式所定义的时间tBg将该光敏面选通打开,
tBg=tFsg+ΔτFsgw (11)
其中,如上所述,ΔτFsgw是前门的宽度。
可任选地,两个短门都具有等于光脉冲宽度的一半的门宽度Δτsgw,所以
Δτsgw=Δτpw/2。 (12)
图4示意性地示出根据本发明的一实施例的,具有门宽度Δτsgw=Δτpw/2的两个短门如何消除关于等式(3)和(4)的模糊性,并从而消除诸如特征71等在像素23上成像的特征是位于距离Df还是Df *的模糊性。长门90和两个短门(前短门101和后短门102)在图4中沿时间-距离图表85的左手时间纵坐标62示出。阴影区域91表示对于距离Df,像素23在长门90期间所记录的光。前短门101和后短门102中的阴影区域103和104分别用图形表示像素23在这些短门期间对位于Df处的特征71所记录的光的量。相同的前短门101和后短门102以及长门90沿右手时间纵坐标63示出。沿右手时间纵坐标63示出的前短门101和后短门102中的阴影区域105和106表示像素23分别在这些短门期间所记录的光的量,假定特征71要位于Df *处。阴影区域91*表示对于距离Df *,像素23在长门90期间所记录的光。
从图4中可容易地看出,如果特征71位于Df处,如对于沿左手时间纵坐标62的短门101和102所示,则前门101比后门102记录更大量的光。另一方面,如果特征71位于Df *处,如对于沿右手时间纵坐标63示出的前门101和后门102所示,则前门比后门记录更少量的光。如果QF和QB分别用符号表示像素23在前短门101和后短门102期间所记录的光的量,则在QB≤QF的情况下可以根据等式(3)确定Df并且在QF>QB的情况下可以根据等式(4)确定Df,即:
如果QB≤QF,则Df=ctFg/2+(cΔτpw)(Q/QO-1)/2;以及 (13)
如果QF>QB,则Df=ctFg/2+(cΔτpw)(1-Q/QO)/2。 (14)
在等式(13)和(14)中,可任选地,Q=(QF+QB)。
通常,为了确定光敏面22中的每一像素23的QF、QB和QO,至少一个光脉冲40包括多个光脉冲并且每一所记录电荷的量QF、QB和QO是从一系列光脉冲40确定的。例如,为确定QF,控制器24可任选地控制光源26发出一系列光脉冲40。对于每一光脉冲40,在发出该光脉冲之后的时间tFg(等式(10))后,控制器24选通光敏面22在短门101期间打开。每一像素23在所有短门101期间所记录的光的总量被用来提供该像素的QF。类似地,为提供QB,发出另一系列光脉冲40,并且在每一光脉冲的发射时间之后的tBg(等式(11))延迟后,选通光敏面22在后门102期间打开。每一像素对于该脉冲系列中的所有光脉冲所记录的光的总量被用来确定QB。QO类似地从光脉冲40的脉冲系列和对于该光脉冲系列中的每一光脉冲的长门90来确定,其中门90在光脉冲后延迟了tlg1(等式(8))。
令“片获取时间”“TS”为以下时间:在该时间期间,诸如场景30等场景由光源26用光脉冲40照亮,并且将照相机20选通来获取光敏面22中的像素23的QF、QB和QO的值以提供到在这些像素上成像的一片场景中的特征的距离。
通常,由诸如照相机20等选通照相机成像的各片相对较窄,并且要使用照相机确定其距离的场景通常具有位于一定距离范围内的特征,该范围基本上大于由该片的下限距离DSL和上限距离DSU(图2-4)定义的范围。因此,一般而言,为确定到场景中的特征的距离,使用照相机20对该场景的多个基本上连续的片进行成像。对于每一个片,该场景由至少一个光脉冲40照亮并且照相机20在前门、后门和长门期间被选通打开以获取到该片中的特征的距离。如果到场景中的特征的距离的范围从距离R1延伸到距离R2,并且片具有片宽度SW,则需要N个片来提供到该场景中的基本上所有特征的距离,其中
N=(R2-R1)/SW。 (15)
并且对N个片进行成像所需的总3D场景获取时间TT是
TT=NTS。 (16)
作为示例,图5示意性地示出图1中所示的场景30和照相机20用来提供该场景的3D图像的“N”个片S1、S2…SN,该场景从范围R1延伸到范围R2。图6中的时间-距离图表95示出各片的前门、后门、以及长门相对于光源26发出光脉冲40以照亮场景30的时间tO=0的定时。图5中所示的片在图表95中由沿时间-距离线70的被标记为S1、S2…SN的阴影矩形来表示。为方便起见,由具有较大下标n的Sn所表示的片与由具有较小下标的Sn所表示的片相比距照相机20较远,并且其下标相差1的各片是连续的。
定义给定片Sn的短前门和短后门以及长门由分别标记为FGn、BGn和LGn的矩形来在图形上表示。相邻片Sn的门在时间纵坐标62的相对两侧上示出。作为示例,范围R1-R2中由门FG1、BG1和LG1定义的第一片S1是图4中示出的片83,并且对于门FG1、BG1和LG1,示出了用图形表示像素23对特征71所记录的光的阴影区域103、104和91(图4)。为了提供这些连续的片,任何给定片Sn的前门和下一较远连续片Sn+1的前门相对于彼此延迟时间等于2Δτpw=2SW/c,即各片的空间片宽度乘以2并除以光速。
对于某些应用,通过如上所述对各连续片进行3D成像来获取场景的3D图像所需的总3D获取时间TT(等式(16))可能过长而不能提供令人满意的对该场景的3D成像。例如,对于具有在时间TT期间以片宽度级的距离来进行移位的移动特征的场景而言,获取时间TT可能过长。
发明人确定,用于获取场景的3D图像的总时间TT可以通过在可任选地不改变门的长度的情况下修改用于获取该场景的各片的QF、QB和QO的值的门的定时来降低。具体而言,发明人注意到,等于2Δτpw的时间延迟在时间上将各连续片的前门的开始时间分开,并且如图4所示这些片的长门(相对于tO)重叠。另一方面,根据本发明的一实施例,如果将相邻片的长门定时使得它们不重叠并且在相邻片的一个长门结束时另一个长门开始,则可以在降低的总获取时间TT内获取场景的3D图像。
然而,通过对长门进行定时以便它们不重叠,使得相邻片的前门间隔时间为3Δτpw而非时间2Δτpw。结果,前短门和后短门所定义的相邻片不再连续,而是由“间隙”片分开。对于间隙片,前门和短门不提供3D信息。根据本发明的一实施例,非重叠长门提供用于确定到位于间隙片中的特征的距离的附加信息。为便于呈现,短前门和短后门提供其信息的场景的各片被称为“正规片”。
通过配置诸如照相机20等3D选通照相机的选通以便长门提供间隙片的3D数据,使得每一长门及其相关联的前短门和后短门提供正规片的3D数据并另外提供间隙片的3D数据。如果前门、后门、以及非重叠长门拥有与图6中示出的具有重叠长门的定义场景的一片的对应各门相同的门宽度“SW”,则根据本发明的一实施例,场景的正规片具有与图6中的一片相同的空间宽度。因为一组前门、后门、和非重叠长门提供除正规片之外的间隙片的3D数据,所以定义场景的正规片的每一组门与图6的对应一组门相比提供更大的距离范围内的特征的3D数据。因此,与长门重叠时所需要的数量相比,需要更少数量的具有非重叠长门的几组门来获取场景的3D图像。然而,根据本发明的一实施例,正规片的片获取时间与使用重叠门定义的片的片获取时间大致相同。根据本发明的一实施例,使用非重叠长门的场景的总3D获取时间TT因此一般短于使用重叠长门的场景的总获取时间。
图7示意性地示出根据本发明的一实施例的用图表示出短前门、短后门、以及非重叠长门的定时的定时和距离图表115。场景30的由照相机20所成像的各正规片在图形上由沿时间-距离线70标记为RS1、RS2、…、RSN的阴影矩形来表示。对于给定片RSn,照相机20的定义该片的对应的前门、后门以及长门在图形上由分别标记为RFGn、RBGn、RLGn的矩形来表示。这些门在图形上沿左手时间纵坐标62示出,其中相邻正规片的各门在该时间纵坐标的相对两侧示出。相对于任何给定长门RLGn的开始时间,对应的短前门RFGn和短后门RBGn具有与前门FGn和后门BGn(图6)相对于对应的长门LGn的开始时间所具有的相同的开始时间。
作为示例,图表115中的第一正规片RS1与图6的图表95中示出的片S1相同。并且,相对于第一光脉冲40的发射时间tO,门RFG1、RBG1以及RLG1的开始、停止和门长度分别与图6的门FG1、BG1以及LG1的开始、停止和门长度相同。到位于正规片RSn中的特征的距离是使用等式(13)和(14)从在定义该片的前门RFGn、后门RBGn和长门RLGn期间对该特征进行成像的像素23所记录的光的量QF、QB、QO来确定的。在门RFG1、RBG1和RLG1期间对特征71进行成像的像素所记录的光的量在图形上分别由门中的阴影区域103、104和91表示。
根据本发明的一实施例,如图6所示,因为长门RLGn在前一长门RLGn-1结束时开始而非与前一长门重叠,所以正规片RSn不是连续的,而是由间隙片分开。在图7中,间隙片在图形上由标记为ISn,n+1的阴影矩形来表示,其中下标n、n+1指示夹起该间隙片的正规片RSn和RSn+1。假定短门RFGn、RBGn具有等于Δτpw/2的门宽度并且长门RLGn具有等于3Δτpw的门宽度,则每一间隙片具有等于正规片的片宽度的一半的片宽度“ISW”,使得
ISW=SW/2=cΔτpw/2。 (17)
对于位于间隙片ISn,n+1中的特征,对该特征进行成像的像素23在夹起该间隙片的正规片的短门和长门期间不记录该特征所反射的来自光脉冲40的光。结果,在前门和后门期间,照相机20不获取该特征的3D信息,并且到该特征的距离不能使用诸如等式(13)和(14)等常规等式来确定。然而,尽管该像素在短门期间不记录该特征所反射的来自光脉冲40的任何光,但该像素在夹起该间隙片的正规片的长门期间确实记录所反射的来自光脉冲40的光。作为示例,场景30的位于间隙片IS1,2中的距离Df(121)处的特征示意性地由沿时间-距离线70的标记为121的圆圈来表示。对该特征进行成像的像素23在长门RLG1和RLG2期间所记录的反射光在图形上分别由阴影区域122和124表示。根据本发明的一实施例,这些长门所记录的光被用来确定到该特征的距离。
令场景30的间隙片ISn,n+1中的特征所反射的来自光脉冲40的并在长门RLGn和RLGn+1期间所记录的光分别由QL(n)和QL(n+1)用符号来表示。根据本发明的一实施例,如果长门RLGn和RLGn+1开始的时间分别由tLg(n)和tLg(n+1)表示,则根据以下等式确定到该特征的距离Df
Df=ctLg(n+1)/2-(cΔτpw)(QL(n)/QO(n))/2;或者 (18)
Df=ctLg(n+1)/2-(cΔτpw)(1-QL(n+1)/QO(n))/2。 (19)
在等式(18)和(19)中,QO(n)=(QL(n)+QL(n+1))。
对于诸如照相机20等被用来确定到场景的各特征的距离并根据本发明的一实施例来选通的照相机,令对该场景中的特征进行成像的像素在门RFGn、RBGn期间所记录的光的量分别由QF(n)和QB(n)来表示。令打开门RFGn和RBGn的时间分别由tFg(n)和tBg(n)来表示。则根据本发明的一实施例,可以使用以下一组一般的条件和等式来确定到该特征的距离Df。
如果QF(n)≠0或者QB(n)≠0,则 (20)
如果QB(n)≤QF(n),则Df=ctFg(n)/2+(cΔτpw)[(QF(n)+QB(n))/QL(n)-1]/2;以及(21)
如果QB(n)>QF(n),则Df=ctFg(n)/2+(cΔτpw)[1-(QF(n)+QB(n))/QL(n)]/2 (22)
如果QF(n)=QB(n)=0且QL(n)≠0且QL(n+1)≠0,则 (23)
Df=ctLg(n)/2-(cΔτpw)(QL(n)/QO(n))/2;或者 (24)
Df=ctLg(n)/2-(cΔτpw)(1-QL(n+1)/QO(n))/2。 (25)
注意,对于位于某一距离处的恰好处于正规片和相邻间隙片之间的边界的特征,对该特征进行成像的像素23只在定义该正规片的长门期间才记录光。此外,存在着关于该像素所记录的光的量是与位于正规片和下一相邻间隙片还是前一相邻间隙片的之间的边界处的特征相对应的模糊性。一般而言,这种情况只对于场景中的非常少的特征才出现,并且在本发明的一些实施例中,忽略发生这一点的特征。
在本发明的一些实施例中,相对于时间tO对相邻长门进行定时以稍微“重叠”来消除模糊性。例如,长门可具有比紧靠的前一长门的停止时间早等于或少于大约十分之一脉冲宽度的时间段的开始时间。可任选地,为了提供重叠,将各长门延长该重叠的时间段。
从以上讨论和图7中可以看到,通过根据本发明的一实施例来选通3D照相机,对于每一组门RFGn、RBGn和RLGn,获取场景30的具有与图6所示的片Sn相同宽度SW的正规片RSn的3D数据。然而,除获取正规片的3D数据之外,一组门RFGn、RBGn和RLGn以及长门RLGn+1提供该场景的间隙片ISn,n+1的3D信息。对于足够大数量的N组门RFGn、RBGn、RLGn,每组门都可被考虑来获取正规片和间隙片的3D数据。因为每一正规片RSn具有片宽度SW并且每一间隙片ISn,n+1具有宽度ISW=SW/2,一组门RFGn、RBGn和RLGn可被考虑来获取具有扩大片宽度的“扩大片”的3D数据,
ESW=SW+ISW=(3/2)SW。 (26)
根据本发明的一实施例,为了获取场景30的3D图像,对于N组门RFGn、RBGn和RLGn,照相机30被选通打开,其中
N=(R2-R1)/ESW=(R2-R1)/[3/2)SW], (27)
通过将N与等式(15)所定义的片数N进行比较,可以看到
N=(2/3)N。 (28)
假定根据本发明的一实施例的正规片的片获取时间TS与在图6中示出的根据本发明的一实施例的获取一个片的片获取时间相同。因此,根据本发明的一实施例,获取场景30的3D图像的数据的总时间TT是根据图6中示出的选通来对该场景进行3D成像所需的时间的2/3。
在一些现有技术3D选通算法中,到诸如场景30等场景的一片中的特征的距离由具有等于照亮该场景的光脉冲40(图1)的脉冲宽度Δτpw的门宽度的短“延长”前门来确定。该延长前门和对应的长门相对于照亮该场景并提供从场景反射且由照相机20在这些门期间成像的光的相应光脉冲40的发射时间tO在同一时间开始。
作为示例,图8示出例示延长前门202及其对应的长门204相对于照亮场景30的光脉冲40的发射时间tO的定时的时间-距离图表200。前门202沿左手时间纵坐标62示出,而长门204沿右手时间纵坐标63示出。门202和204相对于时间tO在同一时间开始。然而,图2-4中示出的长门90具有等于3Δτpw的门宽度,与延长前门202一起使用的长门204可任选地具有较短门宽度2Δτpw。延长前门202及其相关联的长门204定义场景30的具有空间宽度cΔτpw/2的一片。在图8中,这些门所定义的片在图形上由沿时间-距离线70的阴影矩形206来表示。
令延长前门202及其对应的长门在光脉冲发射时间tO之后开始的时间由tSg来表示。随后,光敏面22中的像素23在这些门期间获取的光可被用来确定到该场景的一个片中的特征的距离Df(具有下限距离DSL和上限距离DSU),其中DSL、DSU以及Df满足以下关系,
DSL=ctsg/2≤Df≤DSU=[ctsg+cΔτpw]/2。 (29)
片206具有空间“片宽度”
SW=(DSU-DSL)=[cΔτpw]/2 (30)
对场景30的位于片206中的特征71进行成像的像素23在延长前门202和长门204期间所记录的光在图形上分别由这些门中的阴影区域208和210来表示。从图8中可以看到,对于位于片206中的任何特征,像素23所记录的光的量210基本上是特征71所反射的到达照相机20的所有光。然而,对于这样的特征,像素在延长前门202期间所记录的光的量208取决于该特征在片206中的位置。令所记录的光的量208和210分别由符号“Q”和“QO”表示。则特征71距照相机20的距离Df由下式给出,
Df=ctsg/2+(cΔτpw)(1-Q/QO)/2。 (31)
注意,与图2和3中示出的门的配置不同,对于图8中示出的门的配置,不存在关于诸如特征71等特征在片206中的位置的模糊性。然而,对于不处于片206中但恰好位于片206之前的距离Df’处的特征,对该特征进行成像的像素23将在延长前门202和长门204期间记录光,距离Df’满足以下等式,
ctsg/2-(cΔτpw)<Df’<ctsg/2。 (32)
对于所有这样的特征,在延长前门202期间所记录的光的量等于在长门204期间所记录的光的量,比率Q/QO等于1并且等式(31)提供相同的距离Df=ctsg/2。在一些现有技术方法中,为了防止对于片206外的特征的错误的距离测量,对于Q/QO=1的像素不确定距离Df。一般而言,因为存在相对少的Q/QO=1的特征,所以忽略这样的特征基本上不会对提供该片的完整3D图像造成不利影响。
到片206中的特征的距离还可以根据使用延长后门代替延长前门的现有技术来确定。延长后门具有等于延长前门的门宽度,但在与对应的长门相同的相对于光脉冲发射时间to的时间结束,而非在与该长门相同的时间开始。延长后门可被认为是延长前门的镜像图像。
图9示出例示延长后门222及其对应的长门224相对于照亮场景30的光脉冲40的发射时间tO的定时的时间-距离图表220。延长后门222沿左手时间纵坐标62示出,而长门224沿右手时间纵坐标63示出。门222和224相对于时间tO在同一时间teg开始。如果teg=tsg+2Δτpw,则延长后门222及其相关联的长门224定义场景30的图7中示出的延长前门和长门202所定义的相同的片206。对从特征71反射的、由对特征71进行成像的像素23在延长后门222和长门224期间所记录的光分别由阴影区域226和228来表示。到片206中的特征的距离Df由下式给出
Df=cteg/2+(cΔτpw)(Q/QO-2)/2, (33)
其中“Q”和“QO”分别表示所记录的光的量226和228。
如在图6中示出的门配置相似的情况下,延长前门202(图8)或延长后门222(图9)分别与长门204和224一起的配置可被重复以获取到场景30的多个可任选地连续片中的特征的距离。如果到场景中的特征的距离的范围从距离R1延伸到距离R2,并且片具有片宽度SW,则需要N片来获取该场景的3D图像,其中
N=(R2-R1)/SW=2(R2-R1)/cΔτpw。 (34)
令“门获取时间”ΔTg是像素23在延长前门、延长后门或长门期间记录适用于确定到场景的在该像素上成像的特征的距离Df的光的量所需的时间。该场景的一个片的3D获取时间随后可被写成
TS=2ΔTg, (35)
并且该场景的总获取时间可被写成,
TT=NTS=4ΔTg(R2-R1)/cΔτpw。 (36)
图10示出例示被用来获取诸如场景30等场景的一个片的3D图像的多个延长后门和相关联的长门的时间关系的时间-距离图表240。
第一延长后门242及其相关联的长门244沿左时间纵坐标62示出并定义片246。从片246中的特征248反射的来自光脉冲40(图1)的、由对该特征进行成像的像素在延长后门242和长门244期间所记录的光的量分别被示为这些门中的阴影区域249和250。第二延长后门252及其相关联的长门254沿右时间纵坐标63示出并定义片256。作为示例,假定场景30中的片248与该场景中的片256邻接,并且结果在图10中在一个角处相接触。从片256中的特征258反射的来自光脉冲40(图1)的、由对该特征进行成像的像素23在延长后门252和长门254期间所记录的光的量分别被示为这些门中的阴影区域259和260。
发明人认识到,如果只使用长门来获取场景的多个片,则获取场景30的3D图像的数据的总获取时间TT相对于使用延长前门或后门和相关联的长门所需的总获取时间而言得到降低。
图11示出根据本发明的一实施例的示出用于获取场景的3D图像的多个长门的时间关系的时间-距离图表280。用于获取场景30的3D图像的长门序列LG1、LG2、LG3、…沿左时间纵坐标62示出。为呈现清楚起见,用奇数下标来标记的门(此后称为“奇门”)以及用偶数下标来标记的门(此后称为“偶门”)在左时间纵坐标62的相对侧上示出。门LG1和LG2也沿右时间纵坐标63重复。每一对顺序奇门和偶门定义场景30的空间片。例如,在图11中,门LG1和LG2定义沿时间-距离线70定位的被标记为SL1,2的片。光敏面22在门LG1和LG2期间所记录的光可根据本发明的一实施例用来确定到片SL1,2中的位于该片中的所有特征的距离。类似地,门对(LG3,LG4)定义图11中示出的片SL3,4。
在本发明的一实施例中,偶门和奇门具有相同的门宽度,
ΔτLGW=2Δτpw, (37)
并且每一偶门和奇门在分别比前面的奇门和偶门开始的时间晚门宽度(即,Δτpw)的一半的时间(相对于tO)开始。结果,两个长门所定义的片SLn,n+1具有空间宽度,
SW=cΔτpw。 (38)
位于片SL1,2和SL3,4中的由照相机20所成像的特征由沿时间-距离线70的圆圈281、282、以及283来示意性地表示。分别对特征281、282和283进行成像的像素23在这些门期间所记录的光的量在图形上分别由阴影区域AB来指示。特征282所记录的光的量在沿右手时间纵坐标63的门LG1和LG2中示出。
根据本发明的一实施例,如果像素23在门LGn和LGn+1期间记录的光的量分别是Qn和Qn+1,则根据以下等式确定到该像素所成像的特征的距离Df,
如果Qn+1≤Qn,则Df=(ctn/2)+cΔτpw(Qn+1/Qn)/2, (39)
如果Qn≤Qn+1,则Df=(ctn+1/2)+cΔτpw(1-(Qn/Qn+1))/2 (40)
从以上讨论和图11可以看到,每两个长门提供场景的具有等于cΔτpw的空间宽度的一个片的3D信息,并且η个长门LGn提供具有处于从R1到R2的范围内的距离Df的特征的3D信息,其中(R2-R1)=ηcΔτpW/2,因此
η=2(R2-R1)/cΔτpw。 (41)
假定门获取时间ΔTg,由距离R1和R2来定界的场景的总获取时间因此可以写成,
TT=ηTS=2ΔTg(R2-R1)/cΔτpw。 (42)
根据本发明的一实施例,该场景的总获取时间因此是等式(36)给出的现有技术获取时间的一半。
还要注意,对于根据本发明的一实施例的在图7中示意性地示出的“间隙片”选通方法,随着用于提供由距离R1和R2来定界的场景的3D图像的片的数量的增加,对该场景进行成像所需的门的数量逼近等式41所给出的数量。结果,对于同一场景,该场景的使用图7中示意性地示出的选通配置的总3D获取时间逼近使用图11中示意性地示出的选通配置的总3D获取时间。
在本申请的说明书和权利要求书中,动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的成员、组件、元素、或部分的排他列表。
参考作为示例来提供并且不旨在限制本发明的范围的本发明各实施例来描述了本发明。所描述的各实施例包括不同特征,并非所有这些特征都是本发明的所有实施例所需的。本发明的一些实施例只利用这些特征中的一部分或这些特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的以及本发明的各实施例的、包括与在所描述的各实施例中记录的不同的特征组合的变型。本发明的范围只由所附权利要求书来限定。
Claims (21)
1.一种获取场景的3D图像的方法,所述方法包括:
在发射时间发射具有某一脉冲宽度的至少一个光脉冲以照亮所述场景;
在多组门期间将所述场景所反射的来自所述至少一个光脉冲的光成像在可选通光敏面上,每一组门包括具有开始和停止时间的至少一个第一、第二和第三门,并且相对于所述至少一个光脉冲的光脉冲发射时间,所述至少一个第一门和所述至少一个第二门的开始和停止时间处于所述至少一个第三门的开始和停止时间之间,其中对于所多组门中的至少一组,所述至少一个第三门具有大约等于该多组门中的另一组的至少一个第三门的停止时间的开始时间;以及
使用在所述光敏面上成像的反射光的量来确定到所述场景的距离。
2.如权利要求1所述的方法,其特征在于,所述第二门的开始时间基本上等于所述第一门的停止时间。
3.如权利要求2所述的方法,其特征在于,所述第一门的开始时间相对于所述第三门的开始时间延迟了所述至少一个光脉冲的脉冲宽度。
4.如权利要求3所述的方法,其特征在于,所述第一和第二门具有相等的门宽度。
5.如权利要求4所述的方法,其特征在于,所述第一和第二门的门宽度等于所述至少一个光脉冲的脉冲宽度的一半。
6.如权利要求5所述的方法,其特征在于,所述第三门的门宽度基本上等于所述至少一个光脉冲的三倍脉冲宽度。
7.如权利要求5所述的方法,其特征在于,如果从在一组门的至少一个第一、第二和第三门期间被成像的特征所反射的光的量分别由Q1、Q2、Q3表示,并且所述至少一个第一门的开始时间由t1表示,则如果Q1≠0或Q2≠0,则到所述特征的距离Df根据下式确定
如果Q1(n)≤Q2(n),则Df=ct1/2+(cΔτ)[(Q1+Q2)/Q3-1]/2,以及
如果Q1(n)>Q2(n),则Df=ct1/2+(cΔτ)[1-(Q1+Q2)/Q3]/2,
其中c是光速且Δτ是所述至少一个光脉冲的脉冲宽度。
8.如权利要求6或7所述的方法,其特征在于,如果从在一组门的至少一个第一、第二和第三门期间被成像的特征所反射的光的量分别由Q1、Q2、Q3表示,所述至少一个第三门的开始时间由t3表示,并且来自由另一组门的至少一个第三门所成像的特征的光的量由Q* 3表示,则如果Q1=Q2=0,Q3≠0且Q* 3≠0,则根据下式确定到所述特征的距离Df
Df=ct3/2-(cΔτpw)(Q3(n)/(Q3+Q* 3))/2,或者
Df=ct3/2-(cΔτpw)(1-Q* 3/(Q3+Q* 3))/2,
其中c是光速且Δτ是所述至少一个光脉冲的脉冲宽度。
9.如前述权利要求中任一项所述的方法,其特征在于,所述至少一个第三门的开始时间比所述另一组门的至少一个第三门的停止时间早一定时间段,该时间段小于或等于所述至少一个光脉冲的脉冲宽度的大约二十分之一。
10.一种获取场景的3D图像的方法,所述方法包括:
在发射时间发射至少一个光脉冲以照亮所述场景;
在具有开始和停止时间的多个等长的门期间将所述场景所反射的来自所述至少一个光脉冲的光成像在可选通光敏面上,并且相对于所述至少一个光脉冲的光脉冲发射时间,至少一个第一门的开始时间基本上是至少一个第二门的开始和停止时间之间的一半处的时间;以及
使用在所述至少一个第一门和所述至少一个第二门期间在所述光敏面上成像的反射光的量来确定到所述场景的特征的距离。
11.如权利要求10所述的方法,其特征在于,所述门具有基本上等于两倍于所述至少一个光脉冲的脉冲宽度的门宽度。
12.如权利要求10或11所述的方法,其特征在于,如果所述至少一个第一门的开始时间和从在所述至少一个第一门期间成像的特征所反射的光的量分别由t1和Q1表示,并且对于所述至少一个第二门分别由t2和Q2表示,则根据下式确定到所述特征的距离Df
如果Q2≤Q1,则Df=(ct1/2)+cΔτ(Q2/Q1)/2,以及
如果Q1≤Q2,则Df=(ct2/2)+cΔτ(1-(Q1/Q2))/2,
其中c是光速且Δτ是所述至少一个光脉冲的脉冲宽度。
13.一种获取场景的3D图像的方法,所述方法包括:
在发射时间发射具有某一脉冲宽度的至少一个光脉冲以照亮所述场景;
在一组门期间将所述场景所反射的来自所述至少一个光脉冲的光成像在可选通光敏面上,所述一组门包括具有开始和停止时间的至少一个第一、第二和第三门,并且相对于所述至少一个光脉冲的光脉冲发射时间,每一第一门和每一第二门的开始和停止时间处于同一第三门的开始和停止时间之间;以及
使用在所述光敏面上成像的反射光的量来确定到所述场景的距离。
14.如权利要求13所述的方法,其特征在于,所述第一门具有相对于所述第三门的开始时间大约延迟了所述脉冲宽度的开始时间。
15.如权利要求13或14所述的方法,其特征在于,所述第二门具有比所述至少一个第三门的停止时间大约早了脉冲宽度的停止时间。
16.如权利要求13-14中的任一项所述的方法,其特征在于,所述第一门具有大约等于脉冲宽度的一半的门宽度。
17.如权利要求13-16中的任一项所述的方法,其特征在于,所述第二门具有大约等于脉冲宽度的一半的门宽度。
18.如权利要求13-17中的任一项所述的方法,其特征在于,所述第三门具有大约等于三倍脉冲宽度的门宽度。
19.如权利要求14所述的方法,其特征在于,所述第一和第二门具有等于脉冲宽度的一半的门宽度,并且所述第三门具有大约等于三倍脉冲宽度的门宽度,其中如果从在所述至少一个第一、第二和第三门期间被成像的特征反射的光的量分别由Q1、Q2、Q3表示,并且所述第一门的开始时间由t1表示,则根据下式确定到所述特征的距离Df
如果Q2≤Q1,则Df=ct1/2+(cΔτ)(Q/Q3-1)/2;以及
如果Q1>Q2,则Df=ct1/2+(cΔτ)(1-Q/Q3)/2,
其中c是光速,Δτ是所述至少一个光脉冲的脉冲宽度,且Q=(Q1+Q2)。
20.一种可用于获取场景的3D图像的照相机,包括:
可选通光敏面;以及
根据权利要求1-19中的任一项所述的方法来对所述光敏面进行选通的控制器。
21.如权利要求20所述的照相机,其特征在于,包括可控制来使用光脉冲照亮所述场景的光源。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IL2007/001571 WO2009078002A1 (en) | 2007-12-19 | 2007-12-19 | 3d camera and methods of gating thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102099703A true CN102099703A (zh) | 2011-06-15 |
Family
ID=39797928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007801023367A Pending CN102099703A (zh) | 2007-12-19 | 2007-12-19 | 3d照相机及其选通方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2235563A1 (zh) |
CN (1) | CN102099703A (zh) |
WO (1) | WO2009078002A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105723238A (zh) * | 2013-10-17 | 2016-06-29 | 微软技术许可有限责任公司 | 概率飞行时间成像 |
CN106688099A (zh) * | 2014-09-08 | 2017-05-17 | 微软技术许可有限责任公司 | 可变分辨率像素 |
CN107209254A (zh) * | 2015-01-30 | 2017-09-26 | 微软技术许可有限责任公司 | 扩展范围选通飞行时间相机 |
CN108370438A (zh) * | 2015-12-16 | 2018-08-03 | 欧库勒斯虚拟现实有限责任公司 | 范围选通的深度相机组件 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8264581B2 (en) | 2008-07-17 | 2012-09-11 | Microsoft International Holdings B.V. | CMOS photogate 3D camera system having improved charge sensing cell and pixel geometry |
CN102112844B (zh) | 2008-07-29 | 2013-04-24 | 微软国际控股私有有限公司 | 成像系统 |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1194056A (zh) * | 1995-06-22 | 1998-09-23 | 3Dv系统有限公司 | 改进型光学测距摄象机 |
WO2000019705A1 (en) * | 1998-09-28 | 2000-04-06 | 3Dv Systems, Ltd. | Distance measurement with a camera |
WO2001018563A1 (en) * | 1999-09-08 | 2001-03-15 | 3Dv Systems, Ltd. | 3d imaging system |
WO2003054579A1 (de) * | 2001-12-06 | 2003-07-03 | Astrium Gmbh | Verfahren und vorrichtung zum erzeugen von 3d-enfernungsbildern |
CN1700038A (zh) * | 2005-03-25 | 2005-11-23 | 浙江大学 | 无扫描器脉冲调制式三维成像方法及系统 |
CN1869731A (zh) * | 2006-06-29 | 2006-11-29 | 哈尔滨工业大学 | 距离选通式激光3d成像雷达系统 |
CN101027574A (zh) * | 2004-07-06 | 2007-08-29 | 迪米斯戴尔工程有限责任公司 | 在3d成像系统中测定距离 |
CN101065683A (zh) * | 2004-11-23 | 2007-10-31 | Iee国际电子工程股份公司 | 3d相机的误差补偿方法 |
-
2007
- 2007-12-19 EP EP07849597A patent/EP2235563A1/en not_active Withdrawn
- 2007-12-19 WO PCT/IL2007/001571 patent/WO2009078002A1/en active Application Filing
- 2007-12-19 CN CN2007801023367A patent/CN102099703A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1194056A (zh) * | 1995-06-22 | 1998-09-23 | 3Dv系统有限公司 | 改进型光学测距摄象机 |
WO2000019705A1 (en) * | 1998-09-28 | 2000-04-06 | 3Dv Systems, Ltd. | Distance measurement with a camera |
WO2001018563A1 (en) * | 1999-09-08 | 2001-03-15 | 3Dv Systems, Ltd. | 3d imaging system |
WO2003054579A1 (de) * | 2001-12-06 | 2003-07-03 | Astrium Gmbh | Verfahren und vorrichtung zum erzeugen von 3d-enfernungsbildern |
CN101027574A (zh) * | 2004-07-06 | 2007-08-29 | 迪米斯戴尔工程有限责任公司 | 在3d成像系统中测定距离 |
CN101065683A (zh) * | 2004-11-23 | 2007-10-31 | Iee国际电子工程股份公司 | 3d相机的误差补偿方法 |
CN1700038A (zh) * | 2005-03-25 | 2005-11-23 | 浙江大学 | 无扫描器脉冲调制式三维成像方法及系统 |
CN1869731A (zh) * | 2006-06-29 | 2006-11-29 | 哈尔滨工业大学 | 距离选通式激光3d成像雷达系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105723238A (zh) * | 2013-10-17 | 2016-06-29 | 微软技术许可有限责任公司 | 概率飞行时间成像 |
US10063844B2 (en) | 2013-10-17 | 2018-08-28 | Microsoft Technology Licensing, Llc. | Determining distances by probabilistic time of flight imaging |
CN106688099A (zh) * | 2014-09-08 | 2017-05-17 | 微软技术许可有限责任公司 | 可变分辨率像素 |
CN106688099B (zh) * | 2014-09-08 | 2019-10-01 | 微软技术许可有限责任公司 | 可变分辨率像素 |
CN107209254A (zh) * | 2015-01-30 | 2017-09-26 | 微软技术许可有限责任公司 | 扩展范围选通飞行时间相机 |
CN107209254B (zh) * | 2015-01-30 | 2020-08-04 | 微软技术许可有限责任公司 | 扩展范围选通飞行时间相机 |
CN108370438A (zh) * | 2015-12-16 | 2018-08-03 | 欧库勒斯虚拟现实有限责任公司 | 范围选通的深度相机组件 |
CN108370438B (zh) * | 2015-12-16 | 2021-03-23 | 脸谱科技有限责任公司 | 范围选通的深度相机组件 |
Also Published As
Publication number | Publication date |
---|---|
EP2235563A1 (en) | 2010-10-06 |
WO2009078002A1 (en) | 2009-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102113309B (zh) | 卷帘相机系统 | |
CN102099703A (zh) | 3d照相机及其选通方法 | |
CN102147553B (zh) | 快速选通光敏面的方法、用于确定到场景中的特征的距离的方法及照相机 | |
KR100770805B1 (ko) | 3차원 거리측정 이미지를 기록하기 위한 방법 및 장치 | |
KR102233419B1 (ko) | 확률적 tof 이미징 | |
JP6320406B2 (ja) | 深さ情報および画像センサにより画像を生成する方法 | |
JP4578686B2 (ja) | 3dカメラ | |
CN102273191B (zh) | 门控3d照相机 | |
JP2001264033A (ja) | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 | |
US7688374B2 (en) | Single axis CCD time gated ladar sensor | |
CN105164550B (zh) | 测距装置以及测距方法 | |
CN107209254B (zh) | 扩展范围选通飞行时间相机 | |
US20060131486A1 (en) | Flash ladar system | |
JP2003510561A (ja) | Cmos互換3次元画像センサic | |
CN101652627A (zh) | 一种用于成像的方法、设备和系统 | |
CN103581625A (zh) | 一种分时并行图像采集装置及其标定方法 | |
CN106970024A (zh) | 基于相机和可控频闪光源的限界检测测距方法及系统 | |
JP2001147110A (ja) | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 | |
CN104049257A (zh) | 一种多相机空间目标激光立体成像装置及方法 | |
CN106225765A (zh) | 一种多线阵图像传感器获得超大景深扫描成像的装置及成像方法 | |
CN106454334B (zh) | 一种x射线分幅相机曝光时间的测量装置 | |
CN106291583A (zh) | 一种大视角距离选通激光成像的横向扫描合成方法 | |
US11408998B2 (en) | Increase depth resolution and depth accuracy in ToF sensors by avoiding histogrammization | |
JPS599610A (ja) | 自動合焦装置 | |
Tan et al. | Three-dimensional machine vision using gated imaging system: A numerical analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110615 |