一种TOF深度相机
技术领域
本发明涉及距离测量设备,尤其涉及一种通过检测飞行时间(TOF)来实现距离测量的TOF深度相机。
背景技术
深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。
现有的飞行时间法(Time of Flight,TOF)深度相机的光源调制方式主要分成两类:一种为连续波鉴相法,采用连续的周期波形的光源和探测器快门调制,通过鉴相的方式进行测距;一种为脉冲飞行时间法,采用脉冲光源,通过光脉冲和探测器的窄快门进行相互切割产生灰度图像,由多帧不同时序的灰度图像计算出深度图。
请参见图1和图2,图1和图2是现有的脉冲飞行时间法测量深度信息的原理图。如图所示,TOF深度相机包括脉冲光源1,成像和探测器件2,和控制单元3。测量时相机上的控制单元3打开脉冲光源1然后再关闭,发出一个光脉冲。光脉冲从待测物体4上反射回来,由成像和探测器件2接收。成像和探测器件2的每个像素都是由一个感光单元(如光电二极管)组成,它可以将入射光转换为电流。在同一时刻,控制单元3打开和关闭成像和探测器件2上的第一快门,成像和探测器件2接收到的电荷S0被存储在相机感光元件中。
然后,控制单元3第二次打开并关闭脉冲光源。并且控制第二快门打开和关闭,这个第二快门相比第一快门来说具有一个相对较晚的延迟时间,图2所示中即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来,如图2所示。
因为单个光脉冲的持续时间非常短,此过程会重复几千次,直到达到曝光时间。然后感光传感器中的值会被读出,实际距离可以根据这些值来计算。记光的速度为c,tp为单个光脉冲的宽度时间,S0表示第一快门收集的电荷,S1表示第二快门收集的电荷,那么距离d可以由如下公式计算:
d=c/2*tp*S1/(S0+S1) (1)
然而现有技术中,为了保证远距离的有效灰度,深度相机通常需要足够多的曝光时间,因此会多次打开脉冲光源和快门。但是在近距离下,由于反射光线的发散角度较小,光的能量比较集中,很容易超过TOF相机探测器的探测上限,或者进入探测器的非线性区域,容易造成测量的误差较大。
因此,如何克服远距离和近距离之间的曝光矛盾,成为业内急需解决的问题之一。
发明内容
针对现有技术的不足,本发明的目的在于以解决现有的TOF深度相机中,在近距离测距时,因反射光过于集中导致相机探测器接收到的光能量过大,因而引起的测量误差较大问题,通过设计三快门异构的方案,使得近距离对应的快门曝光能量小,远距离对应的快门曝光能量,从而让远、近距离都能工作在正常状态下。
根据本发明的目的提出的一种TOF深度相机,包括脉冲光源、成像和探测器件,以及控制模块,所述脉冲光源发射具有第一脉冲、第二脉冲和第三脉冲的脉冲序列;
还包括快门模块,所述快门模块包括第一快门、第二快门和第三快门,所述第一快门配合所述第一脉冲使用,所述第二快门配合所述第二脉冲使用,所述第三快门配合所述第三脉冲使用,其中:
所述第一快门被配置为具有第一延迟时间,所述第二快门被配置为具有第二延迟时间,所述第三快门被配置为具有第三延迟时间,所述第一延迟时间、第二延迟时间和所述第三延迟时间均不相同,使得所述成像和探测器件在所述第一快门、第二快门和第三快门作用下对不同距离区间内测得的灰度值不同;
所述控制模块控制所述第一脉冲、第二脉冲和第三脉冲的脉冲数量和/或对应的第一快门、第二快门和第三快门的打开数量,使得所述成像和探测器件在所述三个快门下均工作在线性区。
优选的,所述第一脉延迟时间小于所述第二延迟时间,所述第二延迟时间小于所述第三延迟时间,且所述第一延迟时间与第二延迟时间之间、所述第二延迟时间与第三延迟时间之间均相差一个脉冲宽度的时间。
优选的,所述第一延迟时间使得所述成像和探测器件在第一探测距离区间内形成的图像灰度值最大,所述第三延迟时间使得所述成像和探测器件在第二探测距离区间内形成的图像灰度值最大,所述第一探测距离区间的中间值小于所述第二探测距离区间的中间值。
优选的,所述第一脉冲、第二脉冲和第三脉冲的脉冲数量相等,所述第一快门的打开次数最少,所述第三快门的打开次数最多,使得所述成像和探测器件在第一脉冲下获取的图像灰度最小,在第三脉冲下获取的图像灰度最大。
优选的,所述第一快门、第二快门和第三快门的打开次数相等,所述第一脉冲的脉冲数量最少,所述第三脉冲的脉冲数量最多,使得所述成像和探测器件在第一脉冲下获取的图像灰度最小,在第三脉冲下获取的图像灰度最大。
优选的,所述第一快门的打开次数和所述第一脉冲的脉冲数量相等,所述第二快门的打开次数和所述第二脉冲的脉冲数量相等,所述第三快门的打开次数和所述第三脉冲的脉冲数量相等,所述第一脉冲的脉冲数量最少,所述第三脉冲的脉冲数量最多,使得所述成像和探测器件在第一脉冲下获取的图像灰度最小,在第三脉冲下获取的图像灰度最大。
优选的,所述TOF深度相机的测量范围包括A、B、C、D四个区间,所述A、B、C、D四个距离区间依次为A区间代表的距离最短,D区间代表的距离最长,其中:
当测量的距离落在区间A中时,所述第一快门下测得的灰度大于第二快门,所述第三快门则没有接收到反射光;
在测量的距离落在区间B中时,所述第二快门下测得的灰度大于第一快门,所述第三快门同样没有接收到反射光;
在测量的距离落在区间C中时,所述第二快门下测得的灰度大于第三快门,所述第一快门则没有接收到反射光;
当测量的距离落在区间D中时,所述第三快门下测得的灰度大于第二快门,所述第一快门同样没有接收到反射光。
优选的,所述TOF深度相机在三个快门下获得三幅灰度图像后,比较所述三幅灰度图像中每个像素的亮暗顺序确定对应的区间编号,并在该区间内计算出目标距离。
优选的,在每个所述区间内,将没有接收到反射光的快门对应测到的灰度图像作为背景光,其他两幅减去该幅图像,用以消除背景光的影响。
优选的,还包括光学整形器件,所述光学整形器件设置在所述所述脉冲光源前,该光学整形器件将所述脉冲光源的光束整形成压缩阵列光束,照射在待测物体上。
与现有技术相比,本发明的技术方案具有如下的技术优势:
1、近距离的光能量较少,不超过探测器的探测上限,处于探测器的线性区域;
2、在测距的范围内,每帧图像的灰度保持在同一个水平上,保证测量的稳定性;
3、减少快门和光源的打开次数,降低相机的功耗。
附图说明
图1是现有技术下的TOF深度相机测距原理图。
图2是现有技术下的相机快门的配置时序图。
图3是本发明的TOF深度相机3快门异构的测距时序图。
图4是本发明的TOF相机在测量范围内的ABCD四个区间,三幅灰度图像的亮暗顺序。
图5是本发明的TOF相机在三个快门下测得有效的脉冲数。
图6是本发明具体实施方式下的TOF深度相机测距原理图。
图7是本发明第二实施方式下3快门异构的测距时序图。
图8是本发明第三实施方式下3快门异构的测距时序图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述,但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
正如背景技术中所述,传统的TOF深度相机,在测量物体的深度信息时,由于对不同测距范围内的物体,采用相同的快门配置方案,导致近距离和远距离之间的曝光冲突,即为了得到远距离时的足够曝光量,需要曝光的次数较多,因此会多次打开快门和脉冲光源,而近距离下的反射光线离散角度较小,光能量较为集中,会导致探测器接收到的光电荷数达到上限,引起测量误差。
为了解决上述冲突,本发明采用3快门异构方法,在成像和探测器2上设置3个配置方案不同的快门,这三个快门具有不同的延迟时间和不同的打开次数,使得在不同的测量区间内,每个快门的曝光量都能够在探测器正常的工作范围内,从而确保近距离和远距离的兼容。
下面,将结合附图对本发明的技术方案做详细介绍。
为了便于理解本发明的3快门异构方案,本发明先对3快门成像原理进行简单介绍。请参见图3,图3所示是本发明的TOF深度相机3快门异构的测距时序图。如图所示,其中L行表示光源发出的光脉冲,R行表示从物体反射回来的反射光脉冲,K行表示快门的时序。脉冲光源发射具有第一脉冲L1、第二脉冲L2和第三脉冲L3的脉冲序列,在图示中第一脉冲L1用3个方波表示脉冲个数,第二脉冲L2用4个方波表示脉冲个数,第三脉冲用5个方波表示脉冲个数,应当注意的是,图示的脉冲个数只是为了理解在本发明中,脉冲光源发出的脉冲个数可以是受调制的,而非特定限制我们的光源调制方式就按此进行。与具体实施中,光源打开的次数受测量距离的远近而定。
请再参见图3,经物体反射回来的反射光,与光源的脉冲光相比会有一个延迟,延迟的大小由物体与光源的距离而定。三个快门K1、K2、K3分别对应到L1、L2、L3,图示中的t1、t2、t3分别表示每个快门的延迟时间,即在第一脉冲L1下,脉冲光源发射一个脉冲,经过t1时间后,控制模块控制第一快门K1打开;在第二脉冲L2下,脉冲光源发射一个脉冲,经过t2时间后,控制模块控制第二快门K2打开;在第三脉冲L3下,脉冲光源发射一个脉冲,经过t3时间后,控制模块控制第三快门K3打开。
每一个脉冲序列下,相机会拍摄三幅灰度图像,拍摄三幅灰度图像时,三个快门按照相应的延迟时间进行偏移,发射出的激光脉冲被目标反射回后到达探测器时,快门剩余的开启时间决定了该次拍摄的灰度值。进一步的,第一快门K1被配置为具有第一延迟时间,第二快门K2被配置为具有第二延迟时间,第三快门K3被配置为具有第三延迟时间,且第一延迟时间、第二延迟时间和所述第三延迟时间均不相同,使得所述成像和探测器件在所述第一快门、第二快门和第三快门作用下对不同距离区间内测得的灰度值不同。
如图3所示中,阴影部分分别表示反射光在第一快门K1和第二快门K2中形成的曝光时间,即该点距离下,相机在第一快门下测得的灰度值和第二快门下测得的灰度值。
请参见图4,用I1、I2、I3分别表示三帧图像的灰度。在不同的测量距离下,三个快门所能测到的图像灰度值是不同的,图4给出了在测量范围内的ABCD四个区间,三幅灰度图像的亮暗顺序。当测量的距离落在区间A中时,第一快门下测得的灰度大于第二快门,第三快门则没有接收到反射光。在测量的距离落在区间B中时,第二快门下测得的灰度大于第一快门,第三快门同样没有接收到反射光。在测量的距离落在区间C时,第二快门下测得的灰度值大于第三快门,第一快门则没有接收到反射光。当测量区间落在D时,第三快门测得的灰度大于第二快门,第一快门同样没有接收到反射光。这里的ABCD四个距离区间依次为A区间代表的距离最短,D区间代表的距离最长。根据上述原理,在三快门下获得三帧灰度图像后,通过比较三幅灰度图像每个像素的亮暗顺序确定区间编号,并在该区间内计算出目标距离。由于1个反射光脉冲最多能被两个快门测得,所以在每个测量区间内,都有幅灰度图像最暗(即接收不到),将最案的灰度图像作为背景光,其他两幅减去该幅图像,来消除背景光的影响。
上面就是本发明使用三快门进行测距的原理,进一步的,在三快门异构的方案中,脉冲光源的脉冲个数和三个快门的打开次数受控制模块控制,可以进行调节,如图5所示,图5中,N1、N2、N3分别表示三个快门下被有效测得的脉冲数,通过对N1、N2、N3进行调整,确保不同距离下获取到的光线强度在相机探测器的工作区间内。比如在测量近距离时,可以适当减少第一脉冲的数量,或第一快门的打开次数,这样就能实现减少近距离下反射光线过于集中引发的光线能量太强,使得相机探测器超出工作上限的问题。同时在测量远距离时,可以适当增加第三脉冲的数量和第三快门的打开次数,让曝光更充分,增加远距离的测量精度。
下面将以具体实施方式对本发明的技术方案做详细说明。
请参见图6,图6是本发明具体实施方式下的TOF深度相机,如图所示,该TOF深度相机包括脉冲光源11、成像和探测器件14、控制模块15。在脉冲光源11前设有光学整形器件12,在成像和探测器件14中还包括快门模块(图中未示出)。其中光学整形器件12将脉冲光源11的光束整形成压缩阵列光束(图6中以点阵的方式显示),光斑照射在待测物体13上,照亮待测物体13的阵列区域(点阵或者线阵),由待测物体反射的光线被成像和探测器件14接收,成像和探测器件14将收集到光信号后转换为电信号,形成灰度图像,并传送给控制模块15,控制模块15通过解算形成深度信息,该深度信息即为待测物体13被光源照亮区域的距离信息。其中脉冲光源11和成像和探测器件14被控制模块15控制,控制该脉冲光源11发射调制的脉冲光,控制成像和探测器件14产生调制的快门。
具体的,脉冲光源发射具有第一脉冲、第二脉冲和第三脉冲的脉冲序列。快门模块包括异构的第一快门、第二快门和第三快门。其中第一快门配合第一脉冲使用,第二快门配合第二脉冲使用,第三快门配合第三脉冲使用,这里配合的意思是指在控制单元的控制下,当光源发射第一脉冲时,快门模块以第一快门的配置打开,当光源发射第二脉冲时,快门模块以第二快门的配置打开,当光源发射第三脉冲时,快门模块以第三快门的配置打开,并且快门单次打开的时间与一个脉冲的宽度时间相同。
一般情况下,被配置为延迟时间最短的快门,所具备的测距区间最小,为了便于理解,限定第一脉延迟时间小于第二延迟时间,第二延迟时间小于第三延迟时间,且所述第一延迟时间与第二延迟时间之间、所述第二延迟时间与第三延迟时间之间均相差一个脉冲宽度的时间。在上述限定下,第一快门在所述第一延迟时间使得所述成像和探测器件在第一探测距离区间内形成的图像灰度值最大,第三快门所述第三延迟时间使得所述成像和探测器件在第二探测距离区间内形成的图像灰度值最大,所述第一探测距离区间的中间值小于所述第二探测距离区间的中间值。
实施例一
第一实施例中,脉冲光源和三个快门的配置参见图3。在该实施方式下,第一快门的打开次数和第一脉冲的脉冲数量相等,第二快门的打开次数和第二脉冲的脉冲数量相等,第三快门的打开次数和第三脉冲的脉冲数量相等,其中,第一脉冲的脉冲数量最少,第三脉冲的脉冲数量最多,使得成像和探测器件在第一脉冲下获取的图像灰度最小,在第三脉冲下获取的图像灰度最大。本实施方式是光源和快门同时调整来获得不同距离下测得的灰度不同,其中,脉冲光源和快门的打开次数都是按照距离进行调制,使得总体光源和快门被打开的次数降低,节省了相机的功耗。
实施例二
第二实施例中,脉冲光源和三个快门的配置参见图7。在该实施方式下,第一脉冲、第二脉冲和第三脉冲的脉冲数量相等,第一快门的打开次数最少,第三快门的打开次数最多,使得所述成像和探测器件在第一脉冲下获取的图像灰度最小,在第三脉冲下获取的图像灰度最大。该实施方式是通过控制快门打开次数来实现控制不同距离区间下所测得的图像灰度值。其中脉冲光源的打开次数在每次成像时保持一样的配置,可以简化部分控制难度。
实施例三
第三实施例中,脉冲光源和三个快门的配置参见图8。在该实施方式下,第一快门、第二快门和第三快门的打开次数相等,第一脉冲的脉冲数量最少,第三脉冲的脉冲数量最多,使得所述成像和探测器件在第一脉冲下获取的图像灰度最小,在第三脉冲下获取的图像灰度最大。该实施方式是通过控制脉冲光源的打开次数来实现控制不同距离区间下所测得的图像灰度值。其中三个快门的打开次数在每次成像时保持一样的配置,仅对脉冲光源进行调制,这样可以简化快门的要求。
尽管为示例目的,已经公开了本发明的优选实施方式,但是本领域的普通技术人员将意识到,在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下,各种改进、增加以及取代是可能的。