CN111427230A - 基于时间飞行的成像方法及3d成像装置 - Google Patents

Abstract

本发明公开一种基于时间飞行的成像方法及3D成像装置，其中装置包括：散斑投射模块，包括光源，所述光源用于发出多束光束并在目标面形成间隔分布的散斑；阵列接收模块，包括与所述散斑数量相应的像素单元，所述像素单元用于接收目标面的散斑反射光束并记录光接收时刻；控制处理模块，记录所述散斑投射模块发出光束的光发射时刻，并控制散斑投射模块发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。本发明通过投射光路的扫描，进而大大提高成像分辨率，具有超远成像距离、抗强干扰、超分辨成像、精度高、低功耗的特点。

Description

基于时间飞行的成像方法及3D成像装置

技术领域

本发明涉及光电成像技术领域，尤其是涉及一种时间飞行距离测量方法及3D成像装置。

背景技术

3D成像装置在市场上已经开始应用于一些电子消费产品，如体感游戏的动作识别、新一代iphone的结构光3D人脸识别。3D成像装置可以大大地丰富用户的体验，提升产品竞争力，尤其是3D人脸识别，相对于2D的人脸识别，由于增加了一维的信息，在体验和安全性等方面是后者无法比拟的。相对于传统的生物识别，如指纹识别，3D人脸识别的可靠性和安全性要高出一个台阶。

不同于传统的2D成像装置，如摄像机，只能获取物体的平面2D信息，3D成像装置还可以获取物体的深度信息，构建一个立体的3D模型，因此3D成像装置被广泛应用于工业测量、零件建模、医疗诊断、安防监控、机器视觉、生物识别、增强现实AR和虚拟现实VR等领域，具有极大的应用价值。

3D成像技术分为主动式和被动式两类，主动式以结构光和时间飞行技术为主流，被动式以双目视觉为主流。由于被动式的双目视觉技术受到外部环境和拍摄对象表面纹理属性等客观因素影响，且在特征点自动匹配算法上较为复杂，当前在3D成像消费电子领域并未普及，市场上以结构光与时间飞行技术(TOF)的被动式应用为主。结构光技术方案的特点是含有散斑投射器与IR成像模块，在近距离1m以内的精度达到亚毫米，满足金融支付行业最高的3D人脸识别精度要求，缺点是远距离成像精度会急剧下降，而且也会消耗一定的用于深度算法的计算资源导致其应用场景范围大大受限。时间飞行技术，也即缩写为TOF的技术方案，其特点是含有照明发射模块与TOF sensor接收模块，成像距离远，应用场景多，例如智能手机的后置建模与3D感知、AR/VR设备对外环境的3D感测、汽车的激光3D测距系统等，TOF技术的不足是整个成像范围内的精度没有结构光技术那样高，但其应用的场景本身对精度并没有那么高，因而具有更广泛的应用前景。

TOF的全称是Time-Of-Flight，即飞行时间，是通过测量发射光从发射时刻到被物体反射至接收端的时间间隔，根据光速不变原理，可以实现距离测定。目前市场常用的是I-TOF技术，即Indirect Time-Of-Flight，I-TOF通过激光发射装置发射一束时间上周期性调制激光到物体表面上，返回光则在时序上产生一个相对于入射光的时间延迟，具体表现为相位延迟，相位延迟的大小与光的飞行时间具有对应的计算关系，I-TOF即通过测量相位延迟来“间接”得到光的飞行时间，进而实现距离测量。如公开号为CN209894976U的专利申请文件提供的一种时间飞行深度相机，该技术方案由于是通过测量相位来间接得到光飞行时间，而相位的测量实际是依靠接收光的能量强弱来进一步间接实现，导致相位测量不准，且易受环境光干扰，一旦距离继续上升，例如10m以上，反射接收的光会急剧衰减，甚至被环境光淹没，测量精度会急剧下降。同时I-TOF技术本质上是利用光能量平均积分法来得到图像传感器(sensor)上每一颗像素的距离值，因此不可避免的会产生多路径干扰问题，导致前方有多个物体时，得到的距离深度图会在物体之间产生“飞像素”，物体的轮廓之间模糊在一起，无法分辨，效果较差。

发明内容

为解决现有技术存在的问题，本发明提供一种基于时间飞行的成像方法及3D成像装置，直接实现光发射与光接收两个时刻的时间记录，该装置具有超远成像距离、抗强干扰、超分辨成像、精度高、低功耗的特点。

为实现上述的发明目的，本发明采用如下技术方案：

一种基于时间飞行的3D成像装置，包括：

散斑投射模块，包括光源，所述光源用于发出多束光束并在目标面形成间隔分布的散斑；

阵列接收模块，包括与所述散斑数量相应的像素单元，所述像素单元用于接收目标面的散斑反射光束并记录光接收时刻；

控制处理模块，记录所述散斑投射模块发出光束的光发射时刻，并控制散斑投射模块发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

作为优选的，所述的散斑投射模块内设有控制光路变化的扫描装置。

作为优选的，所述的扫描装置为布置在散斑投射模块内光路后的二维扫描振镜。

作为优选的，所述的散斑投射模块包括激光发射器、准直透镜和衍射光学元件。

作为优选的，所述的扫描装置为驱动所述激光发射器或准直透镜实现光路变化的动作机构。

作为优选的，每个像素单元内包含一计时电路，用于记录光接收时刻。

作为优选的，所述的阵列接收模块为包括由多个SPAD单SPAD像素单元组成的阵列SPAD阵列、窄带滤光片和成像接收透镜。

作为优选的，所述的光源为分区域工作的vcsel激光发射器，依次点亮的每个区域发射出投射至所述目标面的散斑。

本发明还提供一种基于时间飞行的成像方法，包括：

利用散斑投射模块发出多束光束并在目标面形成间隔分布的散斑；

利用阵列接收模块内与所述散斑数量相应的像素单元，用于接收目标面的散斑反射光束并记录光接收时刻；

记录所述散斑投射模块发出光束的光发射时刻，并控制散斑投射模块发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

作为优选的，每个像素单元对应一光束形成的散斑，该散斑在对应像素单元的接收区域内扫描。

本发明具有如下有益效果：通过各种方式实现投射光路的扫描，进而大大提高成像分辨率，具有超远成像距离、抗强干扰、超分辨成像、精度高、低功耗的特点。

附图说明

图1为本实施例中3D成像装置的系统示意图；

图2为本实施例中3D成像装置的扫描成像示意图；

图3为散斑投射模块的详细示意图；

图4为投射光路中增加MEMS振镜实现扫描功能的示意图；

图5为散斑投射模块内部实现机械运动扫描功能的示意图；

图6为vcsel激光发射器为实现扫描功能的分区示意图，其中，(a)图和(b)图为两种不同分区域工作的vcsel激光发射器；

图7为阵列接收模块的结构示意图；

图8为窄带滤光片的透过率曲线意图；

图9为SPAD阵列的示意图；

图10为单SPAD像素单元的剖面示意图；

图11为扫描散斑光束在SPAD阵列sensor上的成像示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。本文中所涉及的方位词“上”、“下”、“左”和“右”，是以对应附图为基准而设定的，可以理解，上述方位词的出现并不限定本发明的保护范围。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1所示基于时间飞行的3D成像装置，包括：散斑投射模块11，包括光源，所述光源用于发出多束光束并最终在目标面(如接收屏12)形成间隔分布的散斑121；

阵列接收模块13，包括与所述散斑121数量相应的像素单元，所述像素单元用于接收目标面的散斑反射光束并记录光接收时刻；

控制处理模块10，记录所述散斑投射模块发出光束的光发射时刻，并控制散斑投射模块发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

控制处理模块10是一个包含高速同步信号电路、高速激光驱动电路、升压电源管理电路的综合系统模块，主要作用是对散斑投射模块11和阵列接收模块13进行综合协调控制、数据处理。散斑投射模块11在控制处理模块10的控制作用下，对内部光源的发光进行脉冲调制，会投射出多束角度被精准控制的激光光束，打到前方物体，如接收屏12，在上方形成布满屏幕的散斑121，同时阵列接收模块13同步打开工作，并记录下光发射的初始时刻。散斑121的反射光束会被阵列接收模块13所接收，触发内部模块的时间计数，进而得到光被接收的时刻，光接收时刻和光发射时刻的时间差值就是所要得到的光飞行时间Δt，再根据如下基本公式，即可得到测算距离d：

d＝Δt*c/2

式中c表示光速，在真空中约等于常数3×10⁸m/s。实际应用中会有各种算法模型来提高环境适应度、计算准确度，但都离不开这个核心的光速测距公式。

每一个散斑121都精确的对应阵列接收模块13中的每一个单像素(像素单元)，因此可以得到阵列接收模块13的每一个像素对应的光飞行时间Δt，进而得到前方物体场景的一整幅距离深度图，达到3D成像的目的。

参见图2的扫描过程，散斑投射模块11在时刻1时，投射的光束在接收屏12上形成散斑121，再通过散斑投射模块11内部的X方向扫描作用在时刻2投射出散斑122，散斑121与散斑122的位置相差一个步长。阵列接收模块13的像素单元接收散斑121与散斑122的反射光束，并记录两次发射的光脉冲的接收时刻。由于散斑投射模块11的光学系统条件是已知的，因此可以知道时刻1和时刻2所投射散斑光束的空间位置信息，结合阵列接收模块13上的对应像素的TOF值，即可得到前方空间中对应反射散斑光束的物体位置信息(xy向)和距离信息(z向)，以此构建完整的距离深度图，因此可以得到2倍于原始分辨率的距离深度图。

如图3所示，在另一个实施例中，以激光发射器111作为光源。散斑投射模块11主要包含激光发射器111、准直透镜112、衍射光学元件113，光的行进方向由箭头114表示。激光发射器111可以是面阵激光，如垂直腔面激光发射器，也可以是单点激光，如边发射激光器，发射光波长可以根据应用需要选择各种类型，优选的本实施例采用规则点阵分布的垂直腔面激光发射器，发射光波长为940nm。准直透镜112在本图中由1个透镜构成，也可以由其他数量的透镜共同构成，其作用是把激光发射器111的所有发光点1110发出的光束进行准直，使各个光束以近似平行的形态进入后续衍射光学元件113。衍射光学元件DOE 113由微纳工艺制作，如纳米压印、精密注塑或半导体光刻工艺，其作用是对入射的各个光束进行空间光调制，优选的本实施中的具体作用是对各个光束进行分裂复制，产生所需的更多数量的激光发射光束115。

在另一个实施例中，散斑投射模块11内设有扫描装置，该扫描装置用于实现光路的变化，控制光束投射在接收屏12上的散斑按步长扫描。

在另一个实施例中，如图4所示，通过在散斑投射模块11内部的光路上增加一个二维扫描振镜来实现X和Y方向的散斑光束扫描。如图4所示，二维扫描振镜116放置在了衍射光学元件113的后续光路上，通过控制二维扫描振镜116在X和Y方向的运动，可以实现散斑光束在两个方向上的分别扫描，根据前述原理可以进一步实现该3D成像装置的超分辨效果。

在另一个实施例中，扫描装置为驱动所述激光发射器或准直透镜实现光路变化的动作机构。如图5所示，该实施例中通过在散斑投射模块11内部的某一个光学元件上集成机械运动控制的装置，如二维扫描运动设备，以此实现光路的变化，达到扫描散斑光束的作用。如图10，在准直透镜112上施加一个可以精确控制的Y运动轴1120和X运动轴1121，例如当Y运动轴1120扫描一个步长时，激光发射光束115变成在Y方向有微小偏移的激光发射光束116。同理，也可以在激光发射器111上集成机械运动控制装置，达到相同的效果。

在另一个实施例中，如图6所示，光源为分区域工作的vcsel激光发射器，采用分区工作的vcsel激光发射器111来实现不同时刻不同区域的点亮，以此达到散斑投射模块11在X和Y方向扫描散斑光束的效果。如图6a所示，示意性的表示了vcsel激光发射器111的四个分区，依次点亮区域1110、区域1111、区域1112、区域1113，即可实现X方向和Y方向的2×2扫描，最终得到的距离深度图分辨率将是SPAD阵列原始分辨率的4倍。如图6b所示，示意性的表示了vcsel激光发射器111的四个分区，依次点亮区域1114、区域1115、区域1116、区域1117，即可实现X方向和Y方向的4×1扫描，最终得到的距离深度图分辨率将是SPAD阵列原始分辨率的4倍。总之，分区方法可以根据需要以及光学投射系统的综合设计，展现出多种多样的形式，均在本实施列的有效包含范围中。

如图7所示，阵列接收模块13主要包括SPAD阵列31、窄带滤光片132和成像接收透镜133，光的行进方向由箭头134表示。应用场景的中物体反射光束1151来自散斑投射模块11的激光发射光束115，经过成像接收透镜133、窄带滤光片132最终达到SPAD阵列1311。成像接收透镜133在本图中由1个透镜构成，也可以由其他数量的透镜共同构成，其作用是把来自于接收屏12的散斑反射光束全部接收，并精确的控制每一光束到达SPAD阵列131上的对应的单SPAD像素单元。窄带滤光片132的作用是只让散斑投射模块11所发射的光波长的光线通过，其他波长的光线通过，从而达到过滤光线、减少环境光干扰的效果，优选的波长透过率曲线如图8。

SPAD是Single Photon Avalanche Diode的缩写，即单光子雪崩二极管工作在盖革模式下的APD(Avalanche Photon Diode)，具有对单个光子产生感应的超强感光能力，通常还包含单光子雪崩后的淬灭电路集成。利用雪崩倍增效应，可以使探测器拥有较高的灵敏度和增益，在弱光探测、高速成像等领域的应用有极大的优势。

如图9所示，SPAD阵列131由多个单SPAD像素单元1311构成，可以通过X方向寻址控制1312和Y方向寻址控制1313来实现对每一个单SPAD像素的选通控制，通常是给对应像素加上一个较大的反向偏压，使其处在临界雪崩状态，即相当于进入“曝光”状态。实际SPAD阵列的中单像素单元没有图9排列的如此紧凑，由于受复杂的内部集成电路、制造工艺的影响，每个单SPAD像素单元1311之间会有间隙，有效感光的像素单元面积比上总的阵列面积就可以得到填充率，通常背照式SPAD阵列senor要比前照式高很多，因此光子探测效率更高，本优选的实施例采用背照式SPAD阵列。

需要强调的是，散斑投射模块11的光学投射器系统与阵列接收模块13的光学接收系统是严格匹配设计的，例如图3中的激光发射光束115对应的就是图7中的反射光束1151在SPAD阵列131上单SPAD像素单元1311的成像光点。

如图10所示是单SPAD像素单元1311的剖面图，主要含有光子吸收层1314、电荷控制层1315、倍增层1316，以及像素内部电路，包含控制器、淬灭电路、模拟前端、TDC、直方图内存、其他逻辑电路。在控制器作用的状态下，像素单元进入“曝光”状态，可以对进来的光线进行吸收转化、产生倍增雪崩触发，产生光电流，在内部串联的电阻上产生电压信号，经过模拟前端电路处理后，到达高精度计时电路TDC，记录下触发时间，即得到光线到达单SPAD像素1311的接收光线的飞行时间Δt。与此同时，淬灭电路被触发，使倍增层的雪崩效应及时停止，并再恢复到初始反向偏置状态，准备下一次的光子接收雪崩触发。

由于SPAD具有对微弱的单光子产生感应能力，利用雪崩倍增效应拥有较高的灵敏度和增益，在同样的光发射能量下可以大大提高成像距离、距离精度、抗环境光干扰能力，例如该3D成像装置的最远成像距离可达50m，户外强烈阳光干扰下，在15m的距离情况下表现亦良好，距离精度可达<0.5％。同时该3D成像装置由于利用的是每个感光像素接收单光子来触发TDC计时系统，进而得到每个像素单元的TOF值，而非利用光能量的平均积分，因而不会产生多路径干扰问题，使得到的深度图中多物体之间的轮廓分明，质量远高于I-TOF技术方案。

在另一个实施例中，控制处理模块10可以是独立的专用电路，比如专用的SOC芯片、FPGA芯片、ASIC芯片等，也可以是通用处理器，比如当该装置被集成到如手机、电视、电脑等智能终端中去的时候，该模块可以作为通用处理器的一个子功能模块。

在另一个实施例中，参照图1和图2，一种基于时间飞行的成像方法，包括：

利用散斑投射模块11发出多束光束并在目标面形成间隔分布的散斑；

利用阵列接收模块13内与散斑数量相应的像素单元，用于接收目标面的散斑反射光束并记录光接收时刻；

记录散斑投射模块11发出光束的光发射时刻，并控制散斑投射模块11发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

散斑投射模块11主要包含激光发射器111、准直透镜112、衍射光学元件113，光的行进方向由箭头114表示。

阵列接收模块13主要包括SPAD阵列31、窄带滤光片132和成像接收透镜133，光的行进方向由箭头134表示。

控制处理模块10，控制处理模块10是一个包含高速同步信号电路、高速激光驱动电路、升压电源管理电路的综合系统模块，主要作用是对散斑投射模块11和阵列接收模块13进行综合协调控制、数据处理。控制处理模块10用于记录散斑投射模块11发出光束的光发射时刻，并控制散斑投射模块11发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

受制于SPAD阵列的复杂内部电路、填充率等因素影响，每个单SPAD像素单元的大小会比常规的CMOS成像要大很多，达到10um以上，因此阵列的整体分辨率无法做高，例如180*140的分辨率是目前业界领先的生产技术工艺水平。如果直接使用SPAD阵列的原始分辨率，那么最终得到的距离深度图分辨率会很低，无法满足一些对分辨率要求高的应用场景。本实施例通过散斑投射模块的实现动态扫描斑点方法，以此来大大提高基于SPAD阵列的D-TOF时间飞行技术3D成像装置的分辨率。

如图2所示，散斑投射模块11在时刻1时，投射的光束在接收屏12上形成实心圆的散斑121，再通过散斑投射模块11内部的X方向扫描作用在时刻2投射出虚线圆的散斑122，因此在X方向扫描一次即获得了相当于2倍的总投射斑点数，本图中投射散斑数量仅是示意作用，并不代表实际数量。与此同时，如图11所示，在时刻1时，SPAD阵列131上的成像斑点1312对应的即是接收屏12上的散斑121，在时刻2时，成像斑点1313对应的是接收屏12上的散斑122，即实现了单SPAD像素单元1311的两次复用，注意在时刻1和时刻2的时间间隔内是足够像素内部的电路完成一次淬灭并恢复。图10中介绍了单SPAD像素单元1311内部的情况，其他像素单元同理。由于散斑投射模块11的光学系统条件是已知的，因此可以知道时刻1和时刻2所投射散斑光束的空间位置信息，结合阵列接收模块13上的对应像素的TOF值，即可得到前方空间中对应反射散斑光束的物体位置信息(xy向)和距离信息(z向)，以此构建完整的距离深度图，因此可以得到2倍于SPAD阵列原始分辨率的距离深度图。

以上是散斑投射模块11在内部实现X方向扫描一个步长的结果，即得到2倍于SPAD阵列原始分辨率的距离深度图，同理可在X方向和Y方向扫描更多的步长，例如10×10，那么相当于最终得到的距离深度图在X方向和Y方向的分辨率都扩大10倍，足够让该装置覆盖更多的应用场景。

优选的，每个像素单元对应一光束形成的散斑，该散斑在对应像素单元的接收区域内扫描。即需要注意的是，任何一个散斑在其扫描过程中，其在SPAD阵列131上的成像位置都不应超过它对应的单SPAD像素单元的区域。因此实际总的扫描行程很短，对应的最大扫描角度范围在5°以内，配合一定数量的基本散斑投射，可以做到3°的水平，因而以小角度的扫描范围实现了系统的超分辨效果，非常便于实际扫描系统的加工制作、批量生产，产品的稳定可靠性也随之大大提高。

综上所述，在现有技术允许的条件下，本发明的方法可以通过各种方式实现投射光路的扫描，进而大大提高基于SPAD阵列的D-TOF时间飞行技术3D成像装置的分辨率，实现超过SPAD阵列原始分辨率的效果。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时间飞行的3D成像装置，其特征在于，包括：

散斑投射模块，包括光源，所述光源用于发出多束光束并在目标面形成间隔分布的散斑；

阵列接收模块，包括与所述散斑数量相应的像素单元，所述像素单元用于接收目标面的散斑反射光束并记录光接收时刻；

控制处理模块，记录所述散斑投射模块发出光束的光发射时刻，并控制散斑投射模块发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

2.如权利要求1所述的基于时间飞行的3D成像装置，其特征在于，所述的散斑投射模块内设有控制光路变化的扫描装置。

3.如权利要求2所述的基于时间飞行的3D成像装置，其特征在于，所述的扫描装置为布置在散斑投射模块内光路后的二维扫描振镜。

4.如权利要求2所述的基于时间飞行的3D成像装置，其特征在于，所述的散斑投射模块包括激光发射器、准直透镜和衍射光学元件。

5.如权利要求4所述的基于时间飞行的3D成像装置，其特征在于，所述的扫描装置为驱动所述激光发射器或准直透镜实现光路变化的动作机构。

6.如权利要求1所述的基于时间飞行的3D成像装置，其特征在于，每个像素单元内包含一计时电路，用于记录光接收时刻。

7.如权利要求6所述的基于时间飞行的3D成像装置，其特征在于，所述的阵列接收模块为包括由多个SPAD单SPAD像素单元组成的阵列SPAD阵列、窄带滤光片和成像接收透镜。

8.如权利要求1所述的基于时间飞行的3D成像装置，其特征在于，所述的光源为分区域工作的vcsel激光发射器，依次点亮的每个区域发射出投射至所述目标面的散斑。

9.一种基于时间飞行的成像方法，其特征在于，包括：

利用散斑投射模块发出多束光束并在目标面形成间隔分布的散斑；

利用阵列接收模块内与所述散斑数量相应的像素单元，用于接收目标面的散斑反射光束并记录光接收时刻；

记录所述散斑投射模块发出光束的光发射时刻，并控制散斑投射模块发出的散斑对目标面进行扫描，根据每次扫描对应的光发射时刻和光接收时刻，得到反射散斑的位置点距离信息，生成距离深度图。

10.如权利要求9所述的基于时间飞行的成像方法，其特征在于，每个像素单元对应一光束形成的散斑，该散斑在对应像素单元的接收区域内扫描。

Images