CN109756662A - 基于dll延迟锁相环的深度信息校正方法以及深度信息校正装置 - Google Patents

Abstract

本申请提供基于DLL延迟锁相环的深度信息校正方法以及深度信息校正装置，深度信息校正方法包括：获取设定级别的延迟线步长的深度值：通过DLL延迟锁相环配置设定级别的延迟线步长，延迟线步长控制激光器输送到片外的调制光产生不同的延迟，相位式TOF图像传感器根据调制光的延迟形成深度图，获取用于校正的深度图的深度值；设置用于深度值校正的查找表：根据不同级别的延迟线步长以及延迟线步长对应的深度图的深度值的关系建立查找表；获取系统测量得到的原始深度值；确定原始深度值在查找表的范围；校正原始深度值。本申请能够提升测量图像深度信息的精度，使得产品的使用范围更广。

Description

基于DLL延迟锁相环的深度信息校正方法以及深度信息校正 装置

技术领域

本申请涉及相位式TOF图像传感器领域，尤其涉及基于DLL延迟锁相环的深度信息校正方法以及深度信息校正装置。

背景技术

人工三维(3D)视觉一直被视为智能系统与外部世界联系的桥梁，它使机器能够在三维空间中看到我们所看到的世界，多年来人们已经开发了许多3D采集系统，包括立体视觉，结构光投影和激光扫描仪，不幸的是，这些都不能可靠的收集实时三维数据。基于飞行时间(TOF)原理的测量系统提供了一种优雅的解决方案，它通过发出调制光并检测其反射光往返时间立即获得目标完整的三维信息。飞行时间(TOF)测距具有广泛的应用，例如3D鼠标、基于手势的遥控器、娱乐、机器人、安全系统和汽车等。

TOF是飞行时间(Time ofFlight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

相位式TOF图像传感器的原理是通过控制像素的传输管与发射调制激光的相位关系，通过采集4个相位：0°、90°、180°、270°的光生电荷，再由电荷量转换为相位，通过相位、激光频率和光速的关系进一步计算出深度值。

但是，由于晶圆的工艺偏差、片上差异性、像素固定噪声以及驱动电路和读出电路的延迟无法控制完全相同，红外调制和解调过程中谐波的影响等导致每次测量产生不可避免的误差，会降低所测量的深度值的精度，数据也会抖动比较严重，因此导致相位式TOF图像传感器存在深度图数据不稳定和不精准的问题，也使得相位式TOF图像传感器的使用场景受到了限制。

发明内容

本申请提供一种基于DLL延迟锁相环的深度信息校正方法以及深度信息校正装置，能够在解决现在因为晶圆的工艺偏差、片上差异性、像素固定噪声以及驱动电路和读出电路的延迟无法控制完全相同而导致相位式TOF图像传感器测量精度低以及使用场景受限制的问题。

根据本申请的第一方面，本申请提供一种基于DLL延迟锁相环的深度信息校正方法，其用于相位式TOF图像传感器获取到的图像的深度值的校正，在系统的光源驱动电路前设置DLL延迟锁相环控制系统的激光器输送到片外的调制光延迟，深度信息校正方法包括：获取设定级别的延迟线步长的深度值：通过DLL延迟锁相环使用可配置步进的DLL延迟线配置设定级别的延迟线步长，不同级别的延迟线步长控制激光器输送到片外的调制光产生不同的延迟，相位式TOF图像传感器根据调制光的延迟形成深度图，每个延迟步长对应保存用于校正的深度图，获取用于校正的深度图的深度值，其中，以DLL延迟锁相环没有控制激光器延迟时亦既是步进为0时作为第一级延迟线步长，第一级延迟线步长对应保存的深度图的深度值为O_zero,x,y，其余级别的延迟线步长对应保存的深度值为其余延迟线步长控制调制光延迟后，相位式TOF图像传感器得到的深度值减去O_zero,x,y后所得；设置用于深度值校正的查找表：根据不同级别的延迟线步长以及延迟线步长对应的深度图的深度值的关系建立查找表，其中，以延迟线步长的级别作为查找表的序号；获取系统测量得到的原始深度值：通过相位式TOF图像传感器测量得到深度图的原始深度值DCL_Raw,x,y；确定原始深度值在查找表的范围：首先根据公式，获取原始深度值在查找表中的大致位置，再根据公式：a_x,y＝trunc(Index_x,y)，获取Index_x,y整数部分的值，然后根据公式：b_x,y＝a_x,y+1，即可获得原始深度值在查找表的a_x,y和b_x,y这两个序号之间的区间内，其中，d_DLL为根据相邻级别的延迟线步长的延迟时间间隔转换得出的距离；校正原始深度值：根据公式：DCL_{x,y,calibration}＝(DCL_x,y,b-DCL_x,y,a)*(Index_x,y-a_x,y)+DCL_x,y,a，即可获得校正后的深度值，其中，DCL_x,y,a为级别为a_x,y所对应的深度图的深度值，DCL_x,y,b为级别为b_x,y所对应的深度图的深度值。

优选地，在获取设定级别的延迟线步长的深度值的步骤中，包括：DLL延迟锁相环使用可配置步进的DLL延迟线配置64个级别的延迟线步长，64个延迟线步长控制激光器输送到片外的调制光产生64个不同的延迟，相位式TOF图像传感器根据调制光的延迟形成64张深度图。

优选地，在获取设定级别的延迟线步长的深度值的步骤中，包括：每级延迟线步长控制激光器输出设定次数的调制光，相位式TOF图像传感器对应每个级别的延迟线步长形成设定张数的深度图，将延迟线步长对应的设定张数的深度图的每个像素点的深度值进行平均后，所得的平均值作为用于校正的深度图的深度值。

优选地，在获取系统测量得到的原始深度值的步骤中，还包括：通过DLL延迟锁相环控制激光器发送到片外的调制光的信号延迟，使得待测物体在接收到调制光后的反射光的相位与调制光的相位差为设定相位差。

优选地，在获取系统测量得到的原始深度值的步骤中，还包括：通过控制相位式TOF图像传感器的像素阵列的传输管与激光器发射的调制光的相位关系，获取相位式TOF图像传感器在接收到反射光时在反射光0°、90°、180°、270°四个相位输出的电压值分别为PHS0、PHS1、PHS2、PHS3，根据公式：即可获得原始深度值DCL_Raw,x,y，其中，f为调制光的频率。

根据本申请的第二方面，本申请提供一种基于DLL延迟锁相环的深度信息校正装置，其用于相位式TOF图像传感器获取到的图像的深度值的校正，在系统的光源驱动电路前设置DLL延迟锁相环控制系统的激光器输送到片外的调制光延迟，深度信息校正装置包括：深度值标定设置模块，用于获取设定级别的延迟线步长的深度值，通过DLL延迟锁相环使用可配置步进的DLL延迟线配置设定级别的延迟线步长，不同级别的延迟线步长控制激光器输送到片外的调制光产生不同的延迟，相位式TOF图像传感器根据调制光的延迟形成深度图，每个延迟步长对应保存用于校正的深度图，获取用于校正的深度图的深度值，其中，以DLL延迟锁相环没有控制激光器延迟时亦既是步进为0时作为第一级延迟线步长，第一级延迟线步长对应保存的深度图的深度值为O_zero,x,y，其余级别的延迟线步长对应保存的深度值为其余延迟线步长控制调制光延迟后，相位式TOF图像传感器得到的深度值减去O_zero,x,y后所得；查找表设置模块，用于设置用于深度值校正的查找表，根据不同级别的延迟线步长以及延迟线步长对应的深度图的深度值的关系建立查找表，其中，以延迟线步长的级别作为查找表的序号；原始深度值获取模块，用于获取系统测量得到的原始深度值，通过相位式TOF图像传感器测量得到深度图的原始深度值DCL_Raw,x,y；范围寻找模块，用于确定原始深度值在查找表的范围，首先根据公式，获取原始深度值在查找表中的大致位置，再根据公式：a_x,y＝trunc(Index_x,y)，获取Index_x,y整数部分的值，然后根据公式：b_x,y＝a_x,y+1，即可获得原始深度值在查找表的a_x,y和b_x,y这两个序号之间的区间内，其中，d_DLL为根据相邻级别的延迟线步长的延迟时间间隔转换得出的距离；深度值校正模块，用于校正原始深度值，根据公式：DCL_{x,y,calibration}＝(DCL_x,y,b-DCL_x,y,a)*(Index_x,y-a_x,y)+DCL_x,y,a，即可获得校正后的深度值，其中，DCL_x,y,a为级别为a_x,y所对应的深度图的深度值，DCL_x,y,b为级别为b_x,y所对应的深度图的深度值。

优选地，深度值标定设置模块还用于：DLL延迟锁相环使用可配置步进的DLL延迟线配置64个级别的延迟线步长，64个延迟线步长控制激光器输送到片外的调制光产生64个不同的延迟，相位式TOF图像传感器根据调制光的延迟形成64张深度图。

优选地，深度值标定设置模块还用于：每级延迟线步长控制激光器输出设定次数的调制光，相位式TOF图像传感器对应每个级别的延迟线步长形成设定张数的深度图，将延迟线步长对应的设定张数的深度图的每个像素点的深度值进行平均后，所得的平均值作为用于校正的深度图的深度值。

优选地，原始深度值获取模块还用于：通过DLL延迟锁相环控制激光器发送到片外的调制光的信号延迟，使得待测物体在接收到调制光后的反射光的相位与调制光的相位差为设定相位差。

优选地，原始深度值获取模块还用于：通过控制相位式TOF图像传感器的像素阵列的传输管与激光器发射的调制光的相位关系，获取相位式TOF图像传感器在接收到反射光时在反射光0°、90°、180°、270°四个相位输出的电压值分别为PHS0、PHS1、PHS2、PHS3，根据公式：即可获得原始深度值DCL_Raw,x,y，其中，f为调制光的频率。

本申请的有益效果在于：本申请通过DLL延迟锁相环使用可配置步进的DLL延迟线配置延迟线步长，延迟线步长控制激光器输送到片外的调制光产生不同的延迟，获取并保存相位式TOF图像传感器形成的深度图的深度值，将延迟线步长的级别与深度值形成用于校正的查找表，在获得当前系统测量得到的原始深度值后，根据查找表上的数据以对原始深度值进行校准和补偿，使得原始深度值的相对距离的误差得到了优化，这样就能够提高系统测量深度值的精度，满足了安全检测和和工业控制领域这些高精度行业的要求，使得产品适用范围更为广泛。

附图说明

图1是本申请的基于DLL延迟锁相环的深度信息校正方法的原理图；

图2是本申请的深度信息校正方法的步骤S101中通过标定相机获取深度值的示意图；

图3是本申请的DLL延迟锁相环的电路原路图；

图4是本申请的查找表的示意图；

图5是本申请的系统测量原始深度值的示意图；

图6是本申请的相位式TOF传感器的像素单元的结构示意图；

图7是本申请的深度信息校正方法的步骤S104中确定原始深度值在查找表的范围的示意图；

图8是本申请的基于DLL延迟锁相环的深度信息校正装置的原理图。

附图标记说明：光电二极管PD第一电压信号输出模块601第二电压信号输出模块602衬底603。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

本申请的构思是：通过请通过DLL延迟锁相环使用可配置步进的DLL延迟线配置延迟线步长，延迟线步长控制激光器输送到片外的调制光产生不同的延迟以形成用于校正的查找表，能够提升测量图像深度信息的精度，使得产品的使用范围更广。

请参阅图1至图8，本申请提出一种基于DLL延迟锁相环的深度信息校正方法，其用于相位式TOF图像传感器获取到的图像的深度值的校正，在系统的光源驱动电路前设置DLL延迟锁相环控制系统的激光器输送到片外的调制光延迟。

深度信息校正方法包括：

步骤S101：获取设定级别的延迟线步长的深度值。请参阅图2和图3，通过DLL延迟锁相环使用可配置步进的DLL延迟线配置设定级别的延迟线步长，不同级别的延迟线步长控制激光器输送到片外的调制光产生不同的延迟，相位式TOF图像传感器根据调制光的延迟形成深度图，每个延迟步长对应保存用于校正的深度图，获取用于校正的深度图的深度值。其中，以DLL延迟锁相环没有控制激光器延迟时亦既是步进为0时作为第一级延迟线步长，第一级延迟线步长对应保存的深度图的深度值为O_zero,x,y，其余级别的延迟线步长对应保存的深度值为其余延迟线步长控制调制光延迟后，相位式TOF图像传感器得到的深度值减去O_zero,x,y后所得。

本实施例中，请继续参阅图2，通过标定相机在标定盒封闭黑暗的环境中获取设定级别的延迟线步长的深度值，亦即可以获取到不同距离下的图像的深度值。具体是，通过DLL延迟锁相环控制光源驱动电路发送不同延迟的控制信号，使得系统的激光器产生的调制光产生不同的信号延迟，待相位式TOF传感器接收到反射光后，通过公式就能够获得不同距离下的图像的深度值。标定的时候是在标定盒封闭黑暗的环境中标定的，这样环境干扰少，测量出来的数据更为准确。

进一步地，请继续参阅图3，DLL延迟锁相环使用可配置步进的DLL延迟线配置64个级别的延迟线步长，64个延迟线步长控制激光器输送到片外的调制光产生64个不同的延迟，相位式TOF图像传感器根据调制光的延迟形成64张深度图。亦既是说，DLL延迟锁相环配置64个延迟线步长，以DLL延迟锁相环没有控制激光器延迟时亦既是步进为0时作为第一级延迟线步长，设置每级延迟线步长的延迟时间的间隔为2ns，则第二级延迟线步长的延迟时间为2ns，第三级延迟线步长的延迟时间为4ns，依次类推，第六十四级延迟线步长的延迟时间为126ns，则光源驱动器根据延迟线步长的延迟时间控制激光器发出不同延迟的调制光，相位式TOF图像传感器接收到反射光后形成不同深度值的深度图。其中，第一级延迟线步长对应保存的深度图的深度值为O_zero,x,y，因为第一级延迟线步长对应的深度图的深度值O_zero,x,y是在没有延迟作用的情况下获取得到的，则该深度值实际上包含了系统的所有误差，例如：晶圆的工艺偏差、片上差异性、像素固定噪声、驱动电路、读出电路的延迟和标定和的距离等所造成的深度值的误差。

在获得第一级延迟线步长对应的深度图的深度值O_zero,x,y后，第二级延迟线步长对应保存的深度图的深度值为第二级延迟线步长控制调制光延迟后，相位式TOF图像传感器得到的深度值减去第一级延迟线步长对应的深度图的深度值O_zero,x,y所得，第二级延迟线步长对应保存成的深度图的深度值为O_1,x,y。依次类推，第三级延迟线步长对应保存的深度图的深度值为O_2,x,y，...第六十四级延迟线步长对应保存的深度图的深度值为O_63,x,y。

进一步地，本实施例中，每级延迟线步长控制激光器输出设定次数的调制光，相位式TOF图像传感器对应每个级别的延迟线步长形成设定张数的深度图，将延迟线步长对应的设定张数的深度图的每个像素点的深度值进行平均后，所得的平均值作为用于校正的深度图的深度值。亦既是说，光源驱动器在一个级别的延迟线步长的控制下，输出设定次数的控制信号，比如50次，则激光器输出50次相同相位的调制光，相位式TOF图像传感器对应每个级别形成50张深度图。这50张的深度图可能因为系统自身工艺、噪声或者电路的延迟有不可避免的差别，通过将这50张深度图的每个像素点的深度值减去第一级延迟线步长对应的深度图的深度值O_zero,x,y进行平均运算得到平均值，将该平均值作为用于校正的深度图的深度值。

比如，第二级延迟线步长控制光源驱动电路输出控制信号，激光器接收到控制信号后输出调制光，相位式TOF传感器接收到待测物体的反射光后形成深度图，第二级延迟线步长控制光源驱动电路输出50次控制信号，则相位式TOF传感器形成50张深度图。将这50张深度图的同一像素点的深度值进行平均运算，亦既是将这50张深度图的同一位置的像素点的深度值相加起来之后除以50，即可得到该像素点的深度值的平均值。如果相位式TOF图像传感器分辨率为320*240的话，则每张深度图共320*240个点。

步骤S102：设置用于深度值校正的查找表。根据不同级别的延迟线步长以及延迟线步长对应的深度图的深度值的关系建立查找表，其中，以延迟线步长的级别作为查找表的序号。

本实施例中，请参阅图4，将延迟线步长的级别作为查找表的序号，亦既是，当DLL延迟锁相环具有64级的延迟线步长时将0、1、2..至63等作为查找表的序号，将该级别的延迟线步长对应保存深度值与序号对应保存，亦既是序号1对应保存O_zero,x,y，亦既是序号2对应保存O_1,x,y，依次类推。因为每一级延迟线步长的时间延迟间隔是固定的，d_DLL为根据相邻级别的延迟线步长的延迟时间间隔转换得出的距离。可以看到序号0对应的是深度图DDL_Step0，序号1对应的是深度图DDL_Step1，序号2对应的是深度图DDL_Step2，依次类推。

步骤S103：获取系统测量得到的原始深度值。通过相位式TOF图像传感器测量得到深度图的原始深度值DCL_Raw,x,y。

请参阅图5，在步骤S103中，还包括：通过控制相位式TOF图像传感器的像素阵列的传输管与激光器发射的调制光的相位关系，获取相位式TOF图像传感器在接收到反射光时在反射光0°、90°、180°、270°四个相位输出的电压值分别为PHS0、PHS1、PHS2、PHS3，根据公式：即可获得原始深度值DCL_Raw,x,y，其中，f为调制光的频率。

本实施例中，请参阅图6，相位式TOF图像传感器包括：光电二极管PD，其设置于衬底603内，其用以响应于入射在光电二极管PD上的反射光而累积电荷；第一电压信号输出模块601，其用于将累积在光电二极管PD的电荷转化为电压信号，其包括第一开关，第一开关的控制端接收控制信号，第一开关的输入端连接光电二极管PD，第一开关的输出端在第一开关的控制端接收到控制信号时输出第一电压信号；以及第二电压信号输出模块602，其用于将累积在光电二极管PD的电荷转化为电压信号，其包括第二开关，第二开关的控制端接收控制信号，第二开关的输入端连接光电二极管PD，第二开关的输出端在第二开关的控制端接收到控制信号时输出第二电压信号；

其中，设置发送到第一开关的控制信号与调制光的相位相同，设置发送到第二开关的控制信号与发送到第一开关的控制信号的相位互补，发射调制光至待测物体，当采用二抽头二相位法进行测量时，像素单元接收到待测物体接收到调制光后反射回来的反射光后，获取第一电压信号模块输出的电压为反射光在相位为0°时的第一电压信号输出模块601输出的第一电压信号PS0，获取第二电压信号模块输出的电压信号为反射光在相位为180°时的第二电压信号输出模块602输出的第二电压信号PS2；像素单元的光电二极管PD再次接收到反射光后，获取第一电压信号模块输出的电压为反射光在相位为90°时的第一电压信号输出模块601输出的第一电压信号PS1，获取第二电压信号模块输出的电压为调制光的反射光在相位为270°时的第二电压信号输出模块602输出的第二电压信号PS3。

进一步地，在步骤S103中，还包括：通过DLL延迟锁相环控制激光器发送到片外的调制光的信号延迟，使得待测物体在接收到调制光后的反射光的相位与调制光的相位差为设定相位差Δα。本实施例中，相位差Δα可以为45°。通过调整相位差，能够获得置信度较高的深度图，也提高了测量精度。

步骤S104：确定原始深度值在查找表的范围。

请参阅图7，首先根据公式：获取原始深度值在查找表中的大致位置，再根据公式：a_x,y＝trunc(Index_x,y)，获取Index_x,y整数部分的值，然后根据公式：b_x,y＝a_x,y+1，即可获得原始深度值在查找表的a_x,y和b_x,y这两个序号之间的区间内。

其中，d_DLL为根据相邻级别的延迟线步长的延迟时间间隔转换得出的距离。d_DLL是每一级延迟步长的延迟时间转换成距离的大小，这个值可根据实际效果进行微调，因为每一级延迟为2ns，所以d_DLL一般是三十厘米。

步骤S105：校正原始深度值。

请继续参阅图7，根据公式：DCL_{x,y,calibration}＝(DCL_x,y,b-DCL_x,y,a)*(Index_x,y-a_x,y)+DCL_x,y,a，即可获得校正后的深度值，其中，DCL_x,y,a为级别为a_x,y所对应的深度值，DCL_x,y,b为级别为b_x,y所对应的深度值。在这里，因为原始深度值DCL_Raw,x,y除以d_DLL后有小数点的，因此要先计算不够一个区间部分的深度值，再加上所处的区间对应的深度值，即可获得没有延迟时的深度值，如果需要精准绝对距离还需要加上盒子的距离。

相应的，依据计算机软件的功能模块化思维，请参阅图8，本申请提出一种基于DLL延迟锁相环的深度信息校正装置，其用于相位式TOF图像传感器获取到的图像的深度值的校正，在系统的光源驱动电路前设置DLL延迟锁相环控制系统的激光器输送到片外的调制光延迟。深度信息校正装置包括：

深度值标定设置模块801，用于获取设定级别的延迟线步长的深度值，通过DLL延迟锁相环使用可配置步进的DLL延迟线配置设定级别的延迟线步长，不同级别的延迟线步长控制激光器输送到片外的调制光产生不同的延迟，相位式TOF图像传感器根据调制光的延迟形成深度图，每个延迟步长对应保存用于校正的深度图，获取用于校正的深度图的深度值，其中，以DLL延迟锁相环没有控制激光器延迟时亦既是步进为0时作为第一级延迟线步长，第一级延迟线步长对应保存的深度图的深度值为O_zero,x,y，其余级别的延迟线步长对应保存的深度值为其余延迟线步长控制调制光延迟后，相位式TOF图像传感器得到的深度值减去O_zero,x,y后所得。

本实施例中，通过标定相机在标定盒封闭黑暗的环境中获取设定级别的延迟线步长的深度值，亦即可以获取到不同距离下的图像的深度值。具体是，通过DLL延迟锁相环控制光源驱动电路发送不同延迟的控制信号，使得系统的激光器产生的调制光产生不同的信号延迟，待相位式TOF传感器接收到反射光后，通过公式就能够获得不同距离下的图像的深度值。标定的时候是在标定盒封闭黑暗的环境中标定的，这样环境干扰少，测量出来的数据更为准确。

进一步地，深度值标定设置模块801还用于：DLL延迟锁相环使用可配置步进的DLL延迟线配置64个级别的延迟线步长，64个延迟线步长控制激光器输送到片外的调制光产生64个不同的延迟，相位式TOF图像传感器根据调制光的延迟形成64张深度图。亦既是说，DLL延迟锁相环配置64个延迟线步长，以DLL延迟锁相环没有控制激光器延迟时亦既是步进为0时作为第一级延迟线步长，设置每级延迟线步长的延迟时间的间隔为2ns，则第二级延迟线步长的延迟时间为2ns，第三级延迟线步长的延迟时间为4ns，依次类推，第六十四级延迟线步长的延迟时间为126ns，则光源驱动器根据延迟线步长的延迟时间控制激光器发出不同延迟的调制光，相位式TOF图像传感器接收到反射光后形成不同深度值的深度图。其中，第一级延迟线步长对应保存的深度图的深度值为O_zero,x,y，因为第一级延迟线步长对应的深度图的深度值O_zero,x,y是在没有延迟作用的情况下获取得到的，则该深度值实际上包含了系统的所有误差，例如：晶圆的工艺偏差、片上差异性、像素固定噪声、驱动电路、读出电路的延迟和标定和的距离等所造成的深度值的误差。

在获得第一级延迟线步长对应的深度图的深度值O_zero,x,y后，第二级延迟线步长对应保存的深度图的深度值为第二级延迟线步长控制调制光延迟后，相位式TOF图像传感器得到的深度值减去第一级延迟线步长对应的深度图的深度值O_zero,x,y所得，第二级延迟线步长对应保存成的深度图的深度值为O_1,x,y。依次类推，第三级延迟线步长对应保存的深度图的深度值为O_2,x,y，...第六十四级延迟线步长对应保存的深度图的深度值为O_63,x,y。

进一步地，深度值标定设置模块801还用于：进一步地，本实施例中，每级延迟线步长控制激光器输出设定次数的调制光，相位式TOF图像传感器对应每个级别的延迟线步长形成设定张数的深度图，将延迟线步长对应的设定张数的深度图的每个像素点的深度值进行平均后，所得的平均值作为用于校正的深度图的深度值。亦既是说，光源驱动器在一个级别的延迟线步长的控制下，输出设定次数的控制信号，比如50次，则激光器输出50次相同相位的调制光，相位式TOF图像传感器对应每个级别形成50张深度图。这50张的深度图可能因为系统自身工艺、噪声或者电路的延迟有不可避免的差别，通过将这50张深度图的每个像素点的深度值减去第一级延迟线步长对应的深度图的深度值O_zero,x,y进行平均运算得到平均值，将该平均值作为用于校正的深度图的深度值。

比如，第二级延迟线步长控制光源驱动电路输出控制信号，激光器接收到控制信号后输出调制光，相位式TOF传感器接收到待测物体的反射光后形成深度图，第二级延迟线步长控制光源驱动电路输出50次控制信号，则相位式TOF传感器形成50张深度图。将这50张深度图的同一像素点的深度值进行平均运算，亦既是将这50张深度图的同一位置的像素点的深度值相加起来之后除以50，即可得到该像素点的深度值的平均值。如果相位式TOF图像传感器分辨率为320*240的话，则每张深度图共320*240个点。

查找表设置模块802，用于设置用于深度值校正的查找表，根据不同级别的延迟线步长以及延迟线步长对应的深度图的深度值的关系建立查找表，其中，以延迟线步长的级别作为查找表的序号。

本实施例中，请参阅图4，将延迟线步长的级别作为查找表的序号，亦既是，当DLL延迟锁相环具有64级的延迟线步长时将0、1、2..至63等作为查找表的序号，将该级别的延迟线步长对应保存深度值与序号对应保存，亦既是序号1对应保存O_zero,x,y，亦既是序号2对应保存O_1,x,y，依次类推。因为每一级延迟线步长的时间延迟间隔是固定的，d_DLL为根据相邻级别的延迟线步长的延迟时间间隔转换得出的距离。可以看到序号0对应的是深度图DDL_Step0，序号1对应的是深度图DDL_Step1，序号2对应的是深度图DDL_Step2，依次类推。

原始深度值获取模块803，用于获取系统测量得到的原始深度值，通过相位式TOF图像传感器测量得到深度图的原始深度值DCL_Raw,x,y。

原始深度值获取模块803还用于：通过DLL延迟锁相环控制激光器发送到片外的调制光的信号延迟，使得待测物体在接收到调制光后的反射光的相位与调制光的相位差为设定相位差。

请参阅图5，在步骤S103中，还包括：通过控制相位式TOF图像传感器的像素阵列的传输管与激光器发射的调制光的相位关系，获取相位式TOF图像传感器在接收到反射光时在反射光0°、90°、180°、270°四个相位输出的电压值分别为PHS0、PHS1、PHS2、PHS3，根据公式：即可获得原始深度值DCL_Raw,x,y，其中，f为调制光的频率。

本实施例中，相位式TOF图像传感器包括：光电二极管PD，其设置于衬底603内，其用以响应于入射在光电二极管PD上的反射光而累积电荷；第一电压信号输出模块601，其用于将累积在光电二极管PD的电荷转化为电压信号，其包括第一开关，第一开关的控制端接收控制信号，第一开关的输入端连接光电二极管PD，第一开关的输出端在第一开关的控制端接收到控制信号时输出第一电压信号；以及第二电压信号输出模块602，其用于将累积在光电二极管PD的电荷转化为电压信号，其包括第二开关，第二开关的控制端接收控制信号，第二开关的输入端连接光电二极管PD，第二开关的输出端在第二开关的控制端接收到控制信号时输出第二电压信号；

其中，设置发送到第一开关的控制信号与调制光的相位相同，设置发送到第二开关的控制信号与发送到第一开关的控制信号的相位互补，发射调制光至待测物体，当采用二抽头二相位法进行测量时，像素单元接收到待测物体接收到调制光后反射回来的反射光后，获取第一电压信号模块输出的电压为反射光在相位为0°时的第一电压信号输出模块601输出的第一电压信号PS0，获取第二电压信号模块输出的电压信号为反射光在相位为180°时的第二电压信号输出模块602输出的第二电压信号PS2；像素单元的光电二极管PD再次接收到反射光后，获取第一电压信号模块输出的电压为反射光在相位为90°时的第一电压信号输出模块601输出的第一电压信号PS1，获取第二电压信号模块输出的电压为调制光的反射光在相位为270°时的第二电压信号输出模块602输出的第二电压信号PS3。

进一步地，原始深度值获取模块803还用于：通过DLL延迟锁相环控制激光器发送到片外的调制光的信号延迟，使得待测物体在接收到调制光后的反射光的相位与调制光的相位差为设定相位差Δα。本实施例中，相位差Δα可以为45°。通过调整相位差，能够获得置信度较高的深度图，也提高了测量精度。

范围寻找模块804，用于确定原始深度值在查找表的范围，请参阅图7，首先根据公式，获取原始深度值在查找表中的大致位置，再根据公式：a_x,y＝trunc(Index_x,y)，获取Index_x,y整数部分的值，然后根据公式：b_x,y＝a_x,y+1，即可获得原始深度值在查找表的a_x,y和b_x,y这两个序号之间的区间内。

其中，d_DLL为根据相邻级别的延迟线步长的延迟时间间隔转换得出的距离。d_DLL是每一级延迟步长的延迟时间转换成距离的大小，这个值可根据实际效果进行微调，因为每一级延迟为2ns，所以d_DLL一般是三十厘米。

深度值校正模块805，用于校正原始深度值。请继续参阅图7，根据公式：DCL_{x,y,calibration}＝(DCL_x,y,b-DCL_x,y,a)*(Index_x,y-a_x,y)+DCL_x,y,a，即可获得校正后的深度值，其中，DCL_x,y,a为级别为a_x,y所对应的深度图的深度值，DCL_x,y,b为级别为b_x,y所对应的深度图的深度值。在这里，因为原始深度值DCL_Raw,x,y除以d_DLL后有小数点的，因此要先计算不够一个区间部分的深度值，再加上所处的区间对应的深度值，即可获得没有延迟时的深度值，如果需要精准绝对距离还需要加上盒子的距离。

本公开提出一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述基于DLL延迟锁相环的深度信息校正方法的步骤。

所述设备的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请的有益效果在于：本申请通过DLL延迟锁相环使用可配置步进的DLL延迟线配置延迟线步长，延迟线步长控制激光器输送到片外的调制光产生不同的延迟，获取并保存相位式TOF图像传感器形成的深度图的深度值，将延迟线步长的级别与深度值形成用于校正的查找表，在获得当前系统测量得到的原始深度值后，根据查找表上的数据以对原始深度值进行校准和补偿，使得原始深度值的相对距离的误差得到了优化，这样就能够提高系统测量深度值的精度，满足了安全检测和和工业控制领域这些高精度行业的要求，使得产品适用范围更为广泛。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种基于DLL延迟锁相环的深度信息校正方法，其特征在于，其用于相位式TOF图像传感器获取到的图像的深度值的校正，在系统的光源驱动电路前设置所述DLL延迟锁相环控制系统的激光器输送到片外的调制光延迟，所述深度信息校正方法包括：

获取设定级别的延迟线步长的深度值：通过所述DLL延迟锁相环使用可配置步进的DLL延迟线配置设定级别的延迟线步长，不同级别的所述延迟线步长控制所述激光器输送到片外的调制光产生不同的延迟，所述相位式TOF图像传感器根据所述调制光的延迟形成深度图，每个所述延迟步长对应保存用于校正的深度图，获取用于校正的所述深度图的深度值，其中，以所述DLL延迟锁相环没有控制所述激光器延迟时亦既是步进为0时作为第一级延迟线步长，所述第一级延迟线步长对应保存的所述深度图的深度值为O_zero,x,y，其余级别的所述延迟线步长对应保存的深度值为其余所述延迟线步长控制调制光延迟后，所述相位式TOF图像传感器得到的深度值减去O_zero,x,y后所得；

设置用于深度值校正的查找表：根据不同级别的所述延迟线步长以及所述延迟线步长对应的深度图的深度值的关系建立查找表，其中，以所述延迟线步长的级别作为所述查找表的序号；

获取系统测量得到的原始深度值：通过所述相位式TOF图像传感器测量得到所述深度图的原始深度值DCL_Raw,x,y；

确定所述原始深度值在所述查找表的范围：首先根据公式，获取所述原始深度值在查找表中的大致位置，再根据公式：a_x,y＝trunc(Index_x,y)，获取Index_x,y整数部分的值，然后根据公式：b_x,y＝a_x,y+1，即可获得所述原始深度值在所述查找表的a_x,y和b_x,y这两个序号之间的区间内，其中，d_DLL为根据相邻级别的所述延迟线步长的延迟时间间隔转换得出的距离；

校正所述原始深度值：根据公式：

DCL_{x,y,calibration}＝(DCL_x,y,b-DCL_x,y,a)*(Index_x,y-a_x,y)+DCL_x,y,a，即可获得校正后的深度值，其中，DCL_x,y,a为级别为a_x,y所对应的深度图的深度值，DCL_x,y,b为级别为b_x,y所对应的深度图的深度值。

2.如权利要求1所述的深度信息校正方法，其特征在于，在所述获取设定级别的延迟线步长的深度值的步骤中，包括：

所述DLL延迟锁相环使用可配置步进的DLL延迟线配置64个级别的延迟线步长，64个所述延迟线步长控制所述激光器输送到片外的调制光产生64个不同的延迟，所述相位式TOF图像传感器根据所述调制光的延迟形成64张所述深度图。

3.如权利要求1或2所述的深度信息校正方法，其特征在于，在所述获取设定级别的延迟线步长的深度值的步骤中，包括：

每级所述延迟线步长控制所述激光器输出设定次数的调制光，所述相位式TOF图像传感器对应每个级别的延迟线步长形成设定张数的深度图，将所述延迟线步长对应的所述设定张数的深度图的每个像素点的深度值进行平均后，所得的平均值作为用于校正的所述深度图的深度值。

4.如权利要求1所述的深度信息校正方法，其特征在于，在所述获取系统测量得到的原始深度值的步骤中，还包括：

通过所述DLL延迟锁相环控制所述激光器发送到片外的所述调制光的信号延迟，使得待测物体在接收到所述调制光后的反射光的相位与所述调制光的相位差为设定相位差。

5.如权利要求1或4所述的深度信息校正方法，其特征在于，在所述获取系统测量得到的原始深度值的步骤中，还包括：

通过控制所述相位式TOF图像传感器的像素阵列的传输管与所述激光器发射的调制光的相位关系，获取所述相位式TOF图像传感器在接收到所述所述反射光时在所述反射光0°、90°、180°、270°四个相位输出的电压值分别为PHS0、PHS1、PHS2、PHS3，根据公式：即可获得所述原始深度值DCL_Raw,x,y，其中，f为所述调制光的频率。

6.一种基于DLL延迟锁相环的深度信息校正装置，其特征在于，其用于相位式TOF图像传感器获取到的图像的深度值的校正，在系统的光源驱动电路前设置所述DLL延迟锁相环控制系统的激光器输送到片外的调制光延迟，所述深度信息校正装置包括：

深度值标定设置模块，用于获取设定级别的延迟线步长的深度值，通过所述DLL延迟锁相环使用可配置步进的DLL延迟线配置设定级别的延迟线步长，不同级别的所述延迟线步长控制所述激光器输送到片外的调制光产生不同的延迟，所述相位式TOF图像传感器根据所述调制光的延迟形成深度图，每个所述延迟步长对应保存用于校正的深度图，获取用于校正的所述深度图的深度值，其中，以所述DLL延迟锁相环没有控制所述激光器延迟时亦既是步进为0时作为第一级延迟线步长，所述第一级延迟线步长对应保存的所述深度图的深度值为O_zero,x,y，其余级别的所述延迟线步长对应保存的深度值为其余所述延迟线步长控制调制光延迟后，所述相位式TOF图像传感器得到的深度值减去O_zero,x,y后所得；

查找表设置模块，用于设置用于深度值校正的查找表，根据不同级别的所述延迟线步长以及所述延迟线步长对应的深度图的深度值的关系建立查找表，其中，以所述延迟线步长的级别作为所述查找表的序号；

原始深度值获取模块，用于获取系统测量得到的原始深度值，通过所述相位式TOF图像传感器测量得到所述深度图的原始深度值DCL_Raw,x,y；

范围寻找模块，用于确定所述原始深度值在所述查找表的范围，首先根据公式，获取所述原始深度值在查找表中的大致位置，再根据公式：a_x,y＝trunc(Index_x,y)，获取Index_x,y整数部分的值，然后根据公式：b_x,y＝a_x,y+1，即可获得所述原始深度值在所述查找表的a_x,y和b_x,y这两个序号之间的区间内，其中，d_DLL为根据相邻级别的所述延迟线步长的延迟时间间隔转换得出的距离；

深度值校正模块，用于校正所述原始深度值，根据公式：DCL_{x,y,calibration}＝(DCL_x,y,b-DCL_x,y,a)*(Index_x,y-a_x,y)+DCL_x,y,a，即可获得校正后的深度值，其中，DCL_x,y,a为级别为a_x,y所对应的深度图的深度值，DCL_x,y,b为级别为b_x,y所对应的深度图的深度值。

7.如权利要求6所述的深度信息校正装置，其特征在于，所述深度值标定设置模块还用于：所述DLL延迟锁相环使用可配置步进的DLL延迟线配置64个级别的延迟线步长，64个所述延迟线步长控制所述激光器输送到片外的调制光产生64个不同的延迟，所述相位式TOF图像传感器根据所述调制光的延迟形成64张所述深度图。

8.如权利要求6或7所述的深度信息校正装置，其特征在于，所述深度值标定设置模块还用于：每级所述延迟线步长控制所述激光器输出设定次数的调制光，所述相位式TOF图像传感器对应每个级别的延迟线步长形成设定张数的深度图，将所述延迟线步长对应的所述设定张数的深度图的每个像素点的深度值进行平均后，所得的平均值作为用于校正的所述深度图的深度值。

9.如权利要求6所述的深度信息校正装置，其特征在于，所述原始深度值获取模块还用于：通过所述DLL延迟锁相环控制所述激光器发送到片外的所述调制光的信号延迟，使得待测物体在接收到所述调制光后的反射光的相位与所述调制光的相位差为设定相位差。

10.如权利要求6或9所述的深度信息校正装置，其特征在于，所述原始深度值获取模块还用于：

通过控制所述相位式TOF图像传感器的像素阵列的传输管与所述激光器发射的调制光的相位关系，获取所述相位式TOF图像传感器在接收到所述所述反射光时在所述反射光0°、90°、180°、270°四个相位输出的电压值分别为PHS0、PHS1、PHS2、PHS3，根据公式：即可获得所述原始深度值DCL_Raw,x,y，其中，f为所述调制光的频率。