CN109801321A - 一种基于可编程延时线的tof相机深度标定方法 - Google Patents

一种基于可编程延时线的tof相机深度标定方法 Download PDF

Info

Publication number
CN109801321A
CN109801321A CN201811570387.9A CN201811570387A CN109801321A CN 109801321 A CN109801321 A CN 109801321A CN 201811570387 A CN201811570387 A CN 201811570387A CN 109801321 A CN109801321 A CN 109801321A
Authority
CN
China
Prior art keywords
calibration
delay
tof camera
temperature
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811570387.9A
Other languages
English (en)
Other versions
CN109801321B (zh
Inventor
王蓉
徐永奎
刘志冬
时岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Blue Core Technology Co Ltd
Original Assignee
Hangzhou Blue Core Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Blue Core Technology Co Ltd filed Critical Hangzhou Blue Core Technology Co Ltd
Priority to CN201811570387.9A priority Critical patent/CN109801321B/zh
Publication of CN109801321A publication Critical patent/CN109801321A/zh
Application granted granted Critical
Publication of CN109801321B publication Critical patent/CN109801321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于可编程延时线的TOF相机深度标定方法,本发明通过利用可编程延时器实现TOF相机照明控制信号的延时,虚拟出不同的标定距离,通过采集这些不同距离下的相位图,建立距离和相位之间的关系实现TOF相机深度标定。其深度标定精度由可编程延时器时间控制精度和TOF相机重复精度共同决定。这种标定方法解决了导轨标定方案空间的限制和人力的需求。

Description

一种基于可编程延时线的TOF相机深度标定方法
技术领域
本发明涉及三维相机的标定方法,特别是一种基于可编程延时线的TOF相机深度标定方法。
背景技术
近年来,3D技术越来越多的应用在娱乐、工业、医疗和安防上,各种3D成像技术不断涌现并进入生活和生产中。深度相机按照深度测量原理不同,一般分为:飞行时间法(TOF)、结构光法、双目立体视觉法(Stero Vision)。其中TOF相机其基本原理是通过测量光从发出到经过物体反射回相机的时间来测量物体到相机的间距。其大致可分为脉冲TOF(P_TOF)和连续波调制TOF(CVM_TOF)。P_TOF发射光脉冲(一般为不可见光)到被观测物体上,然后接收从物体反射回来的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离;CVM_TOF首先发出一束调制的连续光,通过测量光返回和传输的相位差进行,反推光飞行时间进行测距的。这种TOF相机采用最直接的测量手段进行深度成像,以最小的计算资源获得较佳的深度信息,因而得到广泛的应用。
通常对TOF相机进行深度标定采用导轨进行最直接地标定,将TOF相机面朝白墙安置在不同的距离分别成像,建立测量距离与真实距离的关系,从而修正测量距离以获得更准确的深度图。这种方法对人力需求过大,需要人工手动将相机安放在不同距离上,最近一种采用机械臂代替人工的标定方法也开始流行。但是这种标定方法也同样面临着另外一个问题,就是标定空间的限制,比如当标定需求达到30m之远,成像角度达到60°时,用于标定的白墙尺寸至少需要30m*30m,标定难度随着标定距离的增加迅速变大。
发明内容
本发明提供了一种基于可编程延时线的TOF相机深度标定方法。本发明是一种TOF相机导轨标定的替代方法,是一种对标定空间和人力需求都很小的标定方法,适合TOF相机批量生产时深度标定。
本发明提出的基于可编程延时线的TOF相机深度标定的方法,是利用可编程延时器件,对TOF相机照明模块的驱动信号进行延时,以虚拟出标定所需要不同深度代替导轨标定时真实的不同距离,实现TOF相机快速标定,一种基于可编程延时线的TOF相机深度标定方法,具体标定步骤为:
(1)将TOF相机切换到灰度图模式,进行相机的镜头标定;
(2)将TOF相机置于标定物前某一距离,在TOF相机中的深度传感芯片温度稳定之前进行温度标定和补偿;
(3)深度传感芯片温度稳定之后,通过在TOF相机的照明驱动电路之前接入可编程延时线实现驱动信号可控延时,采集不同的延时锁相(DLL)下的相位图phi(n);
(4)将标定模板紧贴标定物,标定出TOF相机与标定物的相对位姿关系,利用TOF相机镜头内外参生成标定距离下的标定物的深度图Img(0);
(5)生成每一步DLL下的深度图Img(n),其中Img(n)=Img(0)+DLL(n),其中,DLL(n)为第n步DLL对应的虚拟出来的距离,其大小为延时时间与光速的乘积的一半;并读取每一步延时锁相(DLL)下的相位图phi(n);
(6)对深度图Img和相位图phi中每一个对应像素建立函数关系,生成标定矩阵;
(7)在实际深度成像时,通过相位图中每一个像素的相位值依据标定出的成标定矩阵反推深度,从而实现准确的三维成像。
进一步的,所述温度标定和补偿具体步骤如下:
(1)开机之后,在深度传感芯片温度稳定之前,持续读出温度T并保存对应温度下的相位图pht(T);
(2)建立温度补偿函数;
(3)根据使用时的温度和标定时的温度差ΔT,计算相位偏移量ΔPht;输出的相位图phi等于原始相位图与相位偏移量之和。
进一步的,所述标定物优选白墙。
进一步的,所述TOF相机与标定物的相对位姿关系也可以直接通过测量的手段加以确定。
进一步的,所述TOF相机的镜头标定可在步骤(4)中的位姿关系确定之前的任何一步进行。
进一步的,如果深度传感芯片内没有温度数据直接送出,可以外置温度传感芯片贴于深度传感芯片附近,以实现温度获取。
进一步的,所述可编程延时线由延时芯片级联而成,每一级芯片由多个延时门级联而成,每一级延时门都对应不同的指数倍的最小延时时间,通过发送每一级的延时门开关信号实现信号不同延时的叠加,以最终实现所需的延时时间。
进一步的,所述可编程延时线也可以通过物理上在照明控制信号线上接入不同长度的线缆实现信号延时。
本发明的有益效果如下:
1、以照明驱动信号的延时虚拟出所需的不同深度,对标定所需的空间要求不大;
2、驱动信号延时控制的精度和准度很大程度上决定了标定的精度,相比于导轨标定时人工手动移位和电机驱动移位可控性更高,速度更快;
3、可以由主控电路同时控制延时线和进行数据采集;
4、标定过程可以实现流水线操作,方便批量生产时的标定作业;
5、本发明采用可编程延时芯片可广泛应用于TOF相机深度标定。
附图说明
为了更好的理解,在以下的描述中将参照附图更详细地解释本发明。应理解,本发明不限于此示范性实施例,指定的特征也可以被方便地结合和/或修改,而不背离本发明的由权利要求书所限定的范围。在附图中:
图1为安装有可编程延时线的TOF相机示意图;
图2为可编程延时线受控延时原理图;
图3为本发明标定方法的流程图;
图4为本发明标定方法的温度标定流程图;
图5为本发明标定方法的数据采集流程图;
图6为本发明标定方法的标定数据。
具体实施方式
在以下描述中,陈述多个特定细节以提供对实施例的透彻理解。然而,相关领域的技术人员应认识到,本文所描述的技术可被实践而不需一或多个特定细节,或使用其它方法、组件、材料等。
本发明的实施例涉及一种飞行时间成像系统(TOF相机),该系统包括深度传感芯片和给深度传感芯片供电传感器板,用于控制传感芯片和对传感芯片图像和其他信号进行处理的主控板以及用于对目标物体照明的照明板。如图1,本系统所述照明板的调制控制信号和深度传感芯片解调信号为同源时钟产生。照明板的调制控制信号经过可编程延时线单元,按照设定的延时时间延时后驱动光源。本发明的实施例所使用的深度传感芯片是一种CVM_TOF芯片。
本发明的实施例所用的可编程延时线,采用一种商用的延时芯片级联而成,其每一级芯片内部工作原理概图如图2所示,每一级芯片由多个延时门级联而成,每一级延时门都对应不同的指数倍的最小延时时间,通过延时门控制单元,发送每一级的延时门开关信号实现信号不同延时的叠加,以最终实现所需的延时时间。本发明的实施例所涉及的延时芯片最小抽头增量是10ps,对应空间标定距离增量为1.5mm,单一级芯片延时增量为2.2ns-12.2ns对应空间标定距离为33cm-183cm,单一级芯片有效标定距离为150cm,而所需要的标定距离为1250cm,对应所需的有效延时时间为83.3ns,因此采用10级芯片级联构成一个完整的延时线,以实现17.6ns-122ns的延时。
本发明的实施例使用的芯片工作在12Mhz下,其有效测距范围为0m-12.5m,标定时相机正对一堵平整的白墙并且距离墙面1m。延时线17.6ns-122ns的延时,加上1m的初始标定距离,实际标定距离364cm-1930cm,考虑到调制的周期性,实际标定距离可覆盖0m-12.5m。
如图3所示,下面描述了本发明的实施例中TOF相机具体标定步骤:
1、在进行TOF相机的深度标定之前,首先使用棋盘格对相机进行镜头标定,标定出相机镜头的内参。将相机切换到灰度图模式,从各个角度拍摄棋盘格,并使用matlab提供的相机标定工具箱标定出相机的焦距和畸变参数。
2、将TOF相机安置在正对一面白墙,并距离白墙1m的位置,开机,为获得较佳的标定效果,本发明的实施过程中通过对TOF相机的积分时间进行调节,在保证图像中没有出现过分曝光的前提下尽量增加积分时间,以获得最大的信噪比和最小的测量误差;
3、如图4所示,在深度传感芯片升温过程中,保持相机与白墙相对位置和位姿不变,同时记录相机传感芯片的温度T和对应温度下的相位图pht(T),建立函数温度补偿函数,用以抵消温升过程带来的相位值的变化,保证在不同温度下面对同一面白墙在同样的位置和位姿下相位值不会发生变化,后续所有用于标定的相位图都先进行温度补偿,依据当时的温度和标定时的温度差加减某一数值再送出,输出相位图phi=原始相位图phi0–k(T-T0),其中,phi为送出的相位图,phi0为进行温度补偿之前的相位图,k为相位值随温度变化的斜率,T为当即温度,T0为标定时的温度,温度差ΔT=T-T0,相位偏移量ΔPht=–kΔT。
4、如图5所示,待深度传感芯片温度恒定之后进行深度标定,在照明板与传感器版之间接入可编程延时线,通过主控板发送不同的门控信号驱动延时线17.6ns-122ns的延时,记录不同的延时时间下的相位图phi(n),其中n=1,2……N-1,N,N为总的标定步数,本实施例中总标定步数N为1000步,每步步长120ps;
5、将棋盘格紧贴白墙,标定出相机与白墙的相对位姿关系,用镜头内外参生成标定距离和标定位姿下的白墙的深度图Img(0):
其中u、v分别为像素的横纵坐标,s为缩放影子,fx、fy为镜头的沿像素行和列方向的焦距,cx、cy为图像中心与镜头光轴的平移量,r11、r12、r13、r14、r21、r22、r23、r24、r31、r32、r33、r34为相机外参,X、Y、Z为被测物体的世界坐标;
6、生成每一步DLL延时下的深度图Img(n),
其中Img(n)=Img(0)+DLL(n),DLL(n)为第n步DLL对应的虚拟出来的距离,DLL(n)=1/2*(n*120ps)*3*108m/s=1.8cm;
7、对深度图Img和相位图phi中每一个对应像素值建立映射关系,生成标定矩阵,图6展示了不同延时时间下,图像中心点的相位值,横坐标的时间实际上对应了虚拟出的不同的距离,按照理论相位与距离之间是线性相关,但实际上因为照明板送出的光信号并非完美的正弦,因而会出现高次项系数,通过对每一个像素建立相位和深度的对应关系,实际上可以削弱像素与像素之间的因为生产工艺等引起的差异性;
8、在实际深度成像时,首先对原始相位图进行温度补偿后再送出,根据对应像素标定出的相位与深度的关系获得准确的深度,从而实现准确的三维成像。

Claims (8)

1.一种基于可编程延时线的TOF相机深度标定方法,其特征在于,具体标定步骤为:
(1)将TOF相机切换到灰度图模式,进行相机的镜头标定;
(2)将TOF相机置于标定物前某一距离,在TOF相机中的深度传感芯片温度稳定之前进行温度标定和补偿;
(3)深度传感芯片温度稳定之后,通过在TOF相机的照明驱动电路之前接入可编程延时线实现驱动信号可控延时,采集不同的延时锁相(DLL)下的相位图phi(n);
(4)将标定模板紧贴标定物,标定出TOF相机与标定物的相对位姿关系,利用TOF相机镜头内外参生成标定距离下的标定物的深度图Img(0);
(5)生成每一步DLL下的深度图Img(n),其中Img(n)=Img(0)+DLL(n),其中,DLL(n)为第n步DLL对应的虚拟出来的距离,其大小为延时时间与光速的乘积的一半;并读取每一步延时锁相(DLL)下的相位图phi(n);
(6)对深度图Img和相位图phi中每一个对应像素建立函数关系,生成标定矩阵。
(7)在实际深度成像时,通过相位图中每一个像素的相位值依据标定出的成标定矩阵反推深度,从而实现准确的三维成像。
2.根据权利要求1所述的标定方法,其特征在于,所述温度标定和补偿具体步骤如下:
(1)开机之后,在深度传感芯片温度稳定之前,持续读出温度T并保存对应温度下的相位图pht(T);
(2)建立温度补偿函数;
(3)根据使用时的温度和标定时的温度差ΔT,计算相位偏移量ΔPht;输出的相位图phi等于原始相位图与相位偏移量之和。
3.根据权利要求1所述的标定方法,其特征在于,所述标定物优选白墙。
4.根据权利要求1所述的标定方法,其特征在于,所述TOF相机与标定物的相对位姿关系也可以直接通过测量的手段加以确定。
5.根据权利要求1所述的标定方法,其特征在于,所述TOF相机的镜头标定可在步骤(4)中的位姿关系确定之前的任何一步进行。
6.根据权利要求1所述的标定方法,其特征在于,如果深度传感芯片内没有温度数据直接送出,可以外置温度传感芯片贴于深度传感芯片附近,以实现温度获取。
7.根据权利要求1所述的标定方法,其特征在于,所述可编程延时线由延时芯片级联而成,每一级芯片由多个延时门级联而成,每一级延时门都对应不同的指数倍的最小延时时间,通过发送每一级的延时门开关信号实现信号不同延时的叠加,以最终实现所需的延时时间。
8.根据权利要求1所述的标定方法,其特征在于,所述可编程延时线也可以通过物理上在照明控制信号线上接入不同长度的线缆实现信号延时。
CN201811570387.9A 2018-12-21 2018-12-21 一种基于可编程延时线的tof相机深度标定方法 Active CN109801321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811570387.9A CN109801321B (zh) 2018-12-21 2018-12-21 一种基于可编程延时线的tof相机深度标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811570387.9A CN109801321B (zh) 2018-12-21 2018-12-21 一种基于可编程延时线的tof相机深度标定方法

Publications (2)

Publication Number Publication Date
CN109801321A true CN109801321A (zh) 2019-05-24
CN109801321B CN109801321B (zh) 2020-10-20

Family

ID=66557371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811570387.9A Active CN109801321B (zh) 2018-12-21 2018-12-21 一种基于可编程延时线的tof相机深度标定方法

Country Status (1)

Country Link
CN (1) CN109801321B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599547A (zh) * 2019-08-30 2019-12-20 深圳奥比中光科技有限公司 一种tof相机的标定装置及方法
CN111352098A (zh) * 2020-02-21 2020-06-30 深圳奥比中光科技有限公司 一种ToF相机的温漂标定的方法及系统
CN111562562A (zh) * 2020-04-28 2020-08-21 重庆市天实精工科技有限公司 基于tof的3d成像模块校准方法
CN112365546A (zh) * 2020-10-30 2021-02-12 深圳市汇顶科技股份有限公司 Tof相机标定方法、系统及标定箱体
US20220026545A1 (en) * 2020-07-23 2022-01-27 Pixart Imaging Inc. Time of flight sensor capable of compensating temperature deviation and temperature compensation method thereof
CN115128582A (zh) * 2021-03-25 2022-09-30 福建杰木科技有限公司 Tof相机的标定方法及tof相机的标定装置
CN117876502A (zh) * 2024-03-08 2024-04-12 荣耀终端有限公司 深度标定方法、深度标定设备及深度标定系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
US20120033045A1 (en) * 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
CN207354504U (zh) * 2017-04-25 2018-05-11 湘潭大学 一种频率与曝光可调的飞行时间三维成像装置
CN208255413U (zh) * 2018-05-15 2018-12-18 湖北秉正讯腾科技有限公司 集成相位补偿校正控制器的ToF飞行时间三维测距传感器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
US20120033045A1 (en) * 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
CN207354504U (zh) * 2017-04-25 2018-05-11 湘潭大学 一种频率与曝光可调的飞行时间三维成像装置
CN208255413U (zh) * 2018-05-15 2018-12-18 湖北秉正讯腾科技有限公司 集成相位补偿校正控制器的ToF飞行时间三维测距传感器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A.BELHEDI,ET AL.: "《Non-parametric depth calibration of a TOF camera》", 《2012 19TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
曾少青: "《基于飞行时间法原理的三维成像系统设计》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599547A (zh) * 2019-08-30 2019-12-20 深圳奥比中光科技有限公司 一种tof相机的标定装置及方法
US11750796B2 (en) 2019-08-30 2023-09-05 Orbbec Inc. TOF camera calibration device and method
CN111352098A (zh) * 2020-02-21 2020-06-30 深圳奥比中光科技有限公司 一种ToF相机的温漂标定的方法及系统
CN111562562A (zh) * 2020-04-28 2020-08-21 重庆市天实精工科技有限公司 基于tof的3d成像模块校准方法
CN111562562B (zh) * 2020-04-28 2023-04-14 重庆市天实精工科技有限公司 基于tof的3d成像模块校准方法
US20230236299A1 (en) * 2020-07-23 2023-07-27 Pixart Imaging Inc. Time of flight sensor recorded with compensation parameters
US20220026545A1 (en) * 2020-07-23 2022-01-27 Pixart Imaging Inc. Time of flight sensor capable of compensating temperature deviation and temperature compensation method thereof
US12111426B2 (en) * 2020-07-23 2024-10-08 Pixart Imaging Inc. Time of flight sensor recorded with compensation parameters
US11644554B2 (en) * 2020-07-23 2023-05-09 Pixart Imaging Inc. Time of flight sensor capable of compensating temperature deviation and temperature compensation method thereof
CN112365546A (zh) * 2020-10-30 2021-02-12 深圳市汇顶科技股份有限公司 Tof相机标定方法、系统及标定箱体
CN112365546B (zh) * 2020-10-30 2022-09-27 深圳市汇顶科技股份有限公司 Tof相机标定方法、系统及标定箱体
CN115128582A (zh) * 2021-03-25 2022-09-30 福建杰木科技有限公司 Tof相机的标定方法及tof相机的标定装置
CN117876502A (zh) * 2024-03-08 2024-04-12 荣耀终端有限公司 深度标定方法、深度标定设备及深度标定系统
CN117876502B (zh) * 2024-03-08 2024-06-28 荣耀终端有限公司 深度标定方法、深度标定设备及深度标定系统

Also Published As

Publication number Publication date
CN109801321B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN109801321A (zh) 一种基于可编程延时线的tof相机深度标定方法
CN108007365B (zh) 三维测量系统及使用方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN107369156B (zh) 深度数据检测系统及其红外编码投影装置
CN106949845A (zh) 基于双目立体视觉的二维激光振镜扫描系统及标定方法
CN108700408A (zh) 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
US8957956B2 (en) Method and system for iris image capture
US20110085789A1 (en) Frame Linked 2D/3D Camera System
CN106664365A (zh) 用于校准图像捕获设备的方法
WO1990009561A2 (en) Laser range imaging system using projective geometry
JP2018151163A (ja) 計測装置、処理装置および物品製造方法
CN111650573B (zh) 一种固态面阵激光三维成像动态一体化标定系统
CN111934843A (zh) 一种面向智能无人系统的多传感器数据同步采集方法
US11125967B2 (en) System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
CN113566986A (zh) 非接触式固体表面应变场与温度场同步测试的方法及装置
CN110619617A (zh) 三维成像方法、装置、设备及计算机可读存储介质
WO2019169182A1 (en) Trigger management device for measurement equipment
JPH05273352A (ja) 距離像を発生する方法および装置
CN114543667A (zh) 一种基于神经网络的单相机-双棱镜三维测量系统及测量方法
NL1004073C2 (nl) Gestabiliseerde optische richtinrichting.
Li et al. Measurement linearity and accuracy optimization for time-of-flight range imaging cameras
CN209030338U (zh) 双目立体相机对焦设备
CN111381222B (zh) Tof摄像模组温度标定设备及其方法
JP2000304508A (ja) 3次元入力装置
KR102080506B1 (ko) 광학 3d 스캐너

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190524

Assignee: Zhejiang Meier Micro Vision Technology Co.,Ltd.

Assignor: HANGZHOU LANXIN TECHNOLOGY CO.,LTD.

Contract record no.: X2024980010898

Denomination of invention: A depth calibration method for TOF cameras based on programmable delay lines

Granted publication date: 20201020

License type: Common License

Record date: 20240730