CN111562562B - 基于tof的3d成像模块校准方法 - Google Patents

基于tof的3d成像模块校准方法 Download PDF

Info

Publication number
CN111562562B
CN111562562B CN202010349853.1A CN202010349853A CN111562562B CN 111562562 B CN111562562 B CN 111562562B CN 202010349853 A CN202010349853 A CN 202010349853A CN 111562562 B CN111562562 B CN 111562562B
Authority
CN
China
Prior art keywords
data
matrix
tof
calibration
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010349853.1A
Other languages
English (en)
Other versions
CN111562562A (zh
Inventor
章平
赵军
陈豪
齐书
古昌根
卢江
晏政波
苏黎东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing TS Precision Technology Co Ltd
Original Assignee
Chongqing TS Precision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing TS Precision Technology Co Ltd filed Critical Chongqing TS Precision Technology Co Ltd
Priority to CN202010349853.1A priority Critical patent/CN111562562B/zh
Publication of CN111562562A publication Critical patent/CN111562562A/zh
Application granted granted Critical
Publication of CN111562562B publication Critical patent/CN111562562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于TOF的3D成像模块校准方法，包括：（1）对TOF 3D摄像头模组的元器件进行校准；（2b）标定校准系数矩阵表：（2b‑1）搭建硬件环境要求：（2b‑2）标定：将不同距离下的各张RAW12格式的深度图像数据转换为csv格式数据，所述csv格式数据为M*N的矩阵数据；使用matlab软件对M*N的矩阵数据进行提取，提取的数据包括噪声、开始发光到物体这段时间里接收到的光脉冲数量和从光回程时间接收到的光脉冲数量，显示同一距离下的数据点图像，并将其中超出平均值的数据标记出其在矩阵中的坐标；将标记出的坐标数据进行滤波处理，并生成校准系数矩阵表。本发明提高了计算深度信息的精度。

Description

基于TOF的3D成像模块校准方法
技术领域
本发明属于3D成像技术领域，具体涉及一种基于TOF的3D成像模块校准方法。
背景技术
TOF技术较早是用在体感游戏机Kinect V2产品上，此款产品因采用TOF技术可以很方便得到深度和人物姿势等数据信息，被全世界的开发者和研究人员关注称赞。近年来，很多企业大力投入研发开发TOF 3D摄像头在智能终端的实际应用，已逐步走向成熟的解决方案。比如：2018年11月，OPPO发布R17 Pro搭载TOF 3D摄像头，应用于AR及3D游戏等，紧接着2018年12月，华为发布V20、VIFO发布NEX2均搭载TOF 3D摄像头，应用扩充到3D人脸支付、3D摄影、3D游戏、3D空间测距等。但目前，基于飞行时间(TOF)的3D成像模块系统获取到的深度信息的精度还不够高，对于一些对深度信息要求较高的领域，还不能很好地满足其需求。
因此，有必要开发一种新的基于TOF的3D成像模块校准方法。
发明内容
本发明的目的是提供一种基于TOF的3D成像模块校准方法，以提高计算深度信息的精度。
本发明所述的一种基于TOF的3D成像模块校准方法，包括以下步骤：
（1）对TOF 3D摄像头模组的元器件进行校准：
（1a）导入标定图片
（1b）将原图转为灰图，并进行二值化处理，直至突显出chart的轮廓；
（1c）获取各个chart的轮廓，并填充其中三个chart；
（1d）分别对四个分割出来的chart寻找角点，将这些chart对应的图像坐标系二维角点坐标和世界坐标系下三维角点坐标注入容器；
（1e）通过这些二维和三维点坐标信息，计算出TOF 3D摄像头模组的内参矩阵、畸变系数、旋转矩阵和平移矩阵；并利用标定获取的内参矩阵、畸变系数、旋转矩阵和平移矩阵计算出重投影误差；
（2）对TOF 3D摄像头模组进行校准：
（2a）将TOF 3D摄像头模组置于无红外光、黑暗的环境下拍摄K帧图像，得到噪声值；对每帧图像相同坐标的像素点时间分量进行求和得q1值，并计算出平均值Q1，q1为噪声；对每帧图像相同坐标的像素点时间分量进行求和得q2值，并计算出平均值Q2，q2为开始发光到物体这段时间里接收到的光脉冲数量；对每帧图像相同坐标的像素点时间分量进行求和得的q3值，并计算出平均值Q3，q3为从光回程时间接收到的光脉冲数量；
（2b）标定校准系数矩阵表：
（2b-1）搭建硬件环境要求：
环境：全封闭暗室，且箱体内部采用全亚光黑处理；
标定距离：多个不同距离，有效距离以镜头承靠面作为距离量测基准；
外界光源： 850nm/940nm灯源切换，此光源安装在箱体内部，需满足灯光打开后充满整个靶面；
测试标靶反射率：白色材质的测试标靶的反射率≥90%，99%全漫反射，无镜面反射；
测试标靶测试面平整度：测试标靶测试面平整度<5mm；
测试标靶尺寸水平长：依据FOV 垂直方向需保证有效测试面积；
测试载具承靠面平面度：测试载具承靠面平面度<0.1mm，此承靠面需与测试标靶面校正平行；
（2b-2）标定：
将不同距离下的各张RAW12格式的深度图像数据转换为csv格式数据，所述csv格式数据为M*N的矩阵数据。
使用matlab软件对M*N的矩阵数据进行提取，提取的数据包括噪声、开始发光到物体这段时间里接收到的光脉冲数量和从光回程时间接收到的光脉冲数量，显示同一距离下的数据点图像，并将其中超出平均值的数据标记出其在矩阵中的坐标；
将标记出的坐标数据进行滤波处理，并生成滤波后的校准系数矩阵表（即校准文件），该校准系数矩阵表为Q1、Q2和Q3在不同距离下的校准系数。
所述步骤（1c）中，使用cv::findContours函数获取各个chart的轮廓。
进一步，所述步骤（1d）中，使用cv::findChessboardCorners函数分别对四个分割出来的chart寻找角点。
进一步，所述步骤（1e）中，使用cv::calibrateCamera函数进行标定, 计算出TOF3D摄像头模组的内参矩阵、畸变系数、旋转矩阵、平移矩阵；并利用内参矩阵、畸变系数、旋转矩阵和平移矩阵通过cv::projectPoints函数和cv::norm函数计算重投影误差。
进一步，所述步骤（2b-1）中，标定距离包括5个不同距离，分别为0.4m、0.6m、0.8m、1m 和1.2m；
进一步，所述csv格式数据为328*248的矩阵数据。
本发明具有以下优点：本发明通过对TOF 3D摄像头模组的元器件和TOF 3D摄像头模组进行校准，能够大大提高深度的计算精度。
附图说明
图1是本实施例中标定图片的示意图；
图2是本实施例中图片进过二值化处理后的示意图；
图3是本实施例中轮廓抓取的示意图；
图4是本实施例中在填充其余三个chart后的示意图；
图5是本实施例中抓取角点信息的示意图；
图6是本实施例中标定校准系数矩阵表的流程图；
图7是本实施例中计算深度值的流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
本实施例中，一种基于TOF的3D成像模块校准方法，包括以下步骤：
（1）对TOF 3D摄像头模组的元器件进行校准：
（1a）导入标定图片，参见图1。
（1b）将原图转为灰图，并使用cv::threshold函数进行二值化，直至突显出chart的轮廓；参见图2。
（1c）使用cv::findContours函数获取各个chart的轮廓（参见图3），并填充其中三个chart（参见图4）。
（1d）使用cv::findChessboardCorners分别对四个分割出来的chart寻找角点（参见图5），将这些chart对应的图像坐标系二维角点坐标和世界坐标系下三维角点坐标注入容器。
（1e）通过这些二维和三维点坐标信息，使用cv::calibrateCamera进行标定，计算出TOF 3D摄像头模组的内参矩阵、畸变系数、旋转矩阵和平移矩阵；并利用内参矩阵、畸变系数、旋转矩阵和平移矩阵通过cv::projectPoints函数和cv::norm函数计算重投影误差。
（2）对TOF 3D摄像头模组进行校准：
（2a）为了降低噪声的影响，将TOF 3D摄像头模组置于无红外光、黑暗的环境下拍摄K帧（本实施例中，K的取值为30帧）图像，得到噪声值；对每帧图像相同坐标的像素点时间分量进行求和得q1值，并计算出平均值Q1，q1为噪声；对每帧图像相同坐标的像素点时间分量进行求和得q2值，并计算出平均值Q2，q2为开始发光到物体这段时间里接收到的光脉冲数量；对每帧图像相同坐标的像素点时间分量进行求和得的q3值，并计算出平均值Q3，q3为从光回程时间接收到的光脉冲数量。
现有计算每个像素点的深度L的公式如下：
L = 1/2 * c * T0 *((Q3-Q1)/(Q2-Q1+Q3-Q1)；
其中：c为光速，T0是脉冲时间34.4ns，T0依据TOF芯片产品得来的。
因不同距离下对TOF获取的Q1,Q2,Q3数据影响各有差异，为了提高精度，所以必须要把这个差异标定为校准系数矩阵表，此校准系数矩阵表会在产品应用端调用使用，以达到提高产品获取深度的精度。
（2b）标定校准系数矩阵表：
（2b-1）搭建硬件环境要求：
环境：全封闭暗室，且箱体内部采用全亚光黑处理；非黑色（或高光）机构部分需考虑遮挡，测试标靶除外；
标定距离：多个不同距离，本实施例中，为5个不同距离，分别为0.4m、0.6m、0.8m、1m 和1.2m；有效距离以镜头承靠面作为距离量测基准；
外界光源： 850nm/940nm灯源切换，此光源安装在箱体内部，需满足灯光打开后充满整个靶面；
测试标靶反射率：白色材质的测试标靶的反射率≥90%，99%全漫反射，无镜面反射；
测试标靶测试面平整度：测试标靶测试面平整度<5mm；
测试标靶尺寸水平长：依据FOV （即视场角）垂直方向需保证有效测试面积；
测试载具承靠面平面度：测试载具承靠面平面度<0.1mm，此承靠面需与测试标靶面校正平行；
（2b-2）参见图6，标定过程：
将不同距离下的各张RAW12格式的深度图像数据转换为csv格式数据，所述csv格式数据为M*N的矩阵数据，本实施例中，为328*248的矩阵数据。
使用matlab软件对M*N的矩阵数据进行提取，提取的数据包括噪声、开始发光到物体这段时间里接收到的光脉冲数量和从光回程时间接收到的光脉冲数量，显示同一距离下的数据点图像，并将其中超出平均值的数据标记出其在矩阵中的坐标；
将标记出的坐标数据进行滤波处理（比如：高斯滤波函数、中值滤波函数等），并生成滤波后的校准系数矩阵表，该校准系数矩阵表为Q1、Q2和Q3在不同距离下的校准系数。
此校准系数矩阵表会在产品应用端调用使用，以达到提高产品获取深度的精度。
参见图7，本实施例中，计算每个像素点的深度L的方法如下：
（1）计算Q1、Q2 和Q3；
（2）查校准系数矩阵表，得到Q1对应的校准系数为K1，Q2对应的校准系数为K2 ,以及Q3对应的校准系数为K3；
（3）利用以下公式计算出每个像素点的深度L：
L = 1/2 * c * T0 *((Q3*K3-Q1*K1)/(Q2* K2-Q1*K1+Q3*K3-Q1*K1)。
（4）输出深度值。
本实施例通过对TOF 3D摄像头模组的元器件和TOF 3D摄像头模组进行校准，能够大大提高深度的计算精度。

Claims (7)

1.一种基于TOF的3D成像模块校准方法，其特征在于，包括以下步骤：
（1）对TOF 3D摄像头模组的元器件进行校准：
（1a）导入标定图片；
（1b）将原图转为灰图，并进行二值化处理，直至突显出chart的轮廓；
（1c）获取各个chart的轮廓，并填充其中三个chart；
（1d）分别对四个分割出来的chart寻找角点，将这些chart对应的图像坐标系二维角点坐标和世界坐标系下三维角点坐标注入容器；
（1e）通过这些二维和三维点坐标信息，计算出TOF 3D摄像头模组的内参矩阵、畸变系数、旋转矩阵和平移矩阵；并利用标定获取的内参矩阵、畸变系数、旋转矩阵和平移矩阵计算出重投影误差；
（2）对TOF 3D摄像头模组进行校准：
（2a）将TOF 3D摄像头模组置于无红外光、黑暗的环境下拍摄K帧图像，得到噪声值；对每帧图像相同坐标的像素点时间分量进行求和得q1值，并计算出平均值Q1，q1为噪声；对每帧图像相同坐标的像素点时间分量进行求和得q2值，并计算出平均值Q2，q2为开始发光到物体这段时间里接收到的光脉冲数量；对每帧图像相同坐标的像素点时间分量进行求和得的q3值，并计算出平均值Q3，q3为从光回程时间接收到的光脉冲数量；
（2b）标定校准系数矩阵表：
（2b-1）搭建硬件环境要求：
环境：全封闭暗室，且箱体内部采用全亚光黑处理；
标定距离：多个不同距离，有效距离以镜头承靠面作为距离量测基准；
外界光源： 850nm/940nm灯源切换，此光源安装在箱体内部，需满足灯光打开后充满整个靶面；
测试标靶反射率：白色材质的测试标靶的反射率≥90%，99%全漫反射，无镜面反射；
测试标靶测试面平整度：测试标靶测试面平整度<5mm；
测试标靶尺寸水平长：依据FOV 垂直方向需保证有效测试面积；
测试载具承靠面平面度：测试载具承靠面平面度<0.1mm，此承靠面需与测试标靶面校正平行；
（2b-2）标定：
将不同距离下的各张RAW12格式的深度图像数据转换为csv格式数据，所述csv格式数据为M*N的矩阵数据；
使用matlab软件对M*N的矩阵数据进行提取，提取的数据包括噪声、开始发光到物体这段时间里接收到的光脉冲数量和从光回程时间接收到的光脉冲数量，显示同一距离下的数据点图像，并将其中超出平均值的数据标记出其在矩阵中的坐标；
将标记出的坐标数据进行滤波处理，并生成滤波后的校准系数矩阵表，该校准系数矩阵表为Q1、Q2和Q3在不同距离下的校准系数。
2.根据权利要求1所述的基于TOF的3D成像模块校准方法，其特征在于：所述步骤（1b）中，使用cv::threshold函数进行二值化处理。
3.根据权利要求1或2所述的基于TOF的3D成像模块校准方法，其特征在于：所述步骤（1c）中，使用cv::findContours函数获取各个chart的轮廓。
4.根据权利要求3所述的基于TOF的3D成像模块校准方法，其特征在于：所述步骤（1d）中，使用cv::findChessboardCorners函数分别对四个分割出来的chart寻找角点。
5.根据权利要求1或2或4所述的基于TOF的3D成像模块校准方法，其特征在于：所述步骤（1e）中，使用cv::calibrateCamera函数进行标定, 计算出TOF 3D摄像头模组的内参矩阵、畸变系数、旋转矩阵、平移矩阵；并利用内参矩阵、畸变系数、旋转矩阵和平移矩阵通过cv::projectPoints函数和cv::norm函数计算重投影误差。
6.根据权利要求5所述的基于TOF的3D成像模块校准方法，其特征在于：所述步骤（2b-1）中，标定距离包含5个不同距离，分别为0.4m、0.6m、0.8m、1m 和1.2m。
7.根据权利要求1或2或4或6所述的基于TOF的3D成像模块校准方法，其特征在于：所述csv格式数据为328*248的矩阵数据。
CN202010349853.1A 2020-04-28 2020-04-28 基于tof的3d成像模块校准方法 Active CN111562562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010349853.1A CN111562562B (zh) 2020-04-28 2020-04-28 基于tof的3d成像模块校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010349853.1A CN111562562B (zh) 2020-04-28 2020-04-28 基于tof的3d成像模块校准方法

Publications (2)

Publication Number Publication Date
CN111562562A CN111562562A (zh) 2020-08-21
CN111562562B true CN111562562B (zh) 2023-04-14

Family

ID=72070634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349853.1A Active CN111562562B (zh) 2020-04-28 2020-04-28 基于tof的3d成像模块校准方法

Country Status (1)

Country Link
CN (1) CN111562562B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114636992A (zh) * 2020-12-15 2022-06-17 深圳市灵明光子科技有限公司 相机校准方法、相机及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011247759A (ja) * 2010-05-27 2011-12-08 Seiko Epson Corp 三次元形状計測装置、キャリブレーション方法、およびロボット
CN109035345A (zh) * 2018-07-20 2018-12-18 齐鲁工业大学 基于高斯过程回归的tof相机距离校正方法
CN109801321A (zh) * 2018-12-21 2019-05-24 杭州蓝芯科技有限公司 一种基于可编程延时线的tof相机深度标定方法
CN109816735A (zh) * 2019-01-24 2019-05-28 哈工大机器人（合肥）国际创新研究院 一种快速标定及校正方法及其tof相机
CN110111384A (zh) * 2019-04-11 2019-08-09 歌尔股份有限公司 一种tof深度模组的标定方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011247759A (ja) * 2010-05-27 2011-12-08 Seiko Epson Corp 三次元形状計測装置、キャリブレーション方法、およびロボット
CN109035345A (zh) * 2018-07-20 2018-12-18 齐鲁工业大学 基于高斯过程回归的tof相机距离校正方法
CN109801321A (zh) * 2018-12-21 2019-05-24 杭州蓝芯科技有限公司 一种基于可编程延时线的tof相机深度标定方法
CN109816735A (zh) * 2019-01-24 2019-05-28 哈工大机器人（合肥）国际创新研究院 一种快速标定及校正方法及其tof相机
CN110111384A (zh) * 2019-04-11 2019-08-09 歌尔股份有限公司 一种tof深度模组的标定方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王乐 等."ToF 深度相机测量误差校正模型".《系统仿真学报》.2017,第29卷(第10期),第2323-2329页. *

Also Published As

Publication number Publication date
CN111562562A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
US11503275B2 (en) Camera calibration system, target, and process
CN111563923B (zh) 获得稠密深度图的方法及相关装置
WO2020035002A1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
EP3022525B1 (en) Method of capturing three-dimensional (3d) information on a structure
Krig Computer vision metrics
EP3491332B1 (en) Reflectivity map estimate from dot based structured light systems
CN107155341B (zh) 三维扫描系统和框架
CN110300292A (zh) 投影畸变校正方法、装置、系统及存储介质
CN111145269B (zh) 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
CN104424662A (zh) 立体扫描装置
CN106683068A (zh) 一种三维数字化图像采集方法及设备
CN106165387A (zh) 光场处理方法
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
CN113281723B (zh) 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
CN111562562B (zh) 基于tof的3d成像模块校准方法
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
Stets et al. Scene reassembly after multimodal digitization and pipeline evaluation using photorealistic rendering
CN111652967B (zh) 一种基于前后融合成像的三维重建系统及方法
JP2007315777A (ja) 三次元形状計測システム
US6922207B2 (en) 3-dimension scanning method and 3-dimension scanning system using the same
CN116433769B (zh) 空间校准方法、装置、电子设备和存储介质
Pena-Pena et al. Per-pixel calibration using CALTag and dense 3D point cloud reconstruction
CN115620094B (zh) 关键点的标注方法、装置、电子设备及存储介质
US20240242318A1 (en) Face deformation compensating method for face depth image, imaging device, and storage medium
Kontogianni et al. Exploiting mirrors in 3D reconstruction of small artefacts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant