CN113096189B - 一种itof深度相机标定及深度优化方法 - Google Patents

一种itof深度相机标定及深度优化方法 Download PDF

Info

Publication number
CN113096189B
CN113096189B CN202110304801.7A CN202110304801A CN113096189B CN 113096189 B CN113096189 B CN 113096189B CN 202110304801 A CN202110304801 A CN 202110304801A CN 113096189 B CN113096189 B CN 113096189B
Authority
CN
China
Prior art keywords
depth
itof
value
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110304801.7A
Other languages
English (en)
Other versions
CN113096189A (zh
Inventor
周艳辉
卫莉丽
李彤
乔欣
邓鹏超
葛晨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110304801.7A priority Critical patent/CN113096189B/zh
Publication of CN113096189A publication Critical patent/CN113096189A/zh
Application granted granted Critical
Publication of CN113096189B publication Critical patent/CN113096189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种IToF深度相机标定及深度优化方法，其包括如下步骤：S100：采集不同距离的白色平面场景下IToF深度相机拍摄的原始raw数据，计算测量值；S200：采取不同的方法获取所述测量值对应的真实值；S300：根据所获取的测量值和真实值，计算距离误差，构建IToF深度相机的距离误差校正模型；S400：根据所得到的距离误差模型，对IToF深度相机拍摄的原始raw数据，进行深度误差标定，得到初步校正的深度图；S500：将所得到的深度图，进行滤波处理，得到优化后的深度图。该方法可以获取更高精度的距离信息。

Description

一种ITOF深度相机标定及深度优化方法
技术领域
本公开属于三维感知、计算机视觉及人工智能技术领域，具体涉及一种IToF深度相机标定及深度优化方法。
背景技术
随着数字成像技术的发展，相机作为一种传感器被广泛使用与研究。三维深度感知设备作为一种新型的视觉传感器，可实时获取深度图信息，广泛应用在智能汽车、医疗、游戏娱乐、机器人避障导航、虚拟现实、文物保护等领域。3D ToF深度相机有两种测量方式，分别是DToF(Direct ToF，直接测量飞行时间)和IToF(Indirect TOF，间接测量飞行时间)。DToF通过记录发射脉冲与接收脉冲两个时刻的差值来计算测量距离。该方法原理简单，但是需要发射的激光脉冲具备高能量、高重复性及短脉宽等要求，对硬件要求较高。ITOF通常是把发射的光波调制成一定频率的周期性信号，通过测量发射信号和该信号经过被测物反射回来到达接收端时的相位差，间接计算出光的飞行时间，进而计算距离。
目前IToF深度相机作为一种主流的深度相机，因结构小巧、反应时间快、算法简单、可获取目标点云、高帧率提供三维图像，为每个像素提供强度数据和距离信息等性能而作为一种最佳选择。但由于IToF深度相机的测量结果和测量精度会受到相机系统内部和外界环境等诸多因素的影响，为了获取更高精度的距离信息，对IToF深度相机进行深度标定及优化变得尤为重要。
发明内容
为了解决上述问题，本公开提供了一种IToF深度相机标定及深度优化方法，其包括如下步骤：
S100：采集不同距离的白色平面场景下IToF深度相机拍摄的原始raw数据，计算测量值；
S200：采取不同的方法获取所述测量值对应的真实值；
S300：根据所获取的测量值和真实值，计算距离误差，构建IToF深度相机的距离误差校正模型；
S400：根据所得到的距离误差模型，对IToF深度相机拍摄的原始raw数据，进行深度误差标定，得到初步校正的深度图；
S500：将所得到的深度图，进行滤波处理，得到优化后的深度图。
上述方案通过建立距离误差模型，对深度传感器上由于不同像素点的差异，导致测量距离存在偏差的深度相机进行标定；通过对远距离杂散点和近距离平滑度进行处理，得到精确的深度图。该方法首先构建了距离误差模型，采集白色平面原始raw数据计算测量值，采取不同的方法获取真实值，测量值减去真实值得到距离误差，对模型的参数进行标定；得到已知参数值的模型后，即可对深度相机进行标定。再通过对远距离杂散点进行滤波处理，得到优化之后的深度图。
附图说明
图1是本公开一个实施例中所提供的一种IToF深度相机标定及深度优化方法流程图；
图2是本公开一个实施例中所提供的IToF摄像头采集不同距离白色平面场景下数据示意图；
图3是本公开一个实施例中IToF摄像头采集不同距离贴有标定板的白色平面场景下数据示意图；
图4是本公开一个实施例中IToF深度相机进行滤波处理，优化深度图流程图。
具体实施方式
在一个实施例中，如图1所示，本公开提供了一种IToF深度相机标定及深度优化方法，其包括如下步骤：
S100：采集不同距离的白色平面场景下IToF深度相机拍摄的原始raw数据，计算测量值；
S200：采取不同的方法获取所述测量值对应的真实值；
S300：根据所获取的测量值和真实值，计算距离误差，构建IToF深度相机的距离误差校正模型；
S400：根据所得到的距离误差模型，对IToF深度相机拍摄的原始raw数据，进行深度误差标定，得到初步校正的深度图；
S500：将所得到的深度图，进行滤波处理，得到优化后的深度图。
本方法通过构建距离误差模型对IToF深度相机进行标定，并通过滤波对远距离杂散点和近距离平滑度进行处理，实现了IToF深度相机标定和深度优化。本方法提出的IToF深度相机标定方法既可适用于单频的IToF深度摄像头，也适用于多频工作的IToF深度摄像头。就该实施例而言，IToF深度相机进行标定和优化的方法是基于构建距离误差模型和滤波方法，首先采集不同距离白色平面场景下原始raw数据，计算测量值，然后针对该场景采用不同的方法拟合真实值，将测量值减去真实值得到距离误差，采用不同的方法构建距离误差模型，通过最小二乘法，拟合模型参数。最后将通过距离误差模型对相机采集原始raw数据进行初步校正，经过滤波处理，得到精确的深度图。本方法可以获取更高精度的距离信息。Raw数据就是CMOS图像传感器将捕捉到的光信号转化为数字信号的原始数据。
本方法采用贴有标定板的白色平面获取真实值的方法更准确；基于相机奇次谐波误差和不同像素点的差异进行建模构建的距离误差模型比二次模型、三次B样条模型，对深度图校正之后，精度更高。另外，运用了置信度图进行引导，进一步提高了深度图的精确度。
在另一个实施例中，所述步骤S100进一步包括：
所述测量值是根据IToF深度相机测距原理得到。
即四步相移法、三步相移法、五步相移法。不是用测距仪确定，测距仪辅助得到真实值。
就该实施例而言，如图2所示，首先需要通过IToF深度相机对白色平面进行拍摄，拍摄过程中相机和平面尽量平行，拍摄距离为摄像头能够计算深度的最近距离到最远距离，拍摄间隔尽量密集，并要求对同一位置拍摄多张求得原始数据平均值，以消除噪声造成的影响。
将相机固定到可移动的滑动平台上，保证相机在整个采集数据的过程中相对位置不发生变化，只有测量距离发生改变，以减少其他因素的变化对相机误差标定产生影响。
在另一个实施例中，所述步骤S200进一步包括：
所述不同的方法包括：将不同距离的白色平面的绝对平面深度值进行曲面化，其结果作为真实值；或者将不同距离的白色平面的测量值作为拟合平面的真实值；或者根据贴有标定板的白色平面获取真实值。
就该实施例而言，获取步骤S100中白色平面的真实值d，根据该真实值d拟合平面ax+by+c＝d，x、y为该深度值对应的像素坐标，a、b、c为拟合平面参数，通过最小二乘法，得到拟合平面；由于ToF相机采用小孔成像原理，步骤S100得到的测量值呈曲面，根据三角形相似原理，已知相机内参和平面深度值d平，可以将该平面进行曲面化，其曲面化结果作为真实值；
曲面化公式表示为：
其中(i，j)为某像素坐标，fx和fy是相机x方向和y方向的焦距，(cx，cy)相机像素中心点坐标；fx、fy、cx、cy由相机内参得到。
方法一、将不同距离白色平面的绝对平面深度值进行曲面化，其结果作为真实值；绝对平面的深度值通过测距仪可得。
方法二、将不同距离白色平面的测量值作为拟合平面的真实值。
方法三、需要用IToF深度相机采集同步骤S100中相同距离的贴有标定板的白色平面，如图3所示，拍摄多张求平均值，进而计算深度值Zc作为拟合平面的深度值d。将步骤S100中拍摄的某一固定距离的白色平面同步骤S200中拍摄的该距离贴有标定板的白色平面作为对应组，然后移动摄像头以相同的方式拍摄多组。
计算某一距离标定板像素范围内的深度值。我们已知世界坐标系某点坐标求像素坐标[u v 1]，其中，u v代表像素坐标，可以逆推出根据相机的内参K、外参R、T及像素坐标，求出标定板像素范围内的深度值Zc。计算公式为：
mat2＝R-1T
Zc＝mat2(3，1)/mat1(3，1)
然后根据该范围内的深度值，拟合与测量值相同分辨率的平面深度值作为拟合平面的真实值。
其中，获取的真实值第二种方法比第一种方法更准确，第三种方法又比第二种方法更准确。
在另一个实施例中，所述步骤S300进一步包括：
所述计算距离误差是指测量值减去真实值。
在另一个实施例中，所述步骤S300进一步包括：
所述构建IToF深度相机的距离误差校正模型是基于相机奇次谐波误差和不同像素点的差异进行建模。
就该实施例而言，基于相机奇次谐波误差和不同像素点的差异进行建模为：
Δd＝p(1)+p(2)cos(4kd)+p(3)sin(4kd)+p(4)cos(8kd)+p(5)sin(8kd)+p(6)r
其中，Δd是计算距离误差，p(1)-p(6)是模型的六个参数，k＝2πf/c，调制频率f、光速c，某像素距离像素中心点(cx，cy)的距离r。
最小二乘法估计模型参数时，要求误差平方和最小，即对参数最佳估计，可通过对模型中每个参数求偏导数，联立方程组求解，得到参数的最佳估计值。
在另一个实施例中，建立三次B样条曲线距离误差模型，也可以加入距离像素中心点的距离项r，也可以加入温度线性项。
在另一个实施例中，建立二次曲面距离误差模型，也可以加入距离像素中心点的距离项r，也可以加入温度线性项。
在另一个实施例中，所述步骤S400进一步包括：
所述进行深度误差标定是指采用四相步法获得深度值，用该深度值加上所述距离误差进行初步校正。
就该实施例而言，计算深度值采用四步相移法法，即采用四个采样计算窗口测量，每个计算窗口相位延时90°(0°，90°，180°，270°)，接收摄像头采集所得原始raw数据分别为Q0、Q1、Q2、Q3，根据如下公式计算深度值。
对IToF深度相机拍摄的原始raw数据，计算测量值并进行初步校正，即d+Δd。
在另一个实施例中，也可采用三相步法和五相步法。
在另一个实施例中，所述步骤S500进一步包括：
所述滤波处理包括对连续远距离空间的杂散点和近距离的平滑度的处理。
在另一个实施例中，所述对连续远距离空间的杂散点的处理具体包括：
拍摄场景的无限远区域，整幅图中从左下角开始遍历每个像素，直到整幅图遍历结束。
在另一个实施例中，根据某像素邻域的均值，通过阈值判断某像素是否是杂散点。
就该实施例而言，判断某像素为杂散点的方法：对于位置(i，j)深度值与其同列相邻的三行数据，分别计算差值，若均大于某一阈值1，则继续判断位置(i-1，j)的深度值与其右上角相邻8个位置的深度值差值的平均值，若大于阈值2，则认为位置(i-1，j)的深度值为远距离杂散点(无限远的区域)，否则均不是杂散点。其中阈值的确定方法，可以选取一背景为空旷远距离的场景，根据上述判断杂散点的方法进行计算，然后求取平均值进行设置。
在另一个实施例中，所述对近距离的平滑度的处理具体包括：采用联合双边滤波和引导滤波的方式。
就该实施例而言，如图4所示，采用联合双边滤波和引导滤波的方式。根据ITOF深度相机采集的原始raw数据计算得到振幅图，其更为准确的反映了光的强度和计算深度的准确性。由于振幅图常被用来当作置信度的度量，所以将振幅图作为引导滤波的引导图对深度图进行滤波，可以得到准确的深度图。
该实施例中，联合双边滤波的处理方法：采用的是两个频率的工作模式，分别是100MHZ和20MHZ，将100MHZ振幅图作为联合双边滤波的值域函数，即代替普通双边滤波中的灰度函数，对20MHZ振幅图进行双边滤波处理，其振幅图计算公式为：
confidence＝abs(Q3-Q1)+abs(Q0-Q2)
式中：abs(*)表示取绝对值，Q0、Q1、Q2、Q3分别代表四个相位的原始raw数据。
在另一个实施例中，单频率工作模式下，对振幅图进行双边滤波。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (6)

1.一种IToF深度相机标定及深度优化方法，其包括如下步骤：
S100：采集不同距离的白色平面场景下IToF深度相机拍摄的原始raw数据，计算测量值；
S200：采取不同的方法获取所述测量值对应的真实值；
S300：根据所获取的测量值和真实值，计算距离误差，构建IToF深度相机的距离误差校正模型；
S400：根据所得到的距离误差模型，对IToF深度相机拍摄的原始raw数据,进行深度误差标定，得到初步校正的深度图；
S500：将所得到的深度图，进行滤波处理，得到优化后的深度图；
所述步骤S200进一步包括：
所述不同的方法包括：将不同距离的白色平面的绝对平面深度值进行曲面化，其结果作为真实值；或者将不同距离的白色平面的测量值作为拟合平面的真实值；或者根据贴有标定板的白色平面获取真实值；
所述步骤S300进一步包括：
所述构建IToF深度相机的距离误差校正模型是基于相机奇次谐波误差和不同像素点的差异进行建模；
所述步骤S400进一步包括：
所述进行深度误差标定是指采用四步相移法获得深度值，用该深度值加上所述距离误差进行初步校正；
所述步骤S500进一步包括：
所述滤波处理包括对连续远距离空间的杂散点和近距离的平滑度的处理。
2.根据权利要求1所述的方法，所述步骤S100进一步包括：
所述测量值是根据IToF深度相机测距原理得到。
3.根据权利要求1所述的方法，所述步骤S300进一步包括：
所述计算距离误差是指测量值减去真实值。
4.根据权利要求1所述的方法，所述对连续远距离空间的杂散点的处理具体包括：
拍摄场景的无限远区域，整幅图中从左下角开始遍历每个像素，直到整幅图遍历结束。
5.根据权利要求1所述的方法，根据某像素邻域的均值，通过阈值判断某像素是否是杂散点。
6.根据权利要求1所述的方法，所述对近距离的平滑度的处理具体包括：采用联合双边滤波和引导滤波的方式。
CN202110304801.7A 2021-03-22 2021-03-22 一种itof深度相机标定及深度优化方法 Active CN113096189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110304801.7A CN113096189B (zh) 2021-03-22 2021-03-22 一种itof深度相机标定及深度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110304801.7A CN113096189B (zh) 2021-03-22 2021-03-22 一种itof深度相机标定及深度优化方法

Publications (2)

Publication Number Publication Date
CN113096189A CN113096189A (zh) 2021-07-09
CN113096189B true CN113096189B (zh) 2024-04-05

Family

ID=76668830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110304801.7A Active CN113096189B (zh) 2021-03-22 2021-03-22 一种itof深度相机标定及深度优化方法

Country Status (1)

Country Link
CN (1) CN113096189B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436242B (zh) * 2021-07-22 2024-03-29 西安电子科技大学 基于移动深度相机的获取静态物体高精度深度值方法
CN113506351A (zh) * 2021-07-28 2021-10-15 维沃移动通信（杭州）有限公司 ToF相机的标定方法、装置、电子设备及存储介质
CN114125434A (zh) * 2021-11-26 2022-03-01 重庆盛泰光电有限公司 一种tof摄像头的3d校正装置
CN114120415A (zh) * 2021-11-30 2022-03-01 支付宝(杭州)信息技术有限公司 人脸检测方法、装置和电子设备
CN114778547A (zh) * 2022-04-01 2022-07-22 西南交通大学 一种基于图像处理的曲面零件表面粘贴质量的检测方法
CN117876502B (zh) * 2024-03-08 2024-06-28 荣耀终端有限公司 深度标定方法、深度标定设备及深度标定系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657635A (zh) * 2017-10-17 2018-02-02 深圳奥比中光科技有限公司 深度相机温度误差校正方法及系统
CN111508011A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种飞行时间相机的深度数据校准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657635A (zh) * 2017-10-17 2018-02-02 深圳奥比中光科技有限公司 深度相机温度误差校正方法及系统
CN111508011A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种飞行时间相机的深度数据校准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王乐 ; 罗宇 ; 王海宽 ; 费敏锐 ; .ToF深度相机测量误差校正模型.系统仿真学报.2017,(第10期),全文. *

Also Published As

Publication number Publication date
CN113096189A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113096189B (zh) 一种itof深度相机标定及深度优化方法
US9443308B2 (en) Position and orientation determination in 6-DOF
Lindner et al. Calibration of the intensity-related distance error of the PMD ToF-camera
CA2731680C (en) System for adaptive three-dimensional scanning of surface characteristics
US8593524B2 (en) Calibrating a camera system
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
CN110349221A (zh) 一种三维激光雷达与双目可见光传感器的融合标定方法
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN112880642A (zh) 测距系统和测距方法
CN111524194A (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
Kim et al. Performance analysis and validation of a stereo vision system
CN116188558B (zh) 基于双目视觉的立体摄影测量方法
JP3913901B2 (ja) カメラの内部パラメータ決定装置
CN117058236A (zh) 一种基于多目视觉系统自切换的目标识别定位方法
Hoegg et al. Real-time motion artifact compensation for PMD-ToF images
CN110595374B (zh) 基于传递像机的大型结构件实时形变监测方法
CN117237789A (zh) 基于全景相机和激光雷达融合生成纹理信息点云地图方法
CN113822920B (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN111654626B (zh) 一种包含深度信息的高分辨率相机
CN114170321A (zh) 一种基于测距的相机自标定方法及系统
CN106447709A (zh) 一种快速高精度双目视差匹配方法
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
Hongsheng et al. Three-dimensional reconstruction of complex spatial surface based on line structured light
CN113902846B (zh) 一种基于单目深度相机和里程传感器的室内三维建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant