CN109903241A - 一种tof相机系统的深度图像校准方法及系统 - Google Patents

一种tof相机系统的深度图像校准方法及系统 Download PDF

Info

Publication number
CN109903241A
CN109903241A CN201910096928.7A CN201910096928A CN109903241A CN 109903241 A CN109903241 A CN 109903241A CN 201910096928 A CN201910096928 A CN 201910096928A CN 109903241 A CN109903241 A CN 109903241A
Authority
CN
China
Prior art keywords
depth image
error
tof camera
noise reduction
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910096928.7A
Other languages
English (en)
Other versions
CN109903241B (zh
Inventor
华凤
明幼林
孔繁晓
董舒
刘德珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Silicon Integrated Co Ltd
Original Assignee
Wuhan Silicon Integrated Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Silicon Integrated Co Ltd filed Critical Wuhan Silicon Integrated Co Ltd
Priority to CN201910096928.7A priority Critical patent/CN109903241B/zh
Publication of CN109903241A publication Critical patent/CN109903241A/zh
Application granted granted Critical
Publication of CN109903241B publication Critical patent/CN109903241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种TOF相机系统的深度图像校准方法及系统,包括:根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。通过对深度图像进行多方面的校准后,包括几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,消除多个方面引入的误差,得到校准后的深度图像,从而使得测量误差大幅减小,最终得到的深度图像可靠性会极大增强,可进一步用于各类深度应用中。

Description

一种TOF相机系统的深度图像校准方法及系统
技术领域
本发明实施例涉及3D成像技术领域,更具体地,涉及一种TOF相机系统的深度图像校准方法及系统。
背景技术
双目测距、结构光与飞行时间(Time-of-Flight,TOF)是当今三大主流3D成像技术,其中,TOF由于其原理简单、结构简单稳定、测量距离远等优势,已逐渐应用于手势识别、3D建模、无人驾驶及机器视觉等领域。
TOF技术的工作原理是:TOF相机主动发射调制光源到被测物体表面,调制光被物体反射后再被TOF相机捕获,通过计算调制光源由发出到捕获期间的时间差或相位差得到物体距离相机的深度/距离。其中,通过时间差计算距离的方法称为脉冲法(Pulsed TOF),通过相位差计算距离的方法称为连续波法(Continuous-Wave TOF)。脉冲法中直接测量时间差,这对系统时钟要求非常高,比如1毫米的精度只需要6.6皮秒,因而连续波法更常被使用。
TOF相机由于自身成像原因及外界环境干扰等,直接获取的数据通常存在一定的误差,因此在应用前需要对TOF相机进行一系列校准,提高测量精度。TOF相机的系统误差主要来源于:
1)由奇次谐波带来的“摆动”误差,也被称为wiggling error:摆动误差的成因是由于硬件限制,所发射的信号不是标准正弦波,除基波分量外,还可能夹杂着直流分量、高次谐波及非谐波信号。基波的偶次谐波不会对距离计算产生影响,但其他分量会给距离测量带来周期性误差。
2)固定相位模式噪声(Fixed Phase Pattern Noise,FPPN):传感器在制造过程中每个像素点可能各不相同,导致每个像素点具有独立的距离偏差。
3)温度漂移:在CMOS光电传感器,温度升高会导致更高的热生成电子率,且电子迁移率会随温度升高而降低,因此温度变化会影响测量距离的精度。TOF传感器在工作过程中的温度变化主要来自三方面:一是环境温度,二是相机在工作过程中元器件工作时间长引起的升温,三是光源主动发射调制光带来的温度升高。
4)噪声:传感器在工作过程中会受到热噪声、散粒噪声、读出噪声等影响,而且不同帧图像间还会有随机噪声。增加降噪处理后,图像精度可以从厘米级提高到毫米级。
此外,TOF相机获取的距离信息是以球面坐标系为基准,而实际应用中通常需要三维直角坐标,因此需要对相机进行标定,得到相机的内外参数,获得准确的相机坐标系和图像坐标系的变换关系,并且消除相机几何失真带来的误差。
由此可以看出,为了得到稳健、高精度的深度图像,亟需提供一套完整的、有效的TOF相机系统的深度图像校准方法。
发明内容
本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的TOF相机系统的深度图像校准方法及系统。
第一方面本发明实施例提供了一种TOF相机系统的深度图像校准方法,包括:
根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;
对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
第二方面本发明实施例提供了一种TOF相机系统的深度图像校准系统,包括:
深度图像获取模块,用于根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;
深度图像校准模块,用于对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
第三方面本发明实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面提供的TOF相机系统的深度图像校准方法的步骤。
第四方面本发明实施例提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现第一方面提供的TOF相机系统的深度图像校准方法的步骤。
本发明实施例提供的一种TOF相机系统的深度图像校准方法及系统,通过对深度图像进行多方面的校准后,包括几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,消除多个方面引入的误差,得到校准后的深度图像,从而使得测量误差大幅减小,最终得到的深度图像可靠性会极大增强,可进一步用于各类深度应用中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种TOF相机系统的深度图像校准方法的流程图;
图2为本发明实施例中TOF连续波调制法的采样示意图;
图3为本发明实施例中IIR滤波器信号流图;
图4为本发明实施例中加入稳定帧判断的IIR滤波降噪流程图;
图5为本发明实施例中FPPN误差示例图;
图6为本发明实施例中采用二次曲面拟合FPPN误差示例图;
图7为本发明实施例中是B样条曲线拟合wiggling误差;
图8为本发明实施例中温度误差曲线及线性拟合结果;
图9为本发明实施例提供的一种TOF相机系统的深度图像校准系统的结构框图;
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种TOF相机系统的深度图像校准方法的流程图,如图1所示,包括:
S101,根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;
S102,对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正、温度误差补偿,得到校准后的深度图像。
其中,在步骤S101中,根据TOF测距原理根据所述原始相位图像计算出所述深度图像。另外,除了计算得到深度图像外,同时还可以计算得到振幅图像。
对原始相位图的采样过程如图2所示,例如,对余弦信号进行等间隔采样,每个周期采样四次,如图中的D0,D1,D2,D3。则入射光信号的幅值A与相位φ可以由下式计算得到:
进一步由相位计算出距离为:
其中,c为光速,其值为3*10^8m/s,f为调制频率。振幅图像AMP由幅值A得到,深度图像DIST由距离D得到。
在步骤S102中,TOF相机的测量结果受系统误差的影响,这些系统误差包括:测距原理相关因素,如奇次谐波带来的距离周期性误差、硬件噪声、电路延时、工作温度等。因此,深度图像会带有以上各个方面引入的误差,在使用前需要对这些误差进行处理,提高相机的距离测量精度。为了消除这些方面引入的误差,分别对深度图像进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正、温度误差补偿,从而得到校准后的深度图像。
可以理解的是,在分别对深度图像进行几何校正、FPPN校正、Wiggling校正、温度误差补偿之前,预先已通过相应手段获取了TOF相机系统的几何误差、FPPN误差、Wiggling误差以及温度带来的误差。在每次利用TOF相机系统获取深度图像后,执行上述步骤S101-S102,从而得到校准后的深度图像。
本发明实施例提供的一种TOF相机系统的深度图像校准方法,通过对深度图像进行多方面的校准后,包括几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,消除多个方面引入的误差,得到校准后的深度图像,从而使得测量误差大幅减小,最终得到的深度图像可靠性会极大增强,可进一步用于各类深度应用中。
在上述实施例中,所述对所述深度图像进行几何校正,具体包括:
根据所述TOF相机系统的几何成像模型,获取所述TOF相机系统的内外参数和畸变参数;
根据所述内外参数和所述畸变参数对所述深度图像进行几何校正。
具体地,相机标定的目的是确定二维图像像素点与物体表面三维坐标信息间的对应关系,同时消除镜头畸变带来的距离误差。根据相机的几何成像模型,确定相机的内外参数和畸变参数(包括相机的焦距f,中心坐标(u0,v0),径向畸变系数k1,k2),可以准确建立相机坐标系和图像坐标系的变换关系。由于TOF图像的分辨率较传统二维图像低,且图像的对比度差,因此在使用传统张正友平面标定法前,采用较大棋盘格尺寸的标定图,并且对灰度图进行直方图均衡化增加后再进行棋盘角点检测与参数求解。
在上述实施例中,所述对所述深度图像进行时域降噪和空域降噪处理,具体包括:
对多帧深度图像采用一阶IIR滤波器进行时域降噪处理,得到多帧经时域降噪的深度图像;
对所述多帧经时域降噪的深度图像中的每帧深度图像进行空域降噪处理。
进一步地,所述对所述多帧经时域降噪的深度图像中的每帧深度图像进行空域降噪处理,具体包括:
采用基于幅值引导的双边滤波算法对每帧深度图像进行空域降噪处理。
具体地,TOF相机在工作过程中受到曝光时间、被测物体的材质、环境温度、室外环境光的影响,导致深度图像存在噪点,因此需要进行图像降噪,包括时域降噪和空域降噪。其中,时域降噪是对前后两帧图像进行处理,消除帧间的随机噪声;空域降噪是在单帧图像中在尽量保留图像细节的条件下对图像噪声进行抑制。
时域噪声是一种高频的不相关噪声,从理论上来看,假设连续两帧图像的信号强度表示为S1,S2,噪声方差为δ1,δ2,那么将两帧相加后的信噪比为:
当S1=S2,δ1=δ2时,信噪比为:
当S1=S2=...=Sn,δ1=δ2=...=δn时,信噪比为:
当对n帧图像进行平均计算就可以提高图像的信噪比,减少噪声的影响。本发明实施例采用一阶IIR滤波器进行时域降噪,其基本原理如图3所示,
Fi'=k*Fi+(1-k)*F′i-1
其中,Fi表示第i帧图像,Fi’表示对第i帧图像经过时域滤波后的图像,Fi-1’表示对第i-1帧图像经过时域滤波后的图像,k为滤波强度系数,0<k<=1。对所有像素点直接使用上式可能会导致部分像素上产生运动模糊问题,因此在此基础上加入了稳定帧判断机制,如图4所示,如果当前帧的像素值Fi(y,x)与上一帧的像素值Fi-1(y,x)间的差异小于阈值Threshold,认为当前像素是稳定的,将稳定帧记数器StableFrames(y,x)自加1,否则将StableFrames(y,x)置0,表示当前像素点值发生变化。接着使用一阶IIR滤波器对像素值进行处理,如上式。然后,进一步对稳定帧进行判断,若稳定帧记数器值不小于稳定帧检测值StableNums,进一步判断当前帧像素值Fi(y,x)与当前位置像素上一次稳定值lastValid(y,x)是否大于阈值Threshold,若是,说明当前稳定状态与上一次稳定状态已发生较大变化,重新对lastValid(y,x)与IIR_F(y,x)赋值,否则直接返回IIR_F(y,x),完成当前像素的时域滤波处理。
时域降噪后进一步对深度图像进行帧内空域降噪,本发明采用基于幅度值引导的双边滤波算法。传统的双边滤波算法在计算过程中不仅考虑处理像素点邻域的距离影响权重,同时考虑邻域的灰度值影响权重,达到保边去噪的效果。在TOF图像中,测量距离值受幅度值影响,幅度值越大,代表距离的可靠性越强,幅度值越小,代表距离的可靠性越差。因此,这里采用一种基于幅值的双边滤波算法,将TOF的幅度值代替原始双边滤波中的灰度值计算距离权重,公式如下:
其中,G(p-p′)代表距离的高斯滤波核,G(Ap-Ap′)代表幅度的高斯滤波核,φp′代表邻域像素点的相位偏移值。
在上述实施例中,所述对所述深度图像进行FPPN校正,具体包括:
获取所述TOF相机系统的FPPN误差,并根据所述FPPN误差构建对应的FPPN误差二次曲面;
利用所述FPPN误差二次曲面对所述深度图像每个像素的FPPN误差进行拟合,以完成对所述深度图像的FPPN校正。
具体地,TOF系统中存在着一种与像素位置相关的距离误差,称为FPPN。FPPN误差产生的主要原因是暗信号非均匀性和光子响应非均匀性,导致每个像素点的距离误差不一致。FPPN误差的形状如图5所示,图像中心处的距离值接近真实值,四周处的距离值大于真实值,且越处于图像边缘的像素值误差越大。FPPN的一种直接校正方法是使用矩阵记录每个像素点的位置偏差,校正的时候直接取出矩阵中的误差值对相应像素值进行补偿。然而该方法需要消耗较大内存资源,因此本文采用一种曲面拟合的方法,使用二次曲面来拟合FPPN误差。
二次曲面方程为:
g(x,y)=ax2+bxy+cy2+dx+ey+f
拟合过程为:首先固定TOF相机与白色目标板的距离,拍摄出相机得到的距离图;接着计算出每个像素点的距离误差,即测量距离与真实距离间的差异;然后以5×5窗口为样本区域,对25个像素点求取平均距离误差作为样本点,对所有的样本点进行最小二乘曲面拟合,得到上述方程中的六个未知参数,采用二次曲面拟合FPPN误差示例图如图6所示。使用二次曲面方程的优点是使用六个参数代替整幅图像的误差矩阵,节省校正资源,同时能减弱噪声的影响。
在上述实施例中,所述对所述深度图像进行Wiggling校正,具体包括:
获取所述TOF相机系统的Wiggling误差,并根据所述Wiggling误差构建Wiggling误差分布曲线;
利用所述Wiggling误差分布曲线对所述深度图像的Wiggling误差进行拟合,以完成对所述深度图像的Wiggling校正。
进一步地,所述利用所述Wiggling误差分布曲线对所述深度图像的Wiggling误差进行拟合,具体包括:
利用所述Wiggling误差分布曲线对所述深度图像的Wiggling误差进行最小二乘拟合。
具体地,TOF连续波测量方法基于理想正弦谐波的相位差计算,实际受硬件系统限制,发射的信号不是完美正弦信号,且由于电路延迟、增益非线性等问题,按照理论计算出的距离会存在误差,且误差呈周期性地存在于整个测量范围。为了评估出wiggling误差,采用的方法是将TOF相机置于白墙正前方,在距离白墙0到最大测量距离drange(drange=c/2f)内每隔20cm连续测10帧数据求得距离,然后对10帧图像中心60x60区域进行平均消除随机噪声后作为该测量位置的测量值,再将测量值与真实距离值作差即得到误差值。采用B样条曲线对所有的误差值进行最小二乘拟合,得到wiggling误差分布曲线,如图7所示。B样条曲线方程为:
m为控制点个数,ci为B样条曲线控制参数,为B样条基函数,d为测量距离。在最小二乘拟合过程中,不断增加m值,计算拟合误差,直到拟合误差小于某个阈值或者m达到最大值。
在上述实施例中,所述对所述深度图像进行温度误差补偿,具体包括:
获取所述TOF相机系统在多个温度值下的多个距离误差,并根据所述多个距离误差构建距离误差曲线;
利用所述距离误差曲线对所述深度图像由温度引起的距离误差进行拟合,以完成对所述深度图像的温度误差补偿。
具体地,TOF相机在工作过程中需要由外部光源不断向外发射出红外光调制信号,外部光源在工作过程中会发热,TOF内部传感器会对温度的变化十分敏感,因此温度也会影响距离测量的精度。为了测出温度对距离的影响值,将TOF相机置于温箱中,固定相机与白色测试板间的距离,不断调整温箱的工作温度,直到温箱与TOF相机均稳定后测量出实际距离。为了降低噪声影响,每次采集10帧数据,并取图像中心60×60区域的距离值进行平均后作为测量距离。如图8所示,测量相机在18°到50°的工作温度间的距离误差,可以看出误差曲线几乎呈现线性关系,因此采用线性函数对由温度引起的距离误差进行拟合。
图9为本发明实施例提供的一种TOF相机系统的深度图像校准系统的结构框图,如图9所示,包括:深度图像获取模块901和深度图像校准模块902。其中:
深度图像获取模块901用于根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像。深度图像校准模块902用于对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
具体地,所述深度图像获取模块901具体用于:
根据TOF测距原理根据所述原始相位图像计算出所述深度图像。
所述深度图像校准模块902包括:几何校正子模块、降噪处理子模块、FPPN校正模块、Wiggling校正子模块及温度误差补偿子模块。
其中:
几何校正子模块用于:
根据所述TOF相机系统的几何成像模型,获取所述TOF相机系统的内外参数和畸变参数;
根据所述内外参数和所述畸变参数对所述深度图像进行几何校正。
降噪处理子模块用于:
对多帧深度图像采用一阶IIR滤波器进行时域降噪处理,得到多帧经时域降噪的深度图像;
对所述多帧经时域降噪的深度图像中的每帧深度图像进行空域降噪处理。
FPPN校正模块用于:
获取所述TOF相机系统的FPPN误差,并根据所述FPPN误差构建对应的FPPN误差二次曲面;
利用所述FPPN误差二次曲面对所述深度图像每个像素的FPPN误差进行拟合,以完成对所述深度图像的FPPN校正。
Wiggling校正子模块用于:
获取所述TOF相机系统的Wiggling误差,并根据所述Wiggling误差构建Wiggling误差分布曲线;
利用所述Wiggling误差分布曲线对所述深度图像的Wiggling误差进行拟合,以完成对所述深度图像的Wiggling校正。
温度误差补偿子模块用于:
获取所述TOF相机系统在多个温度值下的多个距离误差,并根据所述多个距离误差构建距离误差曲线;
利用所述距离误差曲线对所述深度图像由温度引起的距离误差进行拟合,以完成对所述深度图像的温度误差补偿。
本发明实施例提供的一种TOF相机系统的深度图像校准系统,通过对深度图像进行多方面的校准后,包括几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,消除多个方面引入的误差,得到校准后的深度图像,从而使得测量误差大幅减小,最终得到的深度图像可靠性会极大增强,可进一步用于各类深度应用中。
图10为本发明实施例提供的一种电子设备的结构示意图,如图10所示,电子设备包括:处理器(processor)1001、通信接口(Communications Interface)1002、存储器(memory)1003和总线1004,其中,处理器1001,通信接口1002,存储器1003通过总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令,以执行如下方法,例如包括:根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的通信设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种TOF相机系统的深度图像校准方法,其特征在于,包括:
根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;
对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
2.根据权利要求1所述方法,其特征在于,所述根据TOF相机系统采集的原始相位图像,获取对应的深度图像,具体包括:
根据TOF测距原理根据所述原始相位图像计算出所述深度图像。
3.根据权利要求1所述方法,其特征在于,所述对所述深度图像进行几何校正,具体包括:
根据所述TOF相机系统的几何成像模型,获取所述TOF相机系统的内外参数和畸变参数;
根据所述内外参数和所述畸变参数对所述深度图像进行几何校正。
4.根据权利要求1所述方法,其特征在于,所述对所述深度图像进行时域降噪和空域降噪处理,具体包括:
对多帧深度图像采用一阶IIR滤波器进行时域降噪处理,得到多帧经时域降噪的深度图像;
对所述多帧经时域降噪的深度图像中的每帧深度图像进行空域降噪处理。
5.根据权利要求1所述方法,其特征在于,所述对所述深度图像进行FPPN校正,具体包括:
获取所述TOF相机系统的FPPN误差,并根据所述FPPN误差构建对应的FPPN误差二次曲面;
利用所述FPPN误差二次曲面对所述深度图像每个像素的FPPN误差进行拟合,以完成对所述深度图像的FPPN校正。
6.根据权利要求1所述方法,其特征在于,所述对所述深度图像进行Wiggling校正,具体包括:
获取所述TOF相机系统的Wiggling误差,并根据所述Wiggling误差构建Wiggling误差分布曲线;
利用所述Wiggling误差分布曲线对所述深度图像的Wiggling误差进行拟合,以完成对所述深度图像的Wiggling校正。
7.根据权利要求1所述方法,其特征在于,包括:所述对所述深度图像进行温度误差补偿,具体包括:
获取所述TOF相机系统在多个温度值下的多个距离误差,并根据所述多个距离误差构建距离误差曲线;
利用所述距离误差曲线对所述深度图像由温度引起的距离误差进行拟合,以完成对所述深度图像的温度误差补偿。
8.一种TOF相机系统的深度图像校准系统,其特征在于,包括:
深度图像获取模块,用于根据飞行时间TOF相机系统采集的原始相位图像,获取对应的深度图像;
深度图像校准模块,用于对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正及温度误差补偿,得到校准后的深度图像。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述TOF相机系统的深度图像校准方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述TOF相机系统的深度图像校准方法的步骤。
CN201910096928.7A 2019-01-31 2019-01-31 一种tof相机系统的深度图像校准方法及系统 Active CN109903241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910096928.7A CN109903241B (zh) 2019-01-31 2019-01-31 一种tof相机系统的深度图像校准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910096928.7A CN109903241B (zh) 2019-01-31 2019-01-31 一种tof相机系统的深度图像校准方法及系统

Publications (2)

Publication Number Publication Date
CN109903241A true CN109903241A (zh) 2019-06-18
CN109903241B CN109903241B (zh) 2021-06-15

Family

ID=66944529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910096928.7A Active CN109903241B (zh) 2019-01-31 2019-01-31 一种tof相机系统的深度图像校准方法及系统

Country Status (1)

Country Link
CN (1) CN109903241B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264425A (zh) * 2019-06-21 2019-09-20 杭州一隅千象科技有限公司 基于向下倾角方向的单台tof相机人体降噪方法及系统
CN110400331A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN110570368A (zh) * 2019-08-21 2019-12-13 贝壳技术有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质
CN110933307A (zh) * 2019-11-29 2020-03-27 维沃移动通信有限公司 一种电子设备及图像处理方法
CN111047650A (zh) * 2019-12-02 2020-04-21 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN111182240A (zh) * 2019-12-23 2020-05-19 中北大学 图像传感器温漂自补偿方法
CN111353963A (zh) * 2020-02-26 2020-06-30 北京华捷艾米科技有限公司 一种深度相机的温度补偿方法及装置
CN111508011A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种飞行时间相机的深度数据校准方法
CN111624580A (zh) * 2020-05-07 2020-09-04 Oppo广东移动通信有限公司 飞行时间模组的校正方法、校正装置和校正系统
CN111798506A (zh) * 2020-06-30 2020-10-20 上海数迹智能科技有限公司 一种图像处理方法、控制方法、终端及计算机可读存储介质
CN112270712A (zh) * 2020-09-08 2021-01-26 奥比中光科技集团股份有限公司 一种基于深度相机模组的温漂标定方法及系统
CN112318107A (zh) * 2020-10-23 2021-02-05 西北工业大学 一种基于深度相机的大型零部件孔轴自动装配对中测量方法
CN112346034A (zh) * 2020-11-12 2021-02-09 北京理工大学 一种三维固态面阵激光雷达组合标定方法
CN112508995A (zh) * 2020-12-04 2021-03-16 太原理工大学 一种基于tof相机的煤流量实时动态计量方法
CN112532858A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理方法、图像采集方法及相关装置
CN112540364A (zh) * 2019-09-05 2021-03-23 浙江舜宇智能光学技术有限公司 Tof深度相机的延时测量方法、测量装置和测量系统
CN112712477A (zh) * 2020-12-21 2021-04-27 东莞埃科思科技有限公司 结构光模组的深度图像评价方法及其装置
CN113055619A (zh) * 2019-12-27 2021-06-29 爱思开海力士有限公司 图像感测装置
CN110488311B (zh) * 2019-08-05 2021-08-13 Oppo广东移动通信有限公司 深度距离测量方法、装置、存储介质及电子设备
CN113450419A (zh) * 2021-06-30 2021-09-28 昆山丘钛微电子科技股份有限公司 Tof摄像模组的误差标定方法、装置、设备及介质
CN113760539A (zh) * 2021-07-29 2021-12-07 珠海视熙科技有限公司 一种tof相机深度数据处理方法、终端以及存储介质
CN114092570A (zh) * 2022-01-21 2022-02-25 杭州蓝芯科技有限公司 一种深度相机温度标定方法及装置、电子设备、存储介质
CN114556048A (zh) * 2019-10-24 2022-05-27 华为技术有限公司 测距方法、测距装置及计算机可读存储介质
CN116228589A (zh) * 2023-03-22 2023-06-06 新创碳谷集团有限公司 一种视觉检测相机噪声点消除方法、设备及存储介质
CN117078666A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US20150324986A1 (en) * 2012-06-18 2015-11-12 Electronic Warfare Associates, Inc. Imaging data correction system and method
US9445079B2 (en) * 2013-02-21 2016-09-13 Infineon Technologies Ag Calibration of a 3D camera
CN106066987A (zh) * 2015-04-21 2016-11-02 英飞凌科技股份有限公司 Tof成像中的参数在线校准和补偿
CN106815867A (zh) * 2015-11-30 2017-06-09 宁波舜宇光电信息有限公司 Tof相机标定与校正系统及其设备与方法
CN106952309A (zh) * 2016-01-07 2017-07-14 宁波舜宇光电信息有限公司 快速标定tof深度相机多种参数的设备及方法
CN107657635A (zh) * 2017-10-17 2018-02-02 深圳奥比中光科技有限公司 深度相机温度误差校正方法及系统
US20180106891A1 (en) * 2016-10-19 2018-04-19 Infineon Technologies Ag 3di sensor depth calibration concept using difference frequency approach
CN108700650A (zh) * 2016-03-14 2018-10-23 Pmd技术股份公司 用于校准光传播时间摄像机的装置和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US20150324986A1 (en) * 2012-06-18 2015-11-12 Electronic Warfare Associates, Inc. Imaging data correction system and method
US9445079B2 (en) * 2013-02-21 2016-09-13 Infineon Technologies Ag Calibration of a 3D camera
CN106066987A (zh) * 2015-04-21 2016-11-02 英飞凌科技股份有限公司 Tof成像中的参数在线校准和补偿
CN106815867A (zh) * 2015-11-30 2017-06-09 宁波舜宇光电信息有限公司 Tof相机标定与校正系统及其设备与方法
CN106952309A (zh) * 2016-01-07 2017-07-14 宁波舜宇光电信息有限公司 快速标定tof深度相机多种参数的设备及方法
CN108700650A (zh) * 2016-03-14 2018-10-23 Pmd技术股份公司 用于校准光传播时间摄像机的装置和方法
US20180106891A1 (en) * 2016-10-19 2018-04-19 Infineon Technologies Ag 3di sensor depth calibration concept using difference frequency approach
CN107657635A (zh) * 2017-10-17 2018-02-02 深圳奥比中光科技有限公司 深度相机温度误差校正方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FABIO REMONDINO 等: "《飞行时间测距成像相机》", 31 August 2016, 国防工业出版社 *
MARVIN LINDNE 等: "Time-of-Flight sensor calibration for accurate range sensing", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 *
何东健 等: "《数字图像处理》", 28 February 2015, 西安电子科技大学出版社 *
杨晶晶: "TOF相机误差实验分析以及基于滤波器的随机误差校正", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
胡学龙 等: "《数字信号处理教学指导》", 31 July 2007, 高等教育出版社 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264425A (zh) * 2019-06-21 2019-09-20 杭州一隅千象科技有限公司 基于向下倾角方向的单台tof相机人体降噪方法及系统
CN110400331A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110488311B (zh) * 2019-08-05 2021-08-13 Oppo广东移动通信有限公司 深度距离测量方法、装置、存储介质及电子设备
CN110570368A (zh) * 2019-08-21 2019-12-13 贝壳技术有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质
WO2021032172A1 (zh) * 2019-08-21 2021-02-25 贝壳找房(北京)科技有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN112540364A (zh) * 2019-09-05 2021-03-23 浙江舜宇智能光学技术有限公司 Tof深度相机的延时测量方法、测量装置和测量系统
CN112532858A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理方法、图像采集方法及相关装置
CN114556048B (zh) * 2019-10-24 2023-09-26 华为技术有限公司 测距方法、测距装置及计算机可读存储介质
CN114556048A (zh) * 2019-10-24 2022-05-27 华为技术有限公司 测距方法、测距装置及计算机可读存储介质
CN110933307A (zh) * 2019-11-29 2020-03-27 维沃移动通信有限公司 一种电子设备及图像处理方法
CN111047650B (zh) * 2019-12-02 2023-09-01 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN111047650A (zh) * 2019-12-02 2020-04-21 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN111182240A (zh) * 2019-12-23 2020-05-19 中北大学 图像传感器温漂自补偿方法
CN111182240B (zh) * 2019-12-23 2021-12-28 中北大学 图像传感器温漂自补偿方法
CN113055619A (zh) * 2019-12-27 2021-06-29 爱思开海力士有限公司 图像感测装置
CN111353963B (zh) * 2020-02-26 2023-11-03 北京华捷艾米科技有限公司 一种深度相机的温度补偿方法及装置
CN111353963A (zh) * 2020-02-26 2020-06-30 北京华捷艾米科技有限公司 一种深度相机的温度补偿方法及装置
CN111508011A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种飞行时间相机的深度数据校准方法
CN111624580B (zh) * 2020-05-07 2023-08-18 Oppo广东移动通信有限公司 飞行时间模组的校正方法、校正装置和校正系统
CN111624580A (zh) * 2020-05-07 2020-09-04 Oppo广东移动通信有限公司 飞行时间模组的校正方法、校正装置和校正系统
CN111798506A (zh) * 2020-06-30 2020-10-20 上海数迹智能科技有限公司 一种图像处理方法、控制方法、终端及计算机可读存储介质
CN112270712A (zh) * 2020-09-08 2021-01-26 奥比中光科技集团股份有限公司 一种基于深度相机模组的温漂标定方法及系统
CN112318107A (zh) * 2020-10-23 2021-02-05 西北工业大学 一种基于深度相机的大型零部件孔轴自动装配对中测量方法
CN112346034B (zh) * 2020-11-12 2023-10-27 北京理工大学 一种三维固态面阵激光雷达组合标定方法
CN112346034A (zh) * 2020-11-12 2021-02-09 北京理工大学 一种三维固态面阵激光雷达组合标定方法
CN112508995B (zh) * 2020-12-04 2023-07-07 太原理工大学 一种基于tof相机的煤流量实时动态计量方法
CN112508995A (zh) * 2020-12-04 2021-03-16 太原理工大学 一种基于tof相机的煤流量实时动态计量方法
CN112712477A (zh) * 2020-12-21 2021-04-27 东莞埃科思科技有限公司 结构光模组的深度图像评价方法及其装置
CN113450419A (zh) * 2021-06-30 2021-09-28 昆山丘钛微电子科技股份有限公司 Tof摄像模组的误差标定方法、装置、设备及介质
CN113760539A (zh) * 2021-07-29 2021-12-07 珠海视熙科技有限公司 一种tof相机深度数据处理方法、终端以及存储介质
CN114092570A (zh) * 2022-01-21 2022-02-25 杭州蓝芯科技有限公司 一种深度相机温度标定方法及装置、电子设备、存储介质
CN116228589A (zh) * 2023-03-22 2023-06-06 新创碳谷集团有限公司 一种视觉检测相机噪声点消除方法、设备及存储介质
CN116228589B (zh) * 2023-03-22 2023-08-29 新创碳谷集团有限公司 一种视觉检测相机噪声点消除方法、设备及存储介质
CN117078666A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117078666B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备

Also Published As

Publication number Publication date
CN109903241B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN109903241A (zh) 一种tof相机系统的深度图像校准方法及系统
US9420276B2 (en) Calibration of light-field camera geometry via robust fitting
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
US7711201B2 (en) Method of and apparatus for generating a depth map utilized in autofocusing
CN104966308B (zh) 一种计算激光光束光斑大小的方法
US8831377B2 (en) Compensating for variation in microlens position during light-field image processing
US20110267486A1 (en) Range measurement using multiple coded apertures
US20110267485A1 (en) Range measurement using a coded aperture
Mufti et al. Statistical analysis of signal measurement in time-of-flight cameras
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
CN113358231B (zh) 红外测温方法、装置及设备
CN102156986A (zh) 近红外摄像机的标定方法
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
CN111524194A (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
Belhedi et al. Noise modelling in time‐of‐flight sensors with application to depth noise removal and uncertainty estimation in three‐dimensional measurement
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN111352120A (zh) 飞行时间测距系统及其测距方法
CN111366943B (zh) 飞行时间测距系统及其测距方法
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN108776338A (zh) 信号源空间传感方法、装置及主动式传感系统
CN112419427A (zh) 用于提高飞行时间相机精度的方法
Budge et al. Calibration method for texel images created from fused flash lidar and digital camera images
CN115824170A (zh) 一种摄影测量与激光雷达融合测量海洋波浪的方法
Wang et al. An improved calibration method for photonic mixer device solid-state array lidars based on electrical analog delay
CN105078404A (zh) 基于激光算法的全自动眼动追踪测距定标仪及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant