CN111508011A - 一种飞行时间相机的深度数据校准方法 - Google Patents
一种飞行时间相机的深度数据校准方法 Download PDFInfo
- Publication number
- CN111508011A CN111508011A CN202010300763.3A CN202010300763A CN111508011A CN 111508011 A CN111508011 A CN 111508011A CN 202010300763 A CN202010300763 A CN 202010300763A CN 111508011 A CN111508011 A CN 111508011A
- Authority
- CN
- China
- Prior art keywords
- depth
- image data
- value
- depth image
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种飞行时间相机的深度数据校准方法,包括提取原始图像数据,并从原始图像数据中获取深度图像数据;调取预设温度补偿方法对深度图像数据进行深度数据校准处理,得到温度校准深度图像数据;进一步对温度校准深度图像数据依次进行去噪处理、固定相位模式噪声校准和Wiggling校正,得到第四深度图像数据;然后,提取第四深度图像数据的各像素的图像横坐标、图像纵坐标和深度值;根据每个像素的图像横坐标与图像纵坐标的平方和,得到相对距离值的平方;根据深度值与相对距离值的平方差,得到校准深度值的平方;使用校准深度值替换第四深度图像数据中对应像素的第四深度值,生成校准深度图像数据。
Description
技术领域
本发明涉数据处理领域,尤其涉及一种飞行时间相机的深度数据校准方法。
背景技术
在当前三维成像邻域,飞行时间(Time Of Flight,TOF)相机的研究是热门之一。由于TOF相机的三维成像方式在一般情况下,距离测量的范围可以通过改变激光器的脉冲频率、视野大小和光源强度就可以调整,因此TOF相机的探测距离弹性大,适合在近距离范围内的人脸识别、手势识别和跟踪、体感识别、游戏互动等操作,同时也适合在远距离探测目标,潜在的应用场景十分广阔。
由于TOF相机的成像原理的特性以及元器件之间的差异,其获取的数据往往存在一定的误差,由于设计或生产的差异,像素与像素之间都有细微的差别,需要对每个像素的偏移进行校正。此外还有很多影响TOF相机测量误差的外部因素,比如环境温度、混合反射光、目标物形状、反射率等。并且在使用TOF相机的实际操作中会有许多非理想型的情况制约深度的准确性,其中主要包括相位纠缠、谐波失真、光子噪声、饱和度、运动模糊、多路径干扰等几种。
基于上述关于TOF相机产生误差原因,TOF相机需要对获取的原始数据进行误差校准,得到更准确的图像数据。对TOF相机获取图像深度数据进行误差分析并有针对性的对其进行校准,可以使TOF相机生成的深度图像数据更加准确。而现有技术中,主要采用单变量校正的方法,分别通过对TOF相机的不同的影响因素进行校正,其校准的误差范围有限,并且这些校正方法一定程度上校正了深度误差,但针对ToF相机获取相位计算深度距离时的误差并没有较好的解决。目前,还没有人提出一种针对TOF相机的多个影响因素,提出对TOF相机的深度数据进行多项误差进行校准的方法。
发明内容
针对现有技术缺陷,本发明实施例的目的是提供一种飞行时间相机的深度数据校准方法,针对TOF相机成像的多个影响因素产生的误差进行校准,以提高TOF时间相机生成的深度图像数据的精度。
为了实现上述目的,本发明实施例提供一种飞行时间相机的深度数据校准方法,包括:
提取原始图像数据,并从所述原始图像数据中获取深度图像数据;
调取预设温度补偿方法对所述深度图像数据进行深度数据校准处理,得到温度校准深度图像数据;
获取所述飞行时间TOF相机的标定参数,并根据所述标定参数对所述温度校准深度图像数据进行校正处理,得到第一深度图像数据;
对所述第一深度图像数据进行去噪处理,得到第二深度图像数据;
对所述第二深度图像数据进行固定相位模式噪声校准,得到第三深度图像数据;
对所述第三深度图像数据进行Wiggling校正,得到第四深度图像数据;
提取所述第四深度图像数据的各像素的图像横坐标、图像纵坐标和深度值;
根据每个像素的所述图像横坐标与所述图像纵坐标的平方和,得到相对距离值的平方;
根据所述深度值与所述相对距离值的平方差,得到校准深度值的平方;
使用所述校准深度值替换所述第四深度图像数据中对应像素的深度值,生成校准深度图像数据。
优选的,所述调取预设温度补偿方法对所述深度图像数据进行深度数据校准处理,得到温度校准深度图像数据具体包括:
从所述TOF相机的存储单元读取标定温度值,并通过温度传感器获取所述TOF相机的当前温度值;
根据所述当前温度值和所述标定温度值的差,得到温度差;
根据温度补偿系数和所述温度差的乘积,得到温度补偿值;
读取所述深度图像数据中每个像素对应的深度值,根据所述深度值与所述温度补偿值的差,得到温度补偿深度值;
使用所述温度补偿深度值替换所述深度图像数据中每个像素对应的深度值,生成温度校准深度图像数据。
优选的,所述获取TOF相机的标定参数,并根据所述标定参数对所述温度校准深度图像数据进行校正处理,得到第一深度图像数据具体为:
读取所述TOF相机的内参和畸变参数,并根据相机坐标系和图像坐标系的变换关系对所述温度校准深度图像数据进行校正处理,得到第一深度图像数据。
优选的,所述对所述第一深度图像数据进行去噪处理,得到第二深度图像数据具体包括:
调用预设的空间滤波算法对所述第一深度图像数据进行去噪处理,得到第二深度图像数据。
优选的,所述对所述第二深度图像数据进行固定相位模式噪声校准,得到第三深度图像数据具体包括:
获取所述TOF相机的固定相位模式查找表,依次读取所述固定相位模式查找表中的误差值;
根据所述固定相位模式查找表中的误差值对所述第二深度图像数据的深度值进行补偿校正,生成第三深度图像数据。
优选的,所述对所述第三深度图像数据进行Wiggling校正,得到第四深度图像数据具体包括:
从所述TOF相机存储单元中获取所述TOF相机的Wiggling误差表和全局偏差补偿值;
获取所述第三深度图像数据中各像素对应的第三深度值,并计算所述第三深度值与所述全局偏差补偿值的差,得到预处理深度值;
从所述Wiggling误差表中读取每个对应的Wiggling偏差值;
根据所述预处理深度值与所述Wiggling偏差值的差,得到Wiggling校准深度值;
使用每个所述Wiggling校准深度值替换所述第三深度图像数据中对应像素的第三深度值,生成第四深度图像数据。
优选的,在所述TOF相机获取原始图像数据之前,所述方法还包括:
使用第一预设TOF相机标定方法对所述TOF相机进行参数标定,生成内参和畸变参数;
使用第二预设TOF相机标定法对所述TOF相机进行误差标定,生成全局偏差补偿值、Wiggling误差表和固定相位模式查找表。
本发明实施例提供一种飞行时间相机的深度数据校准方法,其通过对TOF相机获得的原始图像数据进行深度图像数据提取,并对深度图像数据依次进行温度补偿校准、畸变校准、去噪处理、固定模式像素噪声(Fixed Pattern Pixel Noise,FPPN)校准和Wiggling校准,之后针对TOF相机获取相位计算深度距离时的误差进行分析,并借用直角三角形的原理对图像数据的深度值进行进一步的校准,得到准确度更高的深度图像数据。
附图说明
图1为本发明实施例提供的一种飞行时间相机的深度数据校准方法流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种飞行时间相机的深度数据校准方法,用于对TOF相机的深度数据进行校准。
下面介绍本实施例提供的TOF相机的深度数据校准方法,图1为本发明实施例提供的一种飞行时间相机的深度数据校准方法流程图。如图所述,包括以下步骤:
步骤101,提取原始图像数据,并从原始图像数据中获取深度图像数据。
具体的,本发明实施例提供的深度数据校准方法由深度数据校准模块完成。深度数据校准模块获取TOF相机生成的原始图像数据,从原始图像数据中提取出深度图像数据。
本发明实施例的一个具体例子中,TOF相机包括240×320分辨率的传感器和配套的飞行时间控制器,TOF相机采用850nm的红外光源作为发射光源,采集的深度数据包括相位信息、强度振幅信息、环境光和标志位。TOF相机采集的图像信息经过集成的处理模块生成原始图像数据。深度数据校准模块对获取的原始图像数据进行计算处理,得到对应的深度图像数据。
步骤102,调取预设温度补偿方法对深度图像数据进行深度数据校准处理,得到温度校准深度图像数据。
具体的,对于TOF相机对深度图像数据进行深度数据校准处理的具体包括以下步骤:
步骤10201,从TOF相机的存储单元读取标定温度值,并通过温度传感器获取TOF相机的当前温度值。
具体的,在TOF相机进行图像采集前,对TOF相机进行温度标定,生成标定温度值保存在TOF相机的存储单元内。当TOF相机在进行图像数据采集时,通过温度传感器获得拍摄时的温度值,即当前温度值。在本步骤中,深度数据校准模块从存储单元中读取标定温度值,并获取当前温度值。
步骤10202,根据当前温度值和标定温度值的差,得到温度差。
具体的,根据公式:ΔT=Tc-Ts,其中,ΔT为温度差、Ts为标定温度值、Tc为当前温度值。
步骤10203,根据温度补偿系数和温度差的乘积,得到温度补偿值。
具体的,温度补偿系数是预置的参数,是TOF相机在实验阶段经过多次实验,对实验数据进行统计分析后得出的。根据公式:
T=r*ΔT (1)
其中,T温度补偿值,r为温度补偿系数,ΔT为温度差。
步骤10204,读取深度图像数据中每个像素对应的深度值,根据深度值与温度补偿值的差,得到温度补偿深度值。
具体的,本发明一个具体例子中,TOF相机的分辨率为240×320,那么其具有240×320个像素,深度数据校准模块依次从深度图像数据中读取每个像素对应的深度值,然后计算该像素点的深度值与温度补偿值的差,就得到该像素点的温度补偿深度值。深度数据校准模块依次计算每个像素的深度值与温度补偿深度值的差,得到每个像素点的温度补偿深度值。根据公式:
Dept=Dep-T (2)
其中,Dept温度补偿深度值、Dep为从深度图像中读取的像素点的深度值、T为温度补偿值。
步骤10205,使用温度补偿深度值替换深度图像数据中每个像素对应的深度值,生成温度校准深度图像数据。
具体的,由步骤10204中计算得到每个像素点的温度补偿深度值,将每个像素点的温度补偿深度值替换到深度图像数据对应的像素点中,生成温度校准深度图像数据。
需要特别说明的是,步骤10204和步骤10205可以同时进行,即在读取深度图像数据各像素的深度值之后,直接计算深度值与温度补偿深度值的差,将得到的温度校准深度值替换原来的深度值,那么该像素点的深度值就完成了校准,直至深度图线数据中每个像素的深度值都完成校准,生成的新的深度图像数据就是温度校准深度图像数据。
步骤103,获取飞行时间TOF相机的标定参数,并根据标定参数对温度校准深度图像数据进行校正处理,得到第一深度图像数据。
具体的,TOF相机在采集图像数据之前都要进行标定,其目的是确定二维图像像素点与物体表明三维坐标信息间的对应关系,同时消除镜头畸变带来的距离误差。本发明实施例的TOF相机采用张友正平面标定法进行标定。从TOF相机的存储单元读取标定参数,包括内参和畸变参数,根标定参数可以准确建立相机坐标系与图像坐标系的变换关系,根据变化关系对温度校准后的深度图像数据进行校正处理,得到第一深度图像数据。
步骤104,对第一深度图像数据进行去噪处理,得到第二深度图像数据。
具体的,TOF相机分辨率为M×N(M、N都为正整数),所以其获取的深度图像数据具有M×N个像素点,每个像素点进一步包括X、Y、Z三维坐标值。在经过步骤102-步骤103的校准后得到的第一深度图像数也包括X、Y、Z三维坐标值。其中,X轴、Y轴的数据值表示场景点的平面坐标位置,Z轴的数据值表示采集到的获取到的场景的实际深度值。
本发明实施例中,调用预设的空间滤波算法对所述第一深度图像数据进行去噪处理,得到第二深度图像数据,具体滤波过程如下:
首先,将第一深度图像数据转化为M×N×3的矩阵,每一行代表飞行时间传感器中排列的一个像素。通过将M×N×3的矩阵重置为M×N的矩阵,并且用深度值表示重置矩阵中的每个元素的值,第一深度图像数据就转化成二维平面图像数据。
其次,采用3×3空间滤波算子,对二维平面图像数据的各像素点的深度值进行计算,并计算中心点像素与周围像素的深度差。
最后,用深度差与预设全局阈值进行比较,当深度差大于预设全局阈值时,判断该像素点测得的深度值为噪点,将其对应的第一深度图像数中的像素点滤除。否则,保留其对应的第一深度图像数中的像素点。经过处理后得到第二深度图像数据。
本发明实施例是考虑TOF相机在工作过程中受到曝光时间、被测物体的材质、环境温度、室外环境光的影响,导致深度图像存在噪点的情况,对第一图像数据进行去噪处理,去噪处理能够使得在后续数据处理量减小。
步骤105,对第二深度图像数据进行固定相位模式噪声校准,得到第三深度图像数据。
具体的,TOF相机的存储单元中保存有固定相位模式查找表,固定相位模式查找表中记录有每个像素对应的误差值。深度数据校准模块从TOF相机的存储单元中获取TOF相机的固定相位模式查找表,依次读取固定相位模式查找表中的误差值。深度数据校准模块根据固定相位模式查找表中的误差值对第二深度图像数据的深度值进行补偿校正,生成第三深度图像数据。
本发明实施例的一个具体例子中,对第二深度图像数据进行固定相位模式噪声校准具体过程如下:
首先,读取第二深度图像数据中像素点(x0,y0)对应的深度值为,从固定相位模式查找表中读取该像素点对应的误差值为Df。
其次,根据公式:
Dep3=Dep2-Df (3)
其中,Dep2从第二深度图像数据中读取的像素点(x0,y0)对应的深度值,Dep3为像素点(x0,y0)经过固定相位模式噪声校准深度值,Df为像素点(x0,y0)对应的误差值。
最后,依次从第二图像数据中读取每个像素点对应的深度值,然后使用经过固定相位模式噪声校准深度值替换第二图像数据中各像素点对应的深度值,生成第三深度图像数据。
由于固定相位模式噪声是TOF相机的传感器在制造过程中每个像素点可能各不相同,导致每个像素点具有独立的距离偏差。且由于TOF芯片上每个像素点所处的位置不一样,由于快门延迟等原因,导致像素点计算得到的相位差有误差。因此,本发明实施例采用在TOF相机获取了原始图像数据之后,对固定相位模式噪声进行校准处理,进一步对的图像数据的深度数据进行校准。
步骤106,对第三深度图像数据进行Wiggling校正,得到第四深度图像数据。
具体的,TOF相机中由于奇次谐波带来的周期性的“摆动”误差被称为Wiggling误差。TOF相机的存储单元中保存有该相机的Wiggling误差表和全局偏差补偿值,第三深度图像数据进行Wiggling校正的具体步骤如下:
步骤10601,深度数据校准模块从TOF相机存储单元中获取TOF相机的Wiggling误差表和全局偏差补偿值。
其中,TOF相机的Wiggling误差表中保存有每个像素对应的误差值,而全局偏差补偿值是对每个像素的深度数据进行预处理的补偿参数。
步骤10602,获取第三深度图像数据中各像素对应的第三深度值,并计算第三深度值与全局偏差补偿值的差,得到预处理深度值。读取第三深度图像数据中像素点(x0,y0)对应的第三深度值。
具体的,获取第三深度图像数数据中每个像素的第三深度值。根据公式:
Dep3’=Dep3-Da, (4)
其中,Dep3’为第三深度图像数据中像素点(x0,y0)对应的预处理深度值,Dep3为第三深度图像数据中像素点(x0,y0)的第三深度值,Da为全局偏差补偿值。
对第三深度图像数据每个像素点进行以上的处理,得到所有像素点对应的预处理深度值。
步骤10603,从Wiggling误差表中读取每个对应的Wiggling偏差值。
具体的,从Wiggling误差表中读取像素点(x0,y0)对应的Wiggling偏差值。
步骤10604,根据预处理深度值与Wiggling偏差值的差,得到Wiggling校准深度值。
具体的,计算每个像素点进行预处理后的预处理深度值与Wiggling偏差值的差,得到Wiggling校准深度值。根据公式:
Dep4=Dep3’-Dw (5)
其中Dep4为对像素点(x0,y0)Wiggling偏差校正后的得到的Wiggling校准深度值,Dep3’为第三深度图像数据中像素点(x0,y0)对应的预处理深度值,Dw为像素点(x0,y0)对应的Wiggling偏差值。
步骤10605,使用每个Wiggling校准深度值替换第三深度图像数据中对应像素的第三深度值,生成第四深度图像数据。
具体的,经过上述步骤10601-步骤10604处理后,得到了第三深度图像数据中每个像素点对应的Wiggling校准深度值,将第三深度图像数据中每个像素点的第三深度值使用Wiggling校准深度值替换,生成第四深度图像数据。
经过本步骤的对第三深度图像数据进行Wiggling校正,得到的第四深度图像数据的深度值进一步得到了校正。
步骤107,调用基于直角三角形的深度校正方法对第四深度图像数据进行深度数据校准,生成校准深度图像数据。
具体的,TOF相机每一个像素点上的相位值其实是目标场景中的点到相机中心的相位,而根据这个值计算出的距离值同理为目标场景中的点到相机中心的距离,而不是目标场景中的点到相机平面的距离,因此相距成像中心越远,误差越大。对此,本发明实施例调用基于直角三角形的深度校正方法对第四深度图像数据进行深度数据校准,生成校准深度图像数据。其具体校准步骤如下:
首先,提取第四深度图像数据的各像素的图像横坐标、图像纵坐标和深度值。
其次,根据每个像素的图像横坐标与图像纵坐标的平方和,得到相对距离值的平方。
具体的,深度数据校准模块根据第四深度图像数据中像素点P的图像横坐标和图像纵坐标根据公式:
d2=x0 2+y0 2 (6)
其中,d2为像素点P对应的相对距离值的平方,x0 2为像素点P对应的图像横坐标的平方,y0 2像素点P对应的图像纵坐标的平方。d为目标场景平面中的图像到场景平面中心的距离。
再次,根据深度值与相对距离值的平方差,得到校准深度值的平方。
具体的,根据公式:
Depe2=d2+Dep42 (7)
其中,Depe为像素点P对应的校准深度值,d为目标场景平面中的图像到场景平面中心的距离。
最后,使用校准深度值替换第四深度图像数据中对应像素的深度值,生成校准深度图像数据。
具体的,经过上述步骤对第四深度图像数据中的每个像素点的深度值进行校准后得到校准深度值,将第四深度图像数据中的每个像素对应的第四深度值替换为该像素对应的校准深度值,生成校准深度图像数据。
本发明实施例提供的深度数据校准方法中,在TOF相机获取原始图像数据之前,方法还包括:
使用第一预设TOF相机标定方法对TOF相机进行参数标定,生成内参和畸变参数。
具体的,本发明实施例采用的第一预设TOF相机标定方法为张友正标定法,在经过标定后,得到内参和畸变参数保存在TOF相机的存储单元中。
使用第二预设TOF相机标定法对TOF相机进行误差标定,生成全局偏差补偿值、Wiggling误差表和固定相位模式查找表。
具体的,本发明实施例中对TOF相机进行误差标定具体包括以下步骤:
步骤201,设置TOF相机积分时间为最小积分时间50us。
步骤202,固定TOF相机的积分时间,所测量目标物为白色平面,等间隔10cm选取测试距离直至到达40MHz下最大测量距离3750mm。依照上述方法,记录每个测试距离下像素中心点的测量距离值数据100次。
步骤203,改变TOF相机的积分时间,重复步骤202,其中积分时间等间隔50us选取直至到达TOF相机的最大积分时间600us。
步骤204,根据大量实验后,选取合适实际距离为40cm,合适的积分时间为500us,记录50幅深度图像。因为大量实验表明,固定相位模式噪声与积分时间及距离无明显关系。
步骤205,计算全局偏差补偿值。由于照明驱动电路和电光转换引起的电延迟,每个调制频率下都具有固定偏移量。通过全局偏差补偿值,使测量数据归一化,让数据更加易于处理。对步骤202、步骤203所获得的测量距离值进行平均处理。选取合适积分时间的合适测试距离,将测量距离值平均值减去真实距离值,得到全局偏差补偿值,计算公式为:
Pg=Mr-Cr (8)
其中,Pg为全局偏差补偿值,Mr为测量距离值平均值,Cr为真实距离值。这里选取积分时间为500us,测试距离为400mm。
步骤206,生成Wiggling误差表。对步骤202、步骤203选取所有积分时间下,所得到的测量距离平均值减去步骤205中全局偏差补偿值,并与真实距离值做差,即可得到该积分时间下该测量点的距离误差值。对某一积分时间,采用三次多项式插值对误差数据进行拟合,得到该积分时间下距离误差值关于测量距离值的分布曲线。对积分时间为500us时,采用三次多项式插值对误差数据进行拟合,得到的距离误差值关于测量距离值的部分分布曲线。根据分布曲线,在TOF相机的测量距离范围,从最小测量距离值开始,对某一积分时间下求得测量距离值每间隔5mm所对应的距离误差值,直到达到最大测量距离值,并将每个测量距离值所对应的距离误差值按列顺序依次保存。对于所有积分时间进行上述操作,相应的积分时间所对应的数据保存为一行。将上述得到的所有数据保存成文件,即得到Wiggling误差表文件。
步骤207,生成固定相位模式查找表。首先,步骤204中获取的50幅深度图像进行平均值处理,然后根据步骤205、步骤206生成的全局偏差补偿值、Wiggling误差表,对平均值处理后的深度图像进行全局偏差补偿值、wiggling偏差校正。由于测量目标物为白色平面,根据相机小孔成像原理,由中心点像素所对应的真实距离值可以计算出深度图的每个像素点真实距离值,其计算公式如下:
其中,B为像素点Q的真实距离值,(xc,yc)为深度图像中心点像素坐标,D(xc,yc)为中心点像素真实距离值,lp为TOF相机感光元器件的像元尺寸,f为TOF相机的焦距,上述变量单位均为㎜。
所有像素的固定相位模式偏差值计算如下:
J=Dd-B (10)
其中,J为像素点Q的固定相位模式的偏差值,Dd为像素点Q经过全局偏差补偿值、wiggling偏差校正后的距离值,B为平面像素点Q的真实距离值。将计算得到的每个像素的固定相位模式偏差值按像素点顺序保存生成固定相位模式查找表,再将固定相位模式查找表保存成文件即得到固定相位模式查找表文件。
本发明实施例提供一种飞行时间相机的深度数据校准方法,其通过对TOF相机获得的原始图像数据进行深度图像数据提取,并对深度图像数据依次进行温度补偿校准、畸变校准、去噪处理、固定模式像素噪声(Fixed Pattern Pixel Noise)校准和Wiggling校准,之后针对TOF相机获取相位计算深度距离时的误差进行分析,并借用直角三角形的原理对图像数据的深度值进行进一步的校准,得到准确度更高的深度图像数据。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种飞行时间相机的深度数据校准方法,其特征在于,所述方法包括:
提取原始图像数据,并从所述原始图像数据中获取深度图像数据;
调取预设温度补偿方法对所述深度图像数据进行深度数据校准处理,得到温度校准深度图像数据;
获取所述飞行时间TOF相机的标定参数,并根据所述标定参数对所述温度校准深度图像数据进行校正处理,得到第一深度图像数据;
对所述第一深度图像数据进行去噪处理,得到第二深度图像数据;
对所述第二深度图像数据进行固定相位模式噪声校准,得到第三深度图像数据;
对所述第三深度图像数据进行Wiggling校正,得到第四深度图像数据;
提取所述第四深度图像数据的各像素的图像横坐标、图像纵坐标和深度值;
根据每个像素的所述图像横坐标与所述图像纵坐标的平方和,得到相对距离值的平方;
根据所述深度值与所述相对距离值的平方差,得到校准深度值的平方;
使用所述校准深度值替换所述第四深度图像数据中对应像素的深度值,生成校准深度图像数据。
2.根据权利要求1所述飞行时间相机的深度数据校准方法,其特征在于,所述调取预设温度补偿方法对所述深度图像数据进行深度数据校准处理,得到温度校准深度图像数据具体包括:
从所述TOF相机的存储单元读取标定温度值,并通过温度传感器获取所述TOF相机的当前温度值;
根据所述当前温度值和所述标定温度值的差,得到温度差;
根据温度补偿系数和所述温度差的乘积,得到温度补偿值;
读取所述深度图像数据中每个像素对应的深度值,根据所述深度值与所述温度补偿值的差,得到温度补偿深度值;
使用所述温度补偿深度值替换所述深度图像数据中每个像素对应的深度值,生成温度校准深度图像数据。
3.根据所述权利要求1所述飞行时间相机的深度数据校准方法,其特征在于,所述获取TOF相机的标定参数,并根据所述标定参数对所述温度校准深度图像数据进行校正处理,得到第一深度图像数据具体为:
读取所述TOF相机的内参和畸变参数,并根据相机坐标系和图像坐标系的变换关系对所述温度校准深度图像数据进行校正处理,得到第一深度图像数据。
4.根据所述权利要求1所述飞行时间相机的深度数据校准方法,其特征在于,所述对所述第一深度图像数据进行去噪处理,得到第二深度图像数据具体包括:
调用预设的空间滤波算法对所述第一深度图像数据进行去噪处理,得到第二深度图像数据。
5.根据所述权利要求1所述飞行时间相机的深度数据校准方法,其特征在于,所述对所述第二深度图像数据进行固定相位模式噪声校准,得到第三深度图像数据具体包括:
获取所述TOF相机的固定相位模式查找表,依次读取所述固定相位模式查找表中的误差值;
根据所述固定相位模式查找表中的误差值对所述第二深度图像数据的深度值进行补偿校正,生成第三深度图像数据。
6.根据所述权利要求1所述飞行时间相机的深度数据校准方法,其特征在于,所述对所述第三深度图像数据进行Wiggling校正,得到第四深度图像数据具体包括:
从所述TOF相机存储单元中获取所述TOF相机的Wiggling误差表和全局偏差补偿值;
获取所述第三深度图像数据中各像素对应的第三深度值,并计算所述第三深度值与所述全局偏差补偿值的差,得到预处理深度值;
从所述Wiggling误差表中读取每个对应的Wiggling偏差值;
根据所述预处理深度值与所述Wiggling偏差值的差,得到Wiggling校准深度值;
使用每个所述Wiggling校准深度值替换所述第三深度图像数据中对应像素的第三深度值,生成第四深度图像数据。
7.根据所述权利要求1所述飞行时间相机的深度数据校准方法,其特征在于,在所述TOF相机获取原始图像数据之前,所述方法还包括:
使用第一预设TOF相机标定方法对所述TOF相机进行参数标定,生成内参和畸变参数;
使用第二预设TOF相机标定法对所述TOF相机进行误差标定,生成全局偏差补偿值、Wiggling误差表和固定相位模式查找表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300763.3A CN111508011A (zh) | 2020-04-16 | 2020-04-16 | 一种飞行时间相机的深度数据校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300763.3A CN111508011A (zh) | 2020-04-16 | 2020-04-16 | 一种飞行时间相机的深度数据校准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111508011A true CN111508011A (zh) | 2020-08-07 |
Family
ID=71864194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010300763.3A Pending CN111508011A (zh) | 2020-04-16 | 2020-04-16 | 一种飞行时间相机的深度数据校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111508011A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112254635A (zh) * | 2020-09-23 | 2021-01-22 | 洛伦兹(北京)科技有限公司 | 体积测量方法、装置及系统 |
CN112419427A (zh) * | 2020-12-07 | 2021-02-26 | 天津理工大学 | 用于提高飞行时间相机精度的方法 |
CN112712477A (zh) * | 2020-12-21 | 2021-04-27 | 东莞埃科思科技有限公司 | 结构光模组的深度图像评价方法及其装置 |
CN112782676A (zh) * | 2021-01-26 | 2021-05-11 | 奥比中光科技集团股份有限公司 | 一种光纤标定系统及方法 |
CN113096189A (zh) * | 2021-03-22 | 2021-07-09 | 西安交通大学 | 一种itof深度相机标定及深度优化方法 |
CN113760539A (zh) * | 2021-07-29 | 2021-12-07 | 珠海视熙科技有限公司 | 一种tof相机深度数据处理方法、终端以及存储介质 |
CN114092570A (zh) * | 2022-01-21 | 2022-02-25 | 杭州蓝芯科技有限公司 | 一种深度相机温度标定方法及装置、电子设备、存储介质 |
CN118521515A (zh) * | 2024-07-19 | 2024-08-20 | 深圳明锐理想科技股份有限公司 | 一种深度图校正方法、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816735A (zh) * | 2019-01-24 | 2019-05-28 | 哈工大机器人(合肥)国际创新研究院 | 一种快速标定及校正方法及其tof相机 |
CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
-
2020
- 2020-04-16 CN CN202010300763.3A patent/CN111508011A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816735A (zh) * | 2019-01-24 | 2019-05-28 | 哈工大机器人(合肥)国际创新研究院 | 一种快速标定及校正方法及其tof相机 |
CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112254635A (zh) * | 2020-09-23 | 2021-01-22 | 洛伦兹(北京)科技有限公司 | 体积测量方法、装置及系统 |
CN112254635B (zh) * | 2020-09-23 | 2022-06-28 | 洛伦兹(北京)科技有限公司 | 体积测量方法、装置及系统 |
CN112419427A (zh) * | 2020-12-07 | 2021-02-26 | 天津理工大学 | 用于提高飞行时间相机精度的方法 |
CN112712477A (zh) * | 2020-12-21 | 2021-04-27 | 东莞埃科思科技有限公司 | 结构光模组的深度图像评价方法及其装置 |
CN112782676A (zh) * | 2021-01-26 | 2021-05-11 | 奥比中光科技集团股份有限公司 | 一种光纤标定系统及方法 |
CN113096189A (zh) * | 2021-03-22 | 2021-07-09 | 西安交通大学 | 一种itof深度相机标定及深度优化方法 |
CN113096189B (zh) * | 2021-03-22 | 2024-04-05 | 西安交通大学 | 一种itof深度相机标定及深度优化方法 |
CN113760539A (zh) * | 2021-07-29 | 2021-12-07 | 珠海视熙科技有限公司 | 一种tof相机深度数据处理方法、终端以及存储介质 |
CN114092570A (zh) * | 2022-01-21 | 2022-02-25 | 杭州蓝芯科技有限公司 | 一种深度相机温度标定方法及装置、电子设备、存储介质 |
CN118521515A (zh) * | 2024-07-19 | 2024-08-20 | 深圳明锐理想科技股份有限公司 | 一种深度图校正方法、电子设备及存储介质 |
CN118521515B (zh) * | 2024-07-19 | 2024-10-01 | 深圳明锐理想科技股份有限公司 | 一种深度图校正方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111508011A (zh) | 一种飞行时间相机的深度数据校准方法 | |
CN109816735B (zh) | 一种快速标定及校正方法及其tof相机 | |
CN109903241B (zh) | 一种tof相机系统的深度图像校准方法及系统 | |
CN112797915B (zh) | 一种线结构光测量系统的标定方法、标定装置、以及系统 | |
CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
US10764487B2 (en) | Distance image acquisition apparatus and application thereof | |
US8306323B2 (en) | Method and apparatus for correcting depth image | |
CN108020825B (zh) | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 | |
EP3640892B1 (en) | Image calibration method and device applied to three-dimensional camera | |
CN106815867B (zh) | Tof相机标定与校正系统及其设备与方法 | |
CN107421643B (zh) | 红外图像的校正方法及装置 | |
CN106504290B (zh) | 一种高精度的摄像机动态标定方法 | |
US20110096182A1 (en) | Error Compensation in Three-Dimensional Mapping | |
US20120281240A1 (en) | Error Compensation in Three-Dimensional Mapping | |
US20240303772A1 (en) | Device and method for correspondence analysis in images | |
CN113533256B (zh) | 一种光谱反射率的确定方法、装置及设备 | |
CN106769909B (zh) | 一种成像光谱仪定标位置修正的方法及装置 | |
CN104200456B (zh) | 一种用于线结构光三维测量的解码方法 | |
CN112419427A (zh) | 用于提高飞行时间相机精度的方法 | |
CN115937325B (zh) | 一种结合毫米波雷达信息的车端摄像头标定方法 | |
CN114792342A (zh) | 一种线结构光标定方法、装置、设备、存储介质 | |
CN112213711B (zh) | 一种tof相机的校准方法 | |
CN112927299B (zh) | 标定方法、装置及电子设备 | |
CN114581533A (zh) | 一种联合标定方法及装置 | |
KR100852093B1 (ko) | 오차를 최소화하는 선형광 형상검출 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |