CN109035345A - 基于高斯过程回归的tof相机距离校正方法 - Google Patents

Abstract

本发明公开了基于高斯过程回归的TOF相机距离校正方法，包括：将TOF相机安装在三角支架上，将TOF相机的镜头平面调整为与镜头前方的目标板平行；目标板上贴有相互垂直的两条反光贴；通过调整相机与目标板相对位置，使得TOF相机的中心像素点定位在两条反光贴的交汇区域的中心位置；用TOF相机获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的待校正距离；用激光测距仪获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的距离真值；基于训练集的待校正距离和训练集的距离真值，建立高斯过程回归模型；基于高斯过程回归模型，对TOF相机的新测距值进行校正。

Description

基于高斯过程回归的TOF相机距离校正方法

技术领域

本发明涉及TOF相机技术领域，特别是涉及基于高斯过程回归的TOF相机距离校正方法。

背景技术

基于TOF(飞行时间法，Time-of-flight)技术的三维摄像机是一种新型的、小型化三维成像设备，可同时捕捉动态目标的灰度图像和深度信息，因而轻易解决了机器视觉领域的传统难题，使用这些深度信息不但可以轻松的完成目标图像的分割、标记、识别、跟踪等传统应用，并且能在许多新兴领域发挥重要的作用。

20世纪90年代，首次诞生了第一代的TOF相机，在最近几年，该类型的相机变得越来越流行，并应用在了机器人、无人驾驶车辆、互动娱乐、救援以及医疗和生物等行业。但由于TOF摄像机发展时间比较短，而且尚处在实验研究阶段，并没有进入大规模的生产和实用阶段，因而还存在着比较多的缺点和不足。在性能参数上其主要技术指标还需通过实验做进一步验证，特别是该相机的测距特性及距离误差校正方面。

TOF相机的测距结果受多种因素的影响，如积分时间引起的误差、相机温度变化引起的误差以及系统本身自带的误差等。现今许多学者已对TOF相机的测距误差进行了研究，常用的距离校正方法有：

(1)通过离线测量不同积分时间下的距离误差来统计相机的误差参数，然后采用在线查表的方式对该误差进行校正；

(2)采用正弦函数叠加组合的方式进行距离校正；

(3)高阶多项式插值实现距离校正。

上述校正方法虽可实现距离数据的误差修正，然而查表方式信息量大且不能覆盖所有数据，三角函数叠加组合需要复杂的组合算法而且要对函数周期进行调整，多项式插值存在插值阶次过高的问题。

发明内容

为了解决现有技术的不足，本发明提供了基于高斯过程回归的TOF相机距离校正方法。TOF相机的测距结果受多种因素的影响，如积分时间引起的误差、相机温度变化引起的误差以及系统本身自带的误差等。由于TOF相机一般自带有温度反馈校正，因而该申请不考虑温度对相机的影响，只对积分时间引起的误差及系统本身自带的误差进行分析与校正。

基于高斯过程回归的TOF相机距离校正方法，包括：

将TOF相机安装在三角支架上，将TOF相机的镜头平面调整为与镜头前方的目标板平行；目标板上贴有相互垂直的两条反光贴；通过调整相机与目标板相对位置，使得TOF相机的中心像素点定位在两条反光贴的交汇区域的中心位置；

用TOF相机获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的待校正距离；用激光测距仪获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的距离真值；基于训练集的待校正距离和训练集的距离真值，建立高斯过程回归模型；基于高斯过程回归模型，对TOF相机的新测距值进行校正。

进一步的，用TOF相机获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的待校正距离；用激光测距仪获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的距离真值；基于训练集的待校正距离和训练集的距离真值，建立高斯过程回归模型，具体步骤为：

步骤(1)：假设TOF相机包括m个积分时间；在TOF相机中心像素点与目标板之间的设定距离范围内，以设定距离间隔选择若干个观测点；设定TOF相机的当前积分时间；

步骤(2)：在设定的积分时间下，当TOF相机位于第一个观测点时，TOF相机读取n次TOF相机中心像素点与目标板之间的距离数据；然后，当TOF相机位于第二个观测点时，TOF相机读取n次TOF相机中心像素点与目标板之间的距离数据；然后，当TOF相机位于第三个观测点时，TOF相机读取n次TOF相机中心像素点与目标板之间的距离数据；以此类推，直至所有观测点的TOF相机中心像素点与目标板之间的距离数据均被读取完毕；设定TOF相机的下一个积分时间，然后，重复执行步骤(2)；直至所有积分时间均被选择完毕；进入步骤(3)；

用激光测距仪获取每个观测点下，TOF相机的中心像素点与目标板的距离真值；

步骤(3)：对每个观测点读取的n次距离数据，并计算每次的距离误差e_i，距离误差均值μ以及方差s；

步骤(4)：将每个测量点在不同积分时间下的距离误差均值μ按照列向量的形式组成误差观测值矩阵y；

步骤(5)：对于高斯过程回归模型

y＝f(x)+ε (4)

式中：x为输入向量，其组成元素为每个测量点的距离真值r，f为函数值；

假设噪声得到y的先验分布：

其中，K(X,X)＝(k_ij)为n×n阶对称正定的协方差矩阵，矩阵元素k_ij＝k(x_i,x_j)用来衡量变量x_i和变量x_j之间的相关性；I_n为n维单位矩阵；σ_n为噪声方差；

将TOF相机在任意距离下的误差预测值设为f_*，得误差观测值矩阵y和误差预测值f_*的联合先验分布

其中，K(X,x_*)＝K(x_*,X)^T，K(X,x_*)为测试点x_*与训练集的输入X之间的n×1阶协方差矩阵；K(x_*,x_*)为测试点x_*自身的协方差，即步骤(3)求得的方差s；

由公式(6)则计算出误差预测值f_*的后验分布为

其中，

则为测试点x_*对应的误差预测值f_*的均值；

为测试点x_*对应的误差预测值f_*的方差；

协方差函数选择平方指数协方差函数：

其中，∑＝diag(l²)，l为方差尺度，为信号方差；

参数集合为超参数，通过极大似然法求得；

由于TOF相机的测距误差是关于距离的一元函数，公式(10)简化为：

公式(8)、(9)及(11)组成高斯过程回归模型。

进一步的，所述步骤(3)的每次的距离误差e_i，距离误差均值μ以及方差s：

e_i＝d_i-r (1)

其中，d_i为每次TOF相机读取的距离数据，r为由激光测距仪获得的距离真值。

进一步的，基于高斯过程回归模型，对TOF相机的新测距值进行校正的具体步骤为：

针对TOF相机的新测距值D作为输入值x_*输入到公式(8)中，通过计算得到

由于从而得到

根据得到的得最终校正后的结果D'为：

与现有技术相比，本发明的有益效果是：

采用高斯过程回归模型对TOF相机的距离数据进行误差校正，解决了采用传统多项式或三角函数模型进行误差修正时模型阶次过高及函数组合复杂的问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本申请的流程图；

图2是测试场景；

图3误差校正结果；

其中，1.TOF相机，2目标板，3反光贴，4三角支架。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

首先判断TOF相机测距结果是否满足高斯过程回归要求，也即测量结果是否满足高斯分布，方法为：将TOF固定在三角支架上并与前方的目标板平行，以TOF相机中心像素点作为测试对象，获取该像素与目标板不同距离下的测量结果。采用高斯过程回归算法进行误差校正。校正操作：

1、将TOF相机1固定在三角支架4上并与前方的目标板2垂直平行，如图1所示。以TOF相机中心像素点作为标定对象，如图2所示，所分别选择不同积分时间(积分时间即为相机曝光时间)下的测距结果作为校正对象。为确保中心像素点垂直于目标板，目标板中贴有相互垂直的反光贴3。每条反光贴为长方形；通过调整相机角度使得中心像素点位于TOF相机获取图像亮度最强区域的中心时，认为此时中心像素刚好与目标板垂直。为衡量系统本身自带的误差，将距离数据扩展为1000mm～4500mm范围，并以50mm为间隔进行分点采集，每点处连续读取10次距离数据，并计算该点的均值μ、标准差s、及误差e。

e＝μ-r (3)

式中，d_i为每次读取的距离数据，n为测试次数，此处为10，r为距离真值。

2、在不同积分时间下，将距离观测值的均值μ组成观测值矩阵y。对于回归过程考虑如下模型：

y＝f(x)+ε (4)

式中：x为输入向量，其组成元素为每个测量点的距离真值r，f为函数值，进一步假设噪声可以得到y的先验分布

将TOF相机在任意距离下的预测值设为f_*，可得观测值y和预测值f_*的联合先验分布

其中，K(X,X)＝(k_ij)为n×n阶对称正定的协方差矩阵，矩阵元素k_ij＝k(x_i,x_j)用来衡量变量x_i和变量x_j之间的相关性；K(X,x_*)＝K(x_*,X)^T为测试点x_*与训练集的输入X之间的n×1阶协方差矩阵；k(x_*,x_*)为测试点x_*自身的协方差；σ_n为噪声方差；I_n为n维单位矩阵。

由上式则可计算出预测值f_*的后验分布为

其中，

则即为测试点x_*对应的预测值f_*的均值和方差。

GPR可以选取多种不同的协方差函数，在此选择平方指数协方差函数

式中，∑＝diag(l²)，l为方差尺度，为信号方差。参数集合即为超参数，一般通过极大似然法求得。

由于TOF相机的测距误差是关于距离的一元函数，公式(10)可简化为

公式(8)、(9)及(11)组成了GPR模型所需的基本函数。

图3展示了采用上述算法进行距离误差修正后的结果，从该图可知，经过校正后距离误差由15mm降到了5mm，可满要求校正要求。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.基于高斯过程回归的TOF相机距离校正方法，其特征是，包括：

将TOF相机安装在三角支架上，将TOF相机的镜头平面调整为与镜头前方的目标板平行；目标板上贴有相互垂直的两条反光贴；通过调整相机与目标板相对位置，使得TOF相机的中心像素点定位在两条反光贴的交汇区域的中心位置；

用TOF相机获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的待校正距离；用激光测距仪获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的距离真值；基于训练集的待校正距离和训练集的距离真值，建立高斯过程回归模型；基于高斯过程回归模型，对TOF相机的新测距值进行校正。

2.如权利要求1所述的基于高斯过程回归的TOF相机距离校正方法，其特征是，

用TOF相机获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的待校正距离；用激光测距仪获取TOF相机的中心像素点与目标板在不同距离下的测距结果，作为训练集的距离真值；基于训练集的待校正距离和训练集的距离真值，建立高斯过程回归模型，具体步骤为：

步骤(1)：假设TOF相机包括m个积分时间；在TOF相机中心像素点与目标板之间的设定距离范围内，以设定距离间隔选择若干个观测点；设定TOF相机的当前积分时间；

步骤(2)：在设定的积分时间下，当TOF相机位于第一个观测点时，TOF相机读取n次TOF相机中心像素点与目标板之间的距离数据；然后，当TOF相机位于第二个观测点时，TOF相机读取n次TOF相机中心像素点与目标板之间的距离数据；然后，当TOF相机位于第三个观测点时，TOF相机读取n次TOF相机中心像素点与目标板之间的距离数据；以此类推，直至所有观测点的TOF相机中心像素点与目标板之间的距离数据均被读取完毕；设定TOF相机的下一个积分时间，然后，重复执行步骤(2)；直至所有积分时间均被选择完毕；进入步骤(3)；

用激光测距仪获取每个观测点下，TOF相机的中心像素点与目标板的距离真值；

步骤(3)：对每个观测点读取的n次距离数据，并计算每次的距离误差e_i，距离误差均值μ以及方差s；

步骤(4)：将每个测量点在不同积分时间下的距离误差均值μ按照列向量的形式组成误差观测值矩阵y；

步骤(5)：对于高斯过程回归模型

y＝f(x)+ε (4)

式中：x为输入向量，其组成元素为每个测量点的距离真值r，f为函数值；

假设噪声得到y的先验分布：

其中，K(X,X)＝(k_ij)为n×n阶对称正定的协方差矩阵，矩阵元素k_ij＝k(x_i,x_j)用来衡量变量x_i和变量x_j之间的相关性；I_n为n维单位矩阵；σ_n为噪声方差；

将TOF相机在任意距离下的误差预测值设为f_*，得误差观测值矩阵y和误差预测值f_*的联合先验分布

其中，K(X,x_*)＝K(x_*,X)^T，K(X,x_*)为测试点x_*与训练集的输入X之间的n×1阶协方差矩阵；K(x_*,x_*)为测试点x_*自身的协方差，即步骤(3)求得的方差s；

由公式(6)则计算出误差预测值f_*的后验分布为

其中，

则为测试点x_*对应的误差预测值f_*的均值；

为测试点x_*对应的误差预测值f_*的方差；

协方差函数选择平方指数协方差函数：

其中，∑＝diag(l²)，l为方差尺度，为信号方差；

参数集合为超参数，通过极大似然法求得；

由于TOF相机的测距误差是关于距离的一元函数，公式(10)简化为：

公式(8)、(9)及(11)组成高斯过程回归模型。

3.如权利要求2所述的基于高斯过程回归的TOF相机距离校正方法，其特征是，

所述步骤(3)的每次的距离误差e_i，距离误差均值μ以及方差s：

e_i＝d_i-r (1)

其中，d_i为每次TOF相机读取的距离数据，r为由激光测距仪获得的距离真值。

4.如权利要求2所述的基于高斯过程回归的TOF相机距离校正方法，其特征是，

基于高斯过程回归模型，对TOF相机的新测距值进行校正的具体步骤为：

针对TOF相机的新测距值D作为输入值x_*输入到公式(8)中，通过计算得到

由于从而得到根据得到的得最终校正后的结果D'为：