CN111667524A

CN111667524A - 一种飞行时间相机的深度误差校准方法

Info

Publication number: CN111667524A
Application number: CN202010467438.6A
Authority: CN
Inventors: 朱翔
Original assignee: Beijing Shenzhen Survey Technology Co ltd
Current assignee: Beijing Shenzhen Survey Technology Co ltd
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2020-09-15

Abstract

本发明提供了一种飞行时间相机的深度误差校准方法，该方法包括：处理器提取原始图像数据，并从原始图像数据中获取深度图像数据；获取处理器构建的预设训练集；根据预设训练集确定预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数；根据第一惩罚系数和第一高斯核参数，调用预设最小二乘支持向量机算法对预设训练集进行训练处理，得到预设训练集对应的非线性深度校准模型；将深度图像数据各像素对应的深度值作为非线性深度校准模型的输入数据；根据非线性深度校准模型的输出数据得到深度图像数据各像素对应的深度误差值；根据各像素对应的深度误差值与深度图像数据得到校准深度图像数据。

Description

一种飞行时间相机的深度误差校准方法

技术领域

本发明涉数据处理领域，尤其涉及一种飞行时间相机的深度误差校准方法。

背景技术

飞行时间(Time Of Flight，TOF)相机是近年来发展迅速的一种技术，它是以高帧频提供深度图像和振幅图像的3D成像传感器。由于TOF相机受到成像条件和外部环境的限制，其捕获的数据总是会有一定的误差。

TOF相机误差可分为两类:系统误差和非系统误差。系统误差不仅由其固有属性触发，还由相机系统的成像条件触发，这种误差的主要特点是它们的形式是相对固定的。这些误差可以预先评估，并且校正过程相对方便。非系统误差是由外部环境和噪声引起的误差。这种误差的特点是形式不是固定的和随机的，很难建立统一的模型来描述和校正这种错误。

发明内容

针对现有技术缺陷，本发明实施例的目的是提供一种飞行时间相机的深度误差校准方法，针对TOF相机的非系统误差引起的深度数据误差，基于粒子滤波方法选择最小二乘支持向量机的最佳参数，并根据最佳参数进行最小二乘支持向量机算法对预设训练集进行训练处理，从而建立TOF相机的非系统误差对应的非线性深度校准模型，使用建立的模型对TOF相机获取的原始图像数据进行深度误差校准。

为解决上述问题，第一方面，本发明提供了一种飞行时间相机的深度误差校准方法，所述方法包括：

处理器提取原始图像数据，并从所述原始图像数据中获取深度图像数据；

获取所述处理器构建的预设训练集；

根据所述预设训练集确定预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数；

根据所述第一惩罚系数和所述第一高斯核参数，调用所述预设最小二乘支持向量机算法对所述预设训练集进行训练处理，得到所述预设训练集对应的非线性深度校准模型；

将所述深度图像数据各像素对应的深度值作为所述非线性深度校准模型的输入数据；

根据所述非线性深度校准模型的输出数据得到所述深度图像数据各像素对应的深度误差值；

根据所述各像素对应的深度误差值与所述深度图像数据得到校准深度图像数据。

优选的，所述根据所述预设训练集确定预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数具体包括：

调用预设参数选择算法对所述预设训练集进行分析处理，得到所述预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数。

进一步优选的，所述预设参数选择算法具体为预设粒子滤波算法。

进一步优选的,所述预设训练集为{x_i，y_i}，其中，x_i表示飞行时间相机的测量距离数据，y_i表示所述飞行时间相机的深度误差数据；i为大于等于0的整数，所述调用预设参数选择算法对所述预设训练集进行分析处理，得到所述预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数具体为：

使用

对参数状态x进行初始化；其中，

为在k＝0时的第j个粒子，C为预设最小二乘支持向量机模型的惩罚系数，γ为预设最小二乘支持向量机模型的高斯核参数；

根据状态方程、观测方程和所述预设训练集中的x_i得到所述预设训练集中每个粒子对应的观察值y^j(x_i)；

根据所述观测值y^j(x_i)与所述预设训练集中的y_i相似性数据；

根据所述相似性数据得到每个粒子的权重值数据；

对所述每个粒子的权重值数据进行归一化处理，得到归一化权重数据；

根据所述归一化权重数据进行粒子重采样，得到所述包括第一惩罚系数与第一高斯核参数的粒子集。

优选的，在所述预设训练集的构建包括：

处理器接收飞行时间相机发送的第一预设数量帧三维图像数据；所述三维图像数据包括深度图像数据；

对每一帧所述三维图像数据确定预设区域对应的第一图像数据；其中，所述第一图像数据包括第一深度图像数据；

根据每一帧所述第一深度图像数据和预设距离数据，得到所述第一深度图像数据对应的所述三维图像数据的深度误差数据；

根据所述预设距离数据得到各帧三维图像数据对应的采集深度数据；

根据所述采集深度数据和所述深度误差数据构建所述预设训练集{x_i，y_i}；其中，x_i为第i帧三维图像数据对应的采集深度数据，y_i为第i帧三维图像数据对应的深度误差数据。

进一步优选的，所述根据每一帧所述第一深度图像数据和预设距离数据，得到所述第一深度图像数据对应的所述三维图像数据的深度误差数据具体包括：

根据第一深度图像数据中各像素对应的深度值求平均值，得到所述第一深度图像数据对应的第一平均深度数据；

根据所述第一图像数据对应的第一预设距离数据和所述第一平均深度数据的差，得到所述第一深度图像数据对应的所述三维图像数据的深度误差数据。

优选的，在所述处理器提取原始图像数据之前，所述方法还包括：

所述飞行时间相机对目标场景进行拍摄，生成所述原始图像数据；

所述飞行时间相机将所述原始图像数据发送给所述处理器。

第二方面，本发明提供了一种设备，包括存储器和处理器，存储器用于存储程序，处理器用于执行第一方面任一所述的方法。

第三方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一所述的方法。

本发明实施例提供的一种飞行时间相机的深度误差校准方法，根据TOF相机的非系统性误差的特点，通过TOF获取的多个三维图像数据构建预设训练集，并基于粒子滤波方法对最小二乘支持向量机算法的参数进行选择，从而通过预设训练集和选定的参数对最小二乘支持向量机算法进行训练，建立TOF相机的非系统误差对应的非线性深度校准模型，并使用其对TOF相机获得的原始图像数据进行深度误差校准。

附图说明

图1为本发明实施例提供的飞行时间相机的深度误差校准方法流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种飞行时间(Time Of Flight,TOF)相机的深度误差校准方法，用于对飞行时间相机采集生成的三维图像数据或者三维点云图像数据进行深度值的误差校准。图1为本发明实施例提供的飞行时间相机的深度误差校准方法流程图。如图所示，本发明实施例包括以下步骤：

步骤110，处理器提取原始图像数据，并从原始图像数据中获取深度图像数据。

具体的，本发明实施例提供的深度数据校准方法由处理器完成。处理器获取TOF相机生成的原始图像数据，从原始图像数据中提取出深度图像数据。

在处理器提取原始图像数据之前，飞行时间相机对目标场景进行拍摄，生成原始图像数据。原始图像数据包括深度图像数据和强度图像数据。飞行时间相机将原始图像数据发送给处理器，处理器保存在存储设备中或者直接进行处理。

本发明实施例的一个具体例子中，TOF相机包括240×320分辨率的传感器和配套的飞行时间控制器，TOF相机采用850nm的红外光源作为发射光源，采集的深度数据包括深度值信息、相位信息、强度振幅信息、环境光和标志位。TOF相机采集的图像信息经过集成的处理模块生成原始图像数据。

在需要对图像进行深度校准的时候，处理器从其存储设备中提取需要处理的原始图像数据，或者直接对飞行时间相机发送的原始图像数据进行处理。处理器从原始图像数据中提取出深度图像数据，用以对图像的深度误差进行校准。

步骤120，获取处理器构建的预设训练集。

具体的，在进行原始图像数据前，处理器提前构建好预设训练集，保存在存储设备中。在本发明实施例的优选方案中，处理器构建预设训练集的方法包括如下步骤：

步骤1201，处理器接收飞行时间相机发送的第一预设数量帧三维图像数据；三维图像数据包括深度图像数据。

具体的，第一预设数量为需要构建的训练集的数据量，比如需要构建一个包括100个训练数据的训练集，那么就需要飞行时间相机采集100帧目标场景的图像数据。在比如需要构建一个包括1000个训练数据的训练集，那么就需要飞行时间相机采集1000帧目标场景的图像数据。第一预设数量的值可以根据需要进行选择。需要说明的是，第一预设数量的值越大，那么在之后的使用训练集进行处理后，得到的模型越准确。

在本发明实施例中的优选方案中，采集的目标场景为一个平面，可以是10mⅹ10m米的墙面等，可以根据需要对采集的目标场景进行设定。在离目标墙面的第一预设数量个不同的预设距离处使用飞行时间相机对目标场景进行图像采集，这样生成了第一预设数量个与预设距离相对应的三维图像数据。其中，三维图像数据包括图像深度数据。

步骤1202，对每一帧三维图像数据确定预设区域对应的第一图像数据；其中，第一图像数据包括第一深度图像数据。

具体的，由于飞行时间相机采集的数量巨大，为了保证数据处理量较小，需要对三维图像数据进行裁剪，也即是说，根据预设区域对三维图像数据进行裁剪，将预设区域对应的图像数据保存为第一图像数据。第一图像数据同样包括与之对应的第一深度图像数据。其中，预设区域可以根据需求进行设定，例如，100ⅹ100、50ⅹ100，50ⅹ50等。

在本发明实施例中的一个具体例子中，预设区域选定为原始图像数据中心位置为中心的100ⅹ100个像素大小的图像区域，经过裁剪，得到的第一图像数据为100ⅹ100个像素的三维图像数据，其中包括与其相对应的第一深度图像数据。

对每一帧三维图像数据都按照预设区域并以三维图像数据的中心点为中心进行裁剪，得到每个原始三维图像数据对应的第一三维图像数据，第一三维图像数据包括第一深度图像数据。

步骤1203，根据预设距离数据得到各帧三维图像数据对应的采集深度数据。

具体的，按照第一预设数量个预设距离数据改变TOF相机距离目标的距离，并对目标场景进行拍摄。所以，每一帧三维图像数据都与其相应的第一预设距离数据。这个第一预设距离即为三维图像数据的采集深度数据，记为x_i，其表示的意义是，第i帧三维图像数据对应的采集深度数据，也即是三维图像数据对应的真实深度数据。

步骤1204，根据每一帧第一深度图像数据和预设距离数据，得到第一深度图像数据对应的三维图像数据的深度误差数据。

具体的，按照第一预设数量个预设距离数据改变TOF相机距离目标的距离，并对目标场景进行拍摄。所以，每一帧第一深度图像数据都与其相应的第一预设距离数据。

首先，根据第一深度图像数据中各像素对应的深度值求平均值，得到第一深度图像数据对应的第一平均深度数据。例如，在本发明实施例的一个具体例子中，第一深度图像数据包括100ⅹ100各像素点，每个像素点都包括其对应的深度值，对100ⅹ100像素点对应的深度数据求平均值，得到100ⅹ100像素点对应的第一平均深度数据，记为u_i。

之后，根据第一图像数据对应的第一预设距离数据和第一平均深度数据的差，得到第一深度图像数据对应的三维图像数据的深度误差数据。也就计算是x_i与u_i的差值，得到深度误差数据y_i。

通过上述步骤，对每一个三维图像数据都可以经过计算得到与其对应的深度误差数据，记为y_i，其表示的意义是TOF相机采集的第i帧三维图像数据对应的深度误差数据。

步骤1205，根据采集深度数据和深度误差数据构建预设训练集{x_i，y_i}；其中，x_i为第i帧三维图像数据对应的采集深度数据，y_i为第i帧三维图像数据对应的深度误差数据。

步骤130，根据预设训练集确定预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数。

具体的，在本发明实施例中，将采用预设最小二乘支持向量机算法对原始图像数据的进行深度误差校准，在对原始图像数据进行校准之前，需要确定预设最小二乘支持向量机算法中使用到的最佳惩罚系数和最佳高斯核参数，本发明中使用第一惩罚系数来表示最佳惩罚系数，使用第一高斯核参数来表示最佳高斯核参数。

在本发明实施例的优选方案中，处理器调用预设参数选择算法对预设训练集进行分析处理，得到预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数。其中，预设参数选择算法为但不限于网络搜索法、较差验证选择法、遗传算法选择法和基于粒子群优化算法选择等方法。

本发明实施例的优选方案中，调用预设参数选择算法对预设训练集进行分析处理，来确定第一惩罚系数和第一高斯核参数的步骤具体包括：

预设训练集为{x_i，y_i}，其中，x_i表示飞行时间相机的测量距离数据，也就是飞行时间相机采集图像时的真是距离数据，y_i表示飞行时间相机的深度误差数据；i为大于等于0的整数，且|y_i|≤x_i，调用预设参数选择算法对预设训练集进行分析处理，得到预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数具体为：

步骤1301，使用

对参数状态x进行初始化；其中，

步骤1302，根据状态方程、观测方程和所述预设训练集中的x_i得到所述预设训练集中每个粒子对应的观察值y^j(x_i)。

具体的，状态方程为z^j(α^j，b^j)＝F(γ^j，C^j)，其中，参数α为拉格朗日乘子，参数b为常数，C为预设最小二乘支持向量机模型的惩罚系数，γ为预设最小二乘支持向量机模型的高斯核参数。

观测方程为y^j(x)＝f(α^j，b^j)，其中，参数α为拉格朗日乘子，参数b为常数，y^j(x_i)表示预设训练集中每个粒子在j时刻对应的观察值。

由状态方程和观测方程建立了观察值y^j(x)与C和γ的关系。

步骤1303，根据观测值y^j(x_i)与预设训练集中的y_i相似性数据；

具体的，预设训练集中的y_i为训练集中的粒子i对应的真实值。我们计算观测值与真实值之间的相似性数据以用于评定观测值的准确性。

相似性评估均方根值定义为：

其中，y^j(x)为观察值，y_i为真实值。

步骤1304，根据相似性数据得到每个粒子的权重值数据。

具体的，在得到相似性数据后，根据下列公式：

将步骤1303中计算出来的RMS值带入式(2)中，计算得到每个粒子的权重值数据。

步骤1305，对每个粒子的权重值数据进行归一化处理，得到归一化权重数据。

具体的，使用下列公式：

将步骤1304中计算出来的每个粒子的权重数据带入到式(3)中，进行归一化权重数据的计算处理，得到归一化权重数据。

步骤1306，根据归一化权重数据进行粒子重采样，得到包括第一惩罚系数与第一高斯核参数的粒子集。

步骤140，根据第一惩罚系数和第一高斯核参数，调用预设最小二乘支持向量机算法对预设训练集进行训练处理，得到预设训练集对应的非线性深度校准模型。

具体的，将第一惩罚系数和第一高斯核参数作为预设最小二乘支持向量机算法的惩罚系数和高斯核参数写入到预设最小二乘支持向量机算法中，然后采用写入第一惩罚系数和第一高斯核参数的最小二乘支持向量机算法对预设训练集{x_i，y_i}进行训练，得到其对应的非线性深度校准模型，用于对原始图像数据进行深度误差校准。

步骤150，将深度图像数据各像素对应的深度值作为非线性深度校准模型的输入数据。

具体的，对原始图像数据中提取出来的深度图像数据的各像素对应的深度值依次输入到非线性深度校准模型中。

步骤160，根据非线性深度校准模型的输出数据得到深度图像数据各像素对应的深度误差值。

具体的，非线性深度校准模型的输出为深度图像数据的各像素的深度值对应的深度误差值。

步骤170，根据各像素对应的深度误差值与深度图像数据得到校准深度图像数据。

具体的，在得到深度图像数据各像素对应的深度误差数值后，使用其深度图像数据的各像素的深度值进行校准。比如，深度图像中像素坐标为(5，100)的深度值为40，其对应的深度误差值为1，那么校准后的校准深度值为41，使用校准后的校准深度值提花原来的深度值，则完成了改像素坐标的深度校准。在对深度图像数据中所有像素点进行这样的校准后，得到校准深度图像数据。

之后，再将校准深度图像数据与原始图像数据进行拟合，得到校准后的图像数据，完成对原始图像数据的深度误差校准。

本发明实施例二提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。

本发明实施例三提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种飞行时间相机的深度误差校准方法，其特征在于，所述方法包括：

获取所述处理器构建的预设训练集；

2.根据权利要求1所述飞行时间相机的深度误差校准方法，其特征在于，所述根据所述预设训练集确定预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数具体包括：

3.根据权利要求2所述飞行时间相机的深度误差校准方法，其特征在于，所述预设参数选择算法具体为预设粒子滤波算法。

4.根据权利要求2所述飞行时间相机的深度误差校准方法，其特征在于,所述预设训练集为{x_i，y_i}，其中，x_i表示飞行时间相机的测量距离数据，y_i表示所述飞行时间相机的深度误差数据；i为大于等于0的整数，所述调用预设参数选择算法对所述预设训练集进行分析处理，得到所述预设最小二乘支持向量机算法的第一惩罚系数和第一高斯核参数具体为：

使用

对参数状态x进行初始化；其中，

根据所述相似性数据得到每个粒子的权重值数据；

5.根据权利要求1所述飞行时间相机的深度误差校准方法，其特征在于，在所述预设训练集的构建包括：

6.根据权利要求5所述飞行时间相机的深度误差校准方法，其特征在于，所述根据每一帧所述第一深度图像数据和预设距离数据，得到所述第一深度图像数据对应的所述三维图像数据的深度误差数据具体包括：

7.根据权利要求1所述飞行时间相机的深度误差校准方法，其特征在于，在所述处理器提取原始图像数据之前，所述方法还包括：

所述飞行时间相机将所述原始图像数据发送给所述处理器。

8.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行如权利要求1-7任一所述的飞行时间相机的深度误差校准方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的飞行时间相机的深度误差校准方法。