CN115097427B

CN115097427B - 基于飞行时间法的自动标定方法

Info

Publication number: CN115097427B
Application number: CN202211019212.5A
Authority: CN
Inventors: 王伟光; 周炎文; 刘润涛; 沈国龙
Original assignee: Beiyuan Technology Shenzhen Co ltd
Current assignee: Beiyuan Technology Shenzhen Co ltd
Priority date: 2022-08-24
Filing date: 2022-08-24
Publication date: 2023-02-10
Anticipated expiration: 2042-08-24
Also published as: CN115097427A

Abstract

本发明属于自动标定技术领域，具体涉及基于飞行时间法的自动标定方法。所述系统包括：TOF相机、测距单元、标定板、滑轨系统和自动标定软件；所述滑轨系统配置用于响应自动标定软件的控制信号，控制TOF相机和测距单元相对于标定板运动；所述自动标定软件，配置用于在TOF相机和测距单元相对于标定板运动时，实时采集TOF相机和测距单元的数据，进行数据处理，生成标定结果，将标定结果发送至TOF相机进行存储。本发明实现了标定自动化，提升了标定的准确率和时效性。

Description

基于飞行时间法的自动标定方法

技术领域

本发明属于自动标定技术领域，具体涉及基于飞行时间法的自动标定方法。

背景技术

TOF(Time of Flight)飞行时间，，直译为飞行时间的意思。飞行时间技术在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间(介质/距离/时间均为已知或可测量)，从而进一步理解离子或媒介某些性质的技术。

TOF的基本原理是通过红外发射器发射调制过的光脉冲，遇到物体反射后，用接收器接收反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高，光速太快了，对于时间的测量有极高的精度要求。

在实际应用中，通常调制成脉冲波(一种正弦波)，当遇到障碍物发生漫反射，再通过特质的CMOS传感器接收反射的正弦波，这时波形已经发生了相位偏移，通过相位偏移可以计算物体到摄像头的距离。

由于测量光的飞行时间需要非常高的频率和精度，早期的TOF设备在体积上一直存在问题，成本也高，所以多用于工业领域。TOF的小型化极大依赖于近年来集成电路与传感技术上的突破，使得在CMOS芯片上对光脉冲相位的测量逐渐变得可行。

发明内容

有鉴于此，本发明的主要目的在于提供基于飞行时间法的自动标定方法，实现了标定自动化，提升了标定的准确率和时效性。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于飞行时间法的自动标定方法，包含TOF相机、测距单元、标定板、滑轨系统和自动标定软件，所述方法执行以下步骤：

步骤1：检测TOF相机温度，当TOF相机温度恒定后，准备开始标定；

步骤2：配置标定参数，开始标定，自动标定软件通过测距单元采集初始标准深度数据，然后通过电机控制单元控制移动导轨带动TOF相机和测距单元到指定位置；

步骤3：自动标定软件通过测距单元采集其在当前位置的标准深度数据，通过TOF相机采集相同位置的相机深度数据，并将上述采集到的数据保存；

步骤4：自动标定软件通过电机控制单元控制移动导轨到固定步长位置，重复步骤3，直到完成指定距离和频率所有步长代表的位置的相机深度数据和标准深度数据的采集；

步骤5：自动标定软件通过标定算法，将采集到的相机深度数据和标准深度数据进行拟合比较，计算出最佳的TOF相机深度匹配数据，作为标定结果；最后将标定结果表写入TOF相机的存储器中，完成该TOF相机的精度标定。

进一步的，所述步骤2中的配置标定参数的过程包括：配置TOF相机的模式；所述TOF相机包括多个模式，每个模式对应一个标定结果。

进一步的，所述步骤1还包括：进行系统自检，执行以下步骤：系统自检开始，设备端口查找；依次进行电机控制单元自检、测距单元自检和TOF相机自检，以判断电机控制单元、测距单元或TOF相机的连接是否正常；若电机控制单元、测距单元或TOF相机的连接正常，则自检通过；若电机控制单元、测距单元或TOF相机的连接不正常，则自检未通过。

进一步的，所述步骤2中自动标定软件通过电机控制单元控制移动导轨带动TOF相机和测距单元到指定位置的方法具体包括：自动标定软件将控制信号发送至电机控制单元；电机控制单元接收到控制信号后，依次进行方向解析、脉冲数解析和运行模式解析，根据解析结果生成指令下发至电机驱动单元；电机驱动单元基于接收到的指令控制伺服电机转动。

进一步的，所述步骤5中自动标定软件通过标定算法，将采集到的TOF相机深度数据和测距单元的标准深度数据进行拟合比较，计算出最佳的TOF相机深度匹配数据，作为标定结果的方法执行以下步骤：

步骤5.1：进行数据筛选，包括：

步骤5.1.1：获取原始数据：获取TOF相机温度TEM[]、相机深度数据X0[]、相机测量面平均深度数据X1[]和标准深度数据Y[]；

步骤5.1.2：根据当前TOF相机的模式对应的频率计算出最远距离；

步骤5.1.3：计算出相机深度数据X0[]和相机测量面平均深度数据X1[]对应点深度差的绝对值v，当绝对值v是否小于设定的范围值时，将相机测量面平均深度数据X1[]中对应的深度数据存入一个深度数据集合X[]，当绝对值v大于设定的范围值时，将相机深度数据X0[]中对应深度数据替代存入一个深度数据集合X[]；

步骤5.1.4：筛选出标准深度数据Y[]中值超过最远距离的标准深度数据，并将对应位置的标准深度数据Y[]中的深度数据减去最远距离；

步骤5.2：进行数据拼接，包括：

步骤5.2.1：获取标准深度数据Y[]中的最大值Y_MAX和最小值Y_MIN，求出差值取整并除以100，并从中取点；

步骤5.2.2：判断所取的点数据是否有超过测量范围，如果有则在原测量深度上减去或加上65536/2；

步骤5.3：进行线性拟合，包括：对所获取的深度数据集合X[]和对应的标准深度数据Y[]，进行函数线性拟合，计算出测量数据的最优函数模型，然后计算处其函数模型中的拟合多项式，根据拟合多项式，计算出最佳的TOF相机深度匹配数据，作为标定结果。

进一步的，所述步骤5.3中进行线性拟合的方法包括：对标准深度数据Y[]和深度数据集合X[]进行曲线拟合：其中，设定Y[]＝[y₁，y₂...y_n]，X[]＝[x₁，x₂...x_n]；组合成n个数据点：(x₁，y₁)，(x₂，y₂)...(x_n，y_n)；假定曲线方程为：y＝a₂x²+a₁x+a₀，其中a₂，a₁和a₀是未知参数；将(x₁，y₁)带入方程，得到

然后变形得到以下公式：

同理，根据(x₁，y_i)，i＝1，2...n，可以得到：

组合合成矩阵的形式，得到以下公式：

假设

为A，

为x，

为T；可以得到：

即可求出未知数a₂，a₁，a₀；根据拟合出来的公式y＝a₂x²+a₁x+a₀，就可以将标定距离设置为自变量带入公式中的x，求出连续的深度数据y，其为最佳的TOF相机深度匹配数据，作为标定结果。

本发明的基于飞行时间法的自动标定方法，具有如下有益效果：

1.自动化程度高：传统的TOF相机标定需要采集和处理大量的数据，现有技术中一般借助于人工来操作，而这往往需要长达几个小时操作和值守，标定数据精度和完整流程效率都不能满足生产标准。本发明通过搭建自动标定设备硬件，采取上位机软件配合的方式，全程实现自动化操作，无需人工值守和操作，同时保证了TOF相机标定结果的准确度和时效性，实现了TOF相机生产的标准。

2.操作简单：灵活的TOF相机距离配置，满足不同应用距离对3D图像的要求。上位机软件操作简单，一键启动，自动完成并保存标定数据。

3.精度高：本发明由于设备包含了高精度激光测距单元，保证了标定参考数据的高精度，使得最终的TOF相机采集标定数据精确度更高。

附图说明

图1为本发明实施例提供的基于飞行时间法的自动标定系统的系统硬件连接结构示意图；

图2为本发明实施例提供的基于飞行时间法的自动标定系统的系统结构示意图；

图3为本发明实施例提供的基于飞行时间法的自动标定方法的方法流程示意图；

图4为本发明实施例提供的基于飞行时间法的自动标定方法的系统自检流程示意图；

图5为本发明实施例提供的基于飞行时间法的自动标定方法的滑轨自动控制流程示意图；

图6为本发明实施例提供的基于飞行时间法的自动标定方法的数据采集流程示意图；

图7为本发明实施例提供的基于飞行时间法的自动标定方法的标定算法流程示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

实施例1

参考图1和图2，基于飞行时间法的自动标定系统，所述系统包括：TOF相机、测距单元、标定板、滑轨系统和自动标定软件；所述滑轨系统配置用于响应自动标定软件的控制信号，控制TOF相机和测距单元相对于标定板运动；所述自动标定软件，配置用于在TOF相机和测距单元相对于标定板运动时，实时采集TOF相机和测距单元的数据，进行数据处理，生成标定结果，将标定结果发送至TOF相机进行存储。

具体的，电机控制单元接收来自TOF自动标定软件的控制信号；电机控制单元根据控制信号发送指令至伺服电机，即导轨驱动电机，驱动放置于导轨上的TOF相机和测距单元相对于标定板运动。

在TOF相机和测距单元相对于标定板运动过程中，两者会实时记录其相对于标定板的距离数据，这些距离数据发送至TOF自动标定软件后，TOF自动标定软件会基于距离数据，分别得到相机深度数据和标准深度数据。再基于相机深度数据和标准深度数据，进行拟合计算后，得到标定结果。

具体的，测距单元为激光测距单元。

实施例2

在上一实施例的基础上，所述系统还包括：移动导轨；所述TOF相机和测距单元安置于所述移动导轨上；所述测距单元为激光测距单元。

具体的，TOF相机获得的距离数据，通过USB接口发送至TOF自动标定软件。激光测距单元获得的距离数据通过RS232传输线发送至TOF自动标定软件。同样的，TOF自动标定软件与电机控制单元之间的数据通信也通过RS232来实现。

实施例3

在上一实施例的基础上，所述滑轨系统包括：伺服电机、电机驱动单元和电机控制单元；所述伺服电机，配置用于在电机驱动单元的驱动下，驱动移动导轨带动TOF相机和测距单元相对于标定板运动；所述电机控制单元，配置用于响应自动标定软件的控制信号，发送指令至控制电机驱动单元，控制电机驱动单元响应所述指令，驱动伺服电机。

TOF图像传感器就是测量深度的传感器，每一个像素采集到的数据都是距离信息。测量点深度值就是每个像素采集的代表深度距离的数据。

温度对标定结果有着很重要对影响，并且并不是恒定，有一定波动。所以温度要引入到后续的计算中。

现实的距离参考标准。理论上来讲，如果TOF最终标定完成后，与这个激光测试模块实际测试出来的距离是一致的，那么TOF出来的深度信息就是准确的。比如最终测量出来的物体模型的三维尺寸就是非常准确的。下面附一张图便于理解一下。Depth就是TOF采集出来的深度图像，不同的颜色代表不同的距离；Gray就是灰度图像；Cloud是点云，就是把深度图像用一定数量的点表现出来实际的三维尺寸。

实施例4

在上一实施例的基础上，所述自动标定软件包括：深度数据采集处理单元、标准深度数据采集单元、滑轨自动控制单元和自动标定算法单元；所述滑轨自动控制单元，配置用于发送控制信号至电机控制单元，以控制伺服电机带动安置于滑轨上的TOF相机和测距单元相对于标定板运动；所述深度数据采集处理单元，配置用于采集TOF相机在相对于标定板运动过程中测量得到相机距离数据进行处理，得到相机深度数据；所述标准深度数据采集单元，配置用于采集测距单元在相对于标定板运动过程中测量得到的距离数据进行处理，得到标准深度数据；所述自动标定算法单元，配置用于基于相机深度数据和标准深度数据，生成标定结果，将标定结果发送至TOF相机进行存储。

实施例5

参考图3，一种基于飞行时间法的自动标定方法，所述方法执行以下步骤：

具体的，步骤1：开启TOF自动标定系统总电源，自动标定软件进入系统初始化，检测TOF相机温度，当TOF相机温度恒定后，准备开始标定。步骤2：标定参数配置完成，开始标定。自动标定软件通过激光测距模块采集当前实际距离，然后通过电机控制单元控制移动导轨到指定位置。步骤3：自动标定软件通过激光测距模块采集初始深度距离值，TOF相机采集相同位置深度值。并将上述两个模块采集到的值保存。步骤4：自动标定软件进一步通过电机控制单元移动导轨到固定步长位置，重复步骤3):如此直到完成指定距离和频率所有步长代表的位置深度距离值采集。步骤5：自动标定软件通过标定算法，将采集到的TOF相机深度数据表和激光测距单元实际深度数据表进行拟合比较，计算出最佳的TOF相机深度匹配值。最后通过TOF相机USB接口，将标定结果表写入TOF相机的存储器中。即完成该TOF相机的精度标定。

实施例6

在上一实施例的基础上，所述步骤2中的配置标定参数的过程包括：配置TOF相机的模式；所述TOF相机包括多个模式，每个模式对应一个标定结果。

参考图2，标准深度数据采集通过测距单元实现。深度数据采集处理通过TOF相机实现。测距单元采集到的距离数据发送至TOF自动标定系统软件后，TOF自动标定系统软件通过距离数据，得到标准深度数据。实质上，其为将测距单元测量到的实际的距离数据当作标准参考。一般来说测距单元使用激光测距，激光测距采集的是真实的标准参考距离。TOF图像传感器自身也会计算出一个距离，通过该过程，完成深度数据采集处理，标定的目的是让以上两个距离尽可能的一致和吻合。如果不能够吻合，就需要找到对应的关系做软件的辅助拟合匹配。

实施例7

参考图4，在上一实施例的基础上，所述步骤1还包括：进行系统自检，执行以下步骤：系统自检开始，设备端口查找；依次进行电机控制单元自检、测距单元自检和TOF相机自检，以判断电机控制单元、测距单元或TOF相机的连接是否正常；若电机控制单元、测距单元或TOF相机的连接正常，则自检通过；若电机控制单元、测距单元或TOF相机的连接不正常，则自检未通过。

具体的，在系统自检过程中，系统自检开始后，首先进行设备端口查找。然后进行电机控制单元自检，判断是否连接正常，如果否，则系统自检未通过，如果是，则进行激光测距单元自检，判断是否连接正常，如果否，则系统自检未通过，如果是，则进行TOF相机自检，判断是否连接正常，如果否，则系统自检未通过。如果是，则系统自检通过。

实施例8

参考图5，在上一实施例的基础上，所述步骤2中自动标定软件通过电机控制单元控制移动导轨带动TOF相机和测距单元到指定位置的方法具体包括：自动标定软件将控制信号发送至电机控制单元；电机控制单元接收到控制信号后，依次进行方向解析、脉冲数解析和运行模式解析，根据解析结果生成指令下发至电机驱动单元；电机驱动单元基于接收到的指令控制伺服电机转动。

具体的，电机控制单元接收指令，然后进行方向解析，再进行脉冲数解析，最后进行运行模式解析。然后下发指令至电机驱动单元，电机驱动单元驱动电机转动。

在驱动过程中，判断是否运行至极限位置，如果是，则电机停止转动。如果否，则判断是否运行至目标位置，如果否，则再进行电机转动，如果是，则电机停止。

通过方向解析、脉冲数据解析和运行模式解析来分别控制电机转动方向，转动的速度以及运动模式。其中，运动模式包括连续模式，点动单步模式或其他模式。在本发明中，一般使用点动单步模式。对于伺服电机的控制，都是通过TOF标定软件来下达指令提前做好配置。相当于对电机的未来运行逻辑做初始化。

实施例9

参考图6，在上一实施例的基础上，所述步骤5中自动标定软件通过标定算法，将采集到的TOF相机深度数据和测距单元的标准深度数据进行拟合比较，计算出最佳的TOF相机深度匹配数据，作为标定结果的方法执行以下步骤：

步骤5.1：进行数据筛选，包括：

步骤5.2：进行数据拼接，包括：

具体的，数据采集：(1)0TOF相机深度数据采集、激光测距单元数据采集、VCSEL温度采集。(2)TOF的自动标定软件下发指令控制电机控制单元移动，采集所有目标位置处(1)内容中的数据。(3)TOF相机内部包含多种模式的配置，模式切换由TOF的自动标定软件自动设置，模式切换后，进行(2)项内容。

其中，VCSEL为垂直腔面发射激光器。

获取原始数据：TEM[](TOF相机温度)，X0[](TOF相机测量点深度值)，X1[](TOF相机测量面平均深度值)，Y[](激光测距测量深度值)。

根据当前频率计算出当前测试的最远距离：MAX＝(C/f)/2MIN(最小距离可自定义)。

C为光在空气中的传播速度约等于299792458m/sf为当前配置的频率。

求出X0[]和X1[]对应点深度差的绝对值v，v小于一定范围(暂定为400)的深度数据时将X1[]中对应深度数据存入X[]，v大于一定范围的深度数据时将X0[]中对应深度数据替代存入X[]。v＝[X0[i]-X1[i]]；

先获取Y[]中的最大值Y_MAX和最小值Y_MIN，求出差值取整并除以100，并从中取点。

判断所取的点数据是否有超过测量范围，如果有则在原测量深度上减去或加上65536/2。

对所获取的深度数据点X[]和对应的实际测量Y[]，进行函数线性拟合，目的是为了求出测量数据的最优函数模型(例：f(X)＝a₂X²+a₁X+a₀)，所以它必须满足：

然后求出其函数模型中的拟合多项式：

根据拟合出来的公式，就可以将我们标定距离设置为自变量带入公式，求出连续的深度数据，并保存本地。

实施例10

参考图7，在上一实施例的基础上，所述步骤5.3中进行线性拟合的方法包括：对标准深度数据Y[]和深度数据集合X[]进行曲线拟合：其中，设定Y[]＝[y₁，y₂...y_n]，X[]＝[x₁，x₂...x_n]；组合成n个数据点：(x₁，y₁)，(x₂，y₂)...(x_n，y_n)；假定曲线方程为：y＝a₂x²+a₁x+a₀，其中a₂，a₁和a₀是未知参数；将(x₁，y₁)带入方程，得到

然后变形得到以下公式：

同理，根据(x₁，y_i)，i＝1，2...n，可以得到：

组合合成矩阵的形式，得到以下公式：

假设

为A，

为x，

为T；可以得到：

需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。

Claims

1.基于飞行时间法的自动标定方法，其特征在于：包含TOF相机、测距单元、标定板、滑轨系统和自动标定软件，所述方法执行以下步骤：

步骤5：自动标定软件通过标定算法，将采集到的相机深度数据和标准深度数据进行拟合比较，计算出最佳的TOF相机深度匹配数据，作为标定结果；最后将标定结果表写入TOF相机的存储器中，完成该TOF相机的精度标定；所述步骤5中自动标定软件通过标定算法，将采集到的TOF相机深度数据和测距单元的标准深度数据进行拟合比较，计算出最佳的TOF相机深度匹配数据，作为标定结果的方法执行以下步骤：

步骤5.1：进行数据筛选，包括：

步骤5.2：进行数据拼接，包括：

步骤5.3：进行线性拟合，包括：对所获取的深度数据集合X[]和对应的标准深度数据Y[]，进行函数线性拟合，计算出测量数据的最优函数模型，然后计算处其函数模型中的拟合多项式，根据拟合多项式，计算出最佳的TOF相机深度匹配数据，作为标定结果；所述步骤5.3中进行线性拟合的方法包括：对标准深度数据Y[]和深度数据集合X[]进行曲线拟合：其中，设定Y[]＝[y₁，y₂...y_n]，X[]＝[x₁，x₂...x_n]；组合成n个数据点：(x₁，y₁)，(x₂，y₂)...(x_n，y_n)；假定曲线方程为：y＝a₂x²+a₁x+a₀，其中a₂，a₁和a₀是未知参数；将(x₁，y₁)带入方程，得到

然后变形得到以下公式：

同理，根据(x₁，y_i)，i＝1，2...n，可以得到：

组合合成矩阵的形式，得到以下公式：

假设

为A，

为x，

为T；可以得到：

即可求出未知数a₂，a₁，a₀；根据拟合出来的公式y＝a₂x²+a₁x+a_o，就可以将标定距离设置为自变量带入公式中的x，求出连续的深度数据y，其为最佳的TOF相机深度匹配数据，作为标定结果。

2.如权利要求1所述的方法，其特征在于，所述步骤2中的配置标定参数的过程包括：配置TOF相机的模式；所述TOF相机包括多个模式，每个模式对应一个标定结果。

3.如权利要求2所述的方法，其特征在于，所述步骤1还包括：进行系统自检，执行以下步骤：系统自检开始，设备端口查找；依次进行电机控制单元自检、测距单元自检和TOF相机自检，以判断电机控制单元、测距单元或TOF相机的连接是否正常；若电机控制单元、测距单元或TOF相机的连接正常，则自检通过；若电机控制单元、测距单元或TOF相机的连接不正常，则自检未通过。

4.如权利要求3所述的方法，其特征在于，所述步骤2中自动标定软件通过电机控制单元控制移动导轨带动TOF相机和测距单元到指定位置的方法具体包括：自动标定软件将控制信号发送至电机控制单元；电机控制单元接收到控制信号后，依次进行方向解析、脉冲数解析和运行模式解析，根据解析结果生成指令下发至电机驱动单元；电机驱动单元基于接收到的指令控制伺服电机转动。