CN113765611B

CN113765611B - 时间戳确定方法及相关设备

Info

Publication number: CN113765611B
Application number: CN202010495067.2A
Authority: CN
Inventors: 彭真; 毛洋; 宋江新; 李�杰; 毛慧; 浦世亮
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-06-03
Filing date: 2020-06-03
Publication date: 2023-04-14
Anticipated expiration: 2040-06-03
Also published as: CN113765611A

Abstract

本申请公开了一种时间戳确定方法、装置及计算机存储介质，属于机器视觉技术领域。在本申请中，数据处理单元如果在第一时间点检测到IMU缓存第一IMU数据时，向图像采集单元发送用于指示进行曝光的触发信号。因此，可以以第一时间点为参照时间点分别确定第一图像数据的时间戳和第一IMU数据的时间戳，保证这两者的时间戳是在同一时钟体系下确定的。在确定第一图像数据的时间戳时，不管图像采集单元处于自动曝光模式还是固定曝光模式，只需根据第一图像数据的曝光时长对第一时间点进行补偿，即可自适应得到第一图像数据精确的时间戳。在确定第一IMU数据的时间戳时，只需根据第一时延对第一时间点进行补偿，即可得到精确的时间戳。

Description

时间戳确定方法及相关设备

技术领域

本申请涉及机器视觉技术领域，特别涉及一种时间戳确定方法及相关设备。

背景技术

在VIO(visual inertial odometry，视觉惯性测量)技术中，可以基于IMU(inertial measurement unit，惯性测量单元)采集的角速度和加速度数据、以及图像采集单元采集的图像数据，实时精确确定出设备的位姿信息。其中，角速度和加速度数据的时间戳、以及图像数据的时候戳的准确性在一定程度上会影响确定出的位姿信息的有效性。因此，如何确定这些数据的时间戳是VIO技术中需要重点解决的问题。

为了后续便于说明，将IMU采集的数据统称为IMU数据。相关技术中，通常将接收IMU上报的数据时的时间点作为IMU数据的时间戳。将接收图像采集单元上报的图像数据的时间点作为图像数据的时间戳。

显然，上述确定的IMU数据的时间戳相对于实际采集IMU数据的时间点有延迟，确定的图像数据的时间戳相对于实际采集图像数据时的时间点也有延迟，从而导致确定出的时间戳不是很准确。并且上述方式中是分别独立地确定IMU数据的时间戳和图像数据的时间戳，不能保证IMU数据的时间戳和图像数据的时间戳是在同一个时钟体系下确定的，从而导致实际上同一时刻采集的IMU数据和图像数据，但是两者的时间戳并不相同(也即是两者的时间戳并没有同步)，从而影响后续基于IMU数据和图像数据确定位姿信息的准确性。

发明内容

本申请实施例提供了一种时间戳确定方法及相关设备，可以在实现IMU数据的时间戳和图像数据的时间戳在同一时钟体系下确定，并提高IMU数据的时间戳和图像数据的时间戳的准确性。所述技术方案如下：

一方面，提供了一种时间戳确定方法，应用于视觉惯性融合系统中的数据处理单元，所述视觉惯性融合系统还包括惯性测量单元IMU和图像采集单元，所述方法包括：

在第一时间点检测到所述IMU缓存第一IMU数据时，向所述图像采集单元发送触发信号，所述触发信号用于指示所述图像采集单元进行曝光；

在获取到所述第一IMU数据后，将所述第一时间点和第一时延之间的差值确定为所述第一IMU数据的时间戳，所述第一时延用于指示所述IMU从采集所述第一IMU数据到缓存所述第一IMU数据之间经历的时长；

在接收到所述图像采集单元发送的第一图像数据后，根据所述第一时间点和所述第一图像数据的曝光时长，确定所述第一图像数据的时间戳。

可选地，所述方法还包括：

在第二时间点检测到所述IMU缓存第二IMU数据时，向所述图像采集单元发送所述触发信号；

在获取到所述第二IMU数据后，将所述第二时间点确定为所述第二IMU数据的时间戳；

在接收到所述图像采集单元发送的第二图像数据后，根据所述第二时间点和所述第二图像数据的曝光时长，确定所述第二图像数据的时间戳；

返回执行在第二时间点检测到所述IMU缓存第二IMU数据时，向所述图像采集单元发送所述触发信号的操作，直至得到多个第二IMU数据和每个IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳；

根据所述多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，标定所述第一时延。

可选地，所述根据所述第一时间点和所述第一图像数据的曝光时长，确定所述第一图像数据的时间戳，包括：

确定第二时延，所述第二时延用于指示所述图像采集单元从接收到所述触发信号到开始曝光经历的时长；

根据所述第一时间点、所述第二时延和所述图像采集单元的曝光时长，确定所述第一图像数据的时间戳。

可选地，所述根据所述第一时间点、所述第二时延和所述第一图像数据的曝光时长，确定所述第一图像数据的时间戳，包括：

将所述第一时间点、所述第二时延和所述曝光时长的一半，三者之间的加和确定为所述第一图像数据的时间戳。

可选地，所述在第一时间点检测到所述IMU缓存第一IMU数据时，向所述图像采集单元发送触发信号，包括：

在所述第一时间点接收所述IMU发送的中断信号，所述中断信号用于指示所述IMU完成所述第一IMU数据的采集并将所述第一IMU数据缓存，以提示所述数据处理单元从所述IMU处获取所述第一IMU数据；

确定上次发送触发信号之后到当前时间为止接收到中断信号的次数；

如果确定的次数大于次数阈值，则向所述图像采集单元发送触发信号。

可选地，所述图像采集单元包括多个相机；所述方法还包括：

确定目标图像采集参数，所述目标图像采集参数包括曝光时长；

将所述目标图像采集参数更新在所述多个相机的每个相机中，以使所述多个相机均基于所述目标图像采集参数采集图像数据。

可选地，所述确定目标图像采集参数，包括：

确定所述多个相机中目标相机在当前时间点之前采集的图像数据的亮度信息，所述目标相机为所述多个相机中任一个；

根据所述亮度信息调整当前时间之前的图像采集参数，得到所述目标图像采集参数。

可选地，所述方法还包括：

在获取到多个第一图像数据的时间戳和多个第一IMU数据的时间戳后，对于所述多个第一图像数据中的目标第一图像数据，如果所述多个第一IMU数据的时间戳中没有与所述目标第一图像数据的时间戳一致的IMU数据，则从所述多个第一IMU数据的时间戳中获取与所述目标第一图像数据的时间戳前后各自距离最近的两个时间戳；

根据获取的两个时间戳分别对应的两个第一IMU数据，确定与所述目标第一图像数据的时间戳对应的IMU数据，得到插值的IMU数据，所述多个第一图像数据、多个第一IMU数据以及插值的IMU数据用于确定位姿信息。

另一方面、提供了一种时间戳确定装置，应用于视觉惯性融合系统中的数据处理单元，所述视觉惯性融合系统还包括惯性测量单元IMU和图像采集单元，所述装置包括：

发送模块，用于在第一时间点检测到所述IMU缓存第一IMU数据时，向所述图像采集单元发送触发信号，所述触发信号用于指示所述图像采集单元进行曝光；

确定模块，用于在获取到所述第一IMU数据后，将所述第一时间点和第一时延之间的差值确定为所述第一IMU数据的时间戳，所述第一时延用于指示所述IMU从采集所述第一IMU数据到缓存所述第一IMU数据之间经历的时长；

所述确定模块，还用于在接收到所述图像采集单元发送的第一图像数据后，根据所述第一时间点和所述第一图像数据的曝光时长，确定所述第一图像数据的时间戳。

可选地，

所述发送模块，还用于在第二时间点检测到所述IMU缓存第二IMU数据时，向所述图像采集单元发送所述触发信号；

所述确定模块，还用于在获取到所述第二IMU数据后，将所述第二时间点确定为所述第二IMU数据的时间戳；

所述确定模块，还用于在接收到所述图像采集单元发送的第二图像数据后，根据所述第二时间点和所述第二图像数据的曝光时长，确定所述第二图像数据的时间戳；

所述装置还包括：

执行模块，用于返回执行在第二时间点检测到所述IMU缓存第二IMU数据时，向所述图像采集单元发送所述触发信号的操作，直至得到多个第二IMU数据和每个IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳；

标定模块，用于根据所述多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，标定所述第一时延。

可选地，所述确定模块用于：

可选地，所述发送模块用于：

可选地，所述图像采集单元包括多个相机；

所述确定模块，用于确定目标图像采集参数，所述目标图像采集参数包括曝光时长；

所述装置还包括更新模块，用于将所述目标图像采集参数更新在所述多个相机的每个相机中，以使所述多个相机均基于所述目标图像采集参数采集图像数据。

可选地，所述确定模块用于：

可选地，所述装置还包括：

获取模块，用于在获取到多个第一图像数据的时间戳和多个第一IMU数据的时间戳后，对于所述多个第一图像数据中的目标第一图像数据，如果所述多个第一IMU数据的时间戳中没有与所述目标第一图像数据的时间戳一致的IMU数据，则从所述多个第一IMU数据的时间戳中获取与所述目标第一图像数据的时间戳前后各自距离最近的两个时间戳；

所述确定模块，还用于根据获取的两个时间戳分别对应的两个第一IMU数据，确定与所述目标第一图像数据的时间戳对应的IMU数据，得到插值的IMU数据，所述多个第一图像数据、多个第一IMU数据以及插值的IMU数据用于确定位姿信息。

另一方面，提供了一种时间戳确定装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器执行所述存储器中的可执行指令来执行上述提供的时间戳确定方法中的所述的任一项方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述提供的时间戳确定方法中的所述的任一项方法的步骤。

另一方面，提供了一种机器人，所述机器人中配置有数据处理单元、IMU和图像采集单元，所述数据处理单元被配置为实现上述时间戳确定方法中的任一步骤。

本申请实施例提供的技术方案带来的有益效果至少包括以下几个方面：

(1)视觉惯性融合系统中的数据处理单元如果在第一时间点检测到IMU缓存第一IMU数据时，向图像采集单元发送用于指示图像采集单元进行曝光的触发信号。因此，数据处理单元可以以第一时间点为参照时间点分别确定第一图像数据的时间戳和第一IMU数据的时间戳，从而保证这两者的时间戳是在同一时钟体系下确定的，以便于后续确定位姿信息时对两者的时间戳进行同步。

(2)数据处理单元是以第一时间点为参照时间点确定第一图像数据的时间戳，因此，在确定第一图像数据的时间戳时，不管图像采集单元处于自动曝光模式还是固定曝光模式，只需根据第一图像数据的曝光时长对第一时间点进行补偿，即可自适应得到第一图像数据精确的时间戳。

(3)数据处理单元是以第一时间点为参照时间点确定第一IMU数据的时间戳的，因此，在确定第一IMU数据的时间戳时，只需根据第一时延对第一时间点进行补偿，即可得到精确的时间戳。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视觉惯性融合系统的示意图；

图2是本申请实施例提供的一种时间戳确定方法流程图；

图3是本申请实施例提供的一种图像采集单元采集数据的频率和IMU采集数据的频率之间的比例示意图；

图4是本申请实施例提供的一种时间轴的示意图；

图5是本申请实施例提供的一种时间戳确定装置示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的应用场景进行介绍。

目前，在AR(augmented reality，增强现实)以及MR(mixed reality，混合现实)等领域，通常需要在真实空间中准确叠加虚拟目标，这种情况下，就需要实时估计出虚拟目标的位置和姿态信息，也即是，位姿信息。

比如，在AR或MR游戏场景中，需要在真实空间中放置虚拟物体，在用户移动的过程中需要虚拟物体保持其原来放置的位置和姿态不变，这就需要对用户自身相对于真实物理空间的运动状态进行估计，从而保证在用户从不同的地方看向虚拟物体时其相对于真实物理空间的位置都保持固定，从而产生虚拟叠加的效果。

又比如，在移动机器人领域中，需要对机器人本身相对于其活动空间的位置和姿态信息进行估计，从而知道当前机器人的位置，以使其完成相应的任务。

VIO技术就是一种可以精确估计目标的位置和姿态信息的数据。在VIO技术中，可以根据IMU采集的IMU数据以及IMU数据的时间戳、以及相机采集的图像数据和图像数据的时间戳来确定目标的位姿信息。本申请实施例提供的时间戳确定方法就应用于基于IMU数据和图像数据确定位姿信息的场景中。当然，本申请实施例提供的方法也可以应用于在其他需要同步IMU数据和图像数据的场景中，在此就不再一一举例说明。

接下来对本申请实施例所涉及的装置结构进行介绍。

图1是本申请实施例提供的一种视觉惯性融合系统的示意图。如图1所示，该系统100包括数据处理单元101、IMU 102和图像采集单元103。IMU102和图像采集单元103可以分别与数据处理单元101基于固定的近距离有线通信协议进行通信。其中，IMU102和数据处理单元101之间的通信接口可以为SPI(Serial Peripheral Interface，串行外设接口)、I2C(Inter－Integrated Circuit，两线式串行总线)接口等。图像采集单元103和数据处理单元101之间的通信接口可以为MIPI(Mobile Industry Processor Interface，移动产业处理器接口)、DVS(digital video server，网络视频服务器)接口、以及I2C等。

IMU 102中包含三轴加速度计与三轴陀螺仪传感器，用于分别采集部署该IMU 102的目标的加速度数据和角速度数据。也即是，IMU 102用于采集IMU数据，IMU102在完成对IMU数据的采集后，将该IMU数据缓存在自身的寄存器内，以便于后续数据处理单元101可以从IMU 102处获取或读取该IMU数据。

图像采集单元103中包含一个或多个相机，用于分别采集针对该目标的图像数据。也即是，图像采集单元103用于采集图像数据，并将采集的图像数据发送至数据处理单元101。

数据处理单元用于基于IMU 102采集的IMU数据和图像采集单元103采集的图像数据确定各个数据的时间戳，以便于后续数据处理单元或其他位姿确定设备基于这些数据以及这些数据的时间戳确定该目标的位姿信息。

在本申请实施例中，为了实现图像数据的时间戳和IMU数据的时间戳在同一时钟体系下确定，图像采集单元103可以基于数据处理单元101的触发信号进行曝光。也即是，图像采集单元103工作在外部触发模式。而数据处理单元101可以在检测到IMU 102缓存IMU数据时，向图像采集单元103发送该触发信号。如此，后续数据处理单元便可以该发送该触发信号的时间点为参考时间点分别确定IMU数据的时间戳和图像数据的时间戳，从而保证两个数据的时间戳是在同一时钟体系下确定的。

此外，IMU 102完成对IMU数据的采集，并将IMU数据缓存后，通常会向数据处理单元101发送一个中断信号，该中断信号用于通知数据处理单元101IMU 102已经做好IMU数据的准备，以指示数据处理单元101从IMU处获取该IMU数据。因此，在一种可能的实现方式中，如图1所示，数据处理单元101可以基于IMU 102发送的中断信号来触发向图像采集单元103发送触发信号。具体实现方式将在下述方法实施例中详细说明，在此就先不展开说明。

此外，由于加载有非实时操作系统的处理单元在处理信号时通常由于任务排队原因可能导致延迟处理信号，因此，在本申请实施例中，为了提高最终确定的时间戳的精确性。如图1所示，该数据处理单元101可以包括实时处理器1011和主计算处理器1012。

其中，实时处理器1011可以为嵌入式实时处理器，该嵌入式实时处理器中没有加载操作系统或者加载有实时操作系统。该实时处理器1011可以为MCU(微控制单元，microcontroller unit)、FPGA(field programmable gate array，现场可编程逻辑门阵列)等嵌入式处理器，在此不再一一举例说明。主计算处理器1012可以包括ARM(AdvancedRISC Machine，高级精简指令处理器)处理器等非实时处理器，在此同样不再一一举例说明。

该实时处理器1011有以下两个作用：

(1)该实时处理器1011用于基于检测到IMU 102发送的某个信号向图像采集单元103发送触发信号，该触发信号用于指示图像采集单元103基于内置的图像采集参数进行曝光，从而采集图像数据。

(2)该实时处理器1011在从IMU处获取到IMU数据后，将IMU数据和IMU 102发送信号的时间点发送至主计算处理器1012，以便于后续主计算处理器1012基于该时间点为图像数据和IMU数据添加时间戳。

基于上述对中断信号的解释说明可知，在一种可能的实现方式中，该实时处理器1011可以基于IMU 102发送的中断信号来触发向图像采集单元103发送触发信号。因此，在一种可能的实现方式中，如图1所示，实时处理器1011在获取到IMU数据后，可以将接收到针对该IMU数据的中断信号的时间点和该IMU数据发送至主计算处理器1012。

进一步地，考虑到IMU 102的高频工作特性，也即是，IMU采集数据的频率通常较高。但是相机的工作频率(相机的工作频率是指相机的帧率)目前由于内部特性是受限的，因此各个相机均有一个上限工作频率，且该上限工作频率通常低于IMU采集数据的频率。因此，可以基于IMU 102采集数据的频率设置发送触发信号的频率。比如，可以设置发送触发信号的频率低于采IMU数据的频率，以实现在IMU每采集一段时间IMU数据后才触发图像采集单元采集图像数据。

因此，如图1所示，在一种可能的实现方式中，实时处理器1011中可以部署计数器，该计数器用于对接收到的中断信号进行统计，以在接收到中断信号的次数满足指定要求时，向图像采集单元103发送触发信号。可选地，实时处理器1011也可以基于其他的方式比如软件程序来统计接收到的中断信号的次数，在此不再详细说明。

主计算处理器1012用于接收实时处理器1011发送的IMU数据和该IMU数据对应的中断信号的时间点。主计算处理器1012还用于接收图像采集单元103发送的图像数据。主计算处理器1012确定IMU数据的时间戳和图像数据的时间戳。具体实现方式将在下述方法实施例中详细说明，在此同样不再展开解释。

此外，如图1所示，图像采集单元103可以包括一个或多个相机，这一个或多个相机可以工作在固定曝光模式下，也可以工作在自动曝光模式下，本申请实施例对此不作具体限定。其中，固定曝光模式是指基于同一个固定的图像采集参数采集图像数据的模式。自动曝光模式是指基于当前时间之前采集的图像数据的特征实时调整图像采集参数，以使后续基于调整后的图像采集参数继续采集图像数据。图像采集参数可以包括诸如曝光时长、曝光增益等参数，在此就不再一一举例说明。

此外，如图1所示，主计算处理器1012中可以部署图像处理单元，该图像处理单元中包含图像信号接收子模块和ISP(image signal processor，图像信号处理子模块)，该主计算处理器1012可以基于该图像信号接收子模块接收图像采集单元103中的各个相机发送的图像数据。

进一步地，当图像采集单元103包括多个相机时，为了保证各个相机采集的图像数据的时间戳之间的同步，该主计算处理器1012还可以控制各个相机的图像采集参数一致，从而保证各个相机采集的图像数据的时间戳之间的同步。后续方法实施例将对此进行详细说明，在此同样不再展开解释。

基于上述视觉融合系统，本申请实施例还提供了一种机器人，该机器人具有上述视觉融合系统的相同的结构及相关功能。也即是，本申请实施例提供的机器人用于实现本申请实施例提供的时间戳确定方法。

接下来对本申请实施例提供的时间戳确定方法进行介绍。

图2是本申请实施例提供的一种时间戳确定方法流程图。该方法可以应用于图1所示的数据处理单元中。如图2所示，该方法包括以下步骤：

步骤201：数据处理单元在第一时间点检测到IMU缓存第一IMU数据时，向图像采集单元发送触发信号，该触发信号用于指示图像采集单元进行曝光。

基于图1所示的系统架构可知，为了进一步提高确定的时间戳的精确性，步骤201的实现过程可以为：数据处理单元中的实时处理器在第一时间点接收IMU发送的中断信号，该中断信号用于指示IMU完成第一IMU数据的采集并将第一IMU数据缓存，以提示数据处理单元述IMU处获取第一IMU数据。此时，实时处理器便可向图像采集单元发送触发信号，以便该图像采集单元在接收到该触发信号时进行曝光以采集第一图像数据。

在本申请实施例中，实时处理器可以在每次接收到中断信号时，均可发送触发信号。也即是，在IMU每采集一次IMU数据，便触发图像采集单元采集一次图像数据。

可选地，考虑到IMU 102的高频工作特性，也即是，IMU采集数据的频率通常较高。但是相机的工作频率目前由于内部特性是受限的，因此各个相机均有一个上限工作频率，且该上限工作频率通常低于IMU采集数据的频率。因此，可以在IMU每采集一段时间IMU数据后才触发图像采集单元采集图像数据。

因此，在一种可能的实现方式中，步骤201的实现过程可以为：实时处理器在第一时间点接收IMU发送的中断信号，实时处理器确定上次发送触发信号之后到当前时间为止接收到中断信号的次数；如果确定的次数大于次数阈值，则向图像采集单元发送触发信号。

上述确定上次发送触发信号之后到当前时间为止接收到中断信号的次数可以通过图1中的实时处理器中部署的计数器来实现，也可以通过其他软件程序来实现。在此不再一一举例说明。

上述次数阈值可以基于图像采集单元采集数据的频率和IMU采集数据的频率之间的比例来确定。图3是本申请实施例提供的一种图像采集单元采集数据的频率和IMU采集数据的频率之间的比例示意图。如图所示，假设预先设置的发送触发信号的频率为IMU采集数据的频率的1/10，也即是，图像采集单元采集数据的频率和IMU采集数据的频率之间的比例为1/10。此时，如图3所示，表明在IMU每采集10次数据时，需要触发图像采集单元采集一次图像数据。因此，该次数阈值可以设置为10。

其中，图像采集单元采集数据的频率和IMU采集数据的频率可以根据应用场景的需求来设置。比如，对于目标运动速度较快的场景，可以将图像采集单元采集数据的频率和IMU采集数据的频率设置的大一点。对于目标运动速度较慢的场景，可以将图像采集单元采集数据的频率和IMU采集数据的频率设置的小一点。

此外，在设置采集IMU数据的频率还可以考虑IMU的器件噪声。比如可以直接从100～1000Hz之间在器件噪声允许的范围之内选择一个最大频率作为采集IMU数据的频率。在设置采集图像数据的频率时可以基于图像采集单元本身的上限频率，以及主计算处理器对于图像数据的处理速度来确定图像采集单元采集图像数据的频率。

上述仅仅是确定图像采集单元采集数据的频率和IMU采集数据的频率的两种可能的实现方式，在应用本申请实施例时，可以根据需求来选择通过哪种实现方式确定两者的频率，在此就不再一一举例说明。

针对上述实现方式，在此需要说明以下两点：

(1)上述是以实时处理器来举例说明步骤201，由于实时处理器的实效性，这种情况下，数据处理单元接收到中断信号的时间点和发送触发信号的时间点可以认为是同一时间点。如此可以避免由于数据处理单元在接收到中断信号到发送触发信号之间产生的时延，而导致后续确定的时间戳的不准确性。

可选地，在应用本申请实施例提供的方法时，如果没有部署实时处理器，则直接通过主计算处理器来实现步骤201，在此就不再详细说明。

(2)上述是以中断信号来举例说明数据处理单元如何检测到IMU缓存第一IMU数据。由于IMU发送中断信号到数据处理单元接收到中断信号之间的时长基本可以忽略不计。因此，通过中断信号来指示发送触发信号，可以保证发送触发信号的时间点和开始触发图像采集单元进行曝光的时间点几乎为同一时间点，进而保证了后续确定的时间戳的准确性。

可选地，如果IMU通过其他类型的信号来指示已经完成第一IMU数据缓存，数据处理单元同样可以基于上述实现方式发送触发信号，在此就不作具体限定了。

在数据处理单元通过步骤201向图像采集单元发送触发信号后，图像采集单元接收该触发信号，并开始进行曝光，以采集第一图像数据，并将采集的第一图像数据发送至数据处理单元。

上述图像采集单元采集第一图像数据是基于自身寄存器中存储的图像采集参数采集的。该图像采集参数可以包括曝光时长、曝光增益等参数。

如图1所示，当图像采集单元包括多个相机时，这种场景下，由于数据处理单元后续是基于曝光时长来确定图像数据的时间戳的，为了保证各个相机采集的图像数据的时间戳能够同步，数据处理单元可以控制在同一时间点各个相机采用同一图像采集参数进行工作，以保证在同一时刻各个相机采用同一个曝光时长进行曝光。因此，在一种可能的实现方式中，数据处理单元配置各个相机的图像采集参数的实现过程可以为：确定目标图像采集参数，该目标图像采集参数包括曝光时长，将该目标图像采集参数更新在多个相机的每个相机中，以使多个相机均基于目标图像采集参数采集图像数据。

上述将该目标图像采集参数更新在多个相机的每个相机中，也即是，将该目标图像参数存储在各个相机的寄存器中。

此外，上述数据处理单元配置各个相机的图像采集参数的实现方式可以应用于固定曝光模式中。这种场景下，在系统初始化时，数据处理单元便可通过上述实现方式统一设置各个相机的图像采集参数，也即是，目标图像采集参数，该目标图像采集参数可以基于数据处理单元的对外接口由用户自行设置，在此不再详细说明。后续各个相机均基于该图像采集参数采集图像数据。

可选地，上述数据处理单元配置各个相机的图像采集参数的实现方式也可以应用于自动曝光模式中。这种场景下，在任一时刻，数据处理单元均可以对图像采集参数进行调整，得到目标图像采集参数。因此，在一种可能的实现方式中，数据处理单元确定目标图像采集参数的实现过程可以为：确定多个相机中目标相机在当前时间点之前采集的图像数据的亮度信息，目标相机为多个相机中任一个；根据亮度信息调整当前时间之前的图像采集参数，得到目标图像采集参数。

也即是，在自动曝光模式下，数据处理单元可以根据当前时间点之前任一相机采集的图像数据的亮度信息对各个相机当前时间点之后采集图像数据所使用的目标图像采集参数进行动态调整。因此，在自动曝光模式中，数据处理单元可以控制在同一时间点各个相机采用同一图像采集参数进行工作，以保证在同一时刻各个相机采用同一个曝光时长进行曝光，以实现对各个相机的曝光时长的统一管理。

如图1所示，主计算处理器可以基于ISP来对各个相机的寄存器中的目标图像采集参数通过上述任一实现方式进行配置。可选地，主计算处理器也可以基于其他接口通过上述任一实现方式进行配置，本申请实施例对此不作具体限定。

通过步骤201，视觉惯性融合系统中的数据处理单元如果在第一时间点检测到IMU发送第一IMU数据时，向图像采集单元发送用于指示图像采集单元进行曝光的触发信号。因此，数据处理单元可以通过后续步骤202和步骤203以第一时间点为参照时间点分别确定第一图像数据的时间戳和第一IMU数据的时间戳，从而保证这两者的时间戳是在同一时钟体系下确定的，以便于后续确定位姿信息时对两者的时间戳进行同步。

步骤202：数据处理单元在获取到第一IMU数据后，将第一时间点和第一时延之间的差值确定为第一IMU数据的时间戳，第一时延用于指示IMU从采集第一IMU数据到缓存第一IMU数据之间经历的时长。

由于第一时间点为IMU缓存第一IMU数据的时间点，而第一时延用于指示IMU从采集第一IMU数据到缓存第一IMU数据之间经历的时长，因此，第一时间点和第一时延之间的差值即为IMU采集第一IMU的时间点。所以，在本申请实施例中，数据处理单元在获取到第一IMU数据后，便可直接将第一时间点和第一时延之间的差值作为第一IMU数据的时间戳。

如图1所示，如果实时处理器是以中断信号来确定检测到IMU缓存第一IMU数据，此时，第一时间点即为数据处理单元接收该中断信号的时间点。在实时处理器将该中断信号的时间点和第一IMU数据发送至主计算处理器后，主计算处理器便可根据数据处理单元接收该中断信号的时间点和第一时延之间的差值，直接确定第一IMU数据的时间戳。

图4是本申请实施例提供的一种时间轴的示意图。如图4所示的时间轴，将IMU采集IMU数据的时间点标记为T_IMU，将IMU发送中断信号的时间点标记为T_trig，将IMU开始采集IMU数据到发送中断信号之间的时长标记为△T_IMU-acq。由于IMU发送中断信号的时间点和IMU发送IMU数据的时间点基本重合，且IMU发送中断信号的时间点和数据处理单元接收到该中断信号的时间点也基本重合，因此，如图4所示，数据处理单元可以直接通过下述公式确定IMU采集IMU数据的时间点T_IMU，也即是，确定出IMU数据的时间戳：

T_IMU＝T_trig-△T_IMU-acq

通过图4所示的时间轴可以明显看出，通过本申请实施例提供的方法确定的IMU数据的时间戳和该IMU数据的实际采集时间点是完全吻合的，再次说明了本申请实施例提供的方法在确定IMU数据时的时间戳的准确性。

此外，第一时延用于指示IMU从采集第一IMU数据到缓存第一IMU数据之间经历的时长。该第一时延包括IMU从采集第一IMU数据到缓存第一IMU数据之间执行的所有操作总共的时长。这些操作可以包括IMU内部采集数据后的逻辑处理、滤波及传输操作。在本申请实施例中，数据处理单元可以通过标定的方式来确定IMU的第一时延。

在一种可能的实现过程中，数据处理单元通过标定的方式确定IMU的第一时延的实现过程可以为：在第二时间点检测到IMU魂村第二IMU数据时，向图像采集单元发送触发信号；在获取到第二IMU数据后，将第二时间点确定为第二IMU数据的时间戳；在接收到图像采集单元发送的第二图像数据后，根据第二时间点和第二图像数据的曝光时长，确定第二图像数据的时间戳；返回执行在第二时间点检测到IMU缓存第二IMU数据时，向图像采集单元发送触发信号的操作，直至得到多个第二IMU数据和每个IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳；根据多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，标定第一时延。

在标定的过程中，数据处理单元在确定IMU数据的时间戳时，相当于将步骤202中的第一时延设置为0来确定IMU数据的时间戳。

此外，上述根据第二时间点和第二图像数据的曝光时长确定第二图像数据的时间戳，也即是，在标定过程中，先根据图像数据的曝光时长对图像数据的时间戳进行了补偿，这样后续基于多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，标定出的时延就刚好是步骤202中的第一时延。

上述根据第二时间点和第二图像数据的曝光时长确定第二图像数据的时间戳的实现方式可以参考下述步骤203的详细实现方式，在此就先不展开阐述。

另外，上述根据多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，标定第一时延的过程可以通过Kalibr(一种标定应用程序)标定工具箱来实现。也即是，将多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳输入至该Kalibr标定工具箱，该Kalibr标定工具箱便可输出一个时延，数据处理单元便可将该时延作为第一时延。

下面对上述Kalibr标定工具箱的一种可能的工作原理进行简单说明：

基于多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，以时延作为自变量、以图像特征重投影误差、加速度角速度估计误差、以及加速度角速度随机游走误差之和作为因变量，构建目标函数方程。通过优化算法求解出因变量的最优估计时的时延，求解得到的时延即为标定后的时延。

上述内容仅仅用于举例说明Kalibr标定工具箱的一种可能的工作原理，并不代表Kalibr标定工具箱在标定过程中的细节操作。关于Kalibr标定工具箱在标定过程中的具体操作本申请实施例对此不做详细说明。

上述标定第一时延的过程中，是直接一次进行标定的。可选地，可以重复执行上述标定过程，得到多个标定后的时延。将多个标定后的时延取平均值作为第一时延，以提高确定的第一时延的准确性。

步骤203：数据处理单元在接收到图像采集单元发送的第一图像数据后，根据第一时间点和第一图像数据的曝光时长，确定第一图像数据的时间戳。

在本申请实施例中，为了提高确定的图像数据的时间戳，在已知触发图像采集单元进行曝光的时间点(也即是第一时间点)的情况下，由于触发信号通常为一个简单的脉冲信号，因此，数据处理单元发送触发信号的时间点和图像采集单元接收该触发信号的时间点可以认为是同一时间点。所以，在本申请实施例中，可以直接基于第一时间点和第一图像数据的曝光时长，确定第一图像数据的时间戳。

考虑到图像采集单元采集的视频画面通常为曝光时间段内逐渐采集的画面，因此，为了确定一个准确的时间戳，数据处理单元可以将曝光时间段内的中点时刻确定为该图像数据的时间戳，以减小确定的时间戳的平均误差。所以，在一种可能的实现方式中，数据处理单元可以直接将第一时间点和第一图像数据的曝光时长的一半进行加和，将得到的时间点作为第一图像数据的时间戳。

此外，考虑到图像采集单元在接收到触发信号到开始曝光通常也有一个时延，因此，在另一种可能的实现方式中，步骤203的实现过程可以为：确定第二时延，第二时延用于指示图像采集单元从接收到触发信号到开始曝光经历的时长；根据第一时间点、第二时延和图像采集单元的曝光时长，确定第一图像数据的时间戳。

同样地，考虑到图像采集单元采集的视频画面通常为曝光时间段内中点时间点时视场域内的画面，上述根据第一时间点、第二时延和第一图像数据的曝光时长，确定第一图像数据的时间戳的实现过程可以为：将第一时间点、第二时延和曝光时长的一半，三者之间的加和确定为第一图像数据的时间戳。

上述第二时延在图像采集单元出厂时已经固定，也即是，第二时延是一个固定的延时值，可以从图像采集单元的数据手册中获取。比如，图像采集单元为相机，该第二时延便可从相机的数据手册中获取。

如图4所示的时间轴，将图像采集单元接收到触发信号到开始曝光时刻之间的时长标记为△T_EXP-DLY，图像数据的曝光时长标记为△T_EXP，因此，数据处理单元可以通过下述公式来确定图像采集单元采集图像数据时的时间点T_Img，也是，确定图像数据的时间戳：

T_Img＝T_trig+△T_EXP-DLY+△T_EXP/2

通过图4所示的时间轴可以明显看出，通过本申请实施例提供的方法确定的图像数据的时间戳和该图像数据的实际采集时间点是完全吻合的，再次说明了本申请实施例提供的方法在确定图像数据时的时间戳的准确性。

由于在步骤203中，是根据第一图像数据的曝光时长来确定第一图像数据的时间戳的，因此，即使图像采集单元处于自动曝光模式下，数据处理单元只需根据图像数据的曝光时长自适应调整图像数据的时间戳即可。也即是，本申请实施例提供的方法不论在自动曝光模式还是在固定曝光模式下，均可以准确确定图像数据的时间戳。

此外，在通过上述步骤201至步骤203确定出多个第一图像数据和多个第一IMU数据后，两者的时间戳可能并没有完全对应上，但是在后续确定姿态信息的过程中，通常需要基于两个图像数据的时间戳的之间内IMU数据进行积分来确定相关姿态信息。因此，在一种可能的实现方式中，还可以对IMU数据进行插值，以使IMU数据中存在时间戳和图像数据的时间戳完全一致的IUM数据。

数据处理单元对IMU数据进行插值的实现过程可以为：在获取到多个第一图像数据的时间戳和多个第一IMU数据的时间戳后，对于多个第一图像数据中的目标第一图像数据，如果多个第一IMU数据的时间戳中没有与目标第一图像数据的时间戳一致的IMU数据，则从多个第一IMU数据的时间戳中获取与目标第一图像数据的时间戳前后各自距离最近的两个时间戳；根据获取的两个时间戳分别对应的两个第一IMU数据，确定与目标第一图像数据的时间戳对应的IMU数据，得到插值的IMU数据，这多个图像数据、多个第一IMU数据以及插值的IMU数据用于确定位姿信息。

比如，假设某个第一图像数据的时间戳为ti，多个第一IMU数据中的多个时间戳中，位于ti之前最近的一个时间戳为t1，该时间戳t1对应的IMU数据包括角速度w1与加速度a1。位于ti之前最近的一个时间戳为t2，该时间戳t2对应的IMU数据包括角速度w2与加速度a2。那么增加一个ti时刻的IMU数据：wi＝(t2-ti)*w1+(ti-t1)*w2，ai＝(t2-ti)*a1+(ti-t1)*a2。

数据处理单元在通过步骤201至步骤203得到图像数据的时间戳和IMU数据的时间戳后，便可将这些数据以及这些数据的时间戳发送至其他计算平台，以使其他计算平台用于视觉惯性定位算法的计算或其它算法。或者，由数据处理单元自身基于这些数据和这些数据的时间戳进行视觉惯性定位算法的计算或其它算法。

在本申请实施例汇总，视觉惯性融合系统中的数据处理单元如果在第一时间点检测到IMU发送第一IMU数据时，向图像采集单元发送用于指示图像采集单元进行曝光的触发信号。因此，数据处理单元可以以第一时间点为参照时间点分别确定第一图像数据的时间戳和第一IMU数据的时间戳，从而保证这两者的时间戳是在同一时钟体系下确定的，以便于后续确定位姿信息时对两者的时间戳进行同步。此外，数据处理单元是以第一时间点为参照时间点确定第一图像数据的时间戳，因此，在确定第一图像数据的时间戳时，不管图像采集单元处于自动曝光模式还是固定曝光模式，只需根据第一图像数据的曝光时长对第一时间点进行补偿，即可自适应得到第一图像数据精确的时间戳。此外，数据处理单元是以第一时间点为参照时间点确定第一IMU数据的时间戳的，因此，在确定第一IMU数据的时间戳时，只需根据第一时延对第一时间点进行补偿，即可得到精确的时间戳。

接下来，对本申请实施例提供的时间戳确定装置进行介绍。

参见图5，本申请实施例提供了一种时间戳确定装置500，应用于视觉惯性融合系统中的数据处理单元，所述视觉惯性融合系统还包括惯性测量单元IMU和图像采集单元，该装置500包括：

发送模块501，用于在第一时间点检测到IMU缓存第一IMU数据时，向图像采集单元发送触发信号，该触发信号用于指示图像采集单元进行曝光；

确定模块502，用于在获取到第一IMU数据后，将第一时间点和第一时延之间的差值确定为第一IMU数据的时间戳，第一时延用于指示IMU从开始采集第一IMU数据到缓存第一IMU数据之间经历的时长；

确定模块，还用于在接收到图像采集单元发送的第一图像数据后，根据第一时间点和第一图像数据的曝光时长，确定第一图像数据的时间戳。

可选地，

发送模块，还用于在第二时间点检测到IMU发送第二IMU数据时，向图像采集单元发送触发信号；

确定模块，还用于在接收到IMU缓存的第二IMU数据后，将第二时间点确定为第二IMU数据的时间戳；

确定模块，还用于在接收到图像采集单元发送的第二图像数据后，根据第二时间点和第二图像数据的曝光时长，确定第二图像数据的时间戳；

该装置还包括：

执行模块，用于返回执行在第二时间点检测到IMU缓存第二IMU数据时，向图像采集单元发送触发信号的操作，直至得到多个第二IMU数据和每个IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳；

标定模块，用于根据多个第二IMU数据、每个第二IMU数据的时间戳、以及多个第二图像数据和每个第二图像数据的时间戳，标定第一时延。

可选地，确定模块用于：

确定第二时延，第二时延用于指示图像采集单元从接收到触发信号到开始曝光经历的时长；

根据第一时间点、第二时延和图像采集单元的曝光时长，确定第一图像数据的时间戳。

可选地，确定模块用于：

将第一时间点、第二时延和曝光时长的一半，三者之间的加和确定为第一图像数据的时间戳。

可选地，发送模块用于：

在第一时间点接收IMU发送的中断信号，中断信号用于指示IMU完成第一IMU数据的采集并将第一IMU数据缓存，以提示数据处理单元从IMU处获取所述第一IMU数据；

如果确定的次数大于次数阈值，则向图像采集单元发送触发信号。

可选地，图像采集单元包括多个相机；

确定模块，用于确定目标图像采集参数，目标图像采集参数包括曝光时长；

该装置还包括更新模块，用于将目标图像采集参数更新在多个相机的每个相机中，以使多个相机均基于目标图像采集参数采集图像数据。

可选地，确定模块用于：

确定多个相机中目标相机在当前时间点之前采集的图像数据的亮度信息，目标相机为多个相机中任一个；

根据亮度信息调整当前时间之前的图像采集参数，得到目标图像采集参数。

可选地，该装置还包括：

获取模块，用于在获取到多个第一图像数据的时间戳和多个第一IMU数据的时间戳后，对于多个第一图像数据中的目标第一图像数据，如果多个第一IMU数据的时间戳中没有与目标第一图像数据的时间戳一致的IMU数据，则从多个第一IMU数据的时间戳中获取与目标第一图像数据的时间戳前后各自距离最近的两个时间戳；

确定模块，还用于根据获取的两个时间戳分别对应的两个第一IMU数据，确定与目标第一图像数据的时间戳对应的IMU数据，得到插值的IMU数据，多个第一图像数据、多个第一IMU数据以及插值的IMU数据用于确定位姿信息。

在本申请实施例汇总，视觉惯性融合系统中的数据处理单元如果在第一时间点检测到IMU缓存第一IMU数据时，向图像采集单元发送用于指示图像采集单元进行曝光的触发信号。因此，数据处理单元可以以第一时间点为参照时间点分别确定第一图像数据的时间戳和第一IMU数据的时间戳，从而保证这两者的时间戳是在同一时钟体系下确定的，以便于后续确定位姿信息时对两者的时间戳进行同步。此外，数据处理单元是以第一时间点为参照时间点确定第一图像数据的时间戳，因此，在确定第一图像数据的时间戳时，不管图像采集单元处于自动曝光模式还是固定曝光模式，只需根据第一图像数据的曝光时长对第一时间点进行补偿，即可自适应得到第一图像数据精确的时间戳。此外，数据处理单元是以第一时间点为参照时间点确定第一IMU数据的时间戳的，因此，在确定第一IMU数据的时间戳时，只需根据第一时延对第一时间点进行补偿，即可得到精确的时间戳。

需要说明的是：上述实施例提供的时间戳确定装置在确定时间戳时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的时间戳确定装置与时间戳确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

此外，图1所示的数据处理单元中还可以部署有存储器，该存储器还包括一个或者一个以上的程序。这一个或者一个以上程序包含用于进行本申请实施例提供的时间戳确定方法的指令。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的时间戳确定方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的时间戳确定方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的可选实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种时间戳确定方法，其特征在于，应用于视觉惯性融合系统中的数据处理单元，所述视觉惯性融合系统还包括惯性测量单元IMU和图像采集单元，所述方法包括：

在获取到所述第一IMU数据后，将所述第一时间点和第一时延之间的差值确定为所述第一IMU数据的时间戳，所述第一时延用于指示所述IMU从开始采集所述第一IMU数据到缓存所述第一IMU数据之间经历的时长；

在接收到所述图像采集单元发送的第一图像数据后，将所述第一时间点和所述第一图像数据的曝光时长的一半之间的加和，确定为所述第一图像数据的时间戳。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在获取到第二IMU数据后，将所述第二时间点确定为所述第二IMU数据的时间戳；

3.如权利要求1所述的方法，其特征在于，所述将所述第一时间点和所述第一图像数据的曝光时长的一半之间的加和，确定为所述第一图像数据的时间戳，包括：

将所述第一时间点、所述第二时延和所述第一图像数据的曝光时长的一半，三者之间的加和确定为所述第一图像数据的时间戳。

4.如权利要求1所述的方法，其特征在于，所述在第一时间点检测到所述IMU缓存第一IMU数据时，向所述图像采集单元发送触发信号，包括：

5.如权利要求1所述的方法，其特征在于，所述图像采集单元包括多个相机；所述方法还包括：

6.如权利要求5所述的方法，其特征在于，所述确定目标图像采集参数，包括：

7.一种时间戳确定装置，其特征在于，应用于视觉惯性融合系统中的数据处理单元，所述视觉惯性融合系统还包括惯性测量单元IMU和图像采集单元，所述装置包括：

所述确定模块，还用于在接收到所述图像采集单元发送的第一图像数据后，将所述第一时间点和所述第一图像数据的曝光时长的一半的加和，确定为所述第一图像数据的时间戳。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1-6任一项方法的步骤。

9.一种机器人，其特征在于，所述机器人中配置有数据处理单元、IMU和图像采集单元，所述数据处理单元被配置为实现上述权利要求1-6任一项方法的步骤。