CN116032412A - 多相机跨平台时间同步方法、装置、系统及电子设备 - Google Patents

Abstract

本申请公开了一种多相机跨平台时间同步方法、装置、系统及电子设备，包括：时间主控设备接收上位主机初始授时，生成秒脉冲信号和时间报文同步上位主机，生成第一触发信号并记录生成的时间戳和第一触发信号计数值；将第一触发信号生成的时间戳及其计数值发送到上位主机；开启时间同步服务，同步上位从机与上位主机时钟；下位从机获取上位从机网络时间授时生成内部时间戳，生成第二触发信号并记录生成的时间戳和第二触发信号计数值；将第二触发信号生成时间戳及其计数值发送到上位从机；将第一触发信号发送给第一相机，第二触发信号发送给第二相机，触发相机采集图像数据。实现多相机跨平台同步采集，适用于无GNSS信号、无精确授时场景。

Description

多相机跨平台时间同步方法、装置、系统及电子设备

技术领域

本申请涉及通信技术领域，尤其涉及一种多相机跨平台时间同步方法、装置、系统及电子设备。

背景技术

传感器时间同步是多传感器数据融合的基础。在智能机器人、自动驾驶等领域，针对地空协同、多车协同等跨平台应用场景，相机图像数据同步采集有助于跨平台协同定位建图与路径规划设计等工作。由于不同类型相机数据频率、帧长度、响应延时不尽相同，相比通过软件方法进行采集、同步，采用硬件时间同步方式，延迟更低，同步精度更高，可靠性更高。

现有的多相机时间同步方法与装置一般基于全球导航卫星系统（GNSS）和网络接口运行精确时间同步协议（IEEE 1588），依赖GNSS授时获得一致的时间基准。这种时间同步装置复杂，成本较高，更重要的是，对GNSS信号强度和网络连接情况有较强依赖。针对地外探测、野外勘测等GNSS信号弱的场景，或对于不支持GNSS授时的传感设备，缺少一种实现多相机跨平台高精度时间同步的方法。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种多相机跨平台时间同步方法、装置、系统及电子设备。

本发明的目的是通过以下技术方案来实现的：

第一方面，本发明提供了一种多相机跨平台时间同步方法，包括以下步骤：

（1）接收上位主机的初始时间戳授时，时间主控设备基于所述初始时间戳授时生成秒脉冲信号和时间报文，并生成第一触发信号，记录第一触发信号生成的时间戳和第一触发信号计数值；

（2）时间主控设备将所述时间报文和秒脉冲信号发送给所述上位主机以同步上位主机的时钟，并将所述第一触发信号生成的时间戳和第一触发信号计数值发送给上位主机以实现与第一相机图像数据的匹配对齐；

（3）基于时间同步协议，在上位主机和上位从机开启时间同步服务，配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟；

（4）建立网络连接，下位从机向上位从机发送网络授时请求，获取上位从机的网络时间授时，并基于所述网络时间授时生成并校正内部时间戳，生成第二触发信号并记录第二触发信号生成的时间戳和第二触发信号计数值；

（5）下位从机将所述第二触发信号生成的时间戳和第二触发信号计数值发送给所述上位从机，以实现与第二相机数据的匹配对齐；

（6）将所述第一触发信号发送给第一相机，用于触发所述第一相机采集图像数据，并将第一相机图像数据发送给上位主机；将所述第二触发信号发送给第二相机，用于触发所述第二相机采集图像数据，并将第二相机图像数据发送给上位从机。

进一步地，所述步骤（1）具体包括以下子步骤：

（1.1）时间主控设备接收来自上位主机的初始时间戳授时，配置内部定时器T1，开始计时并累加到初始时间戳；

（1.2）根据第一相机所需的采集频率，时间主控设备配置内部定时器T2生成第一触发信号，用于触发第一相机采集图像数据，并记录第一触发信号生成的时间戳和第一触发信号计数值；

（1.3）时间主控设备配置内部定时器T3，生成秒脉冲信号；并模拟GNSS接收机功能，基于不断累加的时间戳，生成特定格式的时间报文。

进一步地，所述步骤（3）具体包括以下子步骤：

（3.1）基于时间同步协议，配置上位主机和上位从机，开启NTP或PTP服务；

（3.2）以上位主机为服务器端，以上位从机为客户端，配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟。

进一步地，所述步骤（4）具体包括以下子步骤：

（4.1）配置下位从机的网络硬件，开启UDP服务，建立上位从机和下位从机间的网络连接；

（4.2）下位从机基于网络时间同步协议，向上位从机发送网络授时请求，上位从机接收请求后，向下位从机发送授时报文并进行网络时间授时；

（4.3）下位从机根据所述网络时间授时，生成内部时间戳，并配置内部定时器T4，根据内部时钟频率开始计时并累加到所述内部时间戳；

（4.4）计算授时报文的传输延迟、时钟偏差，并根据所述传输延迟和时钟偏差校正下位从机的所述内部时间戳，经多次误差校正迭代实现时间同步；

（4.5）根据第二相机所需的采集频率，下位从机配置内部定时器T5生成第二触发信号，用于触发第二相机采集图像数据，并记录第二触发信号生成的时间戳和第二触发信号计数值。

第二方面，本发明提供了一种多相机跨平台时间同步装置，包括：

第一生成模块，用于接收上位主机的初始时间戳授时，生成秒脉冲信号和时间报文，生成第一触发信号并记录第一触发信号生成的时间戳和第一触发信号计数值；

第一发送模块，用于将生成所述第一触发信号生成的时间戳和第一触发信号计数值发送给上位主机以实现与第一相机图像数据的匹配对齐，并将所述第一触发信号发送到所述第一相机以触发第一相机采集图像数据；以及将生成所述时间报文和秒脉冲信号发送给上位主机，以同步上位主机的时钟；

同步配置模块，用于在上位主机和上位从机开启时间同步服务，并配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟；

第二生成模块，用于建立网络连接后，下位从机获取上位从机的网络时间授时，并基于所述网络时间授时生成并校正内部时间戳，生成第二触发信号并记录第二触发信号生成的时间戳和第二触发信号计数值；

第二发送模块，用于下位从机向上位从机发送授时请求；以及将所述第二触发信号生成的时间戳和第二触发信号计数值发送给上位从机，用于在上位从机实现与第二相机图像数据的匹配对齐，并将所述第二触发信号发送到第二相机，用于触发所述第二相机采集图像数据。

第三方面，本发明提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的多相机跨平台时间同步方法。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的多相机跨平台时间同步方法。

第五方面，本发明提供了一种多相机跨平台时间同步系统，包括：

上位主机，用于为时间主控设备提供初始时间戳授时，接收第一相机采集的图像数据，接收时间主控设备发送的第一触发信号生成的时间戳和第一触发信号计数值，并进行第一相机图像数据与第一触发信号生成的时间戳的匹配与对齐；接收时间主控设备的时间报文和秒脉冲信号以同步自身时间，以及开启并配置时间同步服务，实现与上位从机的时间同步；

时间主控设备，用于接收上位机的初始时间戳授时，得到内部时间戳，配置内部定时器生成第一触发信号触发第一相机，同时将第一触发信号生成的时间戳与第一触发信号计数值发送给上位主机；以及，模拟GNSS接收机功能，生成时间报文和秒脉冲信号用以同步上位主机；

上位从机，用于开启时间同步服务，从所述上位主机获取时间基准并同步自身时间；接收下位从机的授时请求并为下位从机进行网络时间授时；以及，接收第二相机的图像数据、接收下位从机发送的第二触发信号生成的时间戳和第二触发信号计数值，并进行第二相机图像数据与第二触发信号生成的时间戳的匹配对齐；

下位从机，用于建立网络连接，发送网络授时请求，接收来自所述上位从机的网络时间授时，生成并校正内部时间戳；生成第二触发信号，用于第二相机采集图像数据；以及，将第二触发信号生成的时间戳与第二触发信号计数值发送给上位从机；

第一相机，用于接收所述时间主控设备发送的所述第一触发信号，并根据所述第一触发信号采集图像数据，将所述图像数据发送到上位主机；

第二相机，用于接收所述下位从机发送的所述第二触发信号，并根据所述第二触发信号采集图像数据，将所述图像数据发送到上位从机。

进一步地，所述第一相机和所述第二相机均具有硬件触发接口，支持硬件触发采集模式，可以接收触发信号并采集图像数据；

所述第一相机通过USB、网络协议接口与所述上位主机连接，将自身采集的图像数据传输到所述上位主机；

所述第二相机通过USB、网络协议接口与所述上位从机连接，将自身采集的图像数据传输到所述上位从机。

进一步地，所述上位主机和所述上位从机均支持NTP协议或PTP协议并能通过指令开启NTP或PTP服务；

所述上位主机和所述上位从机通过网络接口电连接，或通过无线网络路由器无线连接；

所述上位从机和所述下位从机通过网络接口电连接，或通过无线网络路由器无线连接。

本发明的有益效果是：

（1）本申请提供的多相机跨平台时间同步方法、装置、系统及电子设备可实现地空协同、多车协同的应用场景中多相机高精度时间同步；相比传统的多相机时间同步方法及装置，本申请提供的时间同步方法易于实现，装置构造简单，便于模块化复用；

（2）现有的时间同步方法一般采用GNSS授时获取时间基准，通过标准的秒脉冲信号进行同步设备内部时钟，对GNSS信号有较强依赖；本申请中的时间同步方法可以以嵌入式时间主控设备为时间基准，采用硬件触发与网络授时同步相结合的方法，使跨平台的多类相机实现同步采集；针对野外勘探、天体探测等弱GNSS信号或无GNSS信号场景，以及不支持网络同步协议、不支持GNSS的传感设备，都可以取得良好的应用效果；

（3）本申请构建的多相机跨平台时间同步系统，可以用于不同主控平台、多类硬件接口的相机的高精度同步采集，整个系统具有良好的可扩展性和可移植性。

附图说明

图1为一种多相机跨平台时间同步方法的流程图；

图2为实施例1中的步骤（4）的流程图；

图3为一种多相机跨平台时间同步装置的框图；

图4为一种多相机跨平台时间同步系统的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加明白清楚，结合附图和实施例，对本发明进一步的详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均在本发明保护范围。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

实施例1：

如图1所示，本发明提供了一种多相机跨平台时间同步方法，包括以下步骤：

（1）接收上位主机初始时间戳授时，时间主控设备基于所述初始时间戳授时生成秒脉冲信号和时间报文，并生成第一触发信号，记录第一触发信号生成的时间戳和第一触发信号计数值；

其中，所述上位主机可以是各类PC主机，也可以是基于嵌入式芯片的硬件平台，本实施例中以基于Linux系统的NVIDIA AGX开发平台为例；所述时间主控设备可以是MCU、DSP或FPGA等嵌入式平台，在本实施例中以STM32单片机系统为例。STM32系列单片机基于ARM内核，挂载8MHz高精度时钟晶振，内部定时器资源丰富，可为单片机系统提供时钟，并生成各种频率的触发脉冲信号，可为整个时间同步系统提供时钟基准。

所述步骤（1）具体包括以下子步骤：

（1.1）时间主控设备接收来自上位主机的初始时间戳授时，配置内部定时器T1，开始计时并累加到初始时间戳；

具体地，根据上位主机与时间主控设备间的传输接口，时间主控设备配置接口驱动，实现初始时间戳的收发功能。在本实施例中，时间主控设备和上位主机均采用RS232电平串口通信，波特率最大可设置为921600bps；上位主机读取系统内部时间，转换成16位微秒级时间戳，并通过RS232串口发送到时间主控设备，以作为整个系统的基准起始时间；接收到上位主机的初始时间戳授时后，时间主控设备开启内部定时器T1累加计时，通过配置所述内部定时器T1在更新中断模式，使其在累加计数一段时间t0后溢出并重新计数，并将t0累加到接收到的初始时间戳，以此获得不断更新的内部时间戳。

（1.2）根据第一相机采集图像数据的频率需求，时间主控设备配置内部定时器T2生成第一触发信号，用于触发第一相机采集图像数据，并记录第一触发信号生成的时间戳和第一触发信号计数值。

具体地，根据第一相机所需的采集频率，时间主控设备配置内部定时器T2为PWM输出模式，使其生成第一触发信号；所述第一触发信号为周期性输出的脉冲，第一触发信号的输出频率与第一相机所需的采集频率 f ₀ 一致，用于硬件触发所述第一相机采集图像数据；所述第一触发信号的高电平触发所述第一相机采集图像数据，第一触发信号的脉冲宽度设置为与所述第一相机的曝光时间一致，并使输出累加更新的时间戳的时刻与第一触发信号触发波形下降沿对齐，记录每次第一触发信号生成的时间戳及其计数值；由于第一触发信号生成频率与第一相机采集频率 f ₀ 一致，因此，第一触发信号生成的时间戳，可以用来表征所述第一相机采集图像数据时的精确时间。

（1.3）时间主控设备配置内部定时器T3，生成秒脉冲信号；并模拟GNSS接收机功能，基于不断累加的时间戳，生成特定格式的时间报文。

具体地，时间主控设备配置内部定时器T3为PWM输出模式，使其生成每秒一帧的秒脉冲信号；同时，模拟GNSS接收机的标准GPRMC格式报文，基于时间主控设备内部累加的时间戳，生成包含时分秒等时间信息的时间报文。

在本实施例中，所述第一相机指支持硬件触发采集的工业面阵相机，可以是一台或一组性能参数相似、采集频率相同的相机。通过硬件触发，可以实现一组相机的图像数据同步采集效果。

（2）时间主控设备将所述时间报文和秒脉冲信号发送到上位主机以同步上位主机的时钟，并将所述第一触发信号生成的时间戳和第一触发信号计数值发送给上位主机，以实现与第一相机图像数据的匹配对齐；

所述步骤（2）具体为：时间主控设备配置UART5接口，使其与上位主机指定UART接口通讯，波特率9600，通过该接口发送所述秒脉冲信号和时间报文；上位主机需开启时间同步软件服务，在时间同步软件服务中，时间主控设备可以视为服务器端，上位主机为客户端，上位主机接收到所述秒脉冲信号和时间报文后，可以以所述秒脉冲信号为基准，不断校正自身与时间主控设备的时间偏差，使其时钟频率逐渐与时间主控设备的频率逼近，实现时钟同步对齐的效果；此外，上位主机接收并存储第一触发信号生成的时间戳与第一触发信号计数值，并与来自所述第一相机的图像数据匹配对齐，以此，实现第一相机采集的每一帧图像数据与第一触发信号生成的时间戳一一对应，以便于与跨平台设备的时间戳同步对比。

（3）基于时间同步协议，在上位主机和上位从机开启时间同步服务，配置硬件时间戳同步，使上位从机的时钟同步到与上位主机时间一致；

在本实施例中，上位主机和上位从机均以NVIDIA AGX Xavier嵌入式平台为例，所述NVIDIA AGX Xavier嵌入式平台的硬件支持基于Linux系统的PTP协议（精确时间同步协议）的硬件时间戳同步，对于不支持PTP协议的设备，也可以采用NTP协议（网络时间同步协议）进行配置；所述PTP协议和NTP协议均属于时间同步协议。

所述步骤（3）具体包括以下子步骤：

（3.1）基于时间同步协议，配置上位主机和上位从机，开启NTP或PTP服务；在本实施例中，上位主机和上位从机均为基于Linux系统的AGX Xavier嵌入式平台，可开启基于PTP协议的Linux PTP服务；所述NTP服务为精确时间同步服务，所述PTP服务为网络时间同步服务，都属于时间同步服务。

（3.2）以上位主机作为服务器端，以上位从机作为客户端，配置硬件时间戳同步，并将上位从机从上位主机获取的时间同步到自身的Linux系统时钟，使上位从机的时钟同步到与上位主机的时间一致。系统运行稳定后，可以看到上位从机与上位主机间的时钟偏差不断缩小，一般可以达到微秒级时钟同步效果。

（4）建立网络连接，下位从机向上位从机发送授时请求，获取所述上位从机的网络时间授时，并基于所述网络时间授时开启内部定时器，生成并校正内部时间戳，生成第二触发信号并记录第二触发信号生成的时间戳和第二触发信号计数值；

在本实施例中，下位从机采用与时间主控设备一致的STM32单片机，下位从机与上位从机间通过网络接口进行授时。

如图2所示，所述步骤（4）具体包括以下子步骤：

（4.1）配置下位从机的网络硬件，开启UDP（用户数据报协议）服务，查找上位从机的网络IP地址，建立上位从机与下位从机的网络连接；

（4.2）下位从机基于网络时间同步协议（NTP协议），按照指定的NTP报文格式，向上位从机发送网络授时请求，并记录此时的下位从机的时间 t ₁ ；上位从机接收所述授时请求后，发送基于NTP报文格式的授时报文，进行网络时间授时。所述授时报文包含上位从机接收到授时请求的时间 t ₂ 和发送授时的时间 t ₃ ；

（4.3）下位从机根据所述网络时间授时，生成内部时间戳，并配置内部定时器T4，进行时间戳的累加计数，当接收到来自上位从机的授时报文时，记录此时下位从机内部时间戳计时时间 t ₄ ；

（4.4）基于 t ₁ ~ t ₄ 四个时间戳，计算授时报文的传输延迟 d和时钟偏差 t，计算公式如下：

；

；

将传输延迟 d和时钟偏差 t补偿到下位从机的内部时间戳，可以修正下位从机的内部时间戳，使其更接近上位从机的系统时间，经过多次误差校正不断迭代，可以使上位从机和下位从机之间保持高精度的时间同步。

（4.5）根据第二相机采集图像数据的频率需求，下位从机配置内部定时器T5生成第二触发信号，用于触发第二相机采集图像数据，并记录第二触发信号生成的时间戳和第二触发信号计数值。

所述步骤（4.5）具体为：根据第二相机所需的采集频率，开启下位从机的内部定时器T5为PWM输出模式，生成第二触发信号；所述第二触发信号为周期性输出脉冲，第二触发信号的输出频率与第二相机所需的采集频率f1一致，用于硬件触发所述第二相机采集图像数据；与第一触发信号相同，所述第二触发信号的高电平触发所述第二相机采集图像数据，第二触发信号的脉宽设置为与第二相机的曝光时间一致，并使输出累加更新的时间戳的时刻与第二触发信号触发波形下降沿对齐，记录每次第二触发信号生成的时间戳及第二触发信号的计数值；由于第二触发信号生成频率与第二相机采集频率一致，因此，第二触发信号生成的时间戳，可以用来表征所述第二相机采集图像数据时的精确时间。

（5）下位从机将第二触发信号生成的时间戳和第二触发信号计数值发送给所述上位从机，以实现与第二相机图像数据的匹配对齐；

所述步骤（5）具体为：下位从机配置与上位从机之间的串口通信，波特率115200，通过串口将第二触发信号生成的时间戳和第二触发信号计数值发送给所述上位从机；上位从机接收并存储第二触发信号生成的时间戳和第二触发信号计数值，并与来自所述第二相机的图像数据匹配对齐，以此，实现第二相机采集的每一帧图像数据与第二触发信号生成的时间戳一一对应，以便于与跨平台设备的第一触发信号生成的时间戳同步对比。

（6）时间主控设备将所述第一触发信号发送给第一相机，用于触发所述第一相机采集图像数据，并将第一相机图像数据发送给上位主机；下位从机将所述第二触发信号发送给第二相机，用于触发所述第二相机采集图像数据，并将第二相机图像数据发送给上位从机。

所述步骤（6）具体为：时间主控设备将生成的第一触发信号发送到第一相机，下位从机将生成的第二触发信号发送到第二相机；所述第一相机和第二相机分别配置内部参数，设置工作在外触发采集模式；第一相机在接收第一触发信号后，开始曝光并采集图像。由于第一相机内部没有图像数据采集时刻的时间戳，在本实施例中，第一相机在采集每一帧图像数据后，将采集到的图像数据发送给上位主机，上位主机对第一相机采集图像数据帧进行计数，并将所述数据帧计数与所述第一触发信号的计数值匹配对齐，以此实现第一相机图像数据与第一相机时间戳的一一对应；同理，第二相机接收所述第二触发信号后开始曝光并采集图像，在采集每一帧图像数据后，将采集到的图像数据发送给上位从机，上位从机对第二相机采集图像数据帧进行计数，并将所述数据帧计数与所述第二触发信号的计数值匹配对齐，以此实现第二相机图像数据与第二相机时间戳的一一对应。

至此，在上位主机和上位从机端，分别接收到来自所述第一相机、第二相机采集的图像数据及其采集时刻对应的时间戳。对比第一相机采集图像对应的第一触发信号生成的时间戳和第二相机采集图像数据对应的第二触发信号生成的时间戳，即可获得跨平台时间同步精度，相近时间戳的两组相机图像数据即可视为同步采集，可用于后续的图像匹配、协同定位建图等工作。

相比传统的传感器时间同步方法，本实施例所提供的多相机跨平台时间同步方法脱离了对GNSS信号的依赖，针对地空协同、多车协同等作业场景，采用基于硬件触发、模拟授时等方式，以时间主控设备的高精度时钟晶振作为时间基准，使两组相机在同一基准下实现高精度时间同步，同步精度可以达到100us以内。

实施例2：

与前述的一种多相机跨平台时间同步方法相对应，本申请还提供了一种多相机跨平台时间同步装置的实施例。

图3是根据示例性实施例示出的的一种多相机跨平台时间同步装置的框图。本申请提供的一种多相机跨平台时间同步装置，包括：

第一生成模块21，用于接收上位主机的初始时间戳授时，生成秒脉冲信号和时间报文，生成第一触发信号并记录第一触发信号生成的时间戳和第一触发信号计数值；

第一发送模块22，用于将生成所述第一触发信号生成的时间戳和第一触发信号计数值发送给上位主机以实现与第一相机图像数据的匹配对齐，并将所述第一触发信号发送到所述第一相机以触发第一相机采集图像数据；以及将生成所述时间报文和秒脉冲信号发送给上位主机，以同步上位主机的时钟；

同步配置模块23，用于在上位主机和上位从机开启时间同步服务，并配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟；

第二生成模块24，用于建立网络连接后，下位从机获取上位从机的网络时间授时，并基于所述网络时间授时生成并校正内部时间戳，生成第二触发信号并记录第二触发信号生成的时间戳和第二触发信号计数值；

第二发送模块25，用于下位从机向上位从机发送授时请求；以及将所述第二触发信号生成的时间戳和第二触发信号计数值发送给上位从机，用于在上位从机实现与第二相机图像数据的匹配对齐，并将所述第二触发信号发送到第二相机，用于触发所述第二相机采集图像数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

实施例3：

相应的，本申请实施例还提供一种多相机跨平台时间同步系统，图4是根据示例性实施例示出的一种多相机跨平台时间同步系统的框图。参照图4，该系统包括：

上位主机901，用于为时间主控设备提供初始时间戳授时，接收第一相机采集的图像数据，接收时间主控设备发送的第一触发信号生成的时间戳和第一触发信号计数值，并进行第一相机图像数据与第一触发信号生成的时间戳的匹配与对齐；接收时间主控设备的时间报文和秒脉冲信号以同步自身时间，以及开启并配置时间同步服务，实现与上位从机的时间同步；

时间主控设备902，用于接收上位机的初始时间戳授时，得到内部时间戳，配置内部定时器生成第一触发信号触发第一相机，同时基于第一相机触发频率 f ₀ 将第一触发信号生成的时间戳与第一触发信号计数值发送给上位主机；以及，模拟GNSS接收机功能，生成时间报文和秒脉冲信号用以同步上位主机。具体地，时间主控设备上电后先后进行中断配置、串口初始化、定时器初始化以及PWM输出脉冲配置，等待上位机的初始时间戳授时到来后，打开各个定时器，发送第一相机所需的第一触发信号；通过UART接口向上位主机发送时间报文和秒脉冲信号，并通过另一路UART接口向上位主机发送第一触发信号生成的时间戳和脉冲计数值。

上位从机903，用于开启NTP或PTP服务，从所述上位主机获取时间基准并同步自身时间；并接收下位从机的授时请求，通过网络接口为下位从机进行网络时间授时，以及，接收第二相机的图像数据、接收下位从机发送的第二触发信号生成的时间戳和第二触发信号计数值，并进行第二相机图像数据与第二触发信号生成的时间戳的匹配对齐；

下位从机904，用于建立网络连接，发送网络授时请求，接收上位从机的网络时间授时，根据授时报文，生成并校正内部时间戳；生成第二触发信号，用于第二相机采集图像数据；基于第二相机触发频率 f ₁ 将第二触发信号生成的时间戳和第二触发信号计数值发送到上位从机。具体地，下位从机上电后进行配置网络服务、配置中断、串口初始化、定时器初始化以及PWM输出配置，建立网络连接后接收上位从机网络时间授时，生成并校正自身时间戳，并发送第二相机所需的第二触发信号；并通过UART接口向上位从机发送第二触发信号生成的时间戳和第二触发信号计数值。

第一相机905，用于接收来自时间主控设备的第一触发信号，根据所述第一触发信号采集图像数据，并将采集的图像数据发送到上位主机。

第二相机906，用于接收来自下位从机的第二触发信号，根据所述第二触发信号采集图像数据，并将采集的图像数据发送到上位从机。

实施例4：

相应的，本申请实施例还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种多相机跨平台时间同步方法，其特征在于，包括以下步骤：

（1）接收上位主机的初始时间戳授时，时间主控设备基于所述初始时间戳授时生成秒脉冲信号和时间报文，并生成第一触发信号，记录第一触发信号生成的时间戳和第一触发信号计数值；

（2）时间主控设备将所述时间报文和秒脉冲信号发送给所述上位主机以同步上位主机的时钟，并将所述第一触发信号生成的时间戳和第一触发信号计数值发送给上位主机以实现与第一相机图像数据的匹配对齐；

（3）基于时间同步协议，在上位主机和上位从机开启时间同步服务，配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟；

（4）建立网络连接，下位从机向上位从机发送网络授时请求，获取上位从机的网络时间授时，并基于所述网络时间授时生成并校正内部时间戳，生成第二触发信号并记录第二触发信号生成的时间戳和第二触发信号计数值；

（5）下位从机将所述第二触发信号生成的时间戳和第二触发信号计数值发送给所述上位从机，以实现与第二相机数据的匹配对齐；

（6）将所述第一触发信号发送给第一相机，用于触发所述第一相机采集图像数据，并将第一相机图像数据发送给上位主机；将所述第二触发信号发送给第二相机，用于触发所述第二相机采集图像数据，并将第二相机图像数据发送给上位从机。

2.根据权利要求1所述的一种多相机跨平台时间同步方法，其特征在于，所述步骤（1）具体包括以下子步骤：

（1.1）时间主控设备接收来自上位主机的初始时间戳授时，配置内部定时器T1，开始计时并累加到初始时间戳；

（1.2）根据第一相机所需的采集频率，时间主控设备配置内部定时器T2生成第一触发信号，用于触发第一相机采集图像数据，并记录第一触发信号生成的时间戳和第一触发信号计数值；

（1.3）时间主控设备配置内部定时器T3，生成秒脉冲信号；并模拟GNSS接收机功能，基于不断累加的时间戳，生成特定格式的时间报文。

3.根据权利要求1所述的一种多相机跨平台时间同步方法，其特征在于，所述步骤（3）具体包括以下子步骤：

（3.1）基于时间同步协议，配置上位主机和上位从机，开启NTP或PTP服务；

（3.2）以上位主机为服务器端，以上位从机为客户端，配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟。

4.根据权利要求1所述的一种多相机跨平台时间同步方法，其特征在于，所述步骤（4）具体包括以下子步骤：

（4.1）配置下位从机的网络硬件，开启UDP服务，建立上位从机和下位从机间的网络连接；

（4.2）下位从机基于网络时间同步协议，向上位从机发送网络授时请求，上位从机接收请求后，向下位从机发送授时报文并进行网络时间授时；

（4.3）下位从机根据所述网络时间授时，生成内部时间戳，并配置内部定时器T4，根据内部时钟频率开始计时并累加到所述内部时间戳；

（4.4）计算授时报文的传输延迟、时钟偏差，并根据所述传输延迟和时钟偏差校正下位从机的所述内部时间戳，经多次误差校正迭代实现时间同步；

（4.5）根据第二相机所需的采集频率，下位从机配置内部定时器T5生成第二触发信号，用于触发第二相机采集图像数据，并记录第二触发信号生成的时间戳和第二触发信号计数值。

5.一种多相机跨平台时间同步装置，其特征在于，包括：

第一生成模块，用于接收上位主机的初始时间戳授时，生成秒脉冲信号和时间报文，生成第一触发信号并记录第一触发信号生成的时间戳和第一触发信号计数值；

第一发送模块，用于将生成所述第一触发信号生成的时间戳和第一触发信号计数值发送给上位主机以实现与第一相机图像数据的匹配对齐，并将所述第一触发信号发送到所述第一相机以触发第一相机采集图像数据；以及将生成所述时间报文和秒脉冲信号发送给上位主机，以同步上位主机的时钟；

同步配置模块，用于在上位主机和上位从机开启时间同步服务，并配置硬件时间戳同步，将从上位主机获取的时间同步到上位从机的系统时钟；

第二生成模块，用于建立网络连接后，下位从机获取上位从机的网络时间授时，并基于所述网络时间授时生成并校正内部时间戳，生成第二触发信号并记录第二触发信号生成的时间戳和第二触发信号计数值；

第二发送模块，用于下位从机向上位从机发送授时请求；以及将所述第二触发信号生成的时间戳和第二触发信号计数值发送给上位从机，用于在上位从机实现与第二相机图像数据的匹配对齐，并将所述第二触发信号发送到第二相机，用于触发所述第二相机采集图像数据。

6.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述多相机跨平台时间同步方法。

7.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-4任一项所述多相机跨平台时间同步方法。

8.一种多相机跨平台时间同步系统，其特征在于，包括：

上位主机，用于为时间主控设备提供初始时间戳授时，接收第一相机采集的图像数据，接收时间主控设备发送的第一触发信号生成的时间戳和第一触发信号计数值，并进行第一相机图像数据与第一触发信号生成的时间戳的匹配与对齐；接收时间主控设备的时间报文和秒脉冲信号以同步自身时间，以及开启并配置时间同步服务，实现与上位从机的时间同步；

时间主控设备，用于接收上位机的初始时间戳授时，得到内部时间戳，配置内部定时器生成第一触发信号触发第一相机，同时将第一触发信号生成的时间戳与第一触发信号计数值发送给上位主机；以及，模拟GNSS接收机功能，生成时间报文和秒脉冲信号用以同步上位主机；

上位从机，用于开启时间同步服务，从所述上位主机获取时间基准并同步自身时间；接收下位从机的授时请求并为下位从机进行网络时间授时；以及，接收第二相机的图像数据、接收下位从机发送的第二触发信号生成的时间戳和第二触发信号计数值，并进行第二相机图像数据与第二触发信号生成的时间戳的匹配对齐；

下位从机，用于建立网络连接，发送网络授时请求，接收来自所述上位从机的网络时间授时，生成并校正内部时间戳；生成第二触发信号，用于第二相机采集图像数据；以及，将第二触发信号生成的时间戳与第二触发信号计数值发送给上位从机；

第一相机，用于接收所述时间主控设备发送的所述第一触发信号，并根据所述第一触发信号采集图像数据，将所述图像数据发送到上位主机；

第二相机，用于接收所述下位从机发送的所述第二触发信号，并根据所述第二触发信号采集图像数据，将所述图像数据发送到上位从机。

9.根据权利要求8所述的一种多相机跨平台时间同步系统，其特征在于，所述第一相机和所述第二相机均具有硬件触发接口，支持硬件触发采集模式，接收触发信号并采集图像数据；

所述第一相机通过USB、网络协议接口与所述上位主机连接，将自身采集的图像数据传输到所述上位主机；

所述第二相机通过USB、网络协议接口与所述上位从机连接，将自身采集的图像数据传输到所述上位从机。

10.根据权利要求8所述的一种多相机跨平台时间同步系统，其特征在于，所述上位主机和所述上位从机均支持NTP协议或PTP协议并能通过指令开启NTP或PTP服务；

所述上位主机和所述上位从机通过网络接口电连接，或通过无线网络路由器无线连接；

所述上位从机和所述下位从机通过网络接口电连接，或通过无线网络路由器无线连接。

Images