CN114710228B - 一种时间的同步方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种时间的同步方法、装置、存储介质及电子装置，其中，该方法包括：实时获取第一设备采集的图像序列，以及第二设备采集的点云序列；基于图像序列以及点云序列确定多个目标组合，其中，每个目标组合中均包括目标图像以及目标点云；确定获取每个目标组合中包括的目标图像的第一获取时间以及获取每个目标组合中包括的目标点云的第二获取时间；基于每个第一获取时间以及每个第二获取时间确定第一设备与第二设备之间的目标时间差；基于目标时间差同步第一设备和第二设备的时间。通过本发明，解决了相关技术中存在的同步时间通用性差的问题，达到同步各种型号的设备的时间效果，降低了时间同步成本。

Description

一种时间的同步方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及计算机领域，具体而言，涉及一种时间的同步方法、装置、存储介质及电子装置。

背景技术

在融合多个设备采集到的信息时，往往需要同步多个设备的时间，使多个设备的时间保持一致。

在相关技术中，时间同步通常采样外触发同步，网络时间同步等方法。外触发同步采用电平触发信号，同步触发多个设备，此方法同步误差小，但此方法需要额外的触发硬件以及多个设备的触发支持。网络时间同步一般采取以太网时钟同步协议，将设备与网络时间服务器进行时间同步，此方式相对外触发同步精度差，需要设备支持时间同步协议，并且网络中有进行时间同步的服务器，但是路侧端无需额外硬件。这两种方法对设备有要求，在面对众多型号的设备时，需要不同的同步方案。

由此可知，相关技术中存在时间同步通用性差的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种时间的同步方法、装置、存储介质及电子装置，以至少解决相关技术中存在的时间同步通用性差的问题。

根据本发明的一个实施例，提供了一种时间的同步方法，包括：实时获取第一设备采集的图像序列，以及第二设备采集的点云序列，其中，所述图像序列中包括的每个图像是所述第一设备在预定时间段内实时采集的，所述点云序列中包括的每个点云是所述第二设备在所述预定时间段内实时采集的；基于所述图像序列以及所述点云序列确定多个目标组合，其中，每个所述目标组合中均包括目标图像以及目标点云，所述目标组合中包括的所述目标图像与所述目标点云之间的关联度大于所述目标图像与其他点云之间的关联度，所述其他点云为所述点云序列中包括的除所述目标点云之外的点云；确定获取每个所述目标组合中包括的所述目标图像的第一获取时间以及获取每个所述目标组合中包括的所述目标点云的第二获取时间；基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差；基于所述目标时间差同步所述第一设备和所述第二设备的时间。

根据本发明的另一个实施例，提供了一种时间的同步装置，包括：获取模块，用于实时获取第一设备采集的图像序列，以及第二设备采集的点云序列，其中，所述图像序列中包括的每个图像是所述第一设备在预定时间段内实时采集的，所述点云序列中包括的每个点云是所述第二设备在所述预定时间段内实时采集的；第一确定模块，用于基于所述图像序列以及所述点云序列确定多个目标组合，其中，每个所述目标组合中均包括目标图像以及目标点云，所述目标组合中包括的所述目标图像与所述目标点云之间的关联度大于所述目标图像与其他点云之间的关联度，所述其他点云为所述点云序列中包括的除所述目标点云之外的点云；第二确定模块，用于确定获取每个所述目标组合中包括的所述目标图像的第一获取时间以及获取每个所述目标组合中包括的所述目标点云的第二获取时间；第三确定模块，用于基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差；同步模块，用于基于所述目标时间差同步所述第一设备和所述第二设备的时间。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，实时获取第一设备在预定时间段内实时采集的图像序列，以及实时获取第二设备在预定时间内实时采集的点云序列，根据图像序列和点云序列确定多个目标组合，其中，目标组合中包括的目标图像以及目标点云之间的关联度大于目标图像与其他点云之间的关联度，确定获取每个目标组合中包括的目标图像的第一获取时间，以及获取每个目标组合中包括的目标点云的第二获取时间，根据每个第一获取时间以及每个第二获取时间确定第一设备和第二设备之间的目标时间差，根据目标时间差同步第一设备和第二设备的时间。由于在同步第一设备和第二设备的时间时，可以根据第一设备获取的图像序列以及第二设备获取的点云序列确定第一设备和第二设备之间的目标时间差，无需通过其他硬件或服务器确定目标时间差，因此，可以解决相关技术中存在的同步时间通用性差的问题，达到同步各种型号的设备的时间效果，降低了时间同步成本。

附图说明

图1是本发明实施例的一种时间的同步方法的移动终端的硬件结构框图；

图2是根据本发明实施例的时间的同步方法的流程图；

图3是根据本发明具体实施例的时间的同步方法流程图；

图4是根据本发明实施例的时间的同步装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

路侧传感器负责获取道路场景信息，随着无人驾驶，智慧道路，智能交通的发展，越来越多的传感器（相机，激光雷达，毫米波雷达）被应用到路侧设备端。每种传感器都有自身的优缺点。相机能够获得物体的颜色和纹理信息，但是探测距离较短，并且是被动探测，受光照影响较大，激光雷达主动探测能够探测更远的距离，并且拥有3d位置信息。因此，将相机和激光雷达进行融合，可以获得更加丰富的场景信息，提高感知能力。融合时需要获取相机和激光雷达的内外参和时间同步的数据，内外参一般通过标定获得，相机和激光雷达时间同步需要设备的时间同步方法。采集激光雷达和相机的数据时，如果不进行时间同步的话，由于硬件采集系统延迟、网络传输延迟、激光雷达和相机频率不一等因素，获得的数据匹配融合后往往有较大的误差，而在道路场景下，运动物体速度较快，不进行时间同步会导致运动物体无法匹配。

外触发同步方法采用电平触发信号，同步触发相机和雷达，此方法同步误差小，但此方法需要额外的触发硬件以及雷达和相机设备的触发支持。

网络时间同步方法一般采取以太网时钟同步协议，将设备与网络时间服务器进行时间同步，此方式相对外触发同步精度差，需要设备支持时间同步协议，并且网络中有进行时间同步的服务器，但是路侧端无需额外硬件。

这两种方法对设备有同步功能要求，在面对众多型号的雷达和相机时，往往需要不同的同步方案。

针对相关技术中存在的上述问题，提出以下实施例：

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种时间的同步方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的时间的同步方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种时间的同步方法，图2是根据本发明实施例的时间的同步方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，实时获取第一设备采集的图像序列，以及第二设备采集的点云序列，其中，所述图像序列中包括的每个图像是所述第一设备在预定时间段内实时采集的，所述点云序列中包括的每个点云是所述第二设备在所述预定时间段内实时采集的；

步骤S204，基于所述图像序列以及所述点云序列确定多个目标组合，其中，每个所述目标组合中均包括目标图像以及目标点云，所述目标组合中包括的所述目标图像与所述目标点云之间的关联度大于所述目标图像与其他点云之间的关联度，所述其他点云为所述点云序列中包括的除所述目标点云之外的点云；

步骤S206，确定获取每个所述目标组合中包括的所述目标图像的第一获取时间以及获取每个所述目标组合中包括的所述目标点云的第二获取时间；

步骤S208，基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差；

步骤S210，基于所述目标时间差同步所述第一设备和所述第二设备的时间。

在上述实施例中，时间的同步方法可以应用在智慧交通场景中，也可以应用在其他监控场景中，例如工厂、商场等。当时间的同步方法应用在智慧交通场景中时，第一设备和第二设备可以是路侧传感器。例如，第一设备可以是相机，第二设备可以是雷达，如激光雷达、毫米雷达等。其中，第一设备和第二设备可以是安装在同一地理位置的设备，第一设备的采集区域和第二设备的采集区域相同，或者第一设备的采集区域和第二设备的采集区域存在重合的区域。例如，第二设备的采集区域包括第一设备的采集区域。

在上述实施例中，可以获取预定时间段内第一设备实时采集的图像序列，以及预定时间段内第二设备实时采集的图像序列。还可以获取一段有重合的数据帧序列，即获取的图像序列中包括在预定时间段内采集的图像，点云序列中包括在预定时间段内采集的点云。根据图像序列和点云序列确定多个目标组合，其中，每个目标组合中均包括一个目标图像和一个目标点云。

在确定目标组合时，可以分别确定图像序列中每个图像与点云序列中每个点云的关联度，并将得到的多个关联度按照从大到小的顺序排序，将前N个关联度中包括的每个关联度对应的图像和点云对确定为目标组合。其中，图像序列中每个图像与点云序列中每个点云的关联度可以通过相似度确定。每个目标组合对应的关联度可以大于预设的关联度，及目标组合的数量可以小于图像序列或点云序列中包括的图像或点云的数量。

在上述实施例中，由于多个目标组合是多个组合中关联度靠前的组合，关联度越大，说明第一设备采集图像的时间和第二设备采集点云的时间越接近，因此，可以取前N个关联度对应的目标组合对应的获取时间确定目标时间差，以提高确定目标时间差的准确性。

在上述实施例中，在确定出多个目标组合后，可以确定获取目标组合中包括的目标图像的第一获取时间，以及获取目标组合中包括的目标点云的第二获取时间。根据第一获取时间以及第二获取时间确定第一设备和第二设备的目标时间差，根据目标时间差同步第一设备和第二设备的时间。

可选地，上述步骤的执行主体可以是服务器、后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有数据处理设备的机器，其中，数据处理设备可以包括计算机、手机等终端，但不限于此。

通过本发明，实时获取第一设备在预定时间段内实时采集的图像序列，以及实时获取第二设备在预定时间内实时采集的点云序列，根据图像序列和点云序列确定多个目标组合，其中，目标组合中包括的目标图像以及目标点云之间的关联度大于目标图像与其他点云之间的关联度，确定获取每个目标组合中包括的目标图像的第一获取时间，以及获取每个目标组合中包括的目标点云的第二获取时间，根据每个第一获取时间以及每个第二获取时间确定第一设备和第二设备之间的目标时间差，根据目标时间差同步第一设备和第二设备的时间。由于在同步第一设备和第二设备的时间时，可以根据第一设备获取的图像序列以及第二设备获取的点云序列确定第一设备和第二设备之间的目标时间差，无需通过其他硬件或服务器确定目标时间差，因此，可以解决相关技术中存在的同步时间通用性差的问题，达到同步各种型号的设备的时间效果，降低了时间同步成本。

在一个示例性实施例中，基于所述图像序列以及所述点云序列确定多个目标组合包括：确定所述图像序列中包括的每个所述图像的第一语义图像；确定所述点云序列中包括的每个所述点云的第二语义图像；将所述第一语义图像以及所述第二语义图像输入至目标网络模型中，确定每个所述第一语义图像与每个所述第二语义图像之间的相似度；确定所述相似度中包括的多个目标相似度所分别对应的第一子语义图像以及第二子语义图像，其中，所述目标相似度大于所述目标相似度所对应的第一子语义图像与其他第二子语义图像之间的相似度，其中，所述其他第二子语义图像为除所述目标相似度所对应的第二子语义图像之外的其他点云所对应的第二子语义图像；将每个所述目标相似度对应的所述第一子语义图像与所述第二子语义图像确定为所述目标组合，以得到多个所述目标组合。在本实施例中，在确定目标组合时，可以利用语义分割模型确定图像序列中包括的每个图像的第一语义图像，以及，点云序列中包括的每个点云的第二语义图像。其中，确定第一语义图像的语义分割模型可以是HRNet-OCR模型，确定第二语义图像的语义分割模型可以是RandLA-Net模型。可以在服务器上分别搭建图像和点云的语义分割模型。

在上述实施例中，可以确定每个第一语义图像和每个第二语义图像之间的相似度。确定相似度时，可以将第一语义图像和第二语义图像输入至训练好的目标网络模型中，确定每对语义图像之间的相似度，其中，每对语义图像中包括一个第一语义图像和一个第二语义图像。确定每个第一语义图像和每个第二语义图像之间的相似度是分别确定一个第一语义图像与每个第二语义图像之间的相似度。例如，存在3个第一语义图像，分别为A、B、C，存在3个第二语义图像，分别为D、E、F。则分别确定第一语义图像A与第二语义图像D、E、F的相似度，再分别确定第一语义图像B与第二语义图像D、E、F的相似度，第一语义图像C与第二语义图像D、E、F的相似度。

在上述实施例中，目标网络模型可以是孪生网络模型。可以在服务器上搭建CNN孪生网络来评价点云帧和图像帧的相似度。采用已同步好的数据，训练集取车辆移动时的数据段，分别使用同步和不同步图像和点云帧组合，每组数据取语义信息，点云语义信息投影到图像坐标系的语义图像和图像语义信息作为输入。确定出每对语义图像之间的相似度，并预测每对语义图像之间的时间差，将预测的时间差与标定的时间差进行对比，根据对比结果不断的调整目标网络模型的网络参数。即目标网络模型的训练数据包括多对语义图像，以及每对语义图像之间的标定时间差。

在上述实施例中，用于训练目标网络模型的训练数据还可以包括多对语义图像，以及每对语义图像之间的相似度，在每次训练的过程中，可以预测每对语义图像之间的相似度，并与标定的相似度进行比较，确定损失值，依据损失值不断迭代更新网络参数，得到最终的目标网络模型。

在一个示例性实施例中，确定所述点云序列中包括的每个所述点云的第二语义图像包括：针对所述点云序列中包括的每个所述点云均执行以下操作，得到每个所述点云的所述第二语义图像：将所述点云中包括的每个点投影到所述图像所在的图像坐标系中，得到目标点；将所述目标点构成的图像确定为所述第二语义图像。在本实施例中，在确定每个点云的第二语义图像时，可以将每个点云中的每个点投影到图像所在的图像坐标系中，得到目标点，将目标点构成的图像确定为第二语义图像。可以利用语义分割模型，确定每个点云中的每个点的属性信息，根据属性信息确定语义信息，并将语义信息投影到图像坐标系中，以得到第二语义图像。

在一个示例性实施例中，将所述点云中包括的每个点投影到所述图像所在的图像坐标系中，得到目标点包括：确定所述点云中包括的每个点在点云坐标系中的第一坐标；确定所述第一坐标与第一参数的第一乘积；确定所述第一乘积与第二参数的和值；确定第三参数与所述和值的第二乘积；确定所述第二乘积与所述第一坐标中包括的竖轴坐标的比值；将所述比值对应的点确定为所述目标点。在本实施例中，在将每个点投影到图像坐标系时，可以根据第一设备和第二设备的内外参数进行投影。当第一设备为相机、第二设备为激光雷达时，可以根据激光雷达和相机的内外参，将每帧点云上的点投影到图像坐标系下，并保持图像同分辨率，得到点云的第二语义图像。

在上述实施例中，投影关系可以满足z

，其中，

为点云坐标系下的点坐标，

为图像坐标系下的坐标，k为第一设备的内参矩阵，R,T为外参。R对应于第一参数，T对应于第二参数，k对应于第三参数。z为竖轴坐标。

需要说明的是，上述第一参数、第二参数以及第三参数为与第一设备有关的参数，在第一设备确定的情况下，第一参数、第二参数以及第三参数随之确定。

在一个示例性实施例中，在将所述第一语义图像以及所述第二语义图像输入至目标网络模型中之前，所述方法还包括：获取多组训练数据，其中，多组所述训练数据中的每个所述训练数据均包括训练图像、训练点云，以及获取所述训练图像的时间与获取所述训练点云的时间的训练时间差的绝对值；分别将每组所述训练数据输入至初始网络模型中，确定每组所述训练数据中包括的训练图像以及所述训练点云之间的相似度，以及预测获取所述训练图像的时间与获取所述训练点云的时间的预测时间差；基于所述训练时间差的绝对值与所述预测时间差确定所述初始网络模型的损失值；基于所述损失值迭代更新所述初始网络模型的网络参数，得到所述目标网络模型。在本实施例中，在将第一语义图像和第二语义图像输入至目标网络模型中时，说明目标网络模型为已经训练好的模型。在此之前，可以对初始网络模型进行训练，得到目标网络模型。在训练初始网络模型时，可以获取多组训练数据，其中，训练数据中可以包括训练图像和训练点云，以及标定的每组训练图像和训练点云之间的训练时间差的绝对值，其中，训练时间差是指获取训练图像的时间与获取训练点云的时间之间的差值。获取训练图像是指实时获取第一设备实时采集到的图像，获取训练点云是指实时获取第二设备实时采集的点云。在获取到训练图像以及训练点云后，可以对训练图像和训练点云进行标签设置，即记录训练图像以及训练点云的获取时间。并将获取的训练图像和训练点云随机组合，将二者之间的训练时间差的绝对值作为训练数据的标签值。

在上述实施例中，在获取多组训练数据时，可以获取训练图像序列以及训练点云序列，其中，训练图像序列中包括的每个训练图像均对应获取的时间，同理，训练点云序列中包括的每个训练点云也均对应获取的时间。可以将训练图像序列中的图像和训练点云序列中包括的点云进行随机组合，得到多组训练数据。还可以将训练图像序列以及训练点云序列进行错帧处理，将错帧后的图像-点云对确定为一组训练数据，因此，可以得到多组训练数据。

在上述实施例中，在获取到多组训练数据后，可以分别将每组训练数据输入至初始网络模型中，以确定每组训练数据中的训练图像与训练点云之间的相似度，并预测二者之间的预测时间差，并将预测时间差与训练时间差的绝对值进行比较，并且初始网络模型的损失值，根据损失值不断的迭代更新初始网络模型的网络参数，在损失值满足预定条件，如小于预定损失值、损失值对应的训练次数小于预定次数时，退出训练，将最终的初始网络模型确定为目标网络模型。

在一个示例性实施例中，预测获取所述训练图像的时间与获取所述训练点云的时间的预测时间差包括：确定采集所述训练点云的采集时间间隔；在所述采集时间间隔大于或等于所述训练时间差的绝对值的情况下，将所述预测时间差确定为目标常数；在所述采集时间间隔小于所述训练时间差的绝对值的情况下，将所述训练时间差的绝对值与所述采集时间间隔的比值确定为所述预测时间差。在本实施例中，可以确定采集训练点云的采集时间间隔，及确定第二设备的采集时间间隔，根据采集时间间隔以及训练时间差确定预测时间差。当采集时间间隔小于训练时间差的绝对值的情况下，将预测时间差确定为目标常数，如1。当采集时间间隔大于或等于训练时间差的绝对值，则将训练时间差的绝对值与采集时间间隔的比值确定为预测时间差。其中，预测时间差可以表示为L=

，

为采集时间间隔，t真实相对时间差值的绝对值，即训练时间差的绝对值。

在一个示例性实施例中，基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差包括：确定每个所述目标组合对应的第一获取时间与所述第二获取时间的获取时间差，得到多个所述获取时间差；确定多个所述获取时间差的平均值；将多个所述平均值确定为所述目标时间差。在本实施例中，在确定出目标组合后，可以确定根据每个目标组合对应的第一获取时间以及第二获取时间得到多个获取时间差，确定多个获取时间差的平均值，将多个平均值确定为目标时间差。

在上述实施例中，还可以去掉多个获取时间差中包括的最大值和最小值，将剩余的获取时间差的平均值确定为目标时间差。

在确定目标时间差后，可以根据目标时间差确定第一设备和第二设备的时间相对快慢，将慢的设备的时间加上目标时间差，或者将快的设备的时间减去目标时间差，当然，也可以将慢的设备的时间加上二分之一目标时间差，将快的设备的时间减去二分之一目标时间差，以实现第一设备和第二设备的时间同步。

在上述实施例中，可以按照预定时间周期确定目标时间差，按照预定时间周期同步第一设备与第二设备的时间。

下面结合具体实施方式对时间的同步方法进行说明：

图3是根据本发明具体实施例的时间的同步方法流程图，如图3所示，该流程包括：获取一段有重合的数据帧序列，首先使用语义分割模型获得点云和图像每个点的属性，然后把点云投影到图像坐标系下，使用CNN孪生网络估计每种组合的相似度，求取最小的5组的均值作为数据的相对时间差值，并且每隔一定时间间隔，更新一次相对时间差值。

具体地，可以在服务器上分别搭建图像和点云的语义分割模型，图像的语义分割模型采用HRNet-OCR，点云的语义分割模型采用RandLA-Net，并使用标注好的数据集进行训练。

在服务器上搭建CNN孪生网络来评价点云帧和图像帧的相似度。采用已同步好的数据，训练集取车辆移动时的数据段，分别使用同步和不同步图像和点云帧组合，每组数据取语义信息，点云语义信息投影到图像坐标系的语义图像和图像语义信息作为输入，预测值（对应于上述预测时间差）设计为如下，其中

为点云的采集间隔时间差（对应于上述采集时间间隔），t为真实相对时间差值的绝对值（对应于上述训练时间差的绝对值）。

在交通道路上，交通畅通，车辆移动时时，智能感知模块（不限于设备上的智能感知板卡、有智能感知能力的服务器）实时采集一段有重合图像和点云数据帧序列，并且每帧包含设备获取时的绝对时间（非采集时的绝对时间，而是获取时的绝对时间），其中点云帧数：n，图像帧数：m。

图像和点云分别输入到对应的语义分割模型，获得图像像素点和点云每个点的属性类别。

根据激光雷达和相机的内外参，将每帧点云上的点投影到图像坐标系下，并保持图像同分辨率，得到点云的语义图像，投影计算公式：

z

其中，

为点云坐标系下的点坐标，

为图像坐标系下的坐标，k为相机的内参矩阵，R,T为外参。其中，R对应于第一参数，T对应于第二参数，k对应于第三参数。z对应于竖轴坐标。

遍历不同的点云和图像组合，输入到训练好的孪生网络中，网络输出不同的组合的相似度预测值。

选择预测的相似度值最高的五组，取帧间的相对时间差的均值，做为获取设备数据的相对时间差。

一般情况下，激光雷达的采集帧率较低。以雷达的数据帧的获取时间，补偿相对时间差后，选择相对时间最近的相机图像帧作为匹配帧（此时的相对时间误差较小，在可接受时间范围内），即可获得同步数据帧。

一般情况，同步帧时间差值较稳定，但是由于网络的波动，设备的老化等原因，获取的同步帧时间差值会波动。因此可以隔一定的时间间隔，人为或自动更新一次时间差值。

在前述实施例中，不依赖于额外时间同步硬件，不需要激光雷达和相机有对外触发、网络时间同步的功能。只需要输入设备的一段有重叠时间的数据序列，通过语义匹配算法，获得较为准确的时间差，从而得到同步的数据对设备没有额外的要求，设备按照固有频率采集，只输入一段有重叠时间的数据序列，通过语义匹配，获得较为准确的相对时间差，从而得到同步的数据帧。可兼容各款雷达和相机，不需要设备自带同步功能。相对人工标定，精度高，成本低，响应快，可以自动更新同步帧时间差值。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

在本实施例中还提供了一种时间的同步装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的时间的同步装置的结构框图，如图4所示，该装置包括：

获取模块402，用于实时获取第一设备采集的图像序列，以及第二设备采集的点云序列，其中，所述图像序列中包括的每个图像是所述第一设备在预定时间段内实时采集的，所述点云序列中包括的每个点云是所述第二设备在所述预定时间段内实时采集的；

第一确定模块404，用于基于所述图像序列以及所述点云序列确定多个目标组合，其中，每个所述目标组合中均包括目标图像以及目标点云，所述目标组合中包括的所述目标图像与所述目标点云之间的关联度大于所述目标图像与其他点云之间的关联度，所述其他点云为所述点云序列中包括的除所述目标点云之外的点云；

第二确定模块406，用于确定获取每个所述目标组合中包括的所述目标图像的第一获取时间以及获取每个所述目标组合中包括的所述目标点云的第二获取时间；

第三确定模块408，用于基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差；

同步模块410，用于基于所述目标时间差同步所述第一设备和所述第二设备的时间。

在一个示例性实施例中，第一确定模块404可以通过如下方式实现基于所述图像序列以及所述点云序列确定多个目标组合：确定所述图像序列中包括的每个所述图像的第一语义图像；确定所述点云序列中包括的每个所述点云的第二语义图像；将所述第一语义图像以及所述第二语义图像输入至目标网络模型中，确定每个所述第一语义图像与每个所述第二语义图像之间的相似度；确定所述相似度中包括的多个目标相似度所分别对应的第一子语义图像以及第二子语义图像，其中，所述目标相似度大于所述目标相似度所对应的第一子语义图像与其他第二子语义图像之间的相似度，其中，所述其他第二子语义图像为除所述目标相似度所对应的第二子语义图像之外的其他点云所对应的第二子语义图像；将每个所述目标相似度对应的所述第一子语义图像与所述第二子语义图像确定为所述目标组合，以得到多个所述目标组合。

在一个示例性实施例中，第一确定模块404可以通过如下方式实现确定所述点云序列中包括的每个所述点云的第二语义图像：针对所述点云序列中包括的每个所述点云均执行以下操作，得到每个所述点云的所述第二语义图像：将所述点云中包括的每个点投影到所述图像所在的图像坐标系中，得到目标点；将所述目标点构成的图像确定为所述第二语义图像。

在一个示例性实施例中，第一确定模块404可以通过如下方式实现将所述点云中包括的每个点投影到所述图像所在的图像坐标系中，得到目标点：确定所述点云中包括的每个点在点云坐标系中的第一坐标；确定所述第一坐标与第一参数的第一乘积；确定所述第一乘积与第二参数的和值；确定第三参数与所述和值的第二乘积；确定所述第二乘积与所述第一坐标中包括的竖轴坐标的比值；将所述比值对应的点确定为所述目标点。

在一个示例性实施例中，所述装置可以用于在将所述第一语义图像以及所述第二语义图像输入至目标网络模型中之前，获取多组训练数据，其中，多组所述训练数据中的每个所述训练数据均包括训练图像、训练点云，以及获取所述训练图像的时间与获取所述训练点云的时间的训练时间差的绝对值；分别将每组所述训练数据输入至初始网络模型中，确定每组所述训练数据中包括的训练图像以及所述训练点云之间的相似度，以及预测获取所述训练图像的时间与获取所述训练点云的时间的预测时间差；基于所述训练时间差的绝对值与所述预测时间差确定所述初始网络模型的损失值；基于所述损失值迭代更新所述初始网络模型的网络参数，得到所述目标网络模型。

在一个示例性实施例中，所述装置可以通过如下方式实现预测获取所述训练图像的时间与获取所述训练点云的时间的预测时间差：确定采集所述训练点云的采集时间间隔；在所述采集时间间隔大于或等于所述训练时间差的绝对值的情况下，将所述预测时间差确定为目标常数；在所述采集时间间隔小于所述训练时间差的绝对值的情况下，将所述训练时间差的绝对值与所述采集时间间隔的比值确定为所述预测时间差。

在一个示例性实施例中，第三确定模块408可以通过如下方式实现基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差：确定每个所述目标组合对应的第一获取时间与所述第二获取时间的获取时间差，得到多个所述获取时间差；确定多个所述获取时间差的平均值；将多个所述平均值确定为所述目标时间差。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种时间的同步方法，其特征在于，包括：

实时获取第一设备采集的图像序列，以及第二设备采集的点云序列，其中，所述图像序列中包括的每个图像是所述第一设备在预定时间段内实时采集的，所述点云序列中包括的每个点云是所述第二设备在所述预定时间段内实时采集的；

基于所述图像序列以及所述点云序列确定多个目标组合，其中，每个所述目标组合中均包括目标图像以及目标点云，所述目标组合中包括的所述目标图像与所述目标点云之间的关联度大于所述目标图像与其他点云之间的关联度，所述其他点云为所述点云序列中包括的除所述目标点云之外的点云；

确定获取每个所述目标组合中包括的所述目标图像的第一获取时间以及获取每个所述目标组合中包括的所述目标点云的第二获取时间；

基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差；

基于所述目标时间差同步所述第一设备和所述第二设备的时间；

基于所述图像序列以及所述点云序列确定多个目标组合包括：确定所述图像序列中包括的每个所述图像的第一语义图像；确定所述点云序列中包括的每个所述点云的第二语义图像；将所述第一语义图像以及所述第二语义图像输入至目标网络模型中，确定每个所述第一语义图像与每个所述第二语义图像之间的相似度；确定所述相似度中包括的多个目标相似度所分别对应的第一子语义图像以及第二子语义图像，其中，所述目标相似度大于所述目标相似度所对应的第一子语义图像与其他第二子语义图像之间的相似度，其中，所述其他第二子语义图像为除所述目标相似度所对应的第二子语义图像之外的其他点云所对应的第二子语义图像；将每个所述目标相似度对应的所述第一子语义图像与所述第二子语义图像确定为所述目标组合，以得到多个所述目标组合。

2.根据权利要求1所述的方法，其特征在于，确定所述点云序列中包括的每个所述点云的第二语义图像包括：

针对所述点云序列中包括的每个所述点云均执行以下操作，得到每个所述点云的所述第二语义图像：

将所述点云中包括的每个点投影到所述图像所在的图像坐标系中，得到目标点；

将所述目标点构成的图像确定为所述第二语义图像。

3.根据权利要求2所述的方法，其特征在于，将所述点云中包括的每个点投影到所述图像所在的图像坐标系中，得到目标点包括：

确定所述点云中包括的每个点在点云坐标系中的第一坐标；

确定所述第一坐标与第一参数的第一乘积；

确定所述第一乘积与第二参数的和值；

确定第三参数与所述和值的第二乘积；

确定所述第二乘积与所述第一坐标中包括的竖轴坐标的比值；

将所述比值对应的点确定为所述目标点。

4.根据权利要求1所述的方法，其特征在于，在将所述第一语义图像以及所述第二语义图像输入至目标网络模型中之前，所述方法还包括：

获取多组训练数据，其中，多组所述训练数据中的每个所述训练数据均包括训练图像、训练点云，以及获取所述训练图像的时间与获取所述训练点云的时间的训练时间差的绝对值；

分别将每组所述训练数据输入至初始网络模型中，确定每组所述训练数据中包括的训练图像以及所述训练点云之间的相似度，以及预测获取所述训练图像的时间与获取所述训练点云的时间的预测时间差；

基于所述训练时间差的绝对值与所述预测时间差确定所述初始网络模型的损失值；

基于所述损失值迭代更新所述初始网络模型的网络参数，得到所述目标网络模型。

5.根据权利要求4所述的方法，其特征在于，预测获取所述训练图像的时间与获取所述训练点云的时间的预测时间差包括：

确定采集所述训练点云的采集时间间隔；

在所述采集时间间隔大于或等于所述训练时间差的绝对值的情况下，将所述预测时间差确定为目标常数；

在所述采集时间间隔小于所述训练时间差的绝对值的情况下，将所述训练时间差的绝对值与所述采集时间间隔的比值确定为所述预测时间差。

6.根据权利要求1所述的方法，其特征在于，基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差包括：

确定每个所述目标组合对应的第一获取时间与所述第二获取时间的获取时间差，得到多个所述获取时间差；

确定多个所述获取时间差的平均值；

将多个所述平均值确定为所述目标时间差。

7.一种时间的同步装置，其特征在于，包括：

获取模块，用于实时获取第一设备采集的图像序列，以及第二设备采集的点云序列，其中，所述图像序列中包括的每个图像是所述第一设备在预定时间段内实时采集的，所述点云序列中包括的每个点云是所述第二设备在所述预定时间段内实时采集的；

第一确定模块，用于基于所述图像序列以及所述点云序列确定多个目标组合，其中，每个所述目标组合中均包括目标图像以及目标点云，所述目标组合中包括的所述目标图像与所述目标点云之间的关联度大于所述目标图像与其他点云之间的关联度，所述其他点云为所述点云序列中包括的除所述目标点云之外的点云；

第二确定模块，用于确定获取每个所述目标组合中包括的所述目标图像的第一获取时间以及获取每个所述目标组合中包括的所述目标点云的第二获取时间；

第三确定模块，用于基于每个所述第一获取时间以及每个所述第二获取时间确定所述第一设备与所述第二设备之间的目标时间差；

同步模块，用于基于所述目标时间差同步所述第一设备和所述第二设备的时间；

所述第一确定模块通过如下方式实现基于所述图像序列以及所述点云序列确定多个目标组合：确定所述图像序列中包括的每个所述图像的第一语义图像；确定所述点云序列中包括的每个所述点云的第二语义图像；将所述第一语义图像以及所述第二语义图像输入至目标网络模型中，确定每个所述第一语义图像与每个所述第二语义图像之间的相似度；确定所述相似度中包括的多个目标相似度所分别对应的第一子语义图像以及第二子语义图像，其中，所述目标相似度大于所述目标相似度所对应的第一子语义图像与其他第二子语义图像之间的相似度，其中，所述其他第二子语义图像为除所述目标相似度所对应的第二子语义图像之外的其他点云所对应的第二子语义图像；将每个所述目标相似度对应的所述第一子语义图像与所述第二子语义图像确定为所述目标组合，以得到多个所述目标组合。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至6任一项中所述的方法的步骤。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

Images