CN117544269A - 一种自动驾驶数据采集系统的时间同步方法和装置 - Google Patents

Abstract

本申请公开了一种自动驾驶数据采集系统的时间同步方法和装置，通过确定传感器的采样数据的时间同步配准频率和同步算法；根据各个传感器的采样频率确定同步时间段；基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率，实现了对采集频率非整数倍关系的传感器采集数据进行时间同步，有效的提高了数据采集时间同步的精度，并且无需添加硬件实施成本低，适用范围广。

Description

一种自动驾驶数据采集系统的时间同步方法和装置

技术领域

本申请涉及传感器技术领域，尤其涉及一种自动驾驶数据采集系统的时间同步方法和装置。

背景技术

目前，随着自动驾驶领域技术的快速发展，单一的传感器已经不能满足智能驾驶的要求。自动驾驶车辆所需要的传感器越来越多，包括摄像头、GPS、雷达、惯性传感器IMU以及车载CAN单元等，而这些传感器的采集频率往往都是不一样的，这就会导致多种传感器在采集的时间同步上存在差异，导致数据回放和验证的可信度低，不能满足自动驾驶测试过程的数据分析需求。

现有技术中主要通过硬件脉冲信号的方式或者软件算法的方式实现多传感器时间同步。基于硬件脉冲信号的方式实现多传感器时间同步的方式主要包括GNSS同步、NTP/PTP同步、PPS脉冲同步等方案，然而这些方案都需要硬件支持，成本代价较高，同时如GPS和IMU等传感器采样速率相差较大，会造成采样率高的部分数据缺失，可靠性不高。基于软件实现时间同步主要包括时间直接配准法等方案，其适合频率具有整数倍关系的传感器之间的时间同步，以频率低的为基准，找出时间戳对应的数据即可，然而这种方法误差比较大，而且要求传感器之间的帧率是整数倍,对于采集频率非整数倍，或者帧率动态变化的传感器，该方法并不适用。

因此，如何对采集频率与采样时间不同的传感器数据进行时间同步是有待解决的技术问题。

发明内容

本申请的主要目的在于提供一种自动驾驶数据采集系统的时间同步方法和装置，旨在解决如何对采集频率与采样时间不同的传感器数据进行时间同步的技术问题。

第一方面，本申请提供一种自动驾驶数据采集系统的时间同步方法，所述方法包括以下步骤：

确定传感器的采样数据的时间同步配准频率和同步算法；

根据各个传感器的采样频率确定同步时间段；

基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。

一些实施例中，确定传感器的采样数据的时间同步配准频率，包括：

计算采样系统中所有传感器的采样频率的加权平均值，得到所述时间同步配准频率；

其中，各个传感器的采样频率的权重值是根据传感器的采样精度设置的。

一些实施例中，基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，包括：

若各个传感器的采样频率为非整数倍关系时，通过第一内插外推时间同步公式根据传感器的采样时间戳计算传感器之间的采样时间差；

根据传感器的采样数据和所述采样时间差计算出时间同步后的采样数据。

一些实施例中，基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，包括：

当传感器的采样数据只包括目标位置时，通过第二内插外推时间同步公式根据传感器的采样间隔时间和目标位置在采样时间间隔内的变化估算目标速度；

根据传感器采样的目标位置和估算的目标速度计算出时间同步后的采样数据。

一些实施例中，基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，还包括：

当传感器的采样数据中只包括目标位置且目标速度为非匀速时，通过第三内插外推时间同步公式根据各个采样时刻的目标位置，各个采样时刻对应的前一采样时刻的目标位置和目标速度以及对应的后一采样时刻的目标位置，计算各个采样时刻的目标运动加速度；

基于各个采样时刻的目标运动加速度计算各个采样时刻的目标速度；

根据传感器采样的目标位置和计算的目标速度算出时间同步后的采样数据。

一些实施例中，在确定传感器的采样数据的时间同步配准频率之前，还包括：

通过网络校时的方式获取标准时间，根据所述标准时间对各个传感器进行初始时刻时间戳对齐。

一些实施例中，在依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内之前还包括：

按照各个传感器的采用频率由低至高多传感器的采样数据进行排序。

第二方面，本申请还提供一种自动驾驶数据采集系统的时间同步装置，所述装置包括：

第一确定模块，其用于确定传感器的采样数据的时间同步配准频率和同步算法；

第二确定模块，其用于根据各个传感器的采样频率确定同步时间段；

同步模块，其用于基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。

一些实施例中，所述第一确定模块还用于：

计算采样系统中所有传感器的采样频率的加权平均值，得到所述时间同步配准频率；

其中，各个传感器的采样频率的权重值是根据传感器的采样精度设置的。

一些实施例中，所述同步模块还用于：

若各个传感器的采样频率为非整数倍关系时，通过第一内插外推时间同步公式根据传感器的采样时间戳计算传感器之间的采样时间差；

根据传感器的采样数据和所述采样时间差计算出时间同步后的采样数据。

本申请提供一种自动驾驶数据采集系统的时间同步方法和装置，通过确定传感器的采样数据的时间同步配准频率和同步算法；根据各个传感器的采样频率确定同步时间段；基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率，实现了对采集频率非整数倍关系的传感器采集数据进行时间同步，有效的提高了数据采集时间同步的精度，并且无需添加硬件实施成本低，适用范围广。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种自动驾驶数据采集系统的时间同步方法的流程示意图；

图2为时间同步功能模型示意图；

图3为外插内推原理示意图；

图4为a传感器和b传感器的采样周期示意图；

图5为一种自动驾驶数据采集系统的时间同步装置的示意性框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供一种自动驾驶数据采集系统的时间同步方法和装置。其中，该自动驾驶数据采集系统的时间同步方法可应用于计算机设备中，该计算机设备可以是整车控制器、车载电脑等电子设备。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种自动驾驶数据采集系统的时间同步方法的流程示意图。如图1所示，该方法的完整思路包括：

步骤S101、确定传感器的采样数据的时间同步配准频率和同步算法。

步骤S102、根据各个传感器的采样频率确定同步时间段。

步骤S103、基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。

值得说明的是，在确定传感器的采样数据的时间同步配准频率之前，还包括：通过网络校时的方式获取标准时间，根据所述标准时间对各个传感器进行初始时刻时间戳对齐。

示范性的，首先通过全球导航卫星系统GNSS或者NTP网络校时的方式统一时钟源，获取标准时间，对车载传感器进行初始时刻时间戳对齐，获取以所述标准时间为基准的传感器数据的采样时间。

值得说明的是，由于每种传感器的采样频率不一致，如摄像机采样频率通常为25/30fps，雷达采样频率通常为10Hz，CAN的采样频率与数据输出的频率一致，不同传感器之间的数据传输还存在一定的延迟，可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或目标物又在运动，那么最终会导致较大的同步误差，因而在开展数据的时间同步之前要选择合适的同步频率值。

设f_t表示车载多传感器采样数据的时间同步配准频率，车载多传感器集合中的最高采样频率是f_max(车载传感器的最高采样频率受传感器物理硬件限制)，时间同步频率的最大和最小值是和/> 和/>是假定的最大和最小值，可以通过传感器的极限采集频率来确定，系统要求的采样周期最大和最小值是T_max和T_min，若要符合系统的数据采集实时性要求，则时间同步配准频率应符合公式1：

f_t ^min(T_max)≤f_t≤f_t ^max(T_min)

由于受到同步频率的影响f_t要公式2：

f_s ^min≤f_t≤f_s ^max

另外传感器集合中的时间同步配准频率f_t要符合公式3：

_ft≤f_max

在f_t ^min(T_max)＞f_max时，不能满足系统的实时性要求，需要重新选择其他时间配准方法。在符合系统的实时性的前提条件下，将公式1和公式3合并后可以得到公式4：

f_t ^min(T_max)≤f_t≤f_t ^max(T_min,f_max)＝min(f_t ^max(T_min),f_max))

如果f_t ^min(T_max)≤f_s ^max和f_t ^max(T_min,f_max)≥f_s ^min都成立时，公式2和公式4可以合并得到公式5：

max{f_t ^min(T_max),f_s ^min}＝f_t ^min(T_max,f_s ^min)≤f_t≤f_t ^max(T_min,f_max,f_s ^max)＝min{f_t ^max(T_min,f_max),f_s ^max}。

由此可见，时间同步配准频率值是分布在一个区间范围内的，要想得到合适的时间同步配准频率就需要根据传感器本身特点和工作环境的限制来进行合理选择。

作为一种优选的实施方式，本实施实施例中确定传感器的采样数据的时间同步配准频率，包括：计算采样系统中所有传感器的采样频率的加权平均值，得到所述时间同步配准频率；

其中，f_t为时间同步配准频率，a_k为权重值，i为传感器序号k＝1,2,…,N。

其中，各个传感器的采样频率的权重值是根据传感器的采样精度设置的：

其中，p_k(k＝1,2,…,N)为传感器的采样精度。以上方法利用传感器采样频率平均值来推导出时间同步配准频率，这样可以减少一些极值频率的影响。

本实施例中，根据各个传感器的采样频率确定同步时间段包括，将各个传感器的采样频率的最小公倍数作为同步时间段，并根据采样要求确定采样时间为秒级别。

优选的，在依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内之前还包括：按照各个传感器的采用频率由低至高多传感器的采样数据进行排序。

值得说明的是，时间软同步可以分为采样频率为整数倍数关系的传感器之间的时间同步和非整数倍关系传感器之间的时间同步。其中整数倍关系的可以采用时间直接配准法，即可实现时间同步。通过时间配准法进行时间同步是本领技术人员悉知的在此不再赘述。而对于非整数倍关系时通过时间配准法则无法实现高精度时间同步，因此本申请通过内插外推法实现非整数倍关系传感器之间的时间同步。

需要理解的是，使用内插法时，其原理可以概括为：画一条通过xi的平滑曲线，如果x处于xi的最大值与最小值之间，对任意的x估算f(x)的值，则称之为内插法。使用外推法时，其原理可以概括为，画一条通过xi的平滑曲线，对任意的x估算f(x)的值，如果x超出此范围则称为外推法。

具体的，若各个传感器的采样频率为非整数倍关系时，通过第一内插外推时间同步公式根据传感器的采样时间戳计算传感器之间的采样时间差；根据传感器的采样数据和所述采样时间差计算出时间同步后的采样数据。

其原理为利用两个传感器帧上的时间标签，计算出时间差，然后通过包含有车辆运动信息的目标帧与时间差结合，推算出新的帧时各个目标的位置，并于原有的两帧之间建立新的帧。

示范性的，以位置传感器为例进行说明。例如车载传感器a和传感器b对相同目标进行数据采样，在同一时间片内的采样数据序列如图4所示，为a传感器的第一采样时刻，/>为a传感器的第n采样时刻，/>为b传感器的第一采样时刻，/>为b传感器的第m采样时刻。传感器a在该时刻的采样数据为/>其中，/>为a传感器在i时刻采集的目标在X方向的位置，/>为a传感器在i时刻采样的目标在Y方向的位置，/>为a传感器在i时刻采样的目标X方向的速度，/>为b传感器在i时刻采样的目标Y方向的速度。传感器b在该时刻的采样数据为/>其中，/>为b传感器在j时刻采集的目标在X方向的位置，/>为b传感器在j时刻采样的目标在Y方向的位置，/>为b传感器在j时刻采样的目标X方向的速度，/>为b传感器在j时刻采样的目标Y方向的速度。由高精度传感器a向低精度传感器b的采样时刻进行时间同步，同步后的数据用/>表示，为X方向同步后的目标位置，/>为Y方向同步后的位置。其中，i＝1,2,…,n,h＝1,2,…,m。

第一内插外推时间同步公式为：

进一步的，多传感器在实际应用中，存在别传感器存在不能测得目标的位置信息，要想得到目标状态，就要通过对其他传感器的测量数据进行处理得到，对于传感器只提供位置信息的情况，可以由采样间隔和位置信息变化来估计物体的运动信息。

具体的，当传感器的采样数据只包括目标位置时，通过第二内插外推时间同步公式根据传感器的采样间隔时间和目标位置在采样时间间隔内的变化估算目标速度；根据传感器采样的目标位置和估算的目标速度计算出时间同步后的采样数据。

第二内插外推时间同步公式为：

值得说明的是，上述公式是基于目标做匀速直线运动进行研究的，因此该方法只能适应于目标运动状态比较单一的情况，比如两个采样周期内目标运动的平均速度相等，或者恒定不变。多传感器数据融合系统在在实际工程项目中，由于目标物体的运动状态并不是单一的或者匀速不变的，采用此方法进行同步会降低时间同步的精度，故进一步优化算法模型。

具体的，当传感器的采样数据中只包括目标位置且目标速度为非匀速时，通过第三内插外推时间同步公式根据各个采样时刻的目标位置，各个采样时刻对应的前一采样时刻的目标位置和目标速度以及对应的后一采样时刻的目标位置，计算各个采样时刻的目标运动加速度；基于各个采样时刻的目标运动加速度计算各个采样时刻的目标速度；根据传感器采样的目标位置和计算的目标速度算出时间同步后的采样数据。

示范性的，提出匀加速直线运动模型，设定目标在连续两个周期上的运动状态是匀加速直线运动且在两个维度上都是相同的运动状态(多维度运动算法类似)，设目标运动加速度用来表示，采样时刻是/>根据匀加速直线运动规律则可推出如下方程组：

求解上述方程组，目标在X、Y方向上的运动加速度可表示如下：

目标的速度可用下式表示：

已知b传感器的采样时刻为满足/>配准后的数值公式为：

则第三内插外推时间同步公式为：

本申请实施例提供了一种自动驾驶数据采集系统的时间同步方法，通过确定传感器的采样数据的时间同步配准频率和同步算法；根据各个传感器的采样频率确定同步时间段；基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。本发明结合了工程项目中车载数据采集设备的运动状态，并首次提出通过时间同步配准频率f_t来定义内插外推法的最大可信任时间，提出了基于匀加速直线运动模型的改进型内插外推算法，并对内插外推法在该模型下进行了改进，相比于硬同步方案，节省了实施成本，相比于时间直接配准算法及原始的内插外推算法，拓展了算法适用范围，提高了数据采集时间同步的精度。

请参照图5，图5为本申请实施例提供的一种自动驾驶数据采集系统的时间同步装置的示意性框图。

如图5所示，该装置包括：

第一确定模块，其用于确定传感器的采样数据的时间同步配准频率和同步算法；

第二确定模块，其用于根据各个传感器的采样频率确定同步时间段；

同步模块，其用于基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。

其中，所述第一确定模块还用于：

计算采样系统中所有传感器的采样频率的加权平均值，得到所述时间同步配准频率；

其中，各个传感器的采样频率的权重值是根据传感器的采样精度设置的。

其中，所述同步模块还用于：

若各个传感器的采样频率为非整数倍关系时，通过第一内插外推时间同步公式根据传感器的采样时间戳计算传感器之间的采样时间差；

根据传感器的采样数据和所述采样时间差计算出时间同步后的采样数据。

其中，所述同步模块还用于：

当传感器的采样数据只包括目标位置时，通过第二内插外推时间同步公式根据传感器的采样间隔时间和目标位置在采样时间间隔内的变化估算目标速度；

根据传感器采样的目标位置和估算的目标速度计算出时间同步后的采样数据。

其中，所述同步模块还用于：

当传感器的采样数据中只包括目标位置且目标速度为非匀速时，通过第三内插外推时间同步公式根据各个采样时刻的目标位置，各个采样时刻对应的前一采样时刻的目标位置和目标速度以及对应的后一采样时刻的目标位置，计算各个采样时刻的目标运动加速度；

基于各个采样时刻的目标运动加速度计算各个采样时刻的目标速度；

根据传感器采样的目标位置和计算的目标速度算出时间同步后的采样数据。

其中，该装置还用于:

通过网络校时的方式获取标准时间，根据所述标准时间对各个传感器进行初始时刻时间戳对齐。

其中，该装置还用于：

按照各个传感器的采用频率由低至高多传感器的采样数据进行排序。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种自动驾驶数据采集系统的时间同步方法，其特征在于，包括：

确定传感器的采样数据的时间同步配准频率和同步算法；

根据各个传感器的采样频率确定同步时间段；

基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。

2.根据权利要求1所述的自动驾驶数据采集系统的时间同步方法，其特征在于，确定传感器的采样数据的时间同步配准频率，包括：

计算采样系统中所有传感器的采样频率的加权平均值，得到所述时间同步配准频率；

其中，各个传感器的采样频率的权重值是根据传感器的采样精度设置的。

3.根据权利要求1所述的自动驾驶数据采集系统的时间同步方法，其特征在于，基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，包括：

若各个传感器的采样频率为非整数倍关系时，通过第一内插外推时间同步公式根据传感器的采样时间戳计算传感器之间的采样时间差；

根据传感器的采样数据和所述采样时间差计算出时间同步后的采样数据。

4.根据权利要求1所述的自动驾驶数据采集系统的时间同步方法，其特征在于，基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，包括：

当传感器的采样数据只包括目标位置时，通过第二内插外推时间同步公式根据传感器的采样间隔时间和目标位置在采样时间间隔内的变化估算目标速度；

根据传感器采样的目标位置和估算的目标速度计算出时间同步后的采样数据。

5.根据权利要求1所述的自动驾驶数据采集系统的时间同步方法，其特征在于，基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，还包括：

当传感器的采样数据中只包括目标位置且目标速度为非匀速时，通过第三内插外推时间同步公式根据各个采样时刻的目标位置，各个采样时刻对应的前一采样时刻的目标位置和目标速度以及对应的后一采样时刻的目标位置，计算各个采样时刻的目标运动加速度；

基于各个采样时刻的目标运动加速度计算各个采样时刻的目标速度；

根据传感器采样的目标位置和计算的目标速度算出时间同步后的采样数据。

6.根据权利要求1所述的自动驾驶数据采集系统的时间同步方法，其特征在于，在确定传感器的采样数据的时间同步配准频率之前，还包括：

通过网络校时的方式获取标准时间，根据所述标准时间对各个传感器进行初始时刻时间戳对齐。

7.根据权利要求1所述的自动驾驶数据采集系统的时间同步方法，其特征在于，在依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内之前还包括：

按照各个传感器的采用频率由低至高多传感器的采样数据进行排序。

8.一种自动驾驶数据采集系统的时间同步装置，其特征在于，

第一确定模块，其用于确定传感器的采样数据的时间同步配准频率和同步算法；

第二确定模块，其用于根据各个传感器的采样频率确定同步时间段；

同步模块，其用于基于同步时间段根据对应的同步算法依次将高采样频率传感器的采样数据内插外推至低采样频率传感器的采样时间区间内，直至采样数据的频率达到所述时间同步配准频率。

9.根据权利要求8所述的自动驾驶数据采集系统的时间装置，其特征在于，所述第一确定模块还用于：

计算采样系统中所有传感器的采样频率的加权平均值，得到所述时间同步配准频率；

其中，各个传感器的采样频率的权重值是根据传感器的采样精度设置的。

10.根据权利要求8所述的自动驾驶数据采集系统的时间同步装置，其特征在于，所述同步模块还用于：

若各个传感器的采样频率为非整数倍关系时，通过第一内插外推时间同步公式根据传感器的采样时间戳计算传感器之间的采样时间差；

根据传感器的采样数据和所述采样时间差计算出时间同步后的采样数据。