CN116527186A - 一种全息路口多感知设备的同步方法及装置 - Google Patents

Abstract

本发明涉及一种全息路口多感感知设备的同步方法，包括：获取多传感器维度的目标信息；从融合的目标信息中获取卫星信号提取出时间同步的时间信息，并用卫星授时模组输出的秒脉冲信号；以秒脉冲信号为采集起始信号，在所述秒脉冲信号输出的固定周期内，通过串口输出TOD信息，获取到的预设时间信息，通过时序同步触发多种传感器的数据采集，同时将相应的时间标签输入到目标信息中；通过采集数据处理，将TOD信息每一帧数据和协调世界时间进行打包上传，根据特性对相关数据进行数据融合，实现各采集数据的同步采集。

Description

一种全息路口多感知设备的同步方法及装置

技术领域

本发明属于道路交通管理领域，尤其涉及一种全息路口多感知设备的同步方法及装置。

背景技术

车路协同是指挥交通发展的必然趋势，而城市交叉路口是车路协同的重要节点。交叉路口是城市道路中环境最复杂、参与者最多、问题状况最频繁的交通场景。其承担了大量交通流量，交叉路口的畅通程度直接影响交通通行能力。对交叉路口进行数据化、智能化管理，规范交通参与者行为，是提升道路通行能力，降低交通事故发生率最有效的手段之一。

随着全息路口的概念的兴起，各大软硬件厂商纷纷布局。全息路口可以提供高精度、实时的交通数据，是推动交通智能管理精细化落地，全面赋能城市交通治理的重要手段。其通过多种传感器进行多视角多模态路况感知，精准感知交通状态，最后数字还原路口复杂状态，实现路权按需调度和智能管理。

在全息路口的各模块中，感知是第一步，传感器的配置方案直接影响到后续的数据处理与算法流程。目前，主要方法是通过不同传感器如雷达、摄像头、红外等进行组合，获取多传感器维度的目标信息，再对目标信息进行融合，获得准确的目标信息。经典的全息路口传感器融合方案有多相机纯视觉、单目相机与毫米波雷达融合等；在这些方案中，如果需要精确再现和还原相关目标的状态、运行速度、位置以及关联关系等，需要对相关传感器之间的采集数据进行时间同步，而目前主要为NTP同步、PTP同步、指令校时等，通过局域网内的NTP服务器给不同设备进行校时，校时精度可以控制在10ms以内，但是对于采集时序要求比较高，特别是摄像机，采集、运算以及编码时间会跟CPU和相关硬件当前负载有关系，从而导致相关延时时间不固定，这样就导致了时间同步出现比较大的误差，而且在一个NTP同步周期内，会形成积累误差，这样就大大影响了相关设备数据融合的有效性。其中，NTP校时：在局域网内，存在一个总的校时服务器(NTP服务器)，为该局域网内的设备提供统一的授时服务，各设备定时或不定时的与NTP服务器通讯，获取当前的服务器当前时间，并通过一定的算法，将传输中的时间误差也进行矫正，这样比较精确的获取到当前的时间，并校准自己的时间，与服务器保持一致，一定时间后，再重复上述操作，以保持与NTP服务器的时间同步。

PTP同步：名为精密时间协议，与NTP同步类似，但同步精度更高，PTP协议支持把时间同步信息的时间戳标记操作放在协议栈的底层，由硬件直接处理，因此，“处理延时”降低到最小，基本忽略不计。硬件直接处理的一大前提则是硬件需支持。所以，部署PTP的网络往往对时间同步有更苛刻的需求，但是在图像采集上，如果不能在统一时刻采集和抓拍，因此也导致了图像和其他传感器在做帧同步的时候，存在偏差，导致同步误差存在。

指令同步：不同点在于，通过时间服务器对整个局域网内的设备进行指令广播，将当前时间或者直接发送给各设备，但由于网络存在延迟，各设备获取到时间指令时间不统一，从而导致时间同步存在偏差；同时，由于向摄像机这类的设备，有一个固定的帧率要求，如果不能在同一时刻进行采集抓拍，相关数据就会存在时间上的偏差，在后期数据处理对相关目标关联融合还原的时候，就会存在误差。

无论是上述NTP、PTP以及指令同步方式中的哪种，即使时间同步精度很高，系统时间误差能控制在很小的误差范围内，但是由于无法在采集逻辑上严格启动，所以在真正的数据采集打包上传时，会存在数据帧之间的同步误差，帧数据会出现错位情况，从而导致了后期对这些传感器数据进行融合的时候，出现数据帧不同步的情况，影响整个的融合效果。

发明内容

本发明旨在克服现有技术的缺陷，提出一种全息路口多感感知设备的同步方法，大幅提升路口多个传感器之间的同步效果，即保证时间的同步精度，又保证设备采样的精准同步，其授时精度能达到纳秒量级，保证后续数据融合的时间同步效果。

为达到上述目的，本发明采用如下技术方案来实现：

一种全息路口多感感知设备的同步方法，包括：

获取组合的多种传感器维度的目标信息；从融合的目标信息中获取卫星信号提取出时间同步的时间信息，并用卫星授时模组输出的秒脉冲信号；

以秒脉冲信号为起始信号，在所述秒脉冲信号输出的固定周期内，通过串口输出TOD信息，结合秒脉冲信号解析TOD信息，获取到预设时间信息；

获取到预设时间信息和秒脉冲信号后，通过时序同步触发多传感器的相关数据采集，同时将相应的时间标签输入到目标信息中；

通过采集数据处理，将TOD信息每一帧数据和协调世界时间(UTC时间)进行打包上传，根据多种传感器的相关特性对相关数据进行数据融合处理，实现时间同步和各帧数据采集。

可选的，所述传感器维度包括如雷达、摄像头、红外。

可选的，所述获取的卫星信号为使用GPS或者北斗卫星信号进行时间同步。

可选的，所述秒脉冲信号为每秒钟输出一个方波信号，上升沿为基准，在同一区域不同模组与卫星同步完后，输出的PPS信号；使用PPS信号为采集的起始信号和时间同步信号。

可选的，所述秒脉冲信号为电信号，不带时间信息。

可选的，所述TOD(timeofday)信息周期与PPS周期一致，每秒钟一次。

可选的，所述TOD信息包含日期和时间信息。

可选的，所述相关数据采集包括：摄像头的图像采集、雷达进行相关雷达信号发送和采集。

本发明还提供一种全息路口多感知设备的同步装置包括：

卫星授时模块、时序逻辑单元、数据采集单元和处理单元；所述卫星授时模块用于获取卫星定位授时信息，输出秒脉冲信号和TOD信息；

所示时序逻辑单元用于数据采集单元所需的时序逻辑合成，输出相关的TOD数据帧、场、行以及其他控制时序逻辑信号；

所述数据采集单元用于在时序逻辑信号驱动下，进行相关数据采集；卫星授时模组将物理信号转变为电信号后，电信号采样形成数字信号，并将时间帧信息同步打包到采集的相关数据中；

所述处理单元用于对相关数据进行数据分析、研判和打包以及对外进行不同设备间相关数据融合。

与现有技术相比，本发明的有益效果是：

采用卫星授时模块获取时间信息和时序信号，对全息路口感知设备进行数据同步和帧同步；

各感知设备不用再通过配置进行时间服务器的配置，而是通过GPS或者北斗导航卫星同步，同步精度可以控制在纳秒级别，相对于NTP等同步方式同步精度有比较大的提升。

组网以及拓扑相对简单，不依托局域网内的时间服务器，不需要NTP以及PTP等硬件设备，能简化相关系统的复杂度。

由于采用的卫星同步方式，不会因为网络中断或者阻塞，导致系统时间同步的精度受到影响，这大大提供系统时间同步的稳定性。

采用卫星授时模组输出的PPS信号，通过该信号对采集逻辑进行每台硬件设备采集数据同步，能保证图像采集以及数据采集(设备做数据融合)提供精确的帧同步，从微观方面提高相关数据帧的同步精度，对于需要对多个设备进行融合的过程中，能大大提供相关的融合效果。

针对通过多摄像头，使用卫星信号中提取的PPS信号进行帧同步，进行目标物体时空定位，能跨越距离的限制，点位的安装不受空间的限制，这样大大提高多目测距的精度和范围。

附图说明

图1是本发明全息路口多感知设备的同步方法的卫星授时模块输出示意图；

图2是本发明全息路口多感知设备的同步方法的传感器设备功能示意图；

图3是本发明全息路口多感知设备的同步方法的各设备时间同步示意图；

图4是本发明全息路口多感知设备的同步方法的路口设备典型布局图；

图5是本发明全息路口多感知设备的同步方法的多目测距应用图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

采用卫星同步，由GPS或者北斗等卫星信号进行时间同步，选用卫星授时模组提供的PPS信号，结合TOD数据帧计算UTC时间，启动时间同步，并对采集逻辑进行同步启动，这样既保证时间上的同步精度，又保证设备采样的精准同步，其授时精度能达到纳秒量级，从而在根本上保证后续数据融合的时间同步效果。

实施例

如图1所示，一种全息路口多感知设备的同步方法，包括：

S101,获取组合的多种传感器维度的目标信息；从融合的目标信息中获取卫星信号提取出时间同步的时间信息，并用卫星授时模组输出秒脉冲信号，例如通过GPS或者北斗模块等授时模块，该模块会输出对应的TOD和PPS信号；

S102,以秒脉冲信号为起始信号，在所述秒脉冲信号输出的固定周期内，通过串口输出TOD信息，结合秒脉冲信号解析TOD信息，获取到预设时间信息；

S103,获取到预设时间信息和秒脉冲信号后，通过时序同步触发多传感器的进行数据采集，同时将触发传感器进行数据采集时的时间标签输入到目标信息中；

S104,获取到传感器采集到的视频或者雷达数据经过对应的目标检测和识别后，并将采集时刻的时间信息(也就是帧抓拍的时间信息，经过TOD与PPS的偏差计算，精确的获取到该时间)与检测到的采集数据与对应的时间信息一起打包上传，根据多种传感器的相关特性对相关数据进行数据融合处理，实现时间同步和各帧数据采集。

可选的，所述多传感器维度包括如雷达、摄像头、红外等。

可选的，获取的卫星信号为使用GPS或者北斗卫星信号进行时间同步。

可选的，秒脉冲信号为每秒钟输出一个方波信号，上升沿为基准，在同一区域不同模组与卫星同步完后，输出的秒脉冲信号；使用秒脉冲信号为采集的起始信号和时间同步信号，不仅能保证不同设备之间时间同步，而且以秒脉冲信号启动数据采集，还能保证相关采集的帧同步。

可选的，所述秒脉冲(onepulsepersecond，简称PPS)信号为电信号，不带具体时间信息。

可选的，所述TOD(timeofday)周期与PPS周期一致，每秒钟一次。所述TOD信息包含日期和时间信息。

可选的，所述相关数据采集，包括摄像头进行图像采集、雷达进行相关雷达信号的发送和采集等等。全息路口各方向上布局有传感感知设备，在路口外侧也存在监控设备。

如图2所示，提供一种全息路口多感知设备的同步装置包含：卫星授时模块、时序逻辑单元、数据采集单元和处理单元；

其中：卫星授时模块用于获取卫星定位授时信息，输出PPS信号和TOD信息；PPS秒脉冲信号和TOD信息通过时序逻辑单元进行数据采集单元所需的时序逻辑合成，输出相关的TOD数据帧、场、行以及其他控制时序逻辑信号，同时根据所对应的TOD信号精确算出帧、场和行信号的精确时间信息，插入到对应的数据采集帧中，从而在物理上实现了这些数据严格的帧同步，避免后续处理中获取时间存在延迟或者不精准的问题；在时序逻辑信号驱动下，数据采集单元进行相关数据采集；卫星授时模组将物理信号转变为电信号后，电信号采样形成数字信号，并将时间帧信息同步打包到采集的相关数据中；相关数据输出给处理单元进行数据分析、研判和打包，处理单元对外进行不同设备间相关数据融合，具体研判主要是对对雷达或者视频中对应的目标进行检测、定位和跟踪处理。

如图3所示，由于不同设备中相关的授时模组在与卫星同步后，会输出同步精度很高的PPS信号，在每个PPS信号的上升沿启动各设备的数据采集，由于图中A～D设备的不同，可能存在采样帧率不同的情况，比如摄像机一般25～30fps(具体帧率固定)，因此一秒钟采样25～30次，而雷达采样帧率根据不同雷达的属性，也会有不同，一般7～12.5fps(具体帧率固定)，因此在同一个PPS信号内，采集的数据帧率有可能不同，但是数据中已经打包了各自的同步时间信息，通过上层的数据融合算法，根据各自设备的特性对相关数据进行融合处理；即使存在稍许时间误差抖动，由于PPS是每秒都会输出，当前PPS周期内的抖动会在下一个PPS信号起始的时候进行了消除，这样不会形成积累误差，从而实现高精度的时间同步和数据帧采集。

如图4所示，该方法应用方案如下：全息路口设备典型布局，各个方向上都有摄像机以及雷达等传感感知设备，在道路外侧也存在监控设备，利用卫星信号中提取的PPS信号，进行PPS的帧同步，可以保证每一台设备采集的数据都与PPS信号同步，为各个设备做数据融合提供精确的帧同步。

目前大部分的双目和多目测距，由于受同步信号线的限制，距离都在米级范围内，这也导致了相应的测距范围在几十米范围内，如果需要提高测距距离，需要调整相应的硬件链接方式和信号同步方式。

如图5所示，多目测距应用，当使用多个摄像机对同一个目标物体做定位和测距时，相应的相机之间的距离越远，被测目标的距离和精度也能大幅提高，能跨域距离的限制。基于PPS的帧同步，多台摄像机设备可以相隔很远，从而能大幅度提高相关目标测距的距离。在没有雷达等设备的前提下，另外方法是通过使用多目测距的方式，检测出目标比较精确的距离和速度，为全息路口的目标检测提供，增加检测精度和适应范围。

该方法不局限于全息路口和智能交通中雷达和视频融合，还能在多目测距方面增加更远的距离，能拓展视频检测对于距离的限制。

在本说明书的描述中，参考术语“在一实施例中”、“在又一实施例中”、“示例性的”或“在具体的实施例中”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

虽然，上文中已经用一般性说明、具体实施方式及试验，对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.一种全息路口多感感知设备的同步方法，其特征在于，包括：

获取组合的多种传感器维度的目标信息；从融合的目标信息中获取卫星信号提取出时间同步的时间信息，并用卫星授时模组输出秒脉冲信号；

以秒脉冲信号为起始信号，在所述秒脉冲信号输出的固定周期内，通过串口输出TOD信息，并结合秒脉冲信号解析TOD信息，获取到的预设时间信息；

获取到预设时间信息和秒脉冲信号后，通过时序同步触发多种传感器进行数据采集，同时将相应的时间标签输入到目标信息中；

将TOD信息每一帧数据和协调世界时间进行打包上传，根据多种传感器的特性对采集到的数据进行数据融合处理，实现时间同步和各帧数据采集。

2.根据权利要求1所述的全息路口多感感知设备的同步方法，其特征在于，所述获取卫星信号为使用GPS或北斗导航进行时间同步的卫星信号。

3.根据权利要求1所述的全息路口多感感知设备的同步方法，其特征在于，所述秒脉冲信号为每秒钟输出一个方波信号，以所述方波信号上升沿或下降沿为基准，在同一区域不同模组与卫星同步完后，输出的秒脉冲信号；以秒脉冲信号为采集逻辑的起始信号和时间同步信号。

4.根据权利要求1所述的全息路口多感感知设备的同步方法，其特征在于，所述TOD信息周期与秒脉冲信号周期一致，每秒钟一次。

5.根据权利要求4所述的全息路口多感感知设备的同步方法，其特征在于，所述TOD信息包括：日期和时间信息。

6.根据权利要求1所述的全息路口多感感知设备的同步方法，其特征在于，所述相关数据采集包括：摄像头的图像采集、雷达进行相关雷达信号发送和采集。

7.一种全息路口多感知设备的同步装置，其特征在于，包含：卫星授时模块、时序逻辑单元、数据采集单元和处理单元；

所述卫星授时模块用于获取卫星定位授时信息，输出秒脉冲信号和TOD信息；

所示时序逻辑单元用于数据采集单元所需的时序逻辑合成，输出相关的TOD数据帧、场、行以及其他控制时序逻辑信号；

所述数据采集单元用于在时序逻辑信号驱动下，进行相关数据采集；卫星授时模组将物理信号转变为电信号后，电信号采样形成数字信号，并将时间帧信息同步打包到采集的相关数据中；

所述处理单元用于对相关数据进行数据分析、研判和打包以及对外进行不同设备间相关数据融合。