CN111934843A - 一种面向智能无人系统的多传感器数据同步采集方法 - Google Patents

Abstract

本发明公开了一种面向智能无人系统的多传感器数据同步采集方法，涉及传感器技术领域。通过利用晶振为整个系统提供时钟信号源，利用分频器产生多路不同频率的同步时钟，利用FPGA芯片的锁相环锁定GPS接收机输出的PPS信号后对同步时钟进行同步触发和校准，分别驱动对应的多个传感器，使其同步采集数据。利用GPS接收机输出的导航报文对高分辨率时钟授时，并利用高分辨率时钟的时间信息为多个传感器数据加上时间戳，从而提供了一种面向智能无人系统的多传感器数据同步采集方法，有助于提高智能无人系统运行的稳定性和准确性。

Description

一种面向智能无人系统的多传感器数据同步采集方法

技术领域

本发明涉及传感器技术领域，尤其是涉及一种面向智能无人系统的多传感器数据同步采集方法。

背景技术

PPS：A pulse per second(PPS or 1PPS)，是一个电子信号，该信号宽度小于1秒并且具有一个突发的上升或下降边沿，每秒精确地重复一次。通常用该信号的上升沿来表示整秒的时刻。

IMU：Inertial Measurement Unit，惯性测量单元。

智能无人系统需要依靠不同的传感器来实时感知空间环境状况，所以其使用了多种异构传感器技术来实现这些需求。传统的多传感器信号采集方法是使用单片机循环，分别对系统中的所有传感器依次控制和读取数据。这种采集方法可以实现所有传感器的数据采集但由于是串行处理，导致无法保证所有传感器都能在同一时间采集和转换各种物理信号到模拟-数字信号。特别是在传感器数据量大、采集数据次数非常频繁的情况下，同时采集很多不同厂商的不同类型的传感器数据，采集到的数据结果时间延时可以达到百毫秒级别。这个延时会影响最终算法处理精度，例如：

(1)如果多个相机采集图像的时间存在几十毫秒的误差会导致动态环境图像采集不完整，多张在不同时间拍摄的照片可能完全不同导致无法拼接与融合；

(2)单个相机不同像素之间曝光时间不同会导致动态图像拉伸扭曲变形，多幅图像叠加在一起导致模糊不清；

(3)加速度计与陀螺仪和相机不同步导致汽车的运动状态计算偏差；

(4)激光雷达数据与相机数据不同步导致图像像素点无法准确与激光雷达数据相匹配。

因此，研究一种多传感器数据同步采集的方法从而避免延时带来的精度，对智能无人系统具有积极的意义。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种面向智能无人系统的多传感器数据同步采集方法，能够实现多传感器同步采集数据，为智能无人系统提供精准的数据信息。

本发明所采用的技术方案是：

本发明提供一种面向智能无人系统的多传感器数据同步采集方法，所述方法包括以下步骤：

提供时钟信号源；

利用多个分频器对所述时钟信号源进行分频处理，得到多路同步时钟和高分辨率时钟；

利用GPS接收机输出的PPS信号对多路所述同步时钟进行同步触发，并提供给对应的传感器；

利用多路所述同步时钟分别驱动对应的传感器，使其同步采集数据；

利用GPS接收机输出的导航报文对所述高分辨率时钟授时，并利用高分辨率时钟的时间信息为多个传感器采集的数据加上时间戳，所述导航报文包括所述时间信息。

进一步地，所述步骤提供时钟信号源具体为：利用晶振提供时钟信号源，所述晶振为高精度温度漂移补偿晶振。

进一步地，所述步骤利用晶振提供时钟信号源具体包括：

利用高精度温度漂移补偿晶振产生频率固定的正弦波，将该正弦波作为时钟信号源。

进一步地，所述传感器包括激光雷达、IMU模块、相机。

进一步地，所述步骤利用分频器对所述时钟信号源进行分频处理，得到多路同步时钟和高分辨率时钟具体包括：

利用1Hz分频器、2000Hz分频器、60Hz分频器分别对所述时钟信号源进行分频处理，得到频率为1Hz、2000Hz、60Hz的三路同步时钟和高分辨率时钟，所述高分辨率时钟的频率与所述时钟信号源的频率一致。

进一步地，所述步骤利用GPS接收机输出的PPS信号对多个所述同步时钟进行同步触发，并提供给对应的传感器具体包括：

利用GPS接收机输出的PPS信号分别对频率为1Hz、2000Hz、60Hz的三路同步时钟进行同步触发，并分别提供给激光雷达、IMU模块、相机。

进一步地，所述方法还包括：

利用FPGA芯片的同步锁相环检测所述三路同步时钟与所述GPS接收机输出的PPS信号是否同步；

若不同步，则校准所述三路同步时钟使其与所述GPS接收机输出的PPS信号同步。

进一步地，所述步骤利用多路所述同步时钟分别驱动对应的传感器，使其同步采集数据具体包括：

配置多个传感器的数据采集方式为外部信号同步触发采集；

利用多路所述同步时钟分别驱动对应的传感器，完成模拟信号采样、模拟信号转换。

进一步地，所述方法还包括：

同步采集数据完成之后，多个传感器向FPGA芯片发送采集完成信号；

所述FPGA芯片根据所述采集完成信号并行获取多个传感器同步采集的数据，将其并行保存至存储器。

进一步地，所述方法还包括：

所述FPGA芯片获取多个传感器同步采集的数据，将所述多个传感器同步采集的数据和所述时间戳并行保存至存储器。

本发明的有益效果是：

本发明通过利用晶振为整个系统提供时钟信号源，利用分频器产生多路不同频率的同步时钟，利用GPS的锁相环锁定1Hz的PPS信号后对同步时钟进行同步触发，分别驱动对应的多个传感器，使其同步采集数据。利用GPS接收机输出的导航报文对高分辨率时钟授时，并利用高分辨率时钟的时间信息为多个传感器数据加上时间戳，从而提供了一种面向智能无人系统的多传感器数据同步采集方法，有助于提高智能无人系统运行的稳定性和准确性。

附图说明

图1是本发明实施例的整体框架图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

传统同步传感器信号采集方法使用微处理器分别循环对系统中的所有传感器依次控制和读取数据。这种采集方法可以实现所有传感器的数据采集但由于是串行处理，导致无法保证所有传感器都能在同一时间采集与转换各种物理信号到模拟-数字信号。特别是在传感器数据量大、采集数据次数非常频繁的情况下，多传感器采集到的数据结果时间延时可以达到百毫秒级别。而面向无人驾驶，需要多传感器的采集时间同步精度优于微秒级的传感器数据。只有同步延迟优于微秒级的传感器信号才可以保证车辆精准的获得环境信息，合适的行驶空间、感知、定位与规划等均依赖它。无人驾驶技术中，为了安全与准确的感知与测量，无人驾驶系统采用了多种异构传感器，多传感器之间同步的延时达优于微秒级变得十分重要。

同步传感器数据的主要服务对象不是人类驾驶员，而是无人驾驶系统。由于汽车行驶速度很快，多传感器的同步使得车辆对快速变化的环境能够做出准确的响应，为精确定位和环境感知提供可靠精确的数据发挥着重要的作用，是无人驾驶中必不可少的一项重要技术。与传统传感器采集技术相比，微秒级同步传感器采集技术使得不同传感器之间采集数据的延时优于微秒级，使得智能无人系统以较快速度行驶时对环境的感知依然准确。

实施例一

本实施例提供一种面向智能无人系统的多传感器数据同步采集方法，该方法包括：

步骤S1.提供时钟信号源；

步骤S2.利用多个分频器对时钟信号源进行分频处理，得到多路同步时钟和高分辨率时钟；

步骤S3.利用GPS接收机输出的PPS信号对多路同步时钟进行同步触发，并提供给对应的传感器；

步骤S4.利用多路同步时钟分别驱动对应的传感器，使其同步采集数据；

步骤S5.利用GPS接收机输出的导航报文对高分辨率时钟授时，并利用高分辨率时钟的时间数据为多个传感器采集的数据加上时间戳。

本实施例中，利用晶振提供时钟信号源，也可以是其他可以产生时钟信号源的器件或电路。晶振采用高精度温度漂移补偿晶振。

本实施例提供的多传感器数据同步采集方法，整体框架图如图1所示，利用高精度温度漂移补偿晶振为整个系统提供时钟信号源，利用分频器产生多路不同频率的同步时钟，利用GPS的锁相环锁定1Hz的PPS信号后对同步时钟进行同步触发和校准，分别驱动对应的多个传感器，使其同步采集数据。利用GPS接收机输出的导航报文对高分辨率时钟授时，并利用高分辨率时钟的时间信息为多个传感器数据加上时间戳。其中，导航报文中包括时间信息。通过该同步架构实现了对所有传感器的微秒级同步数据采集，解决了其他现有采集方案同步精度只能达到数十毫秒级的问题。

下面结合图1，对上述步骤S1至S5进行详细说明：

步骤S1：本实施例中，采用高精度温度漂移补偿晶振提供时钟信号源，其内部通过附加的温度补偿电路使得由周围温度变化产生的振荡频率变化量被削减。例如：用于智能无人驾驶系统时，可以确保当车辆在不同场合不同温度下行驶时自动驾驶系统的同步时钟信号源频率保持一致。具体地，利用高精度温度漂移补偿晶振产生频率固定的正弦波，将该正弦波作为时钟信号源。

步骤S2：本实施例中，传感器包括多个，例如激光雷达、IMU模块、相机、超声波测距传感器、麦克风传感器、亮度传感器、磁场强度传感器等。由于不同传感器的采样频率各不相同，无法使用单一时钟信号源为所有传感器提供同步信号，所以为每个传感器增加了独立的同步分频器。以激光雷达、IMU模块、相机为例，利用1Hz分频器、2000Hz分频器、60Hz分频器分别对步骤S1中的时钟信号源进行分频处理，得到频率为1Hz、2000Hz、60Hz的三路同步时钟和高分辨率时钟。其中，高分辨率时钟的频率与时钟信号源的频率一致。由于所有分频器均使用了同一个原始的时钟信号源，所以其输出信号互相是全局同步的，保证了微秒级同步采集的准确性。

对于其他传感器，可参考步骤S2选择合适频率的分频器进行分频。

步骤S3：利用GPS接收机输出的PPS信号分别对步骤S2中1Hz、2000Hz、60Hz的三路同步时钟进行同步触发，并分别提供给对应的传感器，即1Hz的同步时钟用于触发激光雷达，2000Hz的同步时钟用于触发IMU模块，60Hz的同步时钟用于触发相机。本实施例中，PPS信号的频率为1Hz，GPS接收机采用ZED-F9P模块实现GPS信号的接收、定位、导航报文获取等功能。

步骤S4：利用步骤S3中的三路同步时钟分别驱动激光雷达、IMU模块、相机，使其同步采集数据。具体地，使所有传感器的同步时钟统一使用同一个时钟源并且将数据采集方式配置为外部信号同步触发采集，此时所有传感器将会在多路同步时钟的驱动下进行模拟信号采样、模拟信号转换的过程：激光雷达通过一根触发信号线来接收触发信号，当一个脉冲上升沿到达激光雷达时，激光雷达会将该时刻的时间设置为0，在后续的扫描过程中每次扫描时都会将该次扫描与0时刻之间的时间差值附加在扫描结果的数据中以达到所有扫描结果时间信息都和同步信号同步；IMU模块采用ADIS16465芯片(也可以采用其他IMU芯片)实现IMU的复位、片选、数据输出、同步、数据输入、时钟、数据采样，ADC模数转换器在同步信号的上升沿同步并行转换X、Y、Z轴的加速度与陀螺仪信号，转换完成后的结果保存至IMU模块的MCU中；6路相机采用OV9281_CSP芯片(也可以采用其他图像传感器芯片)为主图像传感器芯片，通过一根触发信号线来接收触发信号，当一个脉冲上升沿到达每路相机时，每路相机启动全局快门与采样转换程序，由于相机的快门是全局的，使得所有像素都会在同一时间曝光和采集，最终保证了每一帧图像所有像素点的曝光时间点都相同。

步骤S5：利用GPS接收机输出的导航报文对高分辨率时钟授时，并利用高分辨率时钟的时间信息为多个传感器采集的数据加上时间戳。其中，导航报文包括时间信息。由于高分辨率时钟在使用过程中时间久了可能会产生误差，因此需要利用GPS接收机的导航报文里的时间信息对高分辨率时钟进行校准即授时，再利用该时间信息为多个传感器采集的数据加上时间戳，便于掌握传感器采集数据的时间。由于高分辨率时钟直接使用原始时钟信号源的频率作为时间计数，使得该高分辨率时钟的运行频率与高精度温度漂移补偿晶振的频率一致，最终时间戳的分辨率可以达到数纳秒级别。

更进一步地，上述方法还包括：

步骤S6.利用FPGA芯片的同步锁相环检测三路同步时钟与GPS接收机输出的PPS信号是否同步；

步骤S7.若不同步，则校准三路同步时钟使其与GPS接收机输出的PPS信号同步。

具体地，利用FPGA芯片内部的同步锁相环锁定1Hz的PPS信号，实时检测同步时钟与PPS信号是否同步，若不同步，则对同步时钟进行校准，使其与GPS接收机输出的PPS信号同步。通过利用PPS信号校准同步时钟，使得同步时钟同步触发的多个智能无人系统之间也可以实时保持同步，在此基础上可以满足更多扩展应用之间的同步需求。

更进一步地，上述方法还包括：

步骤S8.同步采集数据完成之后，多个传感器向FPGA芯片发送采集完成信号；

步骤S9.FPGA芯片根据采集完成信号并行获取多个传感器同步采集的数据，将其并行保存至存储器。

具体地，多个传感器同步采集数据完成之后，产生采集完成信号发送至FPGA芯片，该采集完成信号用于指示同步采集数据完成。以IMU模块为例，FPGA芯片实时检测到该采集完成信号后触发FPGA内部IMU模块的数据读取逻辑程序，最终通过连接到IMU模块的SPI通信接口并行读取IMU模块采集的数据并行保存至RAM存储器中；以相机为例，相机在完成每一个像素点的颜色值采集后通过MIPI接口发送至FPGA芯片，FPGA芯片在接收到一整帧图像后将图像重新合并起来并保存至RAM存储器。

由于在步骤S5中为传感器采集的数据加上了时间戳，因此，FPGA芯片在保存传感器采集的数据时，会将时间戳与数据按照特定格式添加在一起，使得最终采集到的多传感器数据的微秒级同步得到保障。

下面以一个具体的实施例对本发明的技术方案进行说明：

使用2个市面上现有的全景相机直接拍摄第一画面，通过实验数据得到：2个全景相机拍摄的时间分别为499499毫秒和499989毫秒；

使用本发明的多传感器数据采集方法拍摄两次第一画面，通过实验数据得到：两次拍摄的时间均为499429毫秒。

可以看出，市面上现有的全景相机采集数据的时间差值在几百毫秒级别，同步误差较大。而使用本发明的多传感器数据采集方法，时间没有差值，完全一致，同步精度达到微秒级，即在微妙级别也可以做到采集数据的完全同步。

在无人驾驶实际落地过程中，多传感器的环境感知扮演着重要角色。本实施例中的多传感器同步采集方法简单、实用、成本低，同时进一步优化计算出所有传感器自身的采样与信号转换延时，并使用软件进行延时补偿，使得最终采集得到的多传感器融合数据同步精度优于微秒级，有助于提高无人驾驶汽车行驶过程的安全性；融合激光雷达、IMU、相机等多种传感器数据，大大提高了系统运行的稳定性和准确性；采用单FPGA芯片即可实现所有传感器的数据采集，降低了系统的复杂性，提升了系统的可靠性。

本实施例的多传感器数据同步采集方法还可应用于其他领域。例如：在外作业数据采集过程中，车载激光雷达设备中的核心控制模块是多传感器集成机器智能平台，其具备完全感知和决策功能，集成GNSS模块、惯性测量单元、三维激光雷达和高清工业相机等多种异构传感器。通过使用本实施例的多传感器数据同步采集方法，这些传感器的采集是完全同步的，同步精度优于微秒级，使得最终多传感器的数据融合时不会产生时间上的误差导致数据融合错误，有助于多传感器组合导航算法产生正确的运算结果，解决了现有同步采集方案精度只能达到数十毫秒无法满足微秒级同步的需求。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述方法包括以下步骤：

提供时钟信号源；

利用多个分频器对所述时钟信号源进行分频处理，得到多路同步时钟和高分辨率时钟；

利用GPS接收机输出的PPS信号对多路所述同步时钟进行同步触发，并提供给对应的传感器；

利用多路所述同步时钟分别驱动对应的传感器，使其同步采集数据；

利用GPS接收机输出的导航报文对所述高分辨率时钟授时，并利用高分辨率时钟的时间信息为多个传感器采集的数据加上时间戳，所述导航报文包括所述时间信息。

2.根据权利要求1所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述步骤提供时钟信号源具体为：利用晶振提供时钟信号源，所述晶振为高精度温度漂移补偿晶振。

3.根据权利要求2所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述步骤利用晶振提供时钟信号源具体包括：

利用高精度温度漂移补偿晶振产生频率固定的正弦波，将该正弦波作为时钟信号源。

4.根据权利要求1所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述传感器包括激光雷达、IMU模块、相机。

5.根据权利要求4所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述步骤利用分频器对所述时钟信号源进行分频处理，得到多路同步时钟和高分辨率时钟具体包括：

利用1Hz分频器、2000Hz分频器、60Hz分频器分别对所述时钟信号源进行分频处理，得到频率为1Hz、2000Hz、60Hz的三路同步时钟和高分辨率时钟，所述高分辨率时钟的频率与所述时钟信号源的频率一致。

6.根据权利要求5所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述步骤利用GPS接收机输出的PPS信号对多路所述同步时钟进行同步触发，并提供给对应的传感器具体包括：

利用GPS接收机输出的PPS信号分别对频率为1Hz、2000Hz、60Hz的三路同步时钟进行同步触发，并分别提供给激光雷达、IMU模块、相机。

7.根据权利要求6所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述方法还包括：

利用FPGA芯片的同步锁相环检测所述三路同步时钟与所述GPS接收机输出的PPS信号是否同步；

若不同步，则校准所述三路同步时钟使其与所述GPS接收机输出的PPS信号同步。

8.根据权利要求1所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述步骤利用多路所述同步时钟分别驱动对应的传感器，使其同步采集数据具体包括：

配置多个传感器的数据采集方式为外部信号同步触发采集；

利用多路所述同步时钟分别驱动对应的传感器，完成模拟信号采样、模拟信号转换。

9.根据权利要求8所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述方法还包括：

同步采集数据完成之后，多个传感器向FPGA芯片发送采集完成信号；

所述FPGA芯片根据所述采集完成信号并行获取多个传感器同步采集的数据，将其并行保存至存储器。

10.根据权利要求9所述的一种面向智能无人系统的多传感器数据同步采集方法，其特征在于，所述方法还包括：

所述FPGA芯片获取多个传感器同步采集的数据，将所述多个传感器同步采集的数据和所述时间戳并行保存至存储器。

Images