CN112945228A - 一种多传感器时间同步方法及同步装置 - Google Patents

一种多传感器时间同步方法及同步装置 Download PDF

Info

Publication number
CN112945228A
CN112945228A CN202110153448.7A CN202110153448A CN112945228A CN 112945228 A CN112945228 A CN 112945228A CN 202110153448 A CN202110153448 A CN 202110153448A CN 112945228 A CN112945228 A CN 112945228A
Authority
CN
China
Prior art keywords
module
control module
time
gnss
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110153448.7A
Other languages
English (en)
Other versions
CN112945228B (zh
Inventor
刘成
李芳�
相恒永
张�杰
徐光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Muxing Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110153448.7A priority Critical patent/CN112945228B/zh
Publication of CN112945228A publication Critical patent/CN112945228A/zh
Application granted granted Critical
Publication of CN112945228B publication Critical patent/CN112945228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
    • G01S19/25—Acquisition or tracking or demodulation of signals transmitted by the system involving aiding data received from a cooperating element, e.g. assisted GPS
    • G01S19/256—Acquisition or tracking or demodulation of signals transmitted by the system involving aiding data received from a cooperating element, e.g. assisted GPS relating to timing, e.g. time of week, code phase, timing offset
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Gyroscopes (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种多传感器时间同步方法及同步装置，同步方法包括：控制模块接收GNSS模块输出的GNSS 1PPS信号或自身时间信号为基准进行工作；控制模块定期向IMU模块发送触发信号，并记录发送时刻的时间戳，以及定期向相机模块发送触发信号，并记录发送时刻的时间戳及序列号；IMU模块接收到触发信号后，读取自身惯性测量数据并发送至控制模块，相机模块接收到触发信号后进行曝光作业，将所得到的图像发送至主处理器，主处理器接收图像并记录时间戳及序列号；控制模块接收惯性测量数据，并将其与时间戳、序列号一起发送至主处理器；主处理器接收惯性测量数据、时间戳、序列号，并对序列号进行匹配，以匹配关联图像与时间戳的对应关系。

Description

一种多传感器时间同步方法及同步装置
技术领域
本发明涉及导航定位领域，尤其涉及一种多传感器时间同步方法及同步装置。
背景技术
随着我国北斗三号全球卫星导航系统(BeiDou GlobalNavigation SatelliteSystem,BDS-3)的全面建成，全球导航卫星系统(GlobalNavigation Satellite System,GNSS)能力得到进一步提升和发展(目前，世界上共有四个GNSS系统—美国GPS、俄罗斯GLONASS、欧洲Galileo和我国北斗)。然而，由于无线电定位技术的先天特点，导航卫星信号十分容易受到遮挡和干扰，北斗等GNSS系统依然无法满足室内、地下、隧道等环境下的用户使用需求。为此，多源融合导航已成为解决和突破这一瓶颈问题的主要技术手段。
GNSS传感器、惯性测量器件(Inertial MeasurementUnit,IMU)与视觉(Visual)传感器的组合，是目前最常见的多源融合导航方案之一。一方面，GNSS系统能够在可用的情况下为整个方案提供准确的绝对坐标位置基准，从而修正IMU与相机传感器的累积误差，并对其误差参数进行估计和标定；另一方面，IMU与相机传感器所构成的视觉里程计(Visual-Inertial Odometry,VIO)则能在GNSS卫星信号遮挡或不可用的情况下，维持高精度的位姿估计与连续输出。从而，能够形成良好互补，更好地满足室内机器人、无人驾驶、辅助自动驾驶等领域的应用需求。
多源融合导航系统在进行解算时，各传感器的数据采样时间必须严格限制在同一个时间基准下，才能得到准确的位姿估计结果。因此，各传感器之间的高精度时间同步非常重要。不同传感器之间的时间偏移或延迟不仅直接影响系统导航定位的精度和性能，严重时还可能导致整个系统无法正常工作与使用。然而，由于多源融合导航系统中的GNSS、IMU、相机等传感器一般来自不同的模块设备，彼此具有不同的时钟源，因此其时间系统并不统一。并且，传感器采样频率、输出传输方式以及模块之间的接口不尽相同，相机曝光时间、传感器内部处理时延、数据传输线路时延以及操作系统(Operation System,OS)处理调度时延等也在不断变化。这些因素的综合影响，使得如何实现多传感器之间的准确时间同步成为一个十分棘手的问题。
发明内容
本发明的目的在于提供一种多传感器时间同步方法及同步装置，实现多传感器的时间同步。
为实现上述发明目的，本发明提供一种多传感器时间同步方法，包括：
S1.控制模块接收GNSS模块输出的GNSS 1PPS信号或自身时间信号为基准进行工作；
S2.所述控制模块定期向IMU模块发送第一触发信号，并记录发送时刻的第一时间戳
Figure BDA0002933386510000021
以及定期向相机模块发送第二触发信号，并记录发送时刻的第二时间戳
Figure BDA0002933386510000022
及与之相对应的第一序列号
Figure BDA0002933386510000023
S3.所述IMU模块接收到所述第一触发信号后，读取自身惯性测量数据并发送至所述控制模块，所述相机模块接收到所述第二触发信号后进行曝光作业，将所得到的图像发送至主处理器，所述主处理器接收来自所述相机模块的所述图像并记录接收时刻的第三时间戳
Figure BDA0002933386510000024
及与之相对应的第二序列号
Figure BDA0002933386510000025
S4.所述控制模块接收来自所述IMU模块的所述惯性测量数据，并将其与所述第一时间戳
Figure BDA0002933386510000031
所述第二时间戳
Figure BDA0002933386510000032
所述第一序列号
Figure BDA0002933386510000033
一起发送至所述主处理器；
S5.所述主处理器接收所述惯性测量数据、所述第一时间戳
Figure BDA0002933386510000034
所述第二时间戳
Figure BDA0002933386510000035
所述第一序列号
Figure BDA0002933386510000036
并对所述第一序列号
Figure BDA0002933386510000037
和所述第二序列号
Figure BDA0002933386510000038
进行匹配，以匹配关联所述图像与所述第二时间戳
Figure BDA0002933386510000039
的对应关系，以及所述图像与所述惯性测量数据的对应关系；
所述控制模块在启动后的预定初始化时间段内以预设触发频率触发所述相机模块，其中，所述预设触发频率要小于所述相机模块和所述IMU模块采集数据的频率。
根据本发明的一个方面，步骤S1中，控制模块接收GNSS模块输出的GNSS 1PPS信号或自身时间信号为基准进行工作的步骤中，若所述GNSS模块观测到GNSS卫星，且接收到GNSS 1PPS，则所述控制模块接收GNSS模块输出的GNSS 1PPS信号进行校准和同步，并以此为基准进行工作；否则，所述控制模块以自身时间信号为基准进行工作。
根据本发明的一个方面，所述控制模块定期向所述主处理器发送所述GNSS 1PPS信号或根据自身时间信号生成的本地1PPS信号，用于所述控制模块与所述主处理器之间的时间同步。
根据本发明的一个方面，步骤S3中，所述相机模块接收到所述第二触发信号并执行曝光作业后，将所述相机模块的曝光时长texposure发送至所述控制模块或所述主处理器，所述控制模块或所述主处理器可通过取所述曝光时长texposure中值的方式对所述第二时间戳
Figure BDA00029333865100000310
进行优化和更新，优化后的第二时间戳
Figure BDA00029333865100000311
表示为：
Figure BDA00029333865100000312
根据本发明的一个方面，所述的相机模块至少为一个。
根据本发明的一个方面，若所述相机模块多于一个，则所述控制模块定期向其中一个所述相机模块发送所述第二触发信号，所述相机模块接收所述第二触发信号后生成本地触发信号并发送至其它所述相机模块，以用于所有所述相机模块的时间同步。
根据本发明的一个方面，步骤S5中，对所述第一序列号
Figure BDA0002933386510000041
和所述第二序列号
Figure BDA0002933386510000042
进行匹配，以匹配关联所述图像与所述第二时间戳
Figure BDA0002933386510000043
的对应关系，以及所述图像与所述惯性测量数据的对应关系的步骤中，包括：
匹配关联所述第一序列号
Figure BDA0002933386510000044
和所述的第二序列号
Figure BDA0002933386510000045
之间的对应关系：
Figure BDA0002933386510000046
基于所述第一序列号
Figure BDA0002933386510000047
和所述的第二序列号
Figure BDA0002933386510000048
之间的对应关系建立所述第二时间戳
Figure BDA0002933386510000049
和所述第三时间戳
Figure BDA00029333865100000410
之间的对应关系：
Figure BDA00029333865100000411
建立起第二时间戳
Figure BDA00029333865100000412
和第一时间戳
Figure BDA00029333865100000413
之间的对应关系：
Figure BDA00029333865100000414
基于所述第二时间戳
Figure BDA00029333865100000415
和所述第三时间戳
Figure BDA00029333865100000416
之间的对应关系和所述第二时间戳
Figure BDA00029333865100000417
和第一时间戳
Figure BDA00029333865100000418
之间的对应关系构建所述第一时间戳
Figure BDA00029333865100000419
和所述第三时间戳
Figure BDA00029333865100000420
之间的对应关系：
Figure BDA00029333865100000421
由此，即确定了所述图像与所述惯性测量数据之间的对应关系。
为实现上述发明目的，本发明提供一种多传感器时间同步装置，包括：
GNSS模块，所述GNSS模块用于观测GNSS卫星，并输出GNSS 1PPS信号；
控制模块，所述控制模块与所述GNSS模块相连接；
IMU模块，所述IMU模块与所述控制模块相连接；
相机模块，所述相机模块与所述控制模块相连接；
主处理器，所述主处理器分别与所述控制模块和所述相机模块相连接。
根据本发明的一个方面，所述相机模块至少为一个。
根据本发明的一个方面，所述控制模块为MCU装置或者FPGA装置。
根据本发明的一种方案，本发明的方案通过设置一个专用控制模块，用于控制IMU模块进行测量数据读取和控制相机进行图像曝光，并记录IMU测量数据读取和相机图像曝光的时间戳信息。进而可在GNSS模块能够输出1PPS信号的情况下，通过GNSS 1PPS信号实现以GNSS系统时为基准的绝对时间同步；而在GNSS模块无法输出1PPS信号的情况下，通过生成的本地1PPS信号实现相对时间同步。通过上述这种处理方式，有效实现了在存在遮挡导致GNSS 1PPS信号无法接收的情况下多传感器的时间同步，保证了多传感器时间同步受到遮挡的影响最小，同步效果更优。
根据本发明的一种方案，顾及到图像信息数据量大的特点，设计了将图像及其时间戳信息分开传输、并在主处理器中重新进行关联和匹配的机制，进一步保证了本发明的处理效率和处理结果。
根据本发明的一种方案，本方法和装置理论上可达到不同传感器测量数据之间优于微秒级的时间同步精度，可扩展性高，使用灵活，能够良好满足不同环境下的多源融合导航设备高精度时间同步需求。
附图说明
图1是示意性表示根据本发明的一种实施方式的多传感器时间同步方法的步骤框图；
图2是示意性表示根据本发明的一种实施方式的多传感器时间同步装置的结构框图。
具体实施方式
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
结合图1和图2所示，根据本发明的一种实施方式，本发明的一种多传感器时间同步方法，包括：
S1.控制模块接收GNSS模块输出的GNSS 1PPS信号或自身时间信号为基准进行工作；
S2.控制模块定期向IMU模块发送第一触发信号，并记录发送时刻的第一时间戳
Figure BDA0002933386510000061
以及定期向相机模块发送第二触发信号，并记录发送时刻的第二时间戳
Figure BDA0002933386510000062
及与之相对应的第一序列号
Figure BDA0002933386510000063
S3.IMU模块接收到第一触发信号后，读取自身惯性测量数据并发送至控制模块，相机模块接收到第二触发信号后进行曝光作业，将所得到的图像发送至主处理器，主处理器接收来自相机模块的图像并记录接收时刻的第三时间戳
Figure BDA0002933386510000064
及与之相对应的第二序列号
Figure BDA0002933386510000065
S4.控制模块接收来自IMU模块的惯性测量数据，并将其与第一时间戳
Figure BDA0002933386510000066
第二时间戳
Figure BDA0002933386510000067
第一序列号
Figure BDA00029333865100000614
一起发送至主处理器；
S5.主处理器接收惯性测量数据、第一时间戳
Figure BDA0002933386510000068
第二时间戳
Figure BDA0002933386510000069
第一序列号
Figure BDA00029333865100000610
并对第一序列号
Figure BDA00029333865100000611
和第二序列号
Figure BDA00029333865100000612
进行匹配，以匹配关联图像与第二时间戳
Figure BDA00029333865100000613
的对应关系，以及所述图像与所述惯性测量数据的对应关系。
结合图1和图2所示，本发明的多传感器时间同步方法以一个由1个GNSS模块、1个IMU模块、2个相机模块、1个控制模块和1个主处理器所组成的多传感器时间同步装置(即多源融合导航系统)为例，进行具体阐述。
如图2所示，根据本发明的一种实施方式，GNSS模块测量和提供精确1PPS信号。在该多传感器时间同步装置中，GNSS模块与控制模块相连，用于观测GNSS卫星并输出GNSS原始测量数据(卫星星历以及载波、伪距、多普勒等测量值)或定位解算结果数据(接收机位置、速度等)。同时，GNSS模块也向控制模块输出每秒脉冲(APulse Per Second,1PPS)信号。在本实施方式中，GNSS 1PPS信号是一种时间长度为一秒的电信号，其上升沿或下降沿每秒精确重复一次。利用GNSS 1PPS信号，用户能够获得相对于GNSS原子时的绝对时间基准，并与UTC时间进行转换。在本实施方式中，GNSS模块的GNSS 1PPS信号输出精度优于几十纳秒。但需要注意的是，由于GNSS模块只有在能够观测到GNSS卫星的情况下才会输出GNSS 1PPS信号，因此，当多传感器时间同步装置在城市复杂遮挡等环境下工作时，控制模块并非总能接收获得GNSS 1PPS信号。
因此综合考虑，当GNSS模块能够提供和输出1PPS信号时，控制模块利用GNSS 1PPS信号对来自自身本地时钟源的时间系统进行校准和同步；此时，控制模块的时间系统将被对齐至GNSS系统原子时。而由于GNSS卫星信号遮挡和干扰等原因，GNSS模块无法提供和输出GNSS 1PPS信号时，控制模块即以自身本地时钟源为基准保持正常工作。
进而，根据本发明的一种实施方式，步骤S1中，控制模块接收GNSS模块输出的GNSS1PPS信号或自身时间信号为基准进行工作的步骤中，若GNSS模块观测到GNSS卫星，且接收到GNSS 1PPS，则控制模块接收GNSS模块输出的GNSS 1PPS信号进行校准和同步，并以此为基准进行工作；否则，控制模块以自身时间信号为基准进行工作。在本实施方式中，控制模块定期向主处理器发送GNSS 1PPS信号或根据自身时间信号生成的本地1PPS信号，用于控制模块与主处理器之间的时间同步。
根据本发明的一种实施方式，控制模块是实现整个装置高精度时间同步的核心功能模块，其硬件形式可以是微控制单元(Microcontroller Unit,MCU)，也可以是现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)。需要注意的是，在测量事件时间方面，FPGA相比MCU更易实现更高的精度和灵活性，尤其是在使用中断的方式代替硬件计时器时，进而可根据实际需要对控制模块的设置形式进行选择，以适用于具体的应用场景。
在本实施方式中，步骤S2中，控制模块定期向IMU模块发送第一触发信号，控制IMU模块读取惯性测量数据，并记录第一触发信号发送时刻的第一时间戳
Figure BDA0002933386510000081
在本实施方式中，IMU模块读取惯性测量数据采用较高的采样周期，进而，在本实施方式中，控制模块向IMU模块发送的第一触发信号的频率大于或等于100Hz，优选的，控制模块向IMU模块发送的第一触发信号的频率甚至大于或等于200Hz。
在本实施方式中，步骤S2中，控制模块定期向相机模块发送第二触发信号，控制相机模块开始进行图像曝光工作。在本实施方式中，与对IMU模块的处理方式有所不同，控制模块记录向相机模块发送第二触发信号发送时刻的第二时间戳
Figure BDA0002933386510000082
及与该时间戳相对应的第一序列号
Figure BDA0002933386510000083
这主要是为了后续在主处理器中将图像和图像时间戳(即第二时间戳和第三时间戳)进行重新关联和匹配做必要的准备；此外，由于参与融合定位的图像帧率一般不需要像IMU惯性测量数据那样高，因此控制模块向相机模块发送的触发信号频率也相对较低，例如采用20Hz或者30Hz，也可以根据需要进行调整。
根据本发明的一种实施方式中，步骤S3中，IMU模块接收到第一触发信号后，读取自身惯性测量数据并发送至控制模块，相机模块接收到第二触发信号后进行曝光作业，将所得到的图像发送至主处理器，主处理器接收来自相机模块的图像并记录接收时刻的第三时间戳
Figure BDA0002933386510000084
及与之相对应的第二序列号
Figure BDA0002933386510000085
在本实施方式中，而由于图像数据量较大，因此相机模块在图像曝光完成后，并不将图像数据返回发送至控制模块，而是直接发送至主处理器。进而极大的提高了本发明的执行效率。
结合图1和图2所示，根据本发明的一种实施方式，的相机模块至少为一个。在本实施方式中，相机模块可以是单个(即单目(Mono)相机)，也可以两个(即双目(Stereo)相机)。当然，根据需要还可以设置为更多个相机模块的多目相机。
结合图1和图2所示，根据本发明的一种实施方式，若相机模块多于一个，则控制模块定期向其中一个相机模块发送第二触发信号，相机模块接收第二触发信号后生成本地触发信号并发送至其它相机模块，以用于所有相机模块的时间同步。例如，当相机模块为两个时，控制模块定期向其中一个相机模块A发送触发信号；相机模块A接收到来自控制模块的触发信号后，立刻生成本地触发信号并向另一个相机模块B发送，以实现相机模块A和B之间的时间同步。两个相机模块在图像曝光完成后，分别将图像数据发送至主处理器。
结合图1和图2所示，根据本发明的一种实施方式，步骤S3中，相机模块接收到第二触发信号并执行曝光作业后，将相机模块的曝光时长texposure发送至控制模块或主处理器，控制模块或主处理器可通过取曝光时长texposure中值的方式对第二时间戳
Figure BDA0002933386510000091
进行优化和更新，优化后的第二时间戳
Figure BDA0002933386510000092
表示为：
Figure BDA0002933386510000093
通过上述设置，由于图像曝光通常需要一定的时间(如数毫秒)，因此，将图像的曝光时刻选为图像曝光时长的中值更加符合实际情况，进而使得本发明的方法的计算与匹配精度更高。
根据本发明的一种实施方式中，步骤S4中，控制模块接收来自IMU模块的惯性测量数据后，并将其与第一时间戳
Figure BDA0002933386510000094
第二时间戳
Figure BDA0002933386510000095
第一序列号
Figure BDA0002933386510000096
一起发送至主处理器。
根据本发明的一种实施方式中，步骤S5中，主处理器接收惯性测量数据、第一时间戳
Figure BDA0002933386510000101
第二时间戳
Figure BDA0002933386510000102
第一序列号
Figure BDA0002933386510000103
并对第一序列号
Figure BDA0002933386510000104
和第二序列号
Figure BDA0002933386510000105
进行匹配，以匹配关联图像与第二时间戳
Figure BDA0002933386510000106
的对应关系。在本实施方式中，由于控制模块和相机模块的启动存在不同步的可能，主处理器自己记录的图像时间戳序列号第二序列号
Figure BDA0002933386510000107
与控制模块记录的图像时间戳序列号第一序列号
Figure BDA0002933386510000108
之间可能存在差异。因此，主处理器还需要对所述时间戳序列号即第二序列号
Figure BDA0002933386510000109
与第一序列号
Figure BDA00029333865100001010
进行匹配，以正确关联来自相机模块的图像与来自控制模块的第二触发信号的第二时间戳
Figure BDA00029333865100001011
之间的对应关系，进而实现多传感器之间的测量数据同步。
结合图1和图2所示，根据本发明的一种实施方式，控制模块在启动后的预定初始化时间段内缓慢触发相机模块，即控制模块在启动后的预定初始化时间段内以预设触发频率触发所述相机模块，其中，预设触发频率要小于相机模块和所述IMU模块采集数据的频率，以实现缓慢触发的效果。在本实施方式中，以1Hz频率进行触发，主处理器根据最接近的第二时间戳
Figure BDA00029333865100001012
和第三时间戳
Figure BDA00029333865100001013
对它们所对应的第一序列号
Figure BDA00029333865100001014
和第二序列号
Figure BDA00029333865100001015
进行匹配，具体公式如下所示：
Figure BDA00029333865100001016
其中，
Figure BDA00029333865100001017
和
Figure BDA00029333865100001018
分别是第一序列号
Figure BDA00029333865100001019
和第二序列号
Figure BDA00029333865100001020
的集合。符号
Figure BDA00029333865100001021
表示对应关系。
通过这种处理方式能够实现图像与时间戳之间关联匹配的原因在于：由于相机进行图像曝光的时间间隔较长(如1Hz)，各传感器与模块的时延抖动和时间误差与之相比可以忽略不计，因此可认为当一个来自控制模块的第二时间戳
Figure BDA00029333865100001022
与一个来自主处理器的第三时间戳
Figure BDA00029333865100001023
最为接近时，它们即来自于同一幅图像，而它们所对应的时间戳序列号第一序列号
Figure BDA00029333865100001024
和第二序列号
Figure BDA00029333865100001025
之间是匹配关联的。当然，还可以以0.5Hz、2Hz等的频率进行触发。
根据本发明的一种实施方式，步骤S5中，对所述第一序列号
Figure BDA0002933386510000111
和所述第二序列号
Figure BDA0002933386510000112
进行匹配，以匹配关联所述图像与所述第二时间戳
Figure BDA0002933386510000113
的对应关系，以及所述图像与所述惯性测量数据的对应关系的步骤中，主处理器可通过初始化运行阶段缓慢触发操作的方式，匹配关联起控制模块所记录的图像序列号(即第一序列号)
Figure BDA0002933386510000114
和主处理器所记录的图像序列号(即第二序列号)
Figure BDA0002933386510000115
之间的对应关系：
Figure BDA0002933386510000116
其中，符号
Figure BDA0002933386510000117
表示建立对应关系。
随后，在正常运行阶段，通过上述已建立的第一序列号
Figure BDA0002933386510000118
和第二序列号
Figure BDA0002933386510000119
之间的对应关系，主处理器可以建立起它们所对应的第二时间戳
Figure BDA00029333865100001110
和第三时间戳
Figure BDA00029333865100001111
之间的对应关系：
Figure BDA00029333865100001112
同时，由于图像时间戳(即第二时间戳)
Figure BDA00029333865100001113
和惯性测量数据时间戳(即第一时间戳)
Figure BDA00029333865100001114
都是控制模块根据自身时间基准产生的，所以主处理器能够轻松建立起第二时间戳
Figure BDA00029333865100001115
和第一时间戳
Figure BDA00029333865100001116
之间的对应关系：
Figure BDA00029333865100001117
从而，主处理器可以实现自身所接受到的图像数据与惯性测量数据之间的时间同步，虽然这两种数据是分别由两种不同的传感器产生和传输的。即有：
Figure BDA00029333865100001118
如图2所示，根据本发明的一种实施方式，本发明的一种多传感器时间同步装置，包括：
GNSS模块，用于GNSS模块观测GNSS卫星，并输出GNSS 1PPS信号；
控制模块，控制模块与GNSS模块相连接；
IMU模块，IMU模块与控制模块相连接；
相机模块，相机模块与控制模块相连接；
主处理器，主处理器分别与控制模块和相机模块相连接。
如图2所示，根据本发明的一种实施方式，相机模块至少为一个。在本实施方式中，相机模块可设置为两个。当然还可设置为三个、四个等。
如图2所示，根据本发明的一种实施方式，控制模块为MCU装置或者FPGA装置。
上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多传感器时间同步方法，包括：
S1.控制模块接收GNSS模块输出的GNSS 1PPS信号或自身时间信号为基准进行工作；
S2.所述控制模块定期向IMU模块发送第一触发信号，并记录发送时刻的第一时间戳
Figure FDA0002933386500000011
以及定期向相机模块发送第二触发信号，并记录发送时刻的第二时间戳
Figure FDA0002933386500000012
及与之相对应的第一序列号
Figure FDA0002933386500000013
S3.所述IMU模块接收到所述第一触发信号后，读取自身惯性测量数据并发送至所述控制模块，所述相机模块接收到所述第二触发信号后进行曝光作业，将所得到的图像发送至主处理器，所述主处理器接收来自所述相机模块的所述图像并记录接收时刻的第三时间戳
Figure FDA0002933386500000014
及与之相对应的第二序列号
Figure FDA0002933386500000015
S4.所述控制模块接收来自所述IMU模块的所述惯性测量数据，并将其与所述第一时间戳
Figure FDA0002933386500000016
所述第二时间戳
Figure FDA0002933386500000017
所述第一序列号
Figure FDA0002933386500000018
一起发送至所述主处理器；
S5.所述主处理器接收所述惯性测量数据、所述第一时间戳
Figure FDA0002933386500000019
所述第二时间戳
Figure FDA00029333865000000110
所述第一序列号
Figure FDA00029333865000000111
并对所述第一序列号
Figure FDA00029333865000000112
和所述第二序列号
Figure FDA00029333865000000113
进行匹配，以匹配关联所述图像与所述第二时间戳
Figure FDA00029333865000000114
的对应关系，以及所述图像与所述惯性测量数据的对应关系；
所述控制模块在启动后的预定初始化时间段内以预设触发频率触发所述相机模块，其中，所述预设触发频率要小于所述相机模块和所述IMU模块采集数据的频率。
2.根据权利要求1所述的多传感器时间同步方法，其特征在于，步骤S1中，控制模块接收GNSS模块输出的GNSS 1PPS信号或自身时间信号为基准进行工作的步骤中，若所述GNSS模块观测到GNSS卫星，且接收到GNSS 1PPS，则所述控制模块接收GNSS模块输出的GNSS1PPS信号进行校准和同步，并以此为基准进行工作；否则，所述控制模块以自身时间信号为基准进行工作。
3.根据权利要求2所述的多传感器时间同步方法，其特征在于，所述控制模块定期向所述主处理器发送所述GNSS 1PPS信号或根据自身时间信号生成的本地1PPS信号，用于所述控制模块与所述主处理器之间的时间同步。
4.根据权利要求3所述的多传感器时间同步方法，其特征在于，步骤S3中，所述相机模块接收到所述第二触发信号并执行曝光作业后，将所述相机模块的曝光时长texposure发送至所述控制模块或所述主处理器，所述控制模块或所述主处理器可通过取所述曝光时长texposure中值的方式对所述第二时间戳
Figure FDA0002933386500000021
进行优化和更新，优化后的第二时间戳
Figure FDA0002933386500000022
表示为：
Figure FDA0002933386500000023
5.根据权利要求4所述的多传感器时间同步方法，其特征在于，所述的相机模块至少为一个。
6.根据权利要求5所述的多传感器时间同步方法，其特征在于，若所述相机模块多于一个，则所述控制模块定期向其中一个所述相机模块发送所述第二触发信号，所述相机模块接收所述第二触发信号后生成本地触发信号并发送至其它所述相机模块，以用于所有所述相机模块的时间同步。
7.根据权利要求6所述的多传感器时间同步方法，其特征在于，步骤S5中，对所述第一序列号
Figure FDA0002933386500000024
和所述第二序列号
Figure FDA0002933386500000025
进行匹配，以匹配关联所述图像与所述第二时间戳
Figure FDA0002933386500000026
的对应关系，以及所述图像与所述惯性测量数据的对应关系的步骤中，包括：
匹配关联所述第一序列号
Figure FDA0002933386500000027
和所述的第二序列号
Figure FDA0002933386500000028
之间的对应关系：
Figure FDA0002933386500000029
基于所述第一序列号
Figure FDA0002933386500000031
和所述的第二序列号
Figure FDA0002933386500000032
之间的对应关系建立所述第二时间戳
Figure FDA0002933386500000033
和所述第三时间戳
Figure FDA0002933386500000034
之间的对应关系：
Figure FDA0002933386500000035
建立起第二时间戳
Figure FDA0002933386500000036
和第一时间戳
Figure FDA0002933386500000037
之间的对应关系：
Figure FDA0002933386500000038
基于所述第二时间戳
Figure FDA0002933386500000039
和所述第三时间戳
Figure FDA00029333865000000310
之间的对应关系和所述第二时间戳
Figure FDA00029333865000000311
和第一时间戳
Figure FDA00029333865000000312
之间的对应关系构建所述第一时间戳
Figure FDA00029333865000000313
和所述第三时间戳
Figure FDA00029333865000000314
之间的对应关系：
Figure FDA00029333865000000315
由此，即确定了所述图像与所述惯性测量数据之间的对应关系。
8.一种采用权利要求1至7任一项所述的多传感器时间同步方法的多传感器时间同步装置，其特征在于，包括：
GNSS模块，所述GNSS模块用于观测GNSS卫星，并输出GNSS 1PPS信号；
控制模块，所述控制模块与所述GNSS模块相连接；
IMU模块，所述IMU模块与所述控制模块相连接；
相机模块，所述相机模块与所述控制模块相连接；
主处理器，所述主处理器分别与所述控制模块和所述相机模块相连接。
9.根据权利要求8所述的多传感器时间同步方法，其特征在于，所述相机模块至少为一个。
10.根据权利要求9所述的多传感器时间同步方法，其特征在于，所述控制模块为MCU装置或者FPGA装置。
CN202110153448.7A 2021-02-04 2021-02-04 一种多传感器时间同步方法及同步装置 Active CN112945228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110153448.7A CN112945228B (zh) 2021-02-04 2021-02-04 一种多传感器时间同步方法及同步装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110153448.7A CN112945228B (zh) 2021-02-04 2021-02-04 一种多传感器时间同步方法及同步装置

Publications (2)

Publication Number Publication Date
CN112945228A true CN112945228A (zh) 2021-06-11
CN112945228B CN112945228B (zh) 2023-04-07

Family

ID=76243679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110153448.7A Active CN112945228B (zh) 2021-02-04 2021-02-04 一种多传感器时间同步方法及同步装置

Country Status (1)

Country Link
CN (1) CN112945228B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342899A (zh) * 2021-07-01 2021-09-03 沈阳美行科技有限公司 一种数据同步获取方法、装置及系统
CN113353090A (zh) * 2021-06-16 2021-09-07 深圳市道通智能汽车有限公司 数据同步系统、方法、定位系统及无人驾驶设备
CN113377060A (zh) * 2021-08-13 2021-09-10 成都博宇利华科技有限公司 信号采集系统中获取每个采样点采样时刻的方法
CN114007060A (zh) * 2021-09-30 2022-02-01 青岛歌尔声学科技有限公司 图像数据和imu数据的处理系统、方法、介质以及头戴设备
CN114545762A (zh) * 2022-02-18 2022-05-27 广州导远电子科技有限公司 一种基于惯性测量单元的时间数据同步方法及系统
CN115776366A (zh) * 2022-12-12 2023-03-10 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置
WO2023165569A1 (zh) * 2022-03-02 2023-09-07 中兴通讯股份有限公司 多传感器同步定位方法、装置、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729277A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 多传感器采集时间戳同步装置
CN110139041A (zh) * 2018-11-19 2019-08-16 魔门塔(苏州)科技有限公司 远程多传感信号同步采集方法
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
CN111200698A (zh) * 2018-11-19 2020-05-26 魔门塔(苏州)科技有限公司 远程多传感器多通道接收方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729277A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 多传感器采集时间戳同步装置
CN110139041A (zh) * 2018-11-19 2019-08-16 魔门塔(苏州)科技有限公司 远程多传感信号同步采集方法
CN111200698A (zh) * 2018-11-19 2020-05-26 魔门塔(苏州)科技有限公司 远程多传感器多通道接收方法
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113353090A (zh) * 2021-06-16 2021-09-07 深圳市道通智能汽车有限公司 数据同步系统、方法、定位系统及无人驾驶设备
CN113342899A (zh) * 2021-07-01 2021-09-03 沈阳美行科技有限公司 一种数据同步获取方法、装置及系统
CN113342899B (zh) * 2021-07-01 2024-03-22 沈阳美行科技股份有限公司 一种数据同步获取方法、装置及系统
CN113377060A (zh) * 2021-08-13 2021-09-10 成都博宇利华科技有限公司 信号采集系统中获取每个采样点采样时刻的方法
CN114007060A (zh) * 2021-09-30 2022-02-01 青岛歌尔声学科技有限公司 图像数据和imu数据的处理系统、方法、介质以及头戴设备
CN114545762A (zh) * 2022-02-18 2022-05-27 广州导远电子科技有限公司 一种基于惯性测量单元的时间数据同步方法及系统
WO2023165569A1 (zh) * 2022-03-02 2023-09-07 中兴通讯股份有限公司 多传感器同步定位方法、装置、系统及存储介质
CN115776366A (zh) * 2022-12-12 2023-03-10 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置
CN115776366B (zh) * 2022-12-12 2024-03-15 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置

Also Published As

Publication number Publication date
CN112945228B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112945228B (zh) 一种多传感器时间同步方法及同步装置
CN112672415B (zh) 多传感器时间同步方法、装置、系统、电子设备及介质
CN109104259B (zh) 一种多传感器对时同步系统和方法
CN110329273B (zh) 一种用于无人驾驶获取数据同步的方法及装置
KR101179135B1 (ko) 위성 항법 시각 생성 장치 및 방법
CN110133999B (zh) 一种基于星云激光点云数采平台的时间同步方法及系统
CN102882586B (zh) 一种卫星时间同步系统
CN100413244C (zh) 时间同步系统
US10788586B2 (en) Multichannel inertial measurement unit and integrated navigation systems on its basis
CN111309094A (zh) 一种传感器设备采集数据的同步板卡及方法
CN100583730C (zh) 用于校准tod时钟的装置和方法
EP3009897A1 (en) Distribution device, distribution system, and distribution method
JP7380692B2 (ja) 位置計測システム、測位演算装置、位置計測方法、及びプログラム
CN104748730A (zh) 测定无人机中航测相机曝光时刻的装置及方法
CN110515109B (zh) 一种基于多信息源融合自主pnt时间的方法及装置
CN112822480B (zh) Vr系统及其定位追踪方法
CN103792841A (zh) 一种空间相机图像对时信息生成系统
CN114025055A (zh) 一种数据处理的方法、装置、系统、设备及存储介质
CN112995524A (zh) 高精采集车及其照片曝光信息生成系统、方法和同步装置
CA3200304C (en) Clock synchronisation
US20220132450A1 (en) Wireless Ranging and Time Synchronization
CN113776541B (zh) 一种星敏感器与光学载荷同步曝光的系统
CN115208501A (zh) 一种基于fpga的多源导航信号同步方法及同步装置
RU2435175C1 (ru) Автономный цифровой сейсмометр
Sléber Design and development of a time-synchronized positioning platform using FPGA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221011

Address after: Room 5002, 5th Floor, Building 1, No. 2 Wanhong West Street, Chaoyang District, Beijing 100015

Applicant after: Beijing Muxing Technology Co.,Ltd.

Address before: 100013 1505, building 3, 15th District, Heping Street, Chaoyang District, Beijing

Applicant before: Liu Cheng

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant