CN117749307A - 多传感器时钟同步系统和方法 - Google Patents
多传感器时钟同步系统和方法 Download PDFInfo
- Publication number
- CN117749307A CN117749307A CN202211153147.5A CN202211153147A CN117749307A CN 117749307 A CN117749307 A CN 117749307A CN 202211153147 A CN202211153147 A CN 202211153147A CN 117749307 A CN117749307 A CN 117749307A
- Authority
- CN
- China
- Prior art keywords
- pulse
- sensor
- trigger
- clock synchronization
- sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 238000009432 framing Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000408659 Darpa Species 0.000 description 1
- 238000011166 aliquoting Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明提供一种多传感器时钟同步系统和方法。多传感器时钟同步系统，包括：秒脉冲生成模块，其被配置为产生秒脉冲；同步单元，其被配置为接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；以及多种类型的传感器，其与所述同步单元连接，其中，每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
Description
技术领域
本发明涉及多传感器的时钟同步，具体地，涉及一种利用秒脉冲(PPS)信号基于硬件的时钟同步系统和方法。
背景技术
用于鲁棒感知的多传感器融合是诸如同时定位和绘图以及场景理解之类的各种机器人应用的基础。不同的传感器可以相互补充，因此利用传感器融合，系统的感知能力将显著提高。例如，相机捕获包含环境的纹理和图案信息的密集且高分辨率的2D图像。但是由于测量中的被动特性，相机易受照明变化(例如，黑暗和眩光)的影响。相比之下，激光雷达(LiDAR)直接提供稀疏但准确的3D点云，通过利用其照明源来测量结构信息和反射强度。因此，利用LiDAR可以减轻这种照明问题并提高深度估计的质量。
一些工作集中在一种类型的传感器上：事件相机、激光扫描仪和RGB-D相机。这些单独的传感器不需要与其它传感器融合。因此，不需要同步。
用惯性测量补充视觉传感器，视觉-惯性里程计(VIO)方法可以极大地提高相机跟踪准确度和鲁棒性。相关工作已有报道。EuRoc装置安装在微型飞行器上。TUM VI传感器的构造采用了仔细的光度校准。但是这些装置仅涉及相机和IMU。
DARPA挑战已经驱动了自动驾驶车辆的发展。作为自动驾驶汽车中的关键传感器之一的光检测和测距(LiDAR)与相机集成，例如MITDARPA装置、KITTI装置和KAIST复杂城市装置。但是这些工作中出现的这些装置是笨重、昂贵的，并且不支持事件相机。另一个工作是NCLT多传感器装置和M2DGR装置。但是这些工作没有设计和开发硬件同步方法。因此，相对时间延迟大且不稳定(通常＞5-10ms)。
发明内容
本发明提出了一种用于同步传感器时钟以收集良好同步的测量的新颖的基于硬件的解决方案。
a)本发明采用锁相倍频技术，可以将需要不同触发信号的多个传感器与时钟源同步。
b)可以将时钟源自动在GNSS的PPS信号与内部定时器之间切换，以配合其它具有UTC时间的平台。
为实现上述目的，第一方面，本发明实施例提供了一种多传感器时钟同步系统，包括：
秒脉冲生成模块，其被配置为产生秒脉冲；
同步单元，其被配置为接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；以及
多种类型的传感器，其与所述同步单元连接，其中，每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
在本发明的一些实施例中，所述多种类型的传感器中的每种类型的传感器响应于接收到对应的触发信号，将其时钟源从内部定时器切换为所述触发信号。
在本发明的一些实施例中，所述多种类型的传感器包括激光雷达、立体分幅相机、立体事件相机和惯性测量单元。
在本发明的一些实施例中，所述同步单元在FPGA上实施。
在本发明的一些实施例中，所述秒脉冲生成模块是GPS模块。
另一方面，本发明还提供一种多传感器时钟同步方法，包括：
通过秒脉冲生成模产生秒脉冲；
通过同步单元接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；
将所述多个触发信号分别发送至多种类型的传感器，使得每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，并且所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
在本发明的一些实施例中，所述多种类型的传感器中的每种类型的传感器响应于接收到对应的触发信号，将其时钟源从内部定时器切换为所述触发信号。
在本发明的一些实施例中，所述多种类型的传感器包括激光雷达、立体分幅相机、立体事件相机和惯性测量单元。
在本发明的一些实施例中，所述同步单元在FPGA上实施。
在本发明的一些实施例中，所述秒脉冲生成模块是GPS模块。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的多传感器时钟同步系统的框图。
图2中示出了用于实现根据本发明的多传感器时钟同步解决方案的平台的示例。
图3示出了根据本发明的多传感器时钟同步系统的流水线的示例。
图4中示出了将时钟源在GNSS的PPS信号与内部计时器之间自动切换以及在FPGA上产生触发信号的方法的示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本发明透彻和完整，并将使本领域技术人员充分理解本发明的范围。
图1示出了根据本发明实施例的多传感器时钟同步系统的框图。如图1所示，根据本发明的多传感器时钟同步系统包括：秒脉冲生成模块，其被配置为产生秒脉冲；同步单元，其被配置为接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；以及多种类型的传感器，其与所述同步单元连接。每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
在本发明的实施例中，所述多种类型的传感器中的每种类型的传感器响应于接收到对应的触发信号，将其时钟源从内部定时器切换为所述触发信号。
根据本发明的多传感器时钟同步系统可以将具有不同内部定时器的各种传感器集成到一个统一的时钟系统中，以收集同步良好的数据。通过给不同传感器发送对应频率的方波信息，使得传感器能以一致的速率进行数据采集，延时小于10微秒。本发明不需要额外的人工对准相应的各种传感器数据，使得部署多传感器平台的便利性大大提高。
在本发明的实施例中，所述多种类型的传感器包括激光雷达、立体分幅相机、立体事件相机和惯性测量单元。
本发明支持跨传感器(包括激光雷达、立体分幅相机、事件相机和GPS)的纳秒级时钟同步。
在本发明的实施例中，所述同步单元在FPGA上实施，所述秒脉冲生成模块是GNSS(Global Navigation Satellite System，全球导航卫星系统)模块。在本发明的实施例中，GNSS泛指所有的卫星导航系统，包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统。
根据本发明的系统基于来自GNSS的秒脉冲信号，由FPGA同步单元生成的脉冲直接触发传感器产生测量结果，使时钟源有效地在GNSS的PPS信号和内部定时器之间自动切换，以配合其他配备UTC时间的平台。
图2中示出了用于实现所提出的多传感器时钟同步解决方案的平台的示例，该平台由一个LiDAR、立体分幅相机(stereo frame camera)、立体事件相机、惯性测量单元和主机计算机组成。如图1所示，所有传感器分别安装在顶部和侧面，并连接到图2所示的FPGA同步单元，这些传感器将在同一阶段同步被触发。
图3中示出了所提出的多传感器时钟同步的流水线的示例。来自GPS模块的秒脉冲将由FPGA同步单元使用锁相倍频技术扩展为多个不同脉冲，以触发其它传感器生成同步测量结果，诸如点云、图像、事件和自我运动。所有的测量结果通过各种通信协议被传输到工业个人计算机。由于协议的不同延迟，还需要将传感器数据与实际序列对准以避免数据错位。具体地，在相机等传感器被触发后，因为在计算机解算时候会产生延时，导致相对触发信号产生滞后，实际序列指的是触发信号产生时刻所产生的图像等测量数据。
图4中示出了将时钟源在GNSS的PPS信号与内部计时器之间自动切换以及在FPGA上产生触发信号的方法的示例。首先，选择可用的时钟源，由于GNSS的PPS信号与UTC计时器严格一致，因此具有更高的优先级。然后产生各种触发信号给需要多频率的不同传感器。实验证明，根据本发明的多传感器时钟同步方法可以自动选择GNSS或内部定时器作为时钟源，以在不同的多传感器平台之间对准系统时间。如果没有外部PPS信号触发，则用内部的定时器去触发相机和IMU等传感器，如果有外部PPS信号，则和GNSS时间对齐后进行测量。
在本发明的实施例中，例如，首先通过GNSS模块得到一个秒脉冲，同时将计数器清零后启动，当计数器计数到100ms时发出一个脉冲，这个脉冲频率为10hz，用来触发相机和IMU等同步。在该情况下，即通过与外部接收到的1hz的信号对齐，产生一个10hz的信号，相当于在2个1hz信号之间产生10个等分的信号。
另一方面，本发明还提供一种多传感器时钟同步方法，包括：通过秒脉冲生成模产生秒脉冲；通过同步单元接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；将所述多个触发信号分别发送至多种类型的传感器，使得每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，并且所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
本文已经发明了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。
Claims (10)
1.一种多传感器时钟同步系统，包括：
秒脉冲生成模块，其被配置为产生秒脉冲；
同步单元，其被配置为接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；以及
多种类型的传感器，其与所述同步单元连接，其中，每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
2.根据权利要求1所述的多传感器时钟同步系统，其中，所述多种类型的传感器中的每种类型的传感器响应于接收到对应的触发信号，将其时钟源从内部定时器切换为所述触发信号。
3.根据权利要求1所述的多传感器时钟同步系统，其中，所述多种类型的传感器包括激光雷达、立体分幅相机、立体事件相机和惯性测量单元。
4.根据权利要求1所述的多传感器时钟同步系统，其中，所述同步单元在FPGA上实施。
5.根据权利要求1所述的多传感器时钟同步系统，其中，所述秒脉冲生成模块是GPS模块。
6.一种多传感器时钟同步方法，包括：
通过秒脉冲生成模产生秒脉冲；
通过同步单元接收来自所述秒脉冲生成模块的秒脉冲，并使用锁相倍频技术基于所述秒脉冲生成多个触发信号，所述多个触发信号是具有不同频率的方波信号；
将所述多个触发信号分别发送至多种类型的传感器，使得每种类型的传感器接收所述多个触发信号中的对应的触发信号以触发该种类型的传感器产生测量结果，并且所述多种类型的传感器响应于所述多个触发信号同步生成测量结果。
7.根据权利要求6所述的多传感器时钟同步方法，其中，所述多种类型的传感器中的每种类型的传感器响应于接收到对应的触发信号，将其时钟源从内部定时器切换为所述触发信号。
8.根据权利要求6所述的多传感器时钟同步方法，其中，所述多种类型的传感器包括激光雷达、立体分幅相机、立体事件相机和惯性测量单元。
9.根据权利要求6所述的多传感器时钟同步方法，其中，所述同步单元在FPGA上实施。
10.根据权利要求6所述的多传感器时钟同步方法，其中，所述秒脉冲生成模块是GPS模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211153147.5A CN117749307A (zh) | 2022-09-21 | 2022-09-21 | 多传感器时钟同步系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211153147.5A CN117749307A (zh) | 2022-09-21 | 2022-09-21 | 多传感器时钟同步系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117749307A true CN117749307A (zh) | 2024-03-22 |
Family
ID=90251360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211153147.5A Pending CN117749307A (zh) | 2022-09-21 | 2022-09-21 | 多传感器时钟同步系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117749307A (zh) |
-
2022
- 2022-09-21 CN CN202211153147.5A patent/CN117749307A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113708877B (zh) | 用于车辆的时间同步系统和方法 | |
| CN111381487B (zh) | 多传感器同步授时系统、方法、装置及电子设备 | |
| US7752483B1 (en) | Process and system for three-dimensional urban modeling | |
| US10509126B2 (en) | Method for driving a time-of-flight system | |
| EP3329301B1 (en) | Visual inertial odometry attitude drift calibration | |
| CN103744372B (zh) | 无人机电力巡检的多传感器时间同步方法与系统 | |
| CN111860604B (zh) | 数据融合方法、系统及计算机存储介质 | |
| CN111736169B (zh) | 一种数据同步方法、设备及系统 | |
| DE602005013962D1 (de) | Verfahren für hochauflösende 3d-bildgebung | |
| CN112945228B (zh) | 一种多传感器时间同步方法及同步装置 | |
| CN111007554A (zh) | 数据采集时间同步系统和方法 | |
| CN109799523A (zh) | 一种天文组合导航系统时间同步方法 | |
| CN111934843A (zh) | 一种面向智能无人系统的多传感器数据同步采集方法 | |
| CN112041767B (zh) | 用于同步车辆传感器和设备的系统和方法 | |
| KR20210087495A (ko) | 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템 | |
| CN111556226A (zh) | 一种相机系统 | |
| CN109799493A (zh) | 雷达和视频融合系统及方法 | |
| US20210223022A1 (en) | System and method | |
| CN114690228A (zh) | 一体化的定位方法及其系统 | |
| CN117749307A (zh) | 多传感器时钟同步系统和方法 | |
| WO2023093054A1 (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
| EP3748395B1 (en) | Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera | |
| CN114025055B (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
| CA3200304C (en) | Clock synchronisation | |
| CN111670568A (zh) | 数据同步方法、分布式雷达系统及可移动平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |