CN115776366B - 一种视觉多传感器高精度同步方法和装置 - Google Patents
一种视觉多传感器高精度同步方法和装置 Download PDFInfo
- Publication number
- CN115776366B CN115776366B CN202211591771.3A CN202211591771A CN115776366B CN 115776366 B CN115776366 B CN 115776366B CN 202211591771 A CN202211591771 A CN 202211591771A CN 115776366 B CN115776366 B CN 115776366B
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- visual
- time
- imu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000001360 synchronised effect Effects 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract 1
- 238000012937 correction Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本发明提供了一种视觉多传感器高精度同步方法和装置，包括IMU输出包含时间戳的IMU数据，同步发送触发信号；同步处理电路依据触发信号生成各视觉传感器所需的同步信号，基于IMU高频时间戳标记各同步信号；各视觉传感器响应相应的同步信号进行工作，采集数据；导航计算机接收各视觉传感器的数据、IMU数据，依据IMU数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。本发明通过同步处理电路设置各视觉传感器的同步信号，利用时间戳进行时间同步，通过提高传感器之间的时间同步性，能够显著提升惯性/环境感知组合导航系统的导航性能。
Description
技术领域
本发明属于导航制导与控制技术领域，尤其涉及一种视觉多传感器高精度同步方法和装置。
背景技术
惯性导航是一种不依赖于外部信息、也不向外部辐射能量的自主式导航技术，具有全天候、全时间、数据更新率高、短期精度和稳定性好等特点，但存在导航精度随时间发散的缺点。惯性/环境感知组合导航是解决纯惯性导航精度随时间发散的一种有效方法。环境感知是指利用载体自身携带的传感器对周围环境进行测量，分析环境结构、纹理等特征，测量载体相对于环境中静止不动的特征之间的相对位姿。环境感知传感器的测量结果具有长期稳定性好的特点，因此能够与惯性导航技术相结合，达到抑制导航误差发散的效果。
常用的环境感知传感器包括激光雷达、可见光相机、红外相机、里程计等，这些传感器会同时接入组合导航系统，以保证系统能够全天时、全天候工作。但各个传感器存在数据接口繁多、同步信号电压不一致，逻辑信号正负不统一，时钟源不同以及操作系统调度和数据传输的不可预测的延迟等情况。此外，特别针对相机来说，还存在每次曝光时间不同、内部数据处理时间长的问题，使得传感器之间的同步具有挑战性。随着对导航精度要求的不断提高，各传感器数据的同步性成为制约精度进一步提升的瓶颈。
发明内容
针对现有技术中组合导航中多种视觉传感器数据不同步的技术问题，本发明提供了一种视觉多传感器高精度同步方法和装置，实现了多种传感器数据的高精度时间同步。
本发明解决上述问题采用的技术方案如下：
本发明提供了一种视觉多传感器高精度同步方法，包括如下步骤：
IMU输出包含时间戳的IMU数据，同步发送触发信号；
同步处理电路依据触发信号生成各视觉传感器所需的同步信号，基于IMU高频时间戳标记各同步信号；
各视觉传感器响应相应的同步信号进行工作，采集数据；
导航计算机接收各视觉传感器的数据、IMU数据，依据IMU数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。
进一步地，所述同步信号属性包括极性、脉宽、触发频率、触发电平幅值。进一步地，所述导航计算机为各视觉传感器数据标注时间戳的具体方法为
读取导航计算机寄存器存储的同步信号，判断是否收到同步处理电路的同步信号；
依据同步信号的时间戳、IMU数据的时间戳，完成时间配对。
进一步地，初始阶段，所有视觉传感器采用低频触发模式，同步信号触发周期大于其对应的视觉传感器一次发送数据的处理时间和数据传输时间之和；逐步恢复视觉传感器的正常触发频率。
进一步地，所述视觉多传感器高精度同步方法还包括计算各视觉传感器数据接收时间与同步信号之间的时间间隔，判断同步信号与视觉传感器数据接收的匹配情况的步骤。
进一步地，所述视觉传感器中包括相机，导航计算机将相机数据按照曝光补偿量进行时间修正。
本发明还提供了一种视觉多传感器高精度同步装置，包括IMU、导航计算机、同步处理电路、至少一个视觉传感器；
所述IMU用于输出包含时间戳的IMU数据、触发信号；
所述同步处理电路用于依据触发信号生成各视觉传感器所需的同步信号，依据IMU数据标记各同步信号的时间戳；
所述视觉传感器响应对应的同步信号，采集数据；
所述导航计算机接收IMU数据、同步信号及其时间戳、各传感器数据，为各视觉传感器数据标注时间戳。
进一步地，所述视觉传感器为可见光相机、红外相机、立体相机、激光雷达中的至少一种。
进一步地，同步处理电路包括GPIO、分频和倍频电路、高低电平转换电路，所述GPIO用于生成对外同步信号，所述分频和倍频电路用于调节同步信号的频率，所述高低电平转换电路用于调节同步信号的电平幅值。
本发明的有益效果：
本发明设计了一种视觉多传感器高精度同步方法和装置，通过同步处理电路设置各视觉传感器的同步信号，利用时间戳进行时间同步，大幅降低了惯性/环境感知导航系统同步处理信号的处理难度，提高了系统设计通用性，通过提高传感器之间的时间同步性，能够显著提升惯性/环境感知组合导航系统的导航性能。
本发明对相机数据同步时间进行曝光补偿，进一步提高同步精度。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明具体实施例提供的一种视觉多传感器高精度同步装置原理框图；
图2为本发明具体实施例提供的曝光补偿前的相机同步示意图；
图3为本发明具体实施例提供的曝光补偿后的相机同步示意图。
具体实施方式
下面结合附图，通过实施方式详细地描述本发明的技术方案。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
本发明提供了一种视觉多传感器高精度同步方法，具体过程如下：
S1、微惯性器件(IMU)输出包含时间戳的IMU数据，同步发送触发信号；
S2、同步处理电路依据触发信号生成各视觉传感器所需的同步信号，依据IMU数据的高频时间戳标记各同步信号的时间戳；
S3、各视觉传感器响应相应的同步信号进行工作，采集数据；
S4、导航计算机接收各视觉传感器的数据、IMU数据，依据IMU数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。
进一步地，同步信号属性包括极性、脉宽、触发频率、触发电平幅值，针对视觉传感器所需进行设置。
进一步地，导航计算机为各视觉传感器数据标注时间戳的具体方法为
读取导航计算机寄存器存储的同步信号，判断是否收到同步处理电路的同步信号；
依据同步信号的时间戳、IMU数据的时间戳，完成时间配对。
进一步地，初始阶段，除IMU外所有视觉传感器采用低频触发模式，同步信号触发周期大于其对应的视觉传感器一次发送数据的处理时间和数据传输时间之和；然后逐步恢复视觉传感器的正常触发频率。保证视觉多传感器的有效同步。
进一步地，计算各视觉传感器数据接收时间与同步信号之间的时间间隔，判断同步信号与视觉传感器数据接收的匹配情况，避免视觉传感器数据延迟发生标记错误。
进一步地，若视觉传感器中包括相机，导航计算机将相机数据按照曝光补偿量进行时间修正，提高相机同步精度。
本发明提供了一种视觉多传感器高精度同步装置，包括IMU、导航计算机、同步处理电路、至少一个视觉传感器；
IMU用于输出包含时间戳的IMU数据、触发信号；
同步处理电路用于依据触发信号生成各视觉传感器所需的同步信号，依据IMU数据标记各同步信号的时间戳；
视觉传感器响应对应的同步信号，采集数据；
导航计算机接收IMU数据、同步信号及其时间戳、各传感器数据，为各视觉传感器数据标注时间戳。
进一步地，视觉传感器为可见光相机、红外相机、立体相机、激光雷达中的至少一种。
下面结合附图，对本发明的技术方案进行详细描述。
如图1所示，视觉多传感器高精度同步装置，包括
IMU包括高精度晶振，为数据提供时间信息，输出的IMU数据中包含时间戳信息；IMU数据发送时刻与触发信号同步，但频率不同。
同步处理电路接收IMU的IMU数据、触发信号，依据触发信号生成各视觉传感器所需的同步信号，依据IMU数据标记各同步信号的时间戳。如图1所示，同步处理电路包括外部时钟触发接口、GPIO、分频和倍频电路、高低电平转换电路，GPIO用于生成对外同步信号，分频和倍频电路用于调节同步信号的频率，高低电平转换电路用于调节同步信号的电平幅值。
导航计算机接收各传感器的数据、IMU数据、同步信号及其时间戳，进行各视觉传感器数据标注时间戳。
本实施例中，视觉多传感器包括可见光相机、红外相机、立体相机、激光雷达。
视觉多传感器高精度同步装置由IMU的高精度晶振提供时间基准，IMU数据中包含时间戳信息，IMU数据发送时刻与触发信号同步，但频率不同，如数据频率可以为200Hz，触发信号频率为10Hz。
同步处理电路接收IMU发送的触发信号和IMU数据。同步处理电路采用GPIO生成对外同步信号(同步信号为一触发脉冲信号)，根据传感器需要，设置同步信号的极性、脉宽；通过分频和倍频电路，生成传感器所需频率的同步信号，常见的触发频率包括：1Hz、15Hz、30Hz等；通过高低电平转换电路，生成传感器所需触发电平幅值生成同步信号，常见的触发电平包括：1.8v、3.3v、5v等。
导航计算机对外接口包括串口、USB、以太网等传感器常见接口，各个传感器将数据传入导航计算机。
导航计算机中运行专用驱动程序，负责为各传感器数据标注时间戳，具体方法如下：
a)读取导航计算机的同步信号寄存器，判断当前是否收到同步处理电路发送的同步信号；
b)接收同步处理电路发送的同步信号时间戳信息，同时接收IMU发送的数据(包含时间戳信息)，完成同步信号时间与IMU数据时间戳的配对；
c)在上电工作初始阶段，所有传感器(除IMU外)，采用低频触发模式(如1Hz)，低频触发模式的触发周期需要远大于传感器一次发送数据的处理时间+数据传输时间，以保证同步信号与传感器数据的正确匹配；
d)判断各传感器数据与同步信号之间的时间间隔
其中，是收到第n个传感器同步信号的时间，/>是收到第n个传感器数据的时间；
e)逐步恢复正常的传感器触发频率，根据上一步得到的Δtn，判断同步信号与数据之间的匹配关系，这一点对于数据延迟时间大于同步信号周期的传感器来说尤为重要。
对于相机需要增加处理措施，以进一步提高同步精度。一般情况下，相机的曝光时间是不固定，通常在微秒级(μs)到毫秒级(ms)之间变化，对于快速运动场景所带来的误差仍然难以忽略。目前大部分工业相机均有预留有额外的数据接口，用于收发相机的控制信息，包含相机的快门时间、曝光补偿等额外参数，将这些参数传入同步处理电路，可进一步提高相机图像的同步精度。
在补偿相机曝光时间之前，相机成像时间序列如图2所示。
相机在收到同步信号指令后触发快门，开始拍摄，同时记录触发时刻的同步时间，称为tn；根据外界环境光线强弱，相机快门需要打开的时间不同，称为“曝光时间”。在未进行曝光补偿的情况下，tn时刻快门尚未打开，因此相机拍摄的图像并不是tn时刻的，而是从tn时刻到tn+1时刻的平均值。
快门从完全闭合到完全打开需要时间，因此一般认为图像对应的时刻是时刻，即以/>为补偿量，对发送给导航计算机的同步时间进行修正，修正后的同步时间序列如图3所示。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本发明未详细说明部分为本领域技术人员公知技术。
Claims (6)
1.一种视觉多传感器高精度同步方法，其特征在于，包括如下步骤：
IMU输出包含时间戳的IMU数据，同步发送触发信号，IMU数据发送时刻与触发信号同步，但频率不同；
同步处理电路依据触发信号生成各视觉传感器所需的同步信号，基于IMU高频时间戳标记各同步信号；
各视觉传感器响应相应的同步信号进行工作，采集数据；
导航计算机接收各视觉传感器的数据、IMU数据，依据IMU数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳；
所述导航计算机为各视觉传感器数据标注时间戳的具体方法为
读取导航计算机寄存器存储的同步信号，判断是否收到同步处理电路的同步信号；
依据同步信号的时间戳、IMU数据的时间戳，完成时间配对；
初始阶段，所有视觉传感器采用低频触发模式，同步信号触发周期大于其对应的视觉传感器一次发送数据的处理时间和数据传输时间之和；
计算各视觉传感器数据接收时间与同步信号之间的时间间隔，判断同步信号与视觉传感器数据接收的匹配情况；
逐步恢复视觉传感器的正常触发频率，根据上一步得到的时间间隔，判断同步信号与数据之间的匹配关系。
2.如权利要求1所述的视觉多传感器高精度同步方法，其特征在于，所述同步信号属性包括极性、脉宽、触发频率、触发电平幅值。
3.如权利要求2所述的视觉多传感器高精度同步方法，其特征在于，所述视觉传感器中包括相机，导航计算机将相机数据按照曝光补偿量进行时间修正。
4.一种视觉多传感器高精度同步装置，其特征在于，采用权利要求1～3中任一项所述的视觉多传感器高精度同步方法，所述视觉多传感器高精度同步装置包括IMU、导航计算机、同步处理电路、至少一个视觉传感器；
所述IMU用于输出包含时间戳的IMU数据、触发信号；
所述同步处理电路用于依据触发信号生成各视觉传感器所需的同步信号，依据IMU数据标记各同步信号的时间戳；
所述视觉传感器响应对应的同步信号，采集数据；
所述导航计算机接收IMU数据、同步信号及其时间戳、各传感器数据，为各视觉传感器数据标注时间戳。
5.如权利要求4所述的视觉多传感器高精度同步装置，其特征在于，所述视觉传感器为可见光相机、红外相机、立体相机、激光雷达中的至少一种。
6.如权利要求4所述的视觉多传感器高精度同步装置，其特征在于，同步处理电路包括GPIO、分频和倍频电路、高低电平转换电路，所述GPIO用于生成对外同步信号，所述分频和倍频电路用于调节同步信号的频率，所述高低电平转换电路用于调节同步信号的电平幅值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211591771.3A CN115776366B (zh) | 2022-12-12 | 2022-12-12 | 一种视觉多传感器高精度同步方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211591771.3A CN115776366B (zh) | 2022-12-12 | 2022-12-12 | 一种视觉多传感器高精度同步方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115776366A CN115776366A (zh) | 2023-03-10 |
| CN115776366B true CN115776366B (zh) | 2024-03-15 |
Family
ID=85392065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211591771.3A Active CN115776366B (zh) | 2022-12-12 | 2022-12-12 | 一种视觉多传感器高精度同步方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115776366B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117834071B (zh) * | 2023-12-13 | 2024-08-06 | 北京自动化控制设备研究所 | 一种飞行器惯性视觉导航系统时间同步方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107743054A (zh) * | 2017-08-25 | 2018-02-27 | 杭州德泽机器人科技有限公司 | 一种多传感器同步对时系统 |
| CN110567453A (zh) * | 2019-08-21 | 2019-12-13 | 北京理工大学 | 仿生眼多通道imu与相机硬件时间同步方法和装置 |
| CN112945228A (zh) * | 2021-02-04 | 2021-06-11 | 刘成 | 一种多传感器时间同步方法及同步装置 |
| CN114964175A (zh) * | 2022-03-30 | 2022-08-30 | 华南理工大学 | 多传感器数据同步采集装置及采集方法 |
-
2022
- 2022-12-12 CN CN202211591771.3A patent/CN115776366B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107743054A (zh) * | 2017-08-25 | 2018-02-27 | 杭州德泽机器人科技有限公司 | 一种多传感器同步对时系统 |
| CN110567453A (zh) * | 2019-08-21 | 2019-12-13 | 北京理工大学 | 仿生眼多通道imu与相机硬件时间同步方法和装置 |
| CN112945228A (zh) * | 2021-02-04 | 2021-06-11 | 刘成 | 一种多传感器时间同步方法及同步装置 |
| CN114964175A (zh) * | 2022-03-30 | 2022-08-30 | 华南理工大学 | 多传感器数据同步采集装置及采集方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115776366A (zh) | 2023-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107655475B (zh) | 同步脉冲信号获取方法、导航数据同步处理方法及系统 | |
| CN110133999B (zh) | 一种基于星云激光点云数采平台的时间同步方法及系统 | |
| TWI598571B (zh) | 感測器及感測器融合系統及用於將資料樣本的相位置及/或週期調整的方法 | |
| US7162352B1 (en) | Electronic apparatus and method of correcting offset value of acceleration sensor | |
| CN115776366B (zh) | 一种视觉多传感器高精度同步方法和装置 | |
| CN112945228B (zh) | 一种多传感器时间同步方法及同步装置 | |
| US7792640B2 (en) | Altitude correction of a navigational device | |
| CN110865406A (zh) | 基于车载gps授时系统的多传感器数据同步处理系统及方法 | |
| Huck et al. | Precise timestamping and temporal synchronization in multi-sensor fusion | |
| CN103744372A (zh) | 无人机电力巡检的多传感器时间同步方法与系统 | |
| CN110740227A (zh) | 基于gnss授时和图像显示信息编码方式的相机时间同步装置及方法 | |
| CN102722099B (zh) | 具有计算误差功能的时钟校正系统的校时方法 | |
| CN111934843A (zh) | 一种面向智能无人系统的多传感器数据同步采集方法 | |
| CN104764442A (zh) | 测定轻小型无人机中航测相机曝光时刻的方法及装置 | |
| CN113783652B (zh) | 一种组合导航系统的数据同步方法和装置 | |
| CN109799523A (zh) | 一种天文组合导航系统时间同步方法 | |
| CN104748730A (zh) | 测定无人机中航测相机曝光时刻的装置及方法 | |
| CN112383675A (zh) | 一种时间同步方法、装置及终端设备 | |
| CN111556226A (zh) | 一种相机系统 | |
| CN101826955A (zh) | 一种同步误差修正方法 | |
| CN104613962A (zh) | 一种星敏感器同步曝光方法 | |
| CN110752890A (zh) | 一种时间同步方法、时间同步系统及车辆 | |
| US12069366B2 (en) | Information processing apparatus and information processing method | |
| US11964390B2 (en) | Counter unit, counter unit control method, control device, and control system | |
| CN109547671B (zh) | 图像传感器、相机模块以及成像设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |