CN211308445U - 多传感器数据同步系统及汽车 - Google Patents
多传感器数据同步系统及汽车 Download PDFInfo
- Publication number
- CN211308445U CN211308445U CN201921933373.9U CN201921933373U CN211308445U CN 211308445 U CN211308445 U CN 211308445U CN 201921933373 U CN201921933373 U CN 201921933373U CN 211308445 U CN211308445 U CN 211308445U
- Authority
- CN
- China
- Prior art keywords
- sensor
- output
- time
- interrupt signal
- communication connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本实用新型公开一种多传感器数据同步系统及汽车，系统包括：第一传感器、第二传感器、控制器、协同处理器、以及中断信号输出器；第一传感器的数据输出端与协同处理器的第一输入端通信连接，第二传感器的数据输出端与协同处理器的第二输入端通信连接；控制器包括接收响应装置以及第一延时装置，中断信号输出器与接收响应装置的中断信号接收端通信连接，接收响应装置的第一输出端与第一传感器通信连接，接收响应装置的第二输出端通过第一延时装置与第二传感器通信连接，接收响应装置的第三输出端与协同处理器的控制端通信连接。本实用新型解决多种传感器之间的采样时间不同步的问题，实现多传感器之间的同步采样。
Description
技术领域
本实用新型涉及汽车相关技术领域，特别是一种多传感器数据同步系统及汽车。
背景技术
从高精地图采集的实际需求来看，需要实现惯性测量单元(Inertialmeasurement unit，IMU)/全球定位系统(Global Positioning System， GPS)/摄像(CAMERA)数据的融合。其中最重要的一项就是时间对齐。目前的要求是3者在进行同步数据采集的时候，时间的相对误差不大于1ms。要达到这个精度，单纯的通过软件分别获取这3者的数据，然后根据时戳进行同步是无法实现的。即便能够达到对齐精度在1ms，其输出的频率也会非常低，甚至为0。要真正实现这个1ms的精度误差，需要软硬件协作才能达到这个目标。
现有技术采用IMU/GPS一体化的设备，如u-blox M8U。使用IMU/GPS 一体化设备的好处是IMU/GPS之间的时间误差可以认为为0，且输出精度较高，一般可到20HZ～100HZ。以M8U为例，其输出频率可到30HZ。如果以此频率的脉冲作为VSync信号来控制CMOS进行输出，理论上可以获得 30fps同步好的图像数据。但是由于CMOS的图像输出有着固有延时，所以从理论上就不可能与M8U的输出进行一一对应。
其次是采样的对齐。对齐意味着需要消除Camera采样的固有时延以及软件处理带来的不确定的时延。如果通过IMU/GPS来通知Camera采样的同时通知CPU产生中断来接收图像数据，从软件的角度看，只知道来了一个中断可以收到一帧数据，但是缺乏相关他信息(譬如Camera带有硬件计数器可以用来关联IMU/GPS的时间)，因此还是无法把图像数据和IMU/GPS数据关联上。
实用新型内容
基于此，有必要针对现有技术未能实现多传感器数据之间的准确同步的技术问题，提供一种多传感器数据同步系统及汽车。
本实用新型提供一种多传感器数据同步系统，包括：第一传感器、第二传感器、控制器、协同处理器、以及中断信号输出器；
所述第一传感器的数据输出端与所述协同处理器的第一输入端通信连接，所述第二传感器的数据输出端与所述协同处理器的第二输入端通信连接；
所述控制器包括接收响应装置以及第一延时装置，所述中断信号输出器与所述接收响应装置的中断信号接收端通信连接，所述接收响应装置的第一输出端与所述第一传感器通信连接，所述接收响应装置的第二输出端通过第一延时装置与所述第二传感器通信连接，所述接收响应装置的第三输出端与所述协同处理器的控制端通信连接。
进一步地，所述控制器还包括第二延时装置，所述接收响应装置的第三输出端通过所述第二延时装置与所述协同处理器的控制端通信连接。
进一步地，所述控制器还包括升频装置，所述中断信号输出器通过所述升频装置与所述接收响应装置的中断信号接收端通信连接。
进一步地，所述中断信号输出器为所述第一传感器的中断输出端。
进一步地，所述第一传感器为惯性测量单元/全球定位系统一体装置。
进一步地，所述第二传感器为摄像传感器。
进一步地，所述控制器为微控制器、或单片机。
本实用新型提供一种汽车，包括：车体，所述车体上设置有如前所述的多传感器数据同步系统。
本实用新型通过对传感器采用延时触发的方式，从而解决多种传感器之间的采样时间不同步的问题，实现多传感器之间的同步采样。
附图说明
图1为本实用新型一种多传感器数据同步系统的系统原理图；
图2为CMOS的图像输出时序图；
图3为中断信号示意图；
图4为本实用新型最佳实施例的系统原理图；
图5为本实用新型最佳实施例的工作时序图。
具体实施方式
下面结合附图和具体实施例对本实用新型做进一步详细的说明。
实施例一
如图1所示为本实用新型一种多传感器数据同步系统的系统原理图，包括：第一传感器1、第二传感器2、控制器3、协同处理器4、以及中断信号输出器5；
所述第一传感器1的数据输出端与所述协同处理器4的第一输入端通信连接，所述第二传感器2的数据输出端与所述协同处理器4的第二输入端通信连接；
所述控制器3包括接收响应装置31以及第一延时装置32，所述中断信号输出器5与所述接收响应装置31的中断信号接收端通信连接，所述接收响应装置31的第一输出端与所述第一传感器1通信连接，所述接收响应装置31的第二输出端通过第一延时装置32与所述第二传感器2通信连接，所述接收响应装置31的第三输出端与所述协同处理器4的控制端通信连接。
具体来说，控制器3的接收响应装置31用于响应中断信号输出器5 输出的中断信号，分别向第一传感器1发出第一采集信号、向第二传感器2发出第二采集信号、并向协同处理器4发出接收融合信号。
由于向第二传感器2发出的第二采集信号会经过第一延时装置32延时，因此，指示第二传感器采集数据的第二采集信号会延时，使得第二传感器2延时采集数据向协同处理器输出，第二传感器可以为现有的各类型传感器。而向第一传感器1发出的第二采集信号直接发出，因此，第一传感器1即时采集第二采集数据，即第一传感器1和第二传感器2 的采集时间不同步。从而补偿了第一传感器1本身的数据采集的延时。从而最终保证了第一采集数据与第二采集数据的同步采集。最后，协同处理器4接收到接收融合信号后，由于第一采集数据与第二采集数据已经同步采集，因此协同处理器可以直接将第一采集数据与第二采集数据融合，而不需要考虑时间戳等同步方法。
第一延时装置32可以采用现有的延时电路或延时装置实现。
本实用新型通过对传感器采用延时触发的方式，从而解决多种传感器之间的采样时间不同步的问题，实现多传感器之间的同步采样。
实施例二
如图1所示为本实用新型第二实施例一种多传感器数据同步系统的系统原理图，包括：第一传感器1、第二传感器2、控制器3、协同处理器4、以及中断信号输出器5，所述中断信号输出器5为所述第二传感器 2的中断输出端；
所述第一传感器1的数据输出端与所述协同处理器4的第一输入端通信连接，所述第二传感器2的数据输出端与所述协同处理器4的第二输入端通信连接；
所述控制器3包括接收响应装置31、第一延时装置32、第二延时装置33、以及升频装置34，所述中断信号输出器5通过所述升频装置34 与所述接收响应装置31的中断信号接收端通信连接，所述接收响应装置 31的第一输出端与所述第一传感器1通信连接，所述接收响应装置31 的第二输出端通过第一延时装置32与所述第二传感器2通信连接，所述接收响应装置31的第三输出端通过所述第二延时装置32与所述协同处理器4的控制端通信连接，设置第一延时装置32的延时时间为第一时延，设置第二延时装置33的延时时间为第二时延；
其中，所述第一传感器1为摄像传感器，所述第二传感器2为惯性测量单元/全球定位系统一体装置，所述控制器3为微控制器。
具体来说，第一传感器为CMOS摄像传感器，第二传感器2为惯性测量单元/全球定位系统一体装置IMU/GPS一体化设备，优选采用u-blox M8U，控制器3为STM32微控制器。第一延时装置32、第二延时装置33 均可以采用延时电路实现，升频装置34可以采用频率调节装置实现。在控制器3为微控制器时，响应装置31、第一延时装置32、第二延时装置 33、以及升频装置34则可以采用微控制器的逻辑电路实现。
时间同步的其中一个核心问题是采样的对齐。对齐意味着需要消除 Camera采样的固有时延以及软件处理带来的不确定的时延。如果通过第二传感器，例如IMU/GPS来通知Camera采样的同时通知CPU产生中断来接收图像数据，从软件的角度看，只知道来了一个中断可以收到一帧数据，但是缺乏相关他信息(譬如Camera带有硬件计数器可以用来关联IMU/GPS的时间)，因此还是无法把图像数据和IMU/GPS数据关联上。所以最终的解决方案最好是采用自带硬件计数器或者能够在图像中融合时间信息的Camera模组，或者通过硬件升频的方式来解决IMU/GPS输出频率不够的问题，从而彻底消除软件处理带来的影响。
而本实施例采用的是硬件升频的方式来解决。其中升频装置34在响应于中断信号，以预设频率向第一传感器发出第一采集信号，从而实现升频。通过以预设的频率每间隔一定时间向第一传感器1、第二传感器2、以及协同处理器4发出信号，从而在两个中断信号之间，能够得到多个同步的第一采集数据和第二采集数据。
如图2是CMOS的图像输出时序，用来解释CMOS图像输出的固有延时，其中：
T1为一帧的时间(如果是25fps，那么一帧的时间为40ms)。T2为 Blank Time。即VSync不活动的时间。T3为VSync到HREF的时间。即 VSync下降沿到开始采集有效像素前的时间(Start Time)。这个时间用来对电势井进行复位，也包括了对无效行(dummy line)的采集的时间。 T4为采集一整行的时间。其中T6是一行中活动像素的采集时间，T7是一行采集完之后的空白时间(horizontal blanking)。最后一行采集完成后会有一个T5，即HREF到VSync的时间。T5+T7通常称为结束时间(End Time)。
第二传感器2优选为IMU/GPS。从图1可以看出，为了让图像采集的时间和IMU/GPS时间严格对齐，需要使用曝光开始的时间，而不是帧开始的时间，因此需要考虑这段固定的时延，即T2+T3。这段时长需要根据实际使用的CMOS的寄存器设置来确定，或者进行精确测量来确定。T2+T3 这段时长即为所述摄像传感器在接收到所述第一采集信号到开始采集有效像素前的总时长，即第一时延。
另外，由于部分第二传感器，例如IMU/GPS，其对数据进行解算需要时间，因此，第一传感器Camera的帧率不能太大，相邻两帧之间的时间要覆盖第二传感器的数据解算时间。例如如果第二传感器选用M8U，其 IMU/GPS解算需要的时间约为75ms，因此，Camera的帧率不能太大，至少需要覆盖75ms的延迟以确保Camera拍照的时间与IMU/GPS输出的信号能够同步。譬如10fps。这样每帧之间间隔100ms，只要确保同步触发采样，100ms的时间足够输出同步的IMU/GPS数据和图像数据。
最后，由于第一传感器输出帧有时长要求，因此，协同处理器的融合需要等到图像数据完成输出才能开始融合，因此，向协同处理器发送的接收信号经过第二延时装置33会等待第二时延，即所述摄像传感器的采集一帧图像的时间。
本实施例对通过设置不同的时延来保证数据采集即融合的同步，并通过升频增加对数据的采集，从而彻底消除软件处理带来的影响。
同时，时间同步的其中一个核心问题是开始的时间对齐。本实施例由于将所述第二传感器2的中断输出端作为所述中断信号输出器5。因此，第二传感器2向控制器3发出中断信号。通过使用本传感器，例如IMU/GPS 来trigger另一传感器，例如摄像传感器Camera采样，同时通过定时 retrigger的方式来消除累计误差。譬如，采用1每秒脉冲数(PulsePer Second，pps)的脉冲来控制Camera拍照，这个脉冲可以升频为更高的频率，让Camera拍照变为5HZ/10HZ等等。示例如图3所示，每经过1000ms 发出一个中断信号TIMEPLUS。
实施例三
如图4所示为本实用新型最佳实施例的系统原理图，包括IMU/GPS 一体化设备41、摄像传感器42、STM32微控制器43、以及SoC协同处理器44，其中：
1.IMU/GPS一体化设备41以10HZ的速率通过串口将IMU/GPS数据发送到SoC协同处理器44；
2.与此同时，IMU/GPS一体化设备41上的TimePulse管脚使用与 IMU/GPS同源的时钟输出1pps的trigger信号。这个信号用来作为参考信号每秒对时间进行校准
3.STM32微控制器43对TimePulse输出的1HZ信号进行升频，变为10HZ的信号，输出的信号分成2路，彼此之间做适当延迟分别用来触发Camera摄像传感器42和IMU/GPS一体化设备41的外部中断(ExtInt)。需要注意的是，由于Camera曝光开始的时间和IMU/GPS解算并输出数据的时间都会有一定的延时，需要精确调节STM32的延时时长，从而确保 Camera曝光的开始时间与后继的IMU/GPS输出的信号同步。需要指出，如果选用M8U，其IMU/GPS解算需要的时间约为75ms，因此，Camera的帧率不能太大，至少需要覆盖75ms的延迟以确保Camera拍照的时间与 IMU/GPS输出的信号能够同步。譬如10fps。这样每帧之间间隔100ms，只要确保同步触发采样，100ms的时间足够输出同步的IMU/GPS数据和图像数据。此外，如果Camera与SoC之间采用BT656(一种视频信号传输标准)这样的输出，必然会涉及到串并转换。这样一来，如果输出的帧率较低，需要的PCLK(像素时钟)会很低，很容易无法匹配串并转换器件的工作频率，需要密切注意。举例来说，如果采用TI933这样的串并转换器件，其PCLK要求在37.5MHz至100MHz之间。720P的输出需要的像素时钟为1650*750*10*2＝24.75Mhz，这样一来，就无法以10HZ的频率输出同步的拍照图片了。整体的工作时序图如图5所示(非精确时序，仅为示意图。重点在于说明在TimePulse/STM32的控制下，Camera和IMU/GPS可以做到精确同步输出数据)。
测试验证
测试的目的是为了验证最终能达到的同步精度。采用的方法是通过 Camera拍摄示波器波形来进行验证。示波器的触发方式通过IMU/GPS设备产生的脉冲来进行。示波器根据本实用新型的方式进行延时，示波器产生的方波时长为曝光时长。根据拍摄到的示波器方波开始的位置，可以准确判断同步的精度。那么如果拍摄抓到开始的位置是trigger位置，那么说明IMU/GPS和Camera拍摄之间的时延为0，如果拍到开始的位置是波峰的中间，那么说明IMU/GPS和Camera图像采集之间的时延为波峰时长的一半。
本实用新型第四实施例提供一种汽车，包括：车体，所述车体上设置有如前所述的多传感器数据同步系统。
以上所述实施例仅表达了本实用新型的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本实用新型专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进，这些都属于本实用新型的保护范围。因此，本实用新型专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种多传感器数据同步系统，其特征在于，包括：第一传感器(1)、第二传感器(2)、控制器(3)、协同处理器(4)、以及中断信号输出器(5)；
所述第一传感器(1)的数据输出端与所述协同处理器(4)的第一输入端通信连接，所述第二传感器(2)的数据输出端与所述协同处理器(4)的第二输入端通信连接；
所述控制器(3)包括接收响应装置(31)以及第一延时装置(32)，所述中断信号输出器(5)与所述接收响应装置(31)的中断信号接收端通信连接，所述接收响应装置(31)的第一输出端与所述第一传感器(1)通信连接，所述接收响应装置(31)的第二输出端通过第一延时装置(32)与所述第二传感器(2)通信连接，所述接收响应装置(31)的第三输出端与所述协同处理器(4)的控制端通信连接。
2.根据权利要求1所述的多传感器数据同步系统，其特征在于，所述控制器(3)还包括第二延时装置(33)，所述接收响应装置(31)的第三输出端通过所述第二延时装置(33)与所述协同处理器(4)的控制端通信连接。
3.根据权利要求1所述的多传感器数据同步系统，其特征在于，所述控制器(3)还包括升频装置(34)，所述中断信号输出器(5)通过所述升频装置(34)与所述接收响应装置(31)的中断信号接收端通信连接。
4.根据权利要求1所述的多传感器数据同步系统，其特征在于，所述中断信号输出器(5)为所述第二传感器(2)的中断输出端。
5.根据权利要求1所述的多传感器数据同步系统，其特征在于，所述第一传感器(1)为摄像传感器。
6.根据权利要求1所述的多传感器数据同步系统，其特征在于，所述第二传感器(2)为惯性测量单元/全球定位系统一体装置。
7.根据权利要求1所述的多传感器数据同步系统，其特征在于，所述控制器(3)为微控制器、或单片机。
8.一种汽车，其特征在于，包括：车体，所述车体上设置有如权利要求1至7任一项所述的多传感器数据同步系统。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921933373.9U CN211308445U (zh) | 2019-11-11 | 2019-11-11 | 多传感器数据同步系统及汽车 |
| PCT/CN2020/124262 WO2021093586A1 (zh) | 2019-11-11 | 2020-10-28 | 一种数据同步系统和方法 |
| US17/662,837 US11902378B2 (en) | 2019-11-11 | 2022-05-10 | Systems and methods for data synchronization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921933373.9U CN211308445U (zh) | 2019-11-11 | 2019-11-11 | 多传感器数据同步系统及汽车 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN211308445U true CN211308445U (zh) | 2020-08-21 |
Family
ID=72078623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201921933373.9U Active CN211308445U (zh) | 2019-11-11 | 2019-11-11 | 多传感器数据同步系统及汽车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN211308445U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558514A (zh) * | 2020-11-17 | 2021-03-26 | 中山大学 | 一种多设备硬件同步方法 |
| WO2021093586A1 (zh) * | 2019-11-11 | 2021-05-20 | 北京嘀嘀无限科技发展有限公司 | 一种数据同步系统和方法 |
| CN114338951A (zh) * | 2021-12-30 | 2022-04-12 | 智道网联科技(北京)有限公司 | 传感器同步方法、装置、系统及车辆 |
-
2019
- 2019-11-11 CN CN201921933373.9U patent/CN211308445U/zh active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021093586A1 (zh) * | 2019-11-11 | 2021-05-20 | 北京嘀嘀无限科技发展有限公司 | 一种数据同步系统和方法 |
| US11902378B2 (en) | 2019-11-11 | 2024-02-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for data synchronization |
| CN112558514A (zh) * | 2020-11-17 | 2021-03-26 | 中山大学 | 一种多设备硬件同步方法 |
| CN112558514B (zh) * | 2020-11-17 | 2022-03-29 | 中山大学 | 一种多设备硬件同步方法 |
| CN114338951A (zh) * | 2021-12-30 | 2022-04-12 | 智道网联科技(北京)有限公司 | 传感器同步方法、装置、系统及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN211308445U (zh) | 多传感器数据同步系统及汽车 | |
| US9654672B1 (en) | Synchronized capture of image and non-image sensor data | |
| US11240404B2 (en) | Systems and methods for synchronizing sensor capture | |
| CN111813716A (zh) | 多传感器数据同步、电子设备及存储介质 | |
| CN111556224B (zh) | 多相机同步校准方法、装置及系统 | |
| CN107948463B (zh) | 一种相机同步方法、装置及系统 | |
| CN111736169B (zh) | 一种数据同步方法、设备及系统 | |
| CN107707626B (zh) | 基于fpga的数据采集卡、数据采集系统及数据采集方法 | |
| WO2023093054A1 (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
| CN111934843A (zh) | 一种面向智能无人系统的多传感器数据同步采集方法 | |
| CN104202534A (zh) | 基于gps和脉冲发生器的多摄像机同步控制装置及方法 | |
| CN109862281B (zh) | 全局快门方式下曝光时间可调的Camera Link成像系统 | |
| CN111107248B (zh) | 一种多路视频采集的同步系统、方法和采集控制器 | |
| CN111371982B (zh) | 一种数据同步方法及处理器、车载终端 | |
| CN106068642A (zh) | 成像装置、图像处理装置、显示控制装置以及成像显示设备 | |
| CN109905701B (zh) | 时间同步精度的检测系统 | |
| US20210200162A1 (en) | Multi-interface gps time synchronization | |
| CN111372111A (zh) | 一种数据确定方法、装置及车载终端 | |
| CN112995524A (zh) | 高精采集车及其照片曝光信息生成系统、方法和同步装置 | |
| CN214583305U (zh) | 数据采集装置和无人系统 | |
| US11902378B2 (en) | Systems and methods for data synchronization | |
| CN110830732B (zh) | 用于自动驾驶系统的曝光时间获取装置及方法 | |
| CN115604403A (zh) | 一种无线智能可穿戴装置及其图像采集方法 | |
| CN113237465B (zh) | 高精度测绘相机的时间戳产生方法 | |
| JP2004272403A (ja) | プロセス入出力装置及びこれを用いた監視制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |