CN110567453A - 仿生眼多通道imu与相机硬件时间同步方法和装置 - Google Patents

仿生眼多通道imu与相机硬件时间同步方法和装置 Download PDF

Info

Publication number
CN110567453A
CN110567453A CN201910777841.6A CN201910777841A CN110567453A CN 110567453 A CN110567453 A CN 110567453A CN 201910777841 A CN201910777841 A CN 201910777841A CN 110567453 A CN110567453 A CN 110567453A
Authority
CN
China
Prior art keywords
imu
camera
data
time
hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910777841.6A
Other languages
English (en)
Other versions
CN110567453B (zh
Inventor
黄强
陈晓鹏
苟思远
华承昊
孟非
高峻峣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910777841.6A priority Critical patent/CN110567453B/zh
Publication of CN110567453A publication Critical patent/CN110567453A/zh
Priority to PCT/CN2020/086888 priority patent/WO2021031604A1/zh
Application granted granted Critical
Publication of CN110567453B publication Critical patent/CN110567453B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种仿生眼多通道IMU与相机硬件时间同步方法和装置。所述方法包括:对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发。本发明实现精准硬件同步与对齐,可以更快速、更精确的恢复出仿生眼系统所感知环境的深度信息及仿生眼系统运动时的实时三维位姿信息,值得推广。

Description

仿生眼多通道IMU与相机硬件时间同步方法和装置
技术领域
本发明涉及多传感器融合感知技术领域,尤其涉及一种仿生眼多通道IMU与相机硬件时间同步方法和装置。
背景技术
要实现对环境的精确感知和环境地图建模以用于定位导航,需要融合多个/多种传感器的测量数据。而多个/多种传感器进行数据融合的前提是对每个传感器数据的同步采集,因此需要对各个传感器进行数据采集的时间同步。
现有的多传感器时间同步方法分为软件时间同步、硬件时间同步。其中,软件时间同步的方式被计算载体同步时钟精度限制,往往需要使操作系统也达到硬实时要求,这给实际应用中的程序开发和功能实现带来了更大的困难,而且基于单独实时内核的软件时间同步对芯片类型也有限制,通用性不高。
硬件时间同步方法则普遍采用GNSS(卫星导航系统)作为时间同步的基准,或测量得到不同传感器间的时差数据,再标定并补偿这个时差。GNSS对时方式具有成本高(每个节点都需要安装GNSS设备)、安装受限制(需要在户外无遮挡的环境中使用)、易受受天气、环境变化影响等缺点。而且,GNSS接收机一般具有较大的尺寸,难以应用于结构紧凑的仿生眼系统。
发明内容
鉴于上述现有技术存在的不足之处,为解决仿生眼系统中多个IMU与多个相机数据的同步采集问题,而提出的一种仿生眼多通道IMU与相机硬件时间同步方法和装置。
第一方面,本申请提供的一种仿生眼多通道IMU与相机硬件时间同步方法,包括以下步骤:
S1、对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;
S2、对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;
S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号,标记IMU数据的时间戳、通道号和序列号,硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发,记录相机的触发时间戳和序列号;
S4、利用硬件同步单元进行各通道传感器的时间同步,统一管理各通道测量数据、时间戳和序列号,将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包,并发送至仿生眼控制系统的嵌入式上位机;
S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验,并读取各通道相机采集的图像数据流,解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号,以主通道IMU为采样时间同步基准,计算其他通道IMU的同步时间补偿;
S6、利用触发脉冲信号的时间戳与序列号,结合固定曝光时长进行计算得到图像输出的真实时间戳,与图像数据一起打包成相机数据包;
S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来,以等待仿生眼其他功能程序的调用。
可选地,所述S1中,对IMU的设置包括初始化、通过通讯接口发送配置命令,根据仿生眼的功能需求确定输出特定数据,使能同步输出脉冲信号。
可选地,所述S2中,对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
可选地,所述S3中,硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器,以及进行系统时间同步的晶振,所述硬件同步单元接收IMU同步脉冲作为中断信号,并分频输出触发脉冲信号。
可选地,所述S5中,嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元,以及存储器。
第二方面,本申请还提供了一种仿生眼多通道IMU与相机硬件时间同步装置,其特征在于,包括:
第一设置模块,用于对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;
第二设置模块,用于对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;
第一处理模块,用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号,标记IMU数据的时间戳、通道号和序列号,硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发,记录相机的触发时间戳和序列号;
第二处理模块,用于利用硬件同步单元进行各通道传感器的时间同步,统一管理各通道测量数据、时间戳和序列号,将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包,并发送至仿生眼控制系统的嵌入式上位机;
第三处理模块,用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验,并读取各通道相机采集的图像数据流,解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号,以主通道IMU为采样时间同步基准,计算其他通道IMU的同步时间补偿;
第四处理模块,用于利用触发脉冲信号的时间戳与序列号,结合固定曝光时长进行计算得到图像输出的真实时间戳,与图像数据一起打包成相机数据包;
第五处理模块,用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来,以等待仿生眼其他功能程序的调用。
可选地,所述第一设置模块,还用于:
对IMU的设置包括初始化、通过通讯接口发送配置命令,根据仿生眼的功能需求确定输出特定数据,使能同步输出脉冲信号。
可选地,所述第二设置模块,还用于:
对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
可选地,所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器,以及进行系统时间同步的晶振,所述硬件同步单元接收IMU同步脉冲作为中断信号,并分频输出触发脉冲信号。
第三方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行上述的仿生眼多通道IMU与相机硬件时间同步方法。
与现有技术相比,本发明的有益效果是:
1、用于仿生眼多通道IMU和相机数据采集的硬件时间同步,相比于单通道IMU和相机数据采集和融合,多通道IMU和相机数据采集和融合可以更快速、更精确的恢复出所感知环境的深度信息,同时每个通道IMU和相机可对每个眼睛的独立运动进行实时位姿测量。
2、对于不同通道IMU之间的时间差,通过时差测量结合贝叶斯估计的方式进行了补偿,在IMU采样频率一致的基础上进一步提高了不同通道IMU之间的时间同步精度。
3、将IMU和相机等传感器数据的采集与处理分开在硬件同步单元和嵌入式上位机,避免了这两个设备间的时钟晶振不一致导致的时间同步误差问题,同时结合了嵌入式上位机快速处理大量采集数据的优势。
4、通过硬件同步单元及相应的软件,实现了多通道IMU数据与图像帧数据之间的精确对应。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例提供的一种仿生眼多通道IMU与相机硬件时间同步方法的组成框图;
图2是本申请实施例提供的一种硬件同步单元的程序流程图;
图3是本申请实施例提供的一种嵌入式上位机的程序流程图;
图4是本申请实施例提供的一种仿生眼多通道IMU与相机硬件时间同步方法的时序示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参照图1-4,本发明提出的仿生眼多通道IMU与相机硬件时间同步方法,包括以下步骤:
S1、对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;
S2、对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;
S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号,标记IMU数据的时间戳、通道号和序列号,硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发,记录相机的触发时间戳和序列号;
S4、利用硬件同步单元进行各通道传感器的时间同步,统一管理各通道测量数据、时间戳和序列号,将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包,并发送至仿生眼控制系统的嵌入式上位机;
S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验,并读取各通道相机采集的图像数据流,解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号,以主通道IMU为采样时间同步基准,计算其他通道IMU的同步时间补偿;
S6、利用触发脉冲信号的时间戳与序列号,结合固定曝光时长进行计算得到图像输出的真实时间戳,与图像数据一起打包成相机数据包;
S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来,以等待仿生眼其他功能程序的调用。
其中,对IMU的设置包括初始化、通过通讯接口发送配置命令,根据仿生眼的功能需求确定输出特定数据,使能同步输出脉冲信号。对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器,以及进行系统时间同步的晶振,所述硬件同步单元接收IMU同步脉冲作为中断信号,并分频输出触发脉冲信号。嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元,以及存储器。
本实施例中,选用的IMU为高精度微型传感器,可用通讯接口包括SPI、I2C和UART,该IMU可在数据采集的同时使能输出一个脉冲信号,数据输出频率可选。
选用全局快门CCD工业相机,图像数据传输接口为USB接口,图像采集模式和图像采集参数可选,有外部触发接口。
选用带有16MHz时钟晶振的处理芯片作为硬件同步单元的微处理器,可使能外部中断引脚,可输出TTL信号,有多个UART接口用于数据的接收与发送,有接口转换芯片和USB接口。
选用嵌入式上位机作为控制系统的逻辑计算与存储单元,可用通讯接口包括USB2.0、USB 3.0、RS232、UART、CAN等,该嵌入式上位机可存储并快速处理数据和程序,同时也是仿生眼实现多种功能的控制平台。
IMU通过高波特率UART接口与硬件同步单元连接,硬件同步单元使能外部中断引脚,使用IMU数据同步输出脉冲信号作为中断源并将其分频转换为TTL触发脉冲信号,相机外部触发接口与硬件同步单元连接,等待接收TTL触发脉冲信号,16MHz晶振作为硬件同步单元系统计时器的时钟晶振,硬件同步单元与相机分别和嵌入式上位机通过对应数据传输接口进行连接。系统的组成框图如图1所示。
所述实施例具体方案如下:
通过硬件同步单元进行IMU设置,使用UART接口向IMU发送IMU配置指令,使能数据同步输出脉冲信号,设置IMU的采样输出频率、UART波特率和输出数据结构等,本实施例中采样输出频率为200Hz,UART波特率为115200,输出数据包含IMU测量数据、时间戳与序列号、校验信息等。
通过控制系统进行相机初始化,使能外部触发功能,设置相机的曝光时长为固定时长,并设置曝光时长,确保相机对图像的采集时刻始终能够与IMU的某帧采集时刻对齐,设置图像增益、图像等属性,确保图像数据符合仿生眼程序调用的要求。
完成IMU和相机设置后,硬件同步单元清空缓冲区并进行初始化,使能外部中断功能,同时开启系统计时器,接受到来自IMU的同步脉冲信号后进入外部中断程序,标记IMU数据的时间戳、通道号和序列号,同时按照设定的分频输出相机触发脉冲信号,对所有通道的相机进行同步触发,相机在接收到触发信号脉冲后开始进行图像采集,进入曝光阶段,标记触发脉冲信号的时间戳和序列号作为相机触发的时间戳和序列号,退出外部中断程序后读取缓冲区IMU数据,分通道转存后清空缓冲区数据,确保下一周期数据为IMU的新测量数据。
硬件同步单元将相同周期和相同通道的数据、时间戳和序列号进行处理,生成有着新数据结构的数据包,然后通过数据传输通道向控制系统的嵌入式上位机传输该数据包。嵌入式上位机接收后先进行数据包的校验,然后分割数据包进行IMU数据的CRC校验,以有效应对高频传输过程中的数据错误等问题。校验完成后进行数据的解析,按通道号分类转存IMU数据和对应时间戳,进行不同通道间IMU数据时间戳计算、IMU时间同步补偿计算、数据格式转化等处理后,生成硬件同步对齐后IMU数据包并发布出来等待其他功能程序的调用。硬件同步单元程序流程图如图2所示。
嵌入式上位机同时接收到该周期内触发相机所得到的图像等数据,将数据解析得到相机触发时间戳,进行相机图像的时间戳计算,然后将其与相机图像数据一起生成相机数据包,并发布出来等待其他功能程序的调用。嵌入式上位机程序流程图如图3所示。
系统时序图如图4所示,IMU的时间戳timu和相机图像的时间戳tcam可按如下公式计算得到:
timu=tsample+Td
tcam=ttrigger+Tw+Te
其中,tsample是IMU数据采样时刻,Td是IMU同步输出脉冲信号的脉宽时长,为固定时长;ttrigger是相机触发时刻,Tw是相机触发脉冲信号的脉宽时长,Te是相机图像采集的曝光时长,Tw和Te是设定的相机相关属性,为固定值。
所有通道IMU采样频率一致且同步上电的前提下,对多通道IMU进行同步时间补偿。由于IMU在固定频率下其采样时间误差服从期望为0的正态分布的特性,以主通道IMU为采样时间同步基准,对其他通道IMU的采样时间进行了贝叶斯估计,从而提高了不同通道IMU的时间同步精度。
已知主通道IMU采样时间为T1,其采样时间误差标准差为σ1,其余各通道IMU采样时间和采样时间误差标准差依次为,(T1,σ1),(T2,σ2),……,(Tn,σn),采样时间补偿算法如下:
……
本发明方案,可确保多通道IMU和相机间传感器数据的时间同步精度达到0.1ms以内。
基于相同的技术构思,本申请还提供了一种仿生眼多通道IMU与相机硬件时间同步装置,其特征在于,包括:
第一设置模块,用于对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;
第二设置模块,用于对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;
第一处理模块,用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号,标记IMU数据的时间戳、通道号和序列号,硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发,记录相机的触发时间戳和序列号;
第二处理模块,用于利用硬件同步单元进行各通道传感器的时间同步,统一管理各通道测量数据、时间戳和序列号,将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包,并发送至仿生眼控制系统的嵌入式上位机;
第三处理模块,用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验,并读取各通道相机采集的图像数据流,解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号,以主通道IMU为采样时间同步基准,计算其他通道IMU的同步时间补偿;
第四处理模块,用于利用触发脉冲信号的时间戳与序列号,结合固定曝光时长进行计算得到图像输出的真实时间戳,与图像数据一起打包成相机数据包;
第五处理模块,用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来,以等待仿生眼其他功能程序的调用。
可选地,所述第一设置模块,还用于:
对IMU的设置包括初始化、通过通讯接口发送配置命令,根据仿生眼的功能需求确定输出特定数据,使能同步输出脉冲信号。
可选地,所述第二设置模块,还用于:
对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
可选地,所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器,以及进行系统时间同步的晶振,所述硬件同步单元接收IMU同步脉冲作为中断信号,并分频输出触发脉冲信号。
基于相同的技术构思,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行上述的仿生眼多通道IMU与相机硬件时间同步方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.仿生眼多通道IMU与相机硬件时间同步方法,其特征在于,包括以下步骤:
S1、对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;
S2、对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;
S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号,标记IMU数据的时间戳、通道号和序列号,硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发,记录相机的触发时间戳和序列号;
S4、利用硬件同步单元进行各通道传感器的时间同步,统一管理各通道测量数据、时间戳和序列号,将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包,并发送至仿生眼控制系统的嵌入式上位机;
S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验,并读取各通道相机采集的图像数据流,解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号,以主通道IMU为采样时间同步基准,计算其他通道IMU的同步时间补偿;
S6、利用触发脉冲信号的时间戳与序列号,结合固定曝光时长进行计算得到图像输出的真实时间戳,与图像数据一起打包成相机数据包;
S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来,以等待仿生眼其他功能程序的调用。
2.根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法,其特征在于,所述S1中,对IMU的设置包括初始化、通过通讯接口发送配置命令,根据仿生眼的功能需求确定输出特定数据,使能同步输出脉冲信号。
3.根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法,其特征在于,所述S2中,对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
4.根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法,其特征在于,所述S3中,硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器,以及进行系统时间同步的晶振,所述硬件同步单元接收IMU同步脉冲作为中断信号,并分频输出触发脉冲信号。
5.根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法,其特征在于,所述S5中,嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元,以及存储器。
6.一种仿生眼多通道IMU与相机硬件时间同步装置,其特征在于,包括:
第一设置模块,用于对IMU进行设置,利用IMU的输出频率作为硬件时间同步与对齐的周期基准,并使其在输出数据时同步输出脉冲信号;
第二设置模块,用于对相机进行设置,设定其图像采集的相关属性、固定曝光时长,并使其在接受外部触发脉冲后进行图像采集,利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号;
第一处理模块,用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号,标记IMU数据的时间戳、通道号和序列号,硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频,并产生触发脉冲信号对所有通道的相机进行同步触发,记录相机的触发时间戳和序列号;
第二处理模块,用于利用硬件同步单元进行各通道传感器的时间同步,统一管理各通道测量数据、时间戳和序列号,将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包,并发送至仿生眼控制系统的嵌入式上位机;
第三处理模块,用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验,并读取各通道相机采集的图像数据流,解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号,以主通道IMU为采样时间同步基准,计算其他通道IMU的同步时间补偿;
第四处理模块,用于利用触发脉冲信号的时间戳与序列号,结合固定曝光时长进行计算得到图像输出的真实时间戳,与图像数据一起打包成相机数据包;
第五处理模块,用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来,以等待仿生眼其他功能程序的调用。
7.根据权利要求6所述的仿生眼多通道IMU与相机硬件时间同步装置,其特征在于,所述第一设置模块,还用于:
对IMU的设置包括初始化、通过通讯接口发送配置命令,根据仿生眼的功能需求确定输出特定数据,使能同步输出脉冲信号。
8.根据权利要求6所述的仿生眼多通道IMU与相机硬件时间同步装置,其特征在于,所述第二设置模块,还用于:
对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
9.根据权利要求6所述的仿生眼多通道IMU与相机硬件时间同步装置,其特征在于,所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器,以及进行系统时间同步的晶振,所述硬件同步单元接收IMU同步脉冲作为中断信号,并分频输出触发脉冲信号。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时,执行如权利要求1到5任意一项所述的方法。
CN201910777841.6A 2019-08-21 2019-08-21 仿生眼多通道imu与相机硬件时间同步方法和装置 Expired - Fee Related CN110567453B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910777841.6A CN110567453B (zh) 2019-08-21 2019-08-21 仿生眼多通道imu与相机硬件时间同步方法和装置
PCT/CN2020/086888 WO2021031604A1 (zh) 2019-08-21 2020-04-25 仿生眼多通道imu与相机硬件时间同步方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910777841.6A CN110567453B (zh) 2019-08-21 2019-08-21 仿生眼多通道imu与相机硬件时间同步方法和装置

Publications (2)

Publication Number Publication Date
CN110567453A true CN110567453A (zh) 2019-12-13
CN110567453B CN110567453B (zh) 2021-05-25

Family

ID=68774203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910777841.6A Expired - Fee Related CN110567453B (zh) 2019-08-21 2019-08-21 仿生眼多通道imu与相机硬件时间同步方法和装置

Country Status (2)

Country Link
CN (1) CN110567453B (zh)
WO (1) WO2021031604A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343379A (zh) * 2020-02-25 2020-06-26 华南理工大学 基于fpga的数据高速采集装置及方法
CN111585682A (zh) * 2020-05-09 2020-08-25 森思泰克河北科技有限公司 传感器时间同步方法、装置及终端设备
CN111860604A (zh) * 2020-06-24 2020-10-30 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、系统及计算机存储介质
CN111882607A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
WO2021031604A1 (zh) * 2019-08-21 2021-02-25 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
CN112558514A (zh) * 2020-11-17 2021-03-26 中山大学 一种多设备硬件同步方法
CN112865902A (zh) * 2020-12-24 2021-05-28 深兰人工智能(深圳)有限公司 数据采集和时间同步方法、装置、电子设备及存储介质
CN112945228A (zh) * 2021-02-04 2021-06-11 刘成 一种多传感器时间同步方法及同步装置
CN113225152A (zh) * 2021-07-08 2021-08-06 浙江华睿科技股份有限公司 一种相机同步的方法、装置及计算机可读介质
CN113225481A (zh) * 2021-04-30 2021-08-06 深圳市道通智能汽车有限公司 摄像头图像曝光时间获取系统、车辆和方法
WO2021159338A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统
CN113496545A (zh) * 2020-04-08 2021-10-12 阿里巴巴集团控股有限公司 数据处理系统、方法、传感器、移动采集背包及设备
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
CN114449129A (zh) * 2022-01-21 2022-05-06 地平线(上海)人工智能技术有限公司 多传感器时间同步方法和装置、电子设备和存储介质
CN115776366A (zh) * 2022-12-12 2023-03-10 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置
CN117939031A (zh) * 2024-03-20 2024-04-26 深圳市度申科技有限公司 一种多相机同步图像采集卡及其在图像采集中的应用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056284A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 차량을 이용한 도로시설물 정보 추출 시스템 및 그 방법
CN103868513A (zh) * 2014-03-17 2014-06-18 北京航空航天大学 一种分布式pos用数据处理计算机系统
US20150369609A1 (en) * 2014-06-19 2015-12-24 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
CN106027909A (zh) * 2016-07-05 2016-10-12 大连海事大学 一种基于微机电惯性传感器与摄像机的船载视频同步采集系统及方法
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN109725572A (zh) * 2018-12-25 2019-05-07 初速度(苏州)科技有限公司 一种多传感器精准时钟同步系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949715B (zh) * 2010-08-10 2012-06-20 武汉武大卓越科技有限责任公司 高精度时空数据获取的多传感器集成同步控制方法和系统
CN103279058B (zh) * 2013-05-04 2015-05-20 北京航空航天大学 一种面向无人机电力巡检用的光纤imu数据采集系统
CN103744372B (zh) * 2013-12-23 2016-06-08 广东电网公司电力科学研究院 无人机电力巡检的多传感器时间同步方法与系统
CN104503306B (zh) * 2014-11-26 2017-05-17 北京航空航天大学 一种多相机同步触发装置及控制方法
CN106470428B (zh) * 2015-08-18 2019-11-22 上海无线通信研究中心 一种并行多通道信道测试设备的精确同步与触发方法
CN107743054A (zh) * 2017-08-25 2018-02-27 杭州德泽机器人科技有限公司 一种多传感器同步对时系统
CN108375383B (zh) * 2018-02-22 2019-12-24 北京航空航天大学 多相机辅助的机载分布式pos柔性基线测量方法和装置
CN110567453B (zh) * 2019-08-21 2021-05-25 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056284A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 차량을 이용한 도로시설물 정보 추출 시스템 및 그 방법
CN103868513A (zh) * 2014-03-17 2014-06-18 北京航空航天大学 一种分布式pos用数据处理计算机系统
US20150369609A1 (en) * 2014-06-19 2015-12-24 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
CN106027909A (zh) * 2016-07-05 2016-10-12 大连海事大学 一种基于微机电惯性传感器与摄像机的船载视频同步采集系统及方法
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN109725572A (zh) * 2018-12-25 2019-05-07 初速度(苏州)科技有限公司 一种多传感器精准时钟同步系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG LIU,FAN WANG,WEN ZHANG,CHAOFAN ZHANG,YINGWEI XIA: "Online Self-Calibration Initialization for Multi-Camera Visual-Inertial SLAM", 《2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 *
贾黎冬,李建利,叶 文,白立建: "分布式POS时间同步算法及软件设计", 《现代电子技术》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031604A1 (zh) * 2019-08-21 2021-02-25 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
WO2021159338A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统
CN111343379A (zh) * 2020-02-25 2020-06-26 华南理工大学 基于fpga的数据高速采集装置及方法
CN113496545B (zh) * 2020-04-08 2022-05-27 阿里巴巴集团控股有限公司 数据处理系统、方法、传感器、移动采集背包及设备
CN113496545A (zh) * 2020-04-08 2021-10-12 阿里巴巴集团控股有限公司 数据处理系统、方法、传感器、移动采集背包及设备
CN111585682A (zh) * 2020-05-09 2020-08-25 森思泰克河北科技有限公司 传感器时间同步方法、装置及终端设备
CN111860604A (zh) * 2020-06-24 2020-10-30 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、系统及计算机存储介质
CN111860604B (zh) * 2020-06-24 2024-02-02 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、系统及计算机存储介质
CN111882607A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN111882607B (zh) * 2020-07-14 2021-05-04 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN112558514A (zh) * 2020-11-17 2021-03-26 中山大学 一种多设备硬件同步方法
CN112558514B (zh) * 2020-11-17 2022-03-29 中山大学 一种多设备硬件同步方法
CN112865902A (zh) * 2020-12-24 2021-05-28 深兰人工智能(深圳)有限公司 数据采集和时间同步方法、装置、电子设备及存储介质
CN112865902B (zh) * 2020-12-24 2023-06-23 深兰人工智能(深圳)有限公司 数据采集和时间同步方法、装置、电子设备及存储介质
CN112945228B (zh) * 2021-02-04 2023-04-07 北京眸星科技有限公司 一种多传感器时间同步方法及同步装置
CN112945228A (zh) * 2021-02-04 2021-06-11 刘成 一种多传感器时间同步方法及同步装置
CN113225481A (zh) * 2021-04-30 2021-08-06 深圳市道通智能汽车有限公司 摄像头图像曝光时间获取系统、车辆和方法
CN113225152B (zh) * 2021-07-08 2021-10-15 浙江华睿科技股份有限公司 一种相机同步的方法、装置及计算机可读介质
CN113225152A (zh) * 2021-07-08 2021-08-06 浙江华睿科技股份有限公司 一种相机同步的方法、装置及计算机可读介质
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质
CN114449129A (zh) * 2022-01-21 2022-05-06 地平线(上海)人工智能技术有限公司 多传感器时间同步方法和装置、电子设备和存储介质
CN114449129B (zh) * 2022-01-21 2024-04-09 地平线(上海)人工智能技术有限公司 多传感器时间同步方法和装置、电子设备和存储介质
CN115776366A (zh) * 2022-12-12 2023-03-10 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置
CN115776366B (zh) * 2022-12-12 2024-03-15 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置
CN117939031A (zh) * 2024-03-20 2024-04-26 深圳市度申科技有限公司 一种多相机同步图像采集卡及其在图像采集中的应用方法

Also Published As

Publication number Publication date
WO2021031604A1 (zh) 2021-02-25
CN110567453B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN110567453B (zh) 仿生眼多通道imu与相机硬件时间同步方法和装置
CN111381487B (zh) 多传感器同步授时系统、方法、装置及电子设备
CN112672415B (zh) 多传感器时间同步方法、装置、系统、电子设备及介质
CN108900272B (zh) 传感器数据采集方法、系统和丢包判断方法
CN109922260B (zh) 图像传感器和惯性传感器的数据同步方法和同步装置
CN111309094A (zh) 一种传感器设备采集数据的同步板卡及方法
CN111007554A (zh) 数据采集时间同步系统和方法
CN113496545B (zh) 数据处理系统、方法、传感器、移动采集背包及设备
CN111555834B (zh) 基于ieee1588协议的无线网络的时钟同步方法及系统
CN111474532B (zh) 车载移动激光雷达测量系统时间同步方法及装置
WO2023093054A1 (zh) 一种数据处理的方法、装置、系统、设备及存储介质
CN111934843A (zh) 一种面向智能无人系统的多传感器数据同步采集方法
CN104764442A (zh) 测定轻小型无人机中航测相机曝光时刻的方法及装置
CN111556224B (zh) 多相机同步校准方法、装置及系统
CN104748730A (zh) 测定无人机中航测相机曝光时刻的装置及方法
CN114553351A (zh) 时间同步方法及控制装置、设备、存储介质
CN110174686B (zh) 一种众包地图中gnss位置与图像的匹配方法、装置及系统
CN111556226A (zh) 一种相机系统
CN109506656A (zh) 一种高精度在轨姿态信息下传还原方法
US11245763B2 (en) Data processing method, computer device and storage medium
CN112398559B (zh) 时钟同步方法、装置、系统及存储介质
CN109633318B (zh) 电信号与通信信号同步的方法及装置、存储介质和处理器
CN115242344A (zh) 时间同步装置和方法、无人车、路侧单元、车联网系统
CN114185512A (zh) 传感器数据的处理方法、电子设备及可读存储介质
CN114690228A (zh) 一体化的定位方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Huang Qiang

Inventor after: Chen Xiaopeng

Inventor after: Gu Si Yuan

Inventor after: Huang Hua

Inventor after: Hua Chenghao

Inventor after: Meng Fei

Inventor after: Gao Junyao

Inventor before: Huang Qiang

Inventor before: Chen Xiaopeng

Inventor before: Gu Si Yuan

Inventor before: Hua Chenghao

Inventor before: Meng Fei

Inventor before: Gao Junyao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210525