CN109922260A - 图像和惯性传感器的数据同步方法和同步装置 - Google Patents

Abstract

本发明涉及数据处理技术领域，特别涉及一种图像传感器与惯性传感器的数据同步方法和同步装置。所述同步方法包括以下步骤：将所述图像传感器与所述惯性传感器置于同一时间基准下计时；获取图像传感器的曝光时间的中间时刻，作为图像数据采集时刻；获取惯性传感器中用于形成输出数据的每组采样数据的中间时刻，作为惯性数据采集时刻，其中，所述每组采样数据包括依据惯性传感器内部时钟采样周期依次采集的多个数据。在本发明提供的图像传感器与惯性传感器的数据同步方法中，不仅可以精确同步多个图像传感器之间的图像数据，更加能够将图像传感器与惯性传感器进行数据同步。

Description

图像和惯性传感器的数据同步方法和同步装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种图像传感器与惯性传感器的数据同步方法和同步装置。

背景技术

在自主导航领域，导航系统的设计已经由最初的基于单一传感器走向对多种传感器的整合和深度融合。近几年，基于被动双目视觉和惯性传感器的实时定位与构图技术得以广泛地研究和应用。多类传感器的深度融合成为该技术的关键，而不同传感器数据的同步获取是传感器数据融合的前提。

现有的同步方法有：(1)通道缓存同步法，该方法没有在采集环节采集采取同步措施，而是在数据传输通道上通过增加数据缓存的方法，使数据到达处理环节或输出至用户时完成数据封包，该方法并未实现同步采集数据，因而是假同步；(2)全局触发同步法，该方法对图像传感器和惯性传感器的硬件都有较高的功能要求，对图像传感器间的同步局部有效，无法同时同步惯性传感器信号，且将同步信号对齐在曝光开始的时刻，无法适应图像传感器较长快门时间的场景；(3)以惯性传感器为基准的同步方法，该方法以惯性传感器的输出频率为时间基准，时间精度较低；(4)时间标记比对法，该方法受制于系统的实时性响应，易在加标记的过程中引入误差。

发明内容

本发明的目的在于提供一种图像传感器与惯性传感器的数据同步方法和同步装置，以解决现有的图像传感器与惯性传感器的数据同步效果较差、同步难度较大的技术问题。

为解决上述技术问题，本发明提供一种图像传感器与惯性传感器的数据同步方法，包括以下步骤：

S10：使多个图像传感器同时曝光，以对应获取多个时序对齐的图像数据，并将多个图像数据进行并行传输，以使多个图像数据的时序一致；其中所述多个图像传感器的型号相同；

S11：将所述多个图像传感器与所述惯性传感器置于同一时间基准下计时；

S12：获取所述多个图像传感器中其中一个图像传感器的曝光时间的中间时刻，作为图像数据采集时刻；

S13：获取惯性传感器中用于形成输出数据的每组采样数据的中间时刻，作为惯性数据采集时刻，其中，所述每组采样数据包括依据内部时钟采样周期依次采集的多个数据；

S14：将获取的所述惯性数据采集时刻与所述图像数据采集时刻进行比对，得到按照时间顺序排列的图像数据和惯性数据；

S15：将第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的所述惯性数据，作为与第N个所述图像数据对应的所述惯性数据；

S16：以第N-1个图像数据对应的速度、角速度、位移和转角信息为初始条件，对与第N个时间区间对应的所述惯性数据进行积分计算，得到与所述第N个图像数据对应的、包含速度、角速度、位移和转角信息的数据；其中，N为大于1的正整数。

进一步，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_输出-T_半曝光-T_帧前

其中，所述T_输出表示所述图像传感器的图像输出时刻；

T_半曝光表示所述图像传感器的曝光时间的一半；

T_帧前表示所述图像传感器的图像输出时刻与所述图像传感器的曝光结束时刻之差；

所述T_输出、所述T_半曝光和所述T_帧前对应的图像数据一致。

进一步，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s1+T_半曝光

其中，所述T_s1表示所述图像传感器闪光灯开始的时刻；

所述T_半曝光表示所述图像传感器的曝光时间的一半，所述T_半曝光与所述T_s1对应的图像数据一致；

或者所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s2-T_半曝光

其中，所述T_s2表示所述图像触感器闪光灯结束时刻，所述T_s2与所述T_半曝光对应的图像数据一致。

进一步，所述惯性数据采集时刻T₂通过以下公式计算得到：

其中，T_中断表示所述惯性传感器的中断输出时刻；

Δt表示所述惯性传感器的内部时钟采样周期；

n表示形成输出数据的所述每组采样数据中的数据个数。

进一步，对所述对应的惯性数据进行积分计算时按照如下方式进行：

S21：以第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的时间区间记为第N个时间区间，作为第N个所述图像数据对应的所述惯性数据的积分区间；

S22：将位于第N-1个时间区间中的最后一个惯性数据作为所述第N个时间区间的初始计算数据，并将所述第N-1个图像采集时刻与所述第N个时间区间中的第一个惯性数据所对应的所述惯性数据采集时刻之间的时间区间，作为所述初始计算数据的积分区间；

S23：将所述第N个时间区间中最后一个惯性数据之前的每个惯性数据作为所述第N个时间区间的中间计算数据，其中每个中间计算数据的积分区间为该中间计算数据对应的惯性数据采集时刻至下一个惯性数据采集时刻之间的时间区间；

S24：将所述第N个时间区间的所述最后一个惯性数据作为所述第N个时间区间的尾部计算数据，将所述第N个时间区间的所述最后一个惯性数据对应的所述惯性数据采集时刻与所述第N个图像数据采集时刻之间的时间区间作为所述尾部计算数据的积分区间；

S25：以第N-1个图像数据对应的运动状态及位姿信息作为初始条件，并对第N个时间区间内的初始计算数据、中间计算数据和尾部计算数据在对应的时间区间作积分运算，得到第N个图像数据对应的运动状态和位姿信息。

进一步，所述步骤S14还包括：将所述图像数据采集时刻以时间戳的形式添加到对应的图像数据中，所述惯性数据采集时刻以时间戳的形式添加到对应的惯性数据中，然后将加入时间戳的图像数据和惯性数据进行时间戳比对，得到按照时间顺序排列的所述图像数据和所述惯性数据。

本发明还提供了一种图像传感器和惯性传感器的数据同步装置，包括：

图像数据同步单元，用于同时曝光多个型号相同的图像传感器，已对应获取多个时序对齐的图像数据，并将多个图像数据进行并行传输，以使多个图像数据的时序一致；

采集时刻获取单元，用于获取所述多个图像传感器中其中一个图像传感器的曝光时间的中间时刻，以作为到图像数据采集时刻；以及用于获取惯性传感器中用于形成输出数据的每组采用数据的中间时刻，以作为惯性数据采集时刻；

数据比对单元，用于读取所述采集时刻获取单元得到的所述图形数据采集时刻和所述惯性数据采集时刻，并将获取的所述惯性数据采集时刻与所述图像数据采集时刻进行比对，得到按照时间顺序排列的图像数据和惯性数据；

数据分析单元，用于将第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的所述惯性数据，作为与第N个所述图像数据对应的所述惯性数据；

数据计算单元，用于将第N-1个图像数据对应的速度、角速度、位移和转角信息为初始条件，对与第N个时间区间对应的所述惯性数据进行积分计算，得到与所述第N个图像数据对应的、包含速度、角速度、位移和转角信息的数据；

其中，N为大于1的正整数；

所述每组采样数据包括依据内部时钟采样周期依次采集的多个数据；

所述图像传感器与所述惯性传感器位于同一时间基准下计时。

进一步，所述采集时刻获取单元包括第一获取模块和第二获取模块；

所述第一获取模块用于获取所述图像传感器的曝光时间的中间时刻，作为所述图像数据采集时刻；

所述第二获取模块用于获取所述惯性传感器中用于形成输出数据的每组数据的中间时刻，作为所述惯性数据采集时刻。

进一步，所述第一获取模块用于根据所述图像传感器的图像帧同步信号的输出时刻、曝光时间和帧前时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_输出-T_半曝光-T_帧前

其中，所述T_输出表示所述图像传感器的图像帧同步信号的输出时刻；

T_半曝光表示所述图像传感器的曝光时间的一半；

T_帧前表示所述图像传感器的图像输出时刻与所述图像传感器的曝光结束时刻之差；

所述T_半曝光和所述T_帧前对应的图像数据一致。

进一步，所述第一获取模块用于根据所述图像传感器的闪光灯开始时刻和曝光时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s1+T_半曝光

其中，所述T_s1表示所述图像传感器闪光灯开始的时刻；

所述T_半曝光表示所述图像传感器的曝光时间的一半，所述T_半曝光与所述T_s1对应的图像数据一致；

或者所述第一获取模块用于根据所述图像传感器的闪光灯结束时刻和曝光时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s2-T_半曝光

其中，所述T_s2表示所述图像触感器闪光灯结束时刻，所述T_s2与所述T_半曝光对应的图像数据一致。

进一步，所述第二获取模块用于获取所述惯性数据采集时刻，并通过如下公式计算得到：

其中，T₂表示所述惯性数据采集时刻；

T_中断中断表示所述惯性传感器的中断输出时刻；

Δt表示所述惯性传感器的内部时钟采样周期；

n表示形成输出数据的所述每组采样数据中的数据个数。

进一步，所述数据比对单元包括一数据绑定模块和数据比对模块；

所述数据绑定模块用于将所述图像数据采集时刻以时间戳的形式加入对应的图像数据中，以及用于将惯性数据采集时刻以时间戳的形式加入对应的惯性数据中；

所述数据比对模块用于将加入时间戳的图像数据和惯性数据进行时间戳比对，得到按照时间顺序排列的所述图像数据和所述惯性数据。

在本发明提供的图像传感器与惯性传感器的数据同步方法中，不仅可以精确同步多个图像传感器之间的图像数据，更加能够将图像传感器(可以有多个图像传感器)与惯性传感器进行数据同步，并且还能够不改变各个传感器的工作状态，极大的提高了数据同步的精确程度，为后期传感器的数据融合奠定了基础。

附图说明

图1是本发明实施例提供的图像传感器与惯性传感器的数据同步方法流程图；

图2是本发明实施例提供的图像传感器的工作过程示意图；

图3是本发明实施例提供的惯性传感器的工作过程示意图；

图4是本发明实施例提供的同一时间轴下进行数据比对的示意图；

图5是本发明实施例提供的同步装置连接示意图；

图6是本发明实施例提供的传感器与微控制器的连接示意图；

图7是本发明实施例提供的惯性数据积分计算方法的流程图；

图8是本发明实施例提供的惯性数据积分计算的时间区间示意图。

具体实施方式

依据上述内容可知，在进行自主导航系统设计时，多种传感器之间需要将获取的数据进行深度融合，以此达到高精度的定位、移动等要求。自主导航设计时常会用到图像传感器和惯性传感器。图像传感器是利用光电器件的光电转换功能。将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器具有体积小、重量轻、集成度高、分辨率高、功耗低、寿命长的特点，在各个行业得到了广泛应用。惯性传感器可以用来检测和测量加速度、倾斜、冲击、振动、旋转和多自由度运动，是解决导航、定向和运动载体控制的重要部件，同样也得到了广泛应用。而将多个图像传感器之间、图像传感器与惯性传感器之间的数据进行同步，是自主导航的进行传感器间数据融合的重要前提。

现有技术中为了使图像传感器与惯性传感器的数据进行同步，主要存在四类方法，分别为通道缓存同步法、全局触发同步法、以惯性传感器为基准的同步方法以及时间标记比对法。这四类方式均不同程度存在数据同步的局限，通常还需要改变传感器自身的工作状态，并且还无法做到高精度的数据同步。

基于上述现有技术存在的问题，发明人对此进行了深入的分析研究。多种传感器的同步要归于传感器的采样时刻的同步。而图像传感器的采样环节(曝光过程)是时间段而非时间点。惯性传感器的中断输出通常是由依据内部时钟进行采样多个数据经滤波处理和融合算法综合形成的。因此在本发明中，将以图像传感器的“曝光中间时刻”作为图像数据的采集时刻，而将惯性传感器中与惯性数据对应的多个内部采样数据所跨过的时间区间的中间时刻，作为惯性数据的采集时刻。本发明可以基于多个同型号的芯片级图像传感器，相对于集成产品级的相机而言，这种图像传感器可满足多个图像传感器同步的一体化硬件需求。在不改变传感器(图像传感器和惯性传感器)自身的工作状态下，基于图像传感器和惯性传感器的基本参数，获取各个传感器中数据对应的时间参考，并最终在同一个时间轴下将不同传感器的时间参考之间进行比对，以此建立相同时间参考下的不同传感器数据的对应关联。另外，为了获取的时间参考更加准确的反应数据产生的真实时刻，本发明还通过时间补偿的方式，以获取上述的时间参考，以提高同步的精度。

以下结合附图和具体实施例对本发明提出的图像传感器与惯性传感器的数据同步方法、装置及精度计算方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

实施例1

如图1所示，是本实施例提供的图像传感器与惯性传感器的数据同步方法流程图。而图像传感器与惯性传感器的数据同步方法包括以下步骤：

S10：使多个图像传感器同时曝光，以对应获取多个时序对齐的图像数据，并将多个图像数据进行并行传输，以使多个图像数据的时序一致；其中所述多个图像传感器的型号相同；

S11：将所述多个图像传感器与所述惯性传感器置于同一时间基准下计时；

S12：获取所述多个图像传感器中其中一个图像传感器的曝光时间的中间时刻，作为图像数据采集时刻；

S13：获取惯性传感器中用于形成输出数据的每组采样数据的中间时刻，作为惯性数据采集时刻，其中，所述每组采样数据包括依据内部时钟采样周期依次采集的多个数据；

S14：将获取的所述惯性数据采集时刻与所述图像数据采集时刻进行比对，得到按照时间顺序排列的图像数据和惯性数据；

S15：将第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的所述惯性数据，作为与第N个所述图像数据对应的所述惯性数据；

S16：以第N-1个图像数据对应的速度、角速度、位移和转角信息为初始条件，对与第N个时间区间对应的所述惯性数据进行积分计算，得到与所述第N个图像数据对应的、包含速度、角速度、位移和转角信息的数据；

其中，N为大于1的正整数。值得说明的是，在实际的操作中，图像传感器常至少有两个，例如采用两个图像传感器组成双目视觉传感器(较常用)，因此在进行数据同步时，可以通过采用相同型号的图像传感器，并使多个传感器同时曝光，以使获取数据的时序对齐，同时还需要将接收多个图像传感器图像数据的控制器或上位机能够并行接收数据，以进一步保证多个图像传感器获得的图像数据的时序一致，这样在将多个图像传感器与惯性传感器的数据进行同步时，可以选择仅获取其中一个图像传感器的曝光时间来作为中间时刻，便可以使多个图像传感器与惯性传感器的数据实现同步。具体的，多个图像传感器可以参照以下方式进行同步：(1)使用相同型号的图像传感器；(2)用于控制图像传感器的微控制器可以并行对图像传感器动态写入相同的配置策略；(3)由微控制器或其它硬件方法为各图像传感器提供统一的时钟；(4)选型的图像传感器芯片支持外部触发图像采样，使多个图像传感器同时曝光，完成多个图像传感器的时序对齐；(5)微处理器能并行接收多数图像传感器的输入。

为了获取所述图像数据采集时刻，并提高精确度，本实施例提供了一种用于计算所述图像数据采集时刻的计算方法。

请参考图2，图2是本实施例提供的图像传感器的工作过程示意图。图像传感器获取每帧图像(图像数据)时通常包括图像传感器的复位、曝光、帧前时间(图像传感器曝光结束时至图像数据输出时的时间)和输出四个环节。前三个环节均在图像传感器的内部完成，输出环节时，图像传感器对外输出“帧有效”信号(用以表明当前获取的图像数据有效)给与图像传感器连接的处理设备，当然这里的发出“帧有效”信号的时刻也是处理设备读取或者图像数据输出的时刻。这里的处理设备可以采用微控制器。由于发出“帧有效”信号的时刻要落后于整个曝光过程的中间时刻，因此所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_输出-T_半曝光-T_帧前

其中，所述T_输出表示所述图像传感器的图像输出时刻；

T_半曝光表示所述图像传感器的曝光时间的一半；

T_帧前表示所述图像传感器的图像输出时刻与所述图像传感器的曝光结束时刻之差；

所述T_输出、所述T_半曝光和所述T_帧前对应的图像数据一致。

另外，基于图像传感器的参数特点，还可以通过其他的方式来计算得到图像数据采集时刻T₁。例如采用如下公式计算：

T₁＝T_s1+T_半曝光

其中，所述T_s1表示所述图像传感器闪光灯开始的时刻；

所述T_半曝光表示所述图像传感器的曝光时间的一半，所述T_半曝光与所述T_s1对应的图像数据一致；

还可以通过如下公式进行计算：

T₁＝T_s2-T_半曝光

其中，所述T_s2表示所述图像触感器闪光灯结束时刻，所述T_s2与所述T_半曝光对应的图像数据一致。

上述各公式中的相关数据均可以通过图像传感器的自身的性能参数等直接获取或进行简单的数据计算后得到。

为了获取所述惯性数据采集时刻，并提高精确度，本实施例还提供了一种用于计算所述惯性数据采集时刻的计算方法。

请参考图3，图3是本实施例提供的惯性传感器的工作过程示意图。惯性传感器的每个数据的输出大致包括内部时钟采样、求均值滤波、FIR(Finite Impulse Response，有限单位冲激响应)滤波(可选)、数据分频、中断输出等环节。惯性传感器根据内部时钟进行采样，获得一组采样数据，而这组采样数据可以包含多个(图中示出的数量m＝8)，进而对多个采样数据进行求均值，并对求均值后的数据进行数据分频和滤波，最后发出中断信号，以将惯性数据输出。输出的惯性数据与图像数据均由与图像传感器和惯性传感器连接的处理设备读取。由于惯性传感器输出的每个图像数据包含了多个依据内部时钟进行采样的数据(一组采样数据)，所述惯性数据采集时刻可以对应于一组采样数据的中间时刻。因此所述惯性数据采集时刻T₂通过以下公式计算得到：

其中，T_中断表示所述惯性传感器的中断输出时刻；

Δt表示所述惯性传感器的内部时钟采样周期；

n表示形成输出数据的所述每组采样数据中的数据个数。

值得说明的是，惯性传感器输出的每一个惯性数据并不仅仅意味着一个数据，当惯性传感器是多轴传感器时，其输出的数据通常是包含了每个轴对应数据的“一组”数据。

请参考图4，图4是本实施例提供的在同一时间轴下进行数据比对的示意图。本领域技术人员容易理解，惯性传感器的数据频率通常会大于图像传感器的图像数据的帧率，因此可以将惯性传感器的数据频率定为图形传感器图像帧率的整数倍。在图4中给定了惯性传感器的数据频率是图像向传感器的图形帧率的4倍。即每帧图像数据对应4个惯性数据。并且为了方便理解，在图4中，记第N帧图像数据对应的惯性数据分别标记为D_N1～D_N4，第N帧的所述图像数据采集时刻落在D_N3和D_N4之间，得到第N帧图像数据时，对应的所述惯性数据采集时刻还需要Δt_N(时间量)，当然也可以依据这个时间量Δt_N还可以用于后期的积分计算的时间参数。

还有，为了保证所述采集时刻与对应的数据始终保持一致，因此将获取的所述惯性数据采集时刻与所述图形数据采集时刻进行比对，还可以利用时间戳进行比对，即步骤S14还包括：将所述图像数据采集时刻以时间戳的形式添加到对应的图像数据中，所述惯性数据采集时刻以时间戳的形式添加到对应的惯性数据中，然后将加入时间戳的图像数据和惯性数据进行时间戳比对，得到按照时间顺序排列的所述图像数据和所述惯性数据。

通过上述详细介绍的数据同步方法，不仅可以精确同步多个图像传感器之间的图像数据，更加能够将图像传感器(可以有多个图像传感器)与惯性传感器进行数据同步，并且还能够不改变各个传感器的工作状态，极大的提高了数据同步的精确程度，为后期传感器的数据融合奠定了基础。

本实施例还提供了一种图像传感器和惯性传感器的数据同步装置，可以用来执行上述的数据同步方法，如图5所示，图5是本实施例提供的同步装置连接示意图。所述同步装置包括：

图像数据同步单元5，用于同时曝光多个型号相同的图像传感器，已对应获取多个时序对齐的图像数据，并将多个图像数据进行并行传输，以使多个图像数据的时序一致；

采集时刻获取单元1，用于获取所述多个图像传感器中其中一个图像传感器的曝光时间的中间时刻，以作为到图像数据采集时刻；以及用于获取惯性传感器中用于形成输出数据的每组采用数据的中间时刻，以作为惯性数据采集时刻；

数据比对单元2，用于读取所述采集时刻获取单元得到的所述图形数据采集时刻和所述惯性数据采集时刻，并将获取的所述惯性数据采集时刻与所述图像数据采集时刻进行比对，得到按照时间顺序排列的图像数据和惯性数据；

数据分析单元3，用于将第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的所述惯性数据，作为与第N个所述图像数据对应的所述惯性数据；

数据计算单元4，用于将第N-1个图像数据对应的速度、角速度、位移和转角信息为初始条件，对与第N个时间区间对应的所述惯性数据进行积分计算，得到与所述第N个图像数据对应的、包含位移、转角、转速和速度信息的数据；

其中，N为大于1的正整数；

所述每组采样数据包括依据内部时钟采样周期依次采集的多个数据；

所述图像传感器与所述惯性传感器位于同一时间基准下计时，以具有统一的时间参考。

进一步，所述采集时刻获取单元1包括第一获取模块11和第二获取模块12；

所述第一获取模块11用于获取所述图像传感器的曝光时间的中间时刻，作为所述图像数据采集时刻；

所述第二获取模块12用于获取所述惯性传感器中用于形成输出数据的每组数据的中间时刻，作为所述惯性数据采集时刻。

进一步，所述第一获取模块用于根据所述图像传感器的图像帧同步信号的输出时刻、曝光时刻和帧前时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_输出-T_半曝光-T_帧前

其中，所述T_输出表示所述图像传感器的图像帧同步信号的输出时刻；

T_半曝光表示所述图像传感器的曝光时间的一半；

T_帧前表示所述图像传感器的图像输出时刻与所述图像传感器的曝光结束时刻之差；

所述T_半曝光和所述T_帧前对应的图像数据一致。

当然，所述第一获取模块还能够用于根据所述图像传感器的闪光灯开始时刻或闪光灯结束时刻和曝光时间计算所述图像数据采集时刻。例如，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s1+T_半曝光

其中，所述T_s1表示所述图像传感器闪光灯开始的时刻；

所述T_半曝光表示所述图像传感器的曝光时间的一半，所述T_半曝光与所述T_s1对应的图像数据一致；

或者所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s2-T_半曝光

其中，所述T_s2表示所述图像触感器闪光灯结束时刻，所述T_s2与所述T_半曝光对应的图像数据一致。

进一步，所述第二模块用于获取惯性数据采集时刻T₂，并通过如下公式计算得到：

其中，T_中断表示所述惯性传感器的中断输出时刻；

Δt表示所述惯性传感器的内部时钟采样周期；

n表示形成输出数据的所述每组采样数据中的数据个数。

进一步，所述数据比对单元2包括一数据绑定模块21和数据比对模块22；

所述数据绑定模块21用于将所述图像数据采集时刻以时间戳的形式加入对应的图像数据中，以及用于将惯性数据采集时刻以时间戳的形式加入对应的惯性数据中；

所述数据比对模块22用于将加入时间戳的图形数据和惯性数据进行时间戳比对，得到按照时间顺序排列的所述图像数据和所述惯性数据。

如图6所示，图6是传感器与微控制器的连接示意图。在进行实际实施时，所述同步装置可以采用与惯性传感器和图像传感器连接的微控制器和上位机来实现。而为了使图像传感器和惯性传感器置于同一时间轴下，可以利用微控制器中的可编程逻辑单元建立精确的时钟计数模块，并以时钟计数值标记不同时间的发生时刻，该模块的计数值与时钟周期相乘可转化为真实的时间。在图6中，时钟计数模块建立多个输入信号，一个接入图像传感器的“帧有效”信号，其余接入惯性传感器的中断信号。这些输入信号的发生时刻均非对应传感器的采样时刻，为了获得实际的采样时刻，可以对不同的传感器的采样时刻进行时间补偿。微控制器的时钟计数模块可以自动将输入信号对应的计数值经过设定的补偿计算方法，得到相应的传感器的采样时刻，即所述图像传感器采样时刻和惯性传感器采样时刻。需要说明的是，为了提高所述同步装置的性能和兼容性，使用的微控制器输出接口可以基于USB3.0及以上版本接口，还要支持UVC+HID协议。UVC(USB video class，USB视频类)接口实现将图像数据传输至上位机并通过上位机控制图像传感器。而惯性数据通过HID(HumanInterface Device，人机接口设备)协议传输，以更高的数据优先级保障惯性数据的实时性。

由于图像数据和惯性数据在数据量上的巨大差别，并结合数据在传输过程中的时间占用，还可以将惯性数据作为图像数据的附属信息添加到对应图像数据中。

微控制器基于GigE(Gigabit Ethernet，吉比特以太网)的方法，并基于GVCP(GigEVision Control Protocol，吉比特以太网视觉控制)协议，在上位机检测到新一帧图像数据到达时，使用readmem_cmd命令读取图像数据中的图像时间信息(图像数据采集时刻)和惯性数据以及惯性数据对应的惯性数据采集时刻。GVCP的传输优先级高于图像数据传输，可以保证惯性数据的稳定传输。

还有，微控制器可以基于SDI(serial digital interface，数字分量串行接口)、HDMI(High Definition Multimedia Interface，高清多媒体接口)输出的方法，将图像数据对应的图像数据采集时刻和惯性数据对应的惯性数据采集时刻替换SDI、HDMI中的辅助信息，并通过采集卡的方式接入上位机。

本实施例还提供了一种用来上述步骤15中的所述对应的惯性进行积分计算的方法，如图7所示，图7是本实施例提供的惯性数据积分计算方法的流程图。该计算方法的步骤如下：

S21：以第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的时间区间记为第N个时间区间，作为第N个所述图像数据对应的所述惯性数据的积分区间；

S22：将位于第N-1个时间区间中的最后一个惯性数据作为所述第N个时间区间的初始计算数据，并将所述第N-1个图像采集时刻与所述第N个时间区间中的第一个惯性数据所对应的所述惯性数据采集时刻之间的时间区间，作为所述初始计算数据的积分区间；

S23：将所述第N个时间区间中最后一个惯性数据之前的每个惯性数据作为所述第N个时间区间的中间计算数据，其中每个中间计算数据的积分区间为该中间计算数据对应的惯性数据采集时刻至下一个惯性数据采集时刻之间的时间区间；

S24：将所述第N个时间区间的所述最后一个惯性数据作为所述第N个时间区间的尾部计算数据，将所述第N个时间区间的所述最后一个惯性数据对应的所述惯性数据采集时刻与所述第N个图像数据采集时刻之间的时间区间作为所述尾部计算数据的积分区间；

S25：以第N-1个图像对应的运动状态及位姿信息作为初始条件，并对第N个时间区间内的初始计算数据、中间计算数据和尾部计算数据在对应的时间区间作积分运算，得到第N个图像数据对应的运动状态及位姿信息。

本领域技术人员容易理解，在实际的硬件设备和数据同步过程中，由于第1个图像数据对应的所述图像数据采集时刻之前，并没有记录图像数据，也就没有对应的所述图像数据采集时刻，在这期间即使存在惯性数据，也没有对应的积分区间，因此第1个图像数据对应的所述积分数据实际上是采集对象的初始的数据(位移、转角、转速、速度等)，这些初始的数据可以是0也可以是其他的值，具体数值可以根据实际情况进行设定和取值，在此就不再赘述。

现以具体的计算过程为例，来进一步详细说明上述的惯性数据的积分计算方法；

如图8所示，下面以计算采集对象的速度和位移为例进行详细说明，第N-1个图像数据(第N-1帧图像，下同)对应的图像数据采集时刻记为T_N-1，第N个图像数据(第N帧图像，下同)对应的采集时刻记为T_N，第N个图像数据对应的惯性数据为时间区间[T_N-1，T_N]内的新增惯性数据，并按时间顺序将该区间内的n个惯性数据的采集时刻分别记为 时间区间[T_N-1，T_N]前的最后一个惯性数据的采集时刻记为

第N个图像数据对应的惯性数据积分计算(速度及位移)基于T_N-1时刻的初速度V_N-1和位移S_N-1。则第N个图像数据采集时刻T_N时刻的速度V_N和位移S_N计算方法如下：

其中a(τ)和V(t)为定义在[T_N-1，T_N]区间内的加速度函数和速度函数。加速度函数a(τ)基于惯性数据及其对应的采集时间信息通过曲线拟合的方法获得，本实施例以最直接的分段函数表示如下：

分段函数的第一个分段中，起始时间是第N-1个图像数据对应的图像数据采集时刻T_N-1而非惯性数据采集时刻；最后一个分段中，结束时间是第N个图像数据对应的图像数据采集时刻T_N而非惯性数据采集时刻。

对三轴惯性传感器的加速度数据分别采用上述处理方法，分别获得三轴的速度和位移信息；使用类似的方法，对三轴的角加速度数据进行积分和二次积分，分别获得三轴的转速和转动角度。最终获得第N帧图像采集时刻对应的位置(位移信息)、位姿(三轴的转角)、运动状态(速度和转速)，从而实现图像数据和惯性数据的同步。综上所述，本实施例提供的惯性数据的积分计算方法，能够更加精确的得出数据同步的时对应的数据值，能够辅助数据同步精确度的提高，节约计算成本。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (12)

1.一种图像传感器与惯性传感器的数据同步方法，其特征在于，包括以下步骤：

S10：使多个图像传感器同时曝光，以对应获取多个时序对齐的图像数据，并将多个图像数据进行并行传输，以使多个图像数据的时序一致；其中所述多个图像传感器的型号相同；

S11：将所述多个图像传感器与所述惯性传感器置于同一时间基准下计时；

S12：获取所述多个图像传感器中的其中一个图像传感器的曝光时间的中间时刻，作为图像数据采集时刻；

S13：获取惯性传感器中用于形成输出数据的每组采样数据的中间时刻，作为惯性数据采集时刻，其中，所述每组采样数据包括依据内部时钟采样周期依次采集的多个数据；

S14：将获取的所述惯性数据采集时刻与所述图像数据采集时刻进行比对，得到按照时间顺序排列的图像数据和惯性数据；

S15：将第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的所述惯性数据，作为与第N个所述图像数据对应的所述惯性数据；

S16：以第N-1个图像数据对应的速度、角速度、位移和转角信息为初始条件，对与第N个时间区间对应的所述惯性数据进行积分计算，得到与所述第N个图像数据对应的、包含速度、角速度、位移和转角信息的数据；

其中，N为大于1的正整数。

2.如权利要求1所述的图像传感器与惯性传感器的数据同步方法，其特征在于，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_输出-T_半曝光-T_帧前

其中，所述T_输出表示所述图像传感器的图像输出时刻；

T_半曝光表示所述图像传感器的曝光时间的一半；

T_帧前表示所述图像传感器的图像输出时刻与所述图像传感器的曝光结束时刻之差；

所述T_输出、所述T_半曝光和所述T_帧前对应的图像数据一致。

3.如权利要求1所述的图像传感器与惯性传感器的数据同步方法，其特征在于，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s1+T_半曝光

其中，所述T_s1表示所述图像传感器闪光灯开始的时刻；

所述T_半曝光表示所述图像传感器的曝光时间的一半，所述T_半曝光与所述T_s1对应的图像数据一致；

或者所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s2-T_半曝光

其中，所述T_s2表示所述图像触感器闪光灯结束时刻，所述T_s2与所述T_半曝光对应的图像数据一致。

4.如权利要求1所述的图像传感器与惯性传感器的数据同步方法，其特征在于，所述惯性数据采集时刻T₂通过以下公式计算得到：

其中，T_中断表示所述惯性传感器的中断输出时刻；

Δt表示所述惯性传感器的内部时钟采样周期；

n表示形成输出数据的所述每组采样数据中的数据个数。

5.如权利要求1所述的图像传感器与惯性传感器的数据同步方法，其特征在于，对所述对应的惯性数据进行积分计算时按照如下方式进行：

S21：以第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的时间区间记为第N个时间区间，作为第N个所述图像数据对应的所述惯性数据的积分区间；

S22：将位于第N-1个时间区间中的最后一个惯性数据作为所述第N个时间区间的初始计算数据，并将所述第N-1个图像采集时刻与所述第N个时间区间中的第一个惯性数据所对应的所述惯性数据采集时刻之间的时间区间，作为所述初始计算数据的积分区间；

S23：将所述第N个时间区间中最后一个惯性数据之前的每个惯性数据作为所述第N个时间区间的中间计算数据，其中每个中间计算数据的积分区间为该中间计算数据对应的惯性数据采集时刻至下一个惯性数据采集时刻之间的时间区间；

S24：将所述第N个时间区间的所述最后一个惯性数据作为所述第N个时间区间的尾部计算数据，将所述第N个时间区间的所述最后一个惯性数据对应的所述惯性数据采集时刻与所述第N个图像数据采集时刻之间的时间区间作为所述尾部计算数据的积分区间；

S25：以第N-1个图像对应的运动状态及位姿信息作为初始条件，并对第N个时间区间内的初始计算数据、中间计算数据和尾部计算数据在对应的时间区间作积分运算，得到第N个图像数据对应的运动状态及位姿信息。

6.如权利要求1所述的图像传感器与惯性传感器的数据同步方法，其特征在于，所述步骤S14还包括：将所述图像数据采集时刻以时间戳的形式添加到对应的图像数据中，所述惯性数据采集时刻以时间戳的形式添加到对应的惯性数据中，然后将加入时间戳的图像数据和惯性数据进行时间戳比对，得到按照时间顺序排列的所述图像数据和所述惯性数据。

7.一种图像传感器和惯性传感器的数据同步装置，其特征在于，包括：

图像数据同步单元，用于同时曝光多个型号相同的图像传感器，已对应获取多个时序对齐的图像数据，并将多个图像数据进行并行传输，以使多个图像数据的时序一致；

采集时刻获取单元，用于获取所述多个图像传感器中其中一个图像传感器的曝光时间的中间时刻，以作为到图像数据采集时刻；以及用于获取惯性传感器中用于形成输出数据的每组采用数据的中间时刻，以作为惯性数据采集时刻；

数据比对单元，用于读取所述采集时刻获取单元得到的所述图形数据采集时刻和所述惯性数据采集时刻，并将获取的所述惯性数据采集时刻与所述图像数据采集时刻进行比对，得到按照时间顺序排列的图像数据和惯性数据；

数据分析单元，用于将第N个所述图像采集时刻与第N-1个所述图像采集时刻之间的所述惯性数据，作为与第N个所述图像数据对应的所述惯性数据；

数据计算单元，用于将第N-1个图像数据对应的速度、角速度、位移和转角信息为初始条件，对与第N个时间区间对应的所述惯性数据进行积分计算，得到与所述第N个图像数据对应的、包含速度、角速度、位移和转角信息的数据；

其中，N为大于1的正整数；

所述每组采样数据包括依据内部时钟采样周期依次采集的多个数据；

所述图像传感器与所述惯性传感器位于同一时间基准下计时。

8.如权利要求7所述的图像传感器和惯性传感器的数据同步装置，其特征在于，所述采集时刻获取单元包括第一获取模块和第二获取模块；

所述第一获取模块用于获取所述图像传感器的曝光时间的中间时刻，作为所述图像数据采集时刻；

所述第二获取模块用于获取所述惯性传感器中用于形成输出数据的每组数据的中间时刻，作为所述惯性数据采集时刻。

9.如权利要求8所述的图像传感器和惯性传感器的数据同步装置，其特征在于，

所述第一获取模块用于根据所述图像传感器的图像帧同步信号的输出时刻、曝光时间和帧前时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_输出-T_半曝光-T_帧前

其中，所述T_输出表示所述图像传感器的图像帧同步信号的输出时刻；

T_半曝光表示所述图像传感器的曝光时间的一半；

T_帧前表示所述图像传感器的图像输出时刻与所述图像传感器的曝光结束时刻之差；

所述T_半曝光和所述T_帧前对应的图像数据一致。

10.如权利要求8所述的图像传感器和惯性传感器的数据同步装置，其特征在于，所述第一获取模块用于根据所述图像传感器的闪光灯开始时刻和曝光时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s1+T_半曝光

其中，所述T_s1表示所述图像传感器闪光灯开始的时刻；

所述T_半曝光表示所述图像传感器的曝光时间的一半，所述T_半曝光与所述T_s1对应的图像数据一致；

或者所述第一获取模块用于根据所述图像传感器的闪光灯结束时刻和曝光时间计算所述图像数据采集时刻；

其中，所述图像数据采集时刻T₁通过以下公式计算得到：

T₁＝T_s2-T_半曝光

其中，所述T_s2表示所述图像触感器闪光灯结束时刻，所述T_s2与所述T_半曝光对应的图像数据一致。

11.如权利要求8所述的图像传感器和惯性传感器的数据同步装置，其特征在于，所述第二获取模块用于获取所述惯性数据采集时刻，并通过如下公式计算得到：

其中，T₂表示所述惯性数据采集时刻；

T_中断中断表示所述惯性传感器的中断输出时刻；

Δt表示所述惯性传感器的内部时钟采样周期；

n表示形成输出数据的所述每组采样数据中的数据个数。

12.如权利要求7所述的图像传感器与惯性传感器的数据同步装置，其特征在于，所述数据比对单元包括一数据绑定模块和数据比对模块；

所述数据绑定模块用于将所述图像数据采集时刻以时间戳的形式加入对应的图像数据中，以及用于将惯性数据采集时刻以时间戳的形式加入对应的惯性数据中；

所述数据比对模块用于将加入时间戳的图像数据和惯性数据进行时间戳比对，得到按照时间顺序排列的所述图像数据和所述惯性数据。