CN109255095B - Imu数据的积分方法、装置、计算机可读介质及电子设备 - Google Patents

Abstract

本发明的实施例提供了一种IMU数据的积分方法、装置、计算机可读介质及电子设备。该IMU数据的积分方法包括：若需要对第一时刻与第二时刻之间采集到的IMU数据进行积分，则确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间；在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果；根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。本发明实施例的技术方案降低了对IMU数据进行积分处理的计算量，提高了IMU数据的积分效率。

Description

IMU数据的积分方法、装置、计算机可读介质及电子设备

技术领域

本发明涉及计算机及通信技术领域，具体而言，涉及一种IMU数据的积分方法、装置、计算机可读介质及电子设备。

背景技术

惯性测量单元(Inertial measurement unit，简称IMU)是测量物体三轴姿态角(或角速度)以及加速度的装置。视觉惯导融合定位和重建是将视觉信息(一般是指普通摄像头拍摄得到的二维图像)和惯导信息(一般指IMU输出的角速度信息和加速度信息)进行融合，并用于定位和环境重建的技术，在进行融合的过程中，需要对一段时间的IMU数据进行积分，然而相关技术中提出的IMU数据积分方案存在计算效率低的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的实施例提供了一种IMU数据的积分方法、装置、计算机可读介质及电子设备，进而至少在一定程度上提高IMU数据积分的计算效率。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的一个方面，提供了一种IMU数据的积分方法，包括：若需要对第一时刻与第二时刻之间采集到的IMU数据进行积分，则确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间；在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果；根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

根据本发明实施例的一个方面，提供了一种IMU数据的积分装置，包括：确定单元，用于在需要对第一时刻与第二时刻之间采集到的IMU数据进行积分时，确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间；处理单元，用于在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果；生成单元，用于根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一些实施例中，基于前述方案，所述处理单元还用于：在确定未存储有所述第一积分结果时，对所述第一时刻与所述第二时刻之间采集到的IMU数据进行积分。

在本发明的一些实施例中，基于前述方案，所述的IMU数据的积分装置还包括：存储单元，用于在得到所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果之后，存储所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一些实施例中，基于前述方案，所述存储单元配置为：生成所述第一时刻对应的检索表，以通过所述第一时刻对应的检索表存储以所述第一时刻为积分起始点的IMU数据的积分结果。

在本发明的一些实施例中，基于前述方案，所述检索表的结构包括以下任一：数组、树结构、哈希表、链表。

在本发明的一些实施例中，基于前述方案，所述确定单元还用于，在需要对所述第一时刻与非IMU离散测量时刻的第四时刻之间采集到的IMU数据进行积分时，将处于所述第一时刻与所述第四时刻之间且最接近所述第四时刻的IMU离散测量时刻作为所述第二时刻；所述处理单元还用于，获取所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果；所述生成单元还用于，根据所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果，确定所述第一时刻与所述第四时刻之间采集到的IMU数据的积分结果。

在本发明的一些实施例中，基于前述方案，所述处理单元对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的积分结果包括：位置数据、速度数据和旋转数据。

在本发明的一些实施例中，基于前述方案，所述处理单元通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述位置数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的位置数据；

表示IMU数据中包含的从t时刻到t_j时刻的旋转信息；

表示IMU数据在b_j时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

在本发明的一些实施例中，基于前述方案，所述处理单元通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述速度数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的速度数据；

表示IMU数据中包含的从t时刻到t_m时刻的旋转信息；

表示IMU数据在b_m时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

在本发明的一些实施例中，基于前述方案，所述处理单元通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述旋转数据：

其中，

表示t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的旋转数据；

表示IMU数据在b_t时刻的角速度；

表示IMU数据在t_m时刻与t_n时刻之间的角速度的偏差；

×表示将一个3×1的向量c转换为3×3的矩阵。

在本发明的一些实施例中，基于前述方案，所述生成单元配置为：根据所述第一积分结果和所述第二积分结果中分别包含的位置数据、速度数据和旋转数据，分别计算所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的位置数据、速度数据和旋转数据，以得到所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一些实施例中，基于前述方案，所述生成单元配置为：将所述第一积分结果中包含的位置数据与所述第二积分结果中包含的位置数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的位置数据；和/或将所述第一积分结果中包含的速度数据与所述第二积分结果中包含的速度数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的速度数据；和/或将所述第一积分结果中包含的旋转数据与所述第二积分结果中包含的旋转数据进行求积处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的旋转数据。

根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的IMU数据的积分方法。

根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的IMU数据的积分方法。

在本发明的一些实施例所提供的技术方案中，在需要对第一时刻与第二时刻之间采集到的IMU数据进行积分时，通过确定是否存储有第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，以在确定存储有该第一积分结果时，获取该第一积分结果，并对第三时刻与第二时刻之间采集到的IMU数据进行积分得到第二积分结果，进而根据第一积分结果和第二积分结果生成第一时刻与第二时刻之间采集到的IMU数据的积分结果，使得在对一段时间内采集到的IMU数据进行积分时，可以复用这段时间内已经进行过积分处理的结果，进而能够缩短IMU数据的积分时长，降低了对IMU数据进行积分处理的计算量，提高了IMU数据积分的计算效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本发明实施例的IMU数据的积分方法或IMU数据的积分装置的示例性系统架构的示意图；

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本发明的一个实施例的IMU数据的积分方法的流程图；

图4示意性示出了根据本发明的一个实施例的IMU数据的积分方法的流程图；

图5示意性示出了根据本发明的一个实施例的基于视觉惯导信息融合进行同步定位和环境重建的场景图；

图6示出了根据本发明的一个实施例的不同大小的物体与相机处于不同距离时在相机中的投影示意图；

图7示出了根据本发明的一个实施例的固定间隔的IMU数据积分的示意图；

图8示出了根据本发明的一个实施例的非固定间隔的IMU数据积分的示意图；

图9示出了根据本发明的一个实施例的对IMU数据进行分段积分的示意图；

图10示出了根据本发明的一个实施例的每个t_k时刻对应的检索表的示意图；

图11示意性示出了根据本发明的一个实施例的IMU数据的积分装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本发明实施例的IMU数据的积分方法或IMU数据的积分装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

终端设备可以通过网络104与服务器105进行交互，服务器105可以是提供各种服务的服务器。例如终端设备103(也可以是终端设备101或102)向服务器105上传了采集到的IMU数据，当服务器需要对第一时刻与第二时刻之间采集到的IMU数据进行积分时，可以确定是否存储有第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，第三时刻处于第一时刻与第二时刻之间，当确定存储有该第一积分结果时，可以获取该第一积分结果，并对第三时刻与第二时刻之间采集到的IMU数据进行积分得到第二积分结果，然后根据第一积分结果和第二积分结果生成第一时刻与第二时刻之间采集到的IMU数据的积分结果，以此充分利用已经进行过积分处理的结果，进而降低对IMU数据进行积分处理的计算量，提高IMU数据积分的计算效率。

需要说明的是，本发明实施例所提供的IMU数据的积分方法一般由服务器105执行，相应地，IMU数据的积分装置一般设置于服务器105中。但是，在本发明的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本发明实施例所提供的IMU数据的积分方案。

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(Central Processing Unit，CPU)201，其可以根据存储在只读存储器(Read-Only Memory，ROM)202中的程序或者从存储部分208加载到随机访问存储器(Random Access Memory，RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(Input/Output，I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图4所示的各个步骤。

以下对本发明实施例的技术方案的实现细节进行详细阐述：

图3示意性示出了根据本发明的一个实施例的IMU数据的积分方法的流程图，该IMU数据的积分方法可以由服务器来执行，该服务器可以是图1中所示的服务器；另外该IMU数据的积分方法也可以由终端设备执行，比如可以是图1中所示的终端设备。参照图3所示，该IMU数据的积分方法至少包括步骤S310至步骤S340，详细介绍如下：

在步骤S310中，若需要对第一时刻与第二时刻之间采集到的IMU数据进行积分，则确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间。

在本发明的一个实施例中，惯性测量单元输出的IMU数据是离散的，即IMU数据是在IMU离散测量时刻输出的测量结果，其中的第一时刻与第二时刻可以是IMU离散测量时刻，也可以是非IMU离散测量时刻。

在本发明的一个实施例中，IMU数据包括角速度信息、加速度信息、旋转信息等。

在步骤S320中，在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果。

在本发明的一个实施例中，由于存储有第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，因此可以直接复用这段时间内的积分结果，以缩短IMU数据的积分时长，提高IMU数据积分的计算效率。

在步骤S330中，根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一个实施例中，IMU数据的积分结果包括：位置数据、速度数据和旋转数据。

在本发明的一个实施例中，可以根据上述第一积分结果和第二积分结果中分别包含的位置数据、速度数据和旋转数据，分别计算第一时刻与第二时刻之间采集到的IMU数据积分得到的位置数据、速度数据和旋转数据，以得到第一时刻与第二时刻之间采集到的IMU数据的积分结果。其中，在计算第一时刻与第二时刻之间采集到的IMU数据积分得到的位置数据和速度数据时，可以通过求和的方式来计算；而计算第一时刻与第二时刻之间采集到的IMU数据积分得到的旋转数据时，可以通过求乘积的方式来计算。

具体地，可以将第一积分结果中包含的位置数据与第二积分结果中包含的位置数据进行求和处理，得到第一时刻与第二时刻之间采集到的IMU数据积分得到的位置数据；并将第一积分结果中包含的速度数据与第二积分结果中包含的速度数据进行求和处理，得到第一时刻与第二时刻之间采集到的IMU数据积分得到的速度数据；同时将第一积分结果中包含的旋转数据与第二积分结果中包含的旋转数据进行求积处理，得到第一时刻与第二时刻之间采集到的IMU数据积分得到的旋转数据。

在本发明的一个实施例中，在得到上述第一时刻与第二时刻之间采集到的IMU数据的积分结果之后，可以存储第一时刻与第二时刻之间采集到的IMU数据的积分结果，以便于后续再次进行IMU数据积分时能够直接复用这段时间采集到的IMU数据的积分结果。

在本发明的一个实施例中，可以生成各个时刻对应的检索表，比如生成第一时刻对应的检索表，进而可以通过第一时刻对应的检索表存储以第一时刻为积分起始点的IMU数据的积分结果。其中，检索表的结构包括以下任一：数组、树结构、哈希表、链表，以提高积分结果的检索效率，进而也能够提高IMU数据积分的效率。

图3所示实施例的技术方案使得在对一段时间内采集到的IMU数据进行积分时，可以复用这段时间内已经进行过积分处理的结果，进而能够缩短IMU数据的积分时长，降低了对IMU数据进行积分处理的计算量，提高了IMU数据积分的计算效率。

在图3所示的IMU数据的积分方法的基础上，如图4所示，在本发明的一个实施例中，还可以包括步骤S410，在确定未存储有所述第一积分结果时，对所述第一时刻与所述第二时刻之间采集到的IMU数据进行积分。

以下详细介绍本发明实施例的中对IMU数据的积分过程。如上所述，对IMU数据进行积分得到的积分结果包括位置数据、速度数据和旋转数据，以下以对t_m时刻与t_n时刻之间采集到的IMU数据进行积分为例，分别阐述如何对IMU数据进行积分得到上述位置数据、速度数据和旋转数据。

对IMU数据进行积分得到位置数据的实施例：

在本发明的一个实施例中，可以通过下述公式来对t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到位置数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的位置数据；

表示IMU数据中包含的从t时刻到t_j时刻的旋转信息；

表示IMU数据在b_j时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

对IMU数据进行积分得到速度数据的实施例：

在本发明的一个实施例中，可以通过以下公式对t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到速度数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的速度数据；

表示IMU数据中包含的从t时刻到t_m时刻的旋转信息；

表示IMU数据在b_m时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

对IMU数据进行积分得到旋转数据的实施例：

在本发明的一个实施例中，可以通过以下公式对t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到旋转数据：

其中，

表示t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的旋转数据；

表示IMU数据在b_t时刻的角速度；

表示IMU数据在t_m时刻与t_n时刻之间的角速度的偏差；

×表示将一个3×1的向量c转换为3×3的矩阵。

基于前述实施例的技术方案，在本发明的一个实施例中，在需要对第一时刻与非IMU离散测量时刻的第四时刻之间采集到的IMU数据进行积分时，可以将处于第一时刻与第四时刻之间且最接近第四时刻的IMU离散测量时刻作为前述的第二时刻，然后获取第一时刻与第二时刻之间采集到的IMU数据的积分结果及第二时刻与第四时刻之间采集到的IMU数据的积分结果，并根据第一时刻与第二时刻之间采集到的IMU数据的积分结果及第二时刻与第四时刻之间采集到的IMU数据的积分结果，确定第一时刻与第四时刻之间采集到的IMU数据的积分结果。

在本发明的一个实施例中，可以通过前述实施例的技术方案来计算第二时刻与第四时刻之间采集到的IMU数据的积分结果；并且可以采用与计算第一时刻与第二时刻之间采集到的IMU数据的积分结果相似的方法来计算第一时刻与第四时刻之间采集到的IMU数据的积分结果。

以下以基于视觉惯导信息融合进行同步定位和环境重建的场景中进行IMU数据积分为例，对本发明实施例的一个具体应用场景进行详细阐述：

在本发明的一个实施例中，可以通过移动端上的传感器实时地对移动端的位置进行定位，并重建移动端周边的环境，这里的移动端可以是一台智能移动终端(如智能手机、平板电脑等)或者是一台移动机器人等。比如，可以是图5中所示的手机510，手机510上至少有两个传感器：一个是图像传感器，一个是IMU(包括用于测量三轴加速度的加速度计和测量三轴角速度的陀螺仪等)。即通过手机510可以实时获取到手机510上的相机采集到的视频流和IMU数据流。其中，相机采集到的视频流提供了相机在不同时刻对外部环境的观察效果，其采集频率一般为30Hz；IMU数据流提供了手机510在不同时刻的加速度和角速度，其频率一般为200Hz。

由于通过相机拍摄所得到的图像是二维的，其是对三维环境的一个降维表示，但是可以通过相机在不同时刻、不同位置所拍摄得到的图像来重构三维世界以及推断相机在不同时刻的历史位置，这个过程即为“同步定位与地图构建”。当有了手机的位置和周边的环境信息后，就能够与周边的环境进行交互，例如在手机端的VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)应用，由于已知了周围的环境信息，因此可以把虚拟的物品放置在真实环境中。同时，由于已知了手机的位置，因此可以将真实的环境和虚拟的环境通过相对应的位置关系渲染得到用户看到的图像并显示在手机屏幕上；在商场的导航中，由于重建了周边的环境信息，因此可以识别到用户身处的环境，同时由于已知了手机的位置，因此可以指引手机用户到附近最近的餐厅、商店洗手间等；在机器人执行任务时，由于重建了周边的环境信息，因此机器人可以躲开障碍物，同时由于机器人知道其所处的位置，因此机器人可以规划下一步的路径，并到达其要到达的地方执行相应的任务。可见，同步定位与地图构建在计算机视觉方面是一个非常重要的方向，有着广阔的应用前景。

在本发明的一个实施例中，移动端(如手机)在进行同步定位和环境重建时往往需要具备如下要求：

1、实时性：同步定位与地图构建的计算过程通常是在线的，而不是离线的，因此需要实时计算出移动端在不同时刻的位置和重构周边的环境，以满足移动端应用的需要。

2、与用户感知到的世界的尺度相同：同步定位与地图构建所获得的位置信息和所构建的地图尺度是不确定的，这是仅仅利用单个相机作为同步定位与地图构建的输入的最大缺点。简单地说，这个缺点来源于不同大小的物体与相机处于不同距离时，其在相机中的投影可能是一样的，比如如图6中所示的物体1、物体2和物体3，其大小不同，并且与相机之间的距离也不同，但是在相机中的投影可能是一样的。为了解决这个尺度不确定的问题，在本发明的实施例中引入了IMU，即移动端上的加速度计(测量物体的三轴加速度)和陀螺仪(测量物体的三轴角速率)。由于IMU测量的信息是对用户所处的真实世界的测量，因此将其与相机采集到的信息融合后得到的位置信息和所构建的地图尺度与真实世界保持了一致。

在本发明的一个实施例中，当引入了IMU数据之后，为了将IMU数据和相机采集到的信息融合在一起，还需要满足如下两个基本条件：

条件1：坐标系对齐和转换：即统一IMU测量值的坐标系与相机测量值的坐标系。

条件2：时间的对齐，即将IMU测量值的和相机测量值(即图像数据)保持时间同步。同步的图像数据和IMU数据需要通过复杂的硬件设计(如使用统一的时钟)才可以满足，而在现实生活中，IMU和摄像头往往是由不同的生产商生产，同时也由不同的厂商进行组装，因此得到的图像数据和IMU数据是不同步的，针对这种情况，可以通过软件的方式来解决图像数据和IMU数据不同步的问题，而在通过软件的方式进行时间对齐(将图像数据和IMU数据的时间进行对齐来实现同步)的过程中，都需要计算IMU数据的积分，以下实施例详细阐述本发明实施例中提出的IMU数据积分方案。

在本发明的一个实施例中，IMU的输出数据在100Hz以上而且是离散的，可以定义相机在t_k时刻的位置、速度和旋转在世界坐标系的表示为

和

同时

的等价四元数表示为

根据牛顿定律，从t_k时刻积分到t_k+1时刻的等式表示如下：

其中，g^w是重力加速度在世界坐标系下的表示，大小约为9.8。基于上述公式可以得到从t_k时刻到t_k+1时刻对IMU数据进行积分得到的位置、速度和旋转的积分结果分别表示为如下公式(1)、公式(2)和公式(3)：

其中，

表示IMU在b_t时刻的加速度，

表示IMU在b_t时刻的角速度，

表示IMU在时间间隔[t_k，t_k+1]之间的加速度的偏差，

表示IMU在时间间隔[t_k，t_k+1]之间的角速度的偏差，

表示从t时刻到t_k时刻的旋转；

×表示将一个3×1的向量C转换为3×3的矩阵的操作，具体如下所示：

上述公式(1)、公式(2)和公式(3)分别表示IMU数据从t_k时刻到t_k+1时刻积分得到的位置、速度和旋转。由于IMU数据是离散的，因此可以用离散的数值积分近似连续的数值积分，那么上述公式(1)、公式(2)和公式(3)分别变形得到如下公式(4)、公式(5)和公式(6)：

在得到上述公式(4)、公式(5)和公式(6)之后，可以计算任两个时刻之间的IMU数据的积分。

比如可以计算如图7所示的固定间隔的IMU数据积分，即t_k和t_k+1均是IMU离散读数的时刻；也可以计算如图8所示的非固定间隔的IMU数据积分，即t_k+1不是IMU离散读数的时刻。

在本发明的一个实施例中，为了提高IMU数据的积分效率，可以复用IMU数据已积分的结果。比如如图9所示，可以将时间段为[t_k，t_k+1]的IMU数据积分拆分成两个部分，分别为时间段为[t_k，t_m]的IMU数据积分和时间段为[t_m，t_k+1]的IMU数据积分，其中t_m为小于或等于t_k+1且最接近t_k+1的一个IMU离散测量的时刻。

在本发明的一个实施例中，如图10所示，可以针对每个t_k建立一个检索表，检索表中的每个元素为一个数据对，包括积分的截止时间和IMU数据积分的结果，这个截止时间同时作为检索的关键词。其中，检索表的数据结构可以是一个普通的数组、树结构、哈希表或链表，所有的时刻t_k对应的检索表的初始值为空。假设这个检索表的长度为N，那么使用普通的数组、树结构、哈希表和链表时，分别对应的算法复杂度为O(N)、O(logN)、O(1)和O(N)。

在本发明的一个实施例中，对时间段为[t_k，t_m]的IMU数据进行积分时，可以先查询t_k对应的检索表，存在如下几种情况：

1)如果t_k对应的检索表为空，则通过前述的公式(4)、公式(5)和公式(6)计算时间段为[t_k，t_m]的IMU数据积分，并把积分结果保存到t_k对应的检索表里面；

2)如果t_k对应的检索表不为空，但检索表里不存在t_m′，其中t_m′小于t_m，则通过前述的公式(4)、公式(5)和公式(6)计算时间段为[t_k，t_m]的IMU数据积分，并把积分结果保存到t_k对应的检索表里面；

3)如果t_k对应的检索表不为空，且检索表里存在t_m′，其中t_m′小于t_m，则可以读出时间段为[t_k，t_m′]的IMU数据积分，然后在此基础上通过前述的公式(4)、公式(5)和公式(6)计算时间段为[t_m′，t_m]的IMU数据积分，然后再根据时间段为[t_k，t_m′]的IMU数据积分与时间段为[t_m′，t_m]的IMU数据积分，计算得到时间段为[t_k，t_m]的IMU数据积分。在这种情况下，由于时间段为[t_k，t_m′]的IMU数据积分是存在于检索表里面，因此不需要前述的公式(4)、公式(5)和公式(6)进行重复计算，节省了计算时间。

在本发明的一个实施例中，可以根据时间段为[t_k，t_m′]的IMU数据积分与时间段为[t_m′，t_m]的IMU数据积分，并在前述的公式(4)、公式(5)和公式(6)的基础上进行变形得到如下公式(7)、公式(8)和公式(9)，以计算得到时间段为[t_k，t_m]的IMU数据积分：

由公式(7)可知：可以将时间段为[t_k，t_m′]的IMU数据积分结果中的位置与时间段为[t_m′，t_m]的IMU数据积分结果中的位置进行相加，来得到时间段为[t_k，t_m]的IMU数据积分结果中的位置。

由公式(8)可知：可以将时间段为[t_k，t_m′]的IMU数据积分结果中的速度与时间段为[t_m′，t_m]的IMU数据积分结果中的速度进行相加，来得到时间段为[t_k，t_m]的IMU数据积分结果中的速度。

由公式(9)可知：可以将时间段为[t_k，t_m′]的IMU数据积分结果中的旋转与时间段为[t_m′，t_m]的IMU数据积分结果中的旋转进行相乘，来得到时间段为[t_k，t_m]的IMU数据积分结果中的旋转。

其中，公式(7)、公式(8)和公式(9)中的参数详见上述的公式(1)、公式(2)和公式(3)处的说明。

在本发明的一个实施例中，在计算得到时间段为[t_k，t_m]的IMU数据积分之后，可以采用上述的公式(4)、公式(5)和公式(6)计算时间段为[t_m，t_k+1]的IMU数据积分，然后根据时间段为[t_k，t_m]的IMU数据积分与时间段为[t_m，t_k+1]的IMU数据积分，通过上述公式(7)、公式(8)和公式(9)计算得到时间段为[t_k，t_k+1]的IMU数据积分。

本发明上述实施例的技术方案由于复用了已经进行过积分处理的结果，因此能够缩短IMU数据的总体积分时长，降低了对IMU数据进行积分处理的计算量；同时，由于可以采用树结构或哈希表等作为检索表的数据结构，因此可以提高检索效率，进而整体上提高了IMU数据的积分效率。

以下介绍本发明的装置实施例，可以用于执行本发明上述实施例中的IMU数据的积分方法。对于本发明装置实施例中未披露的细节，请参照本发明上述的IMU数据的积分方法的实施例。

图11示意性示出了根据本发明的一个实施例的IMU数据的积分装置的框图。

参照图11所示，根据本发明的一个实施例的IMU数据的积分装置110，包括：确定单元1102、处理单元1104和生成单元1106。

其中，确定单元1102用于在需要对第一时刻与第二时刻之间采集到的IMU数据进行积分时，确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间；处理单元1104用于在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果；生成单元1106用于根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一个实施例中，处理单元1104还用于：在确定未存储有所述第一积分结果时，对所述第一时刻与所述第二时刻之间采集到的IMU数据进行积分。

在本发明的一个实施例中，所述的IMU数据的积分装置110，还包括：存储单元，用于在得到所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果之后，存储所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一个实施例中，所述存储单元配置为：生成所述第一时刻对应的检索表，以通过所述第一时刻对应的检索表存储以所述第一时刻为积分起始点的IMU数据的积分结果。

在本发明的一个实施例中，所述检索表的结构包括以下任一：数组、树结构、哈希表、链表。

在本发明的一个实施例中，确定单元1102还用于在需要对所述第一时刻与非IMU离散测量时刻的第四时刻之间采集到的IMU数据进行积分时，将处于所述第一时刻与所述第四时刻之间且最接近所述第四时刻的IMU离散测量时刻作为所述第二时刻；处理单元1104还用于获取所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果；生成单元1106还用于根据所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果，确定所述第一时刻与所述第四时刻之间采集到的IMU数据的积分结果。

在本发明的一个实施例中，处理单元1104对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的积分结果包括：位置数据、速度数据和旋转数据。

在本发明的一个实施例中，处理单元1104通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述位置数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的位置数据；

表示IMU数据中包含的从t时刻到t_j时刻的旋转信息；

表示IMU数据在b_j时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

在本发明的一个实施例中，处理单元1104通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述速度数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的速度数据；

表示IMU数据中包含的从t时刻到t_m时刻的旋转信息；

表示IMU数据在b_m时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

在本发明的一个实施例中，处理单元1104通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述旋转数据：

其中，

表示t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的旋转数据；

表示IMU数据在b_t时刻的角速度；

表示IMU数据在t_m时刻与t_n时刻之间的角速度的偏差；

×表示将一个3×1的向量c转换为3×3的矩阵。

在本发明的一个实施例中，生成单元1106配置为：根据所述第一积分结果和所述第二积分结果中分别包含的位置数据、速度数据和旋转数据，分别计算所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的位置数据、速度数据和旋转数据，以得到所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

在本发明的一个实施例中，生成单元1106配置为：将所述第一积分结果中包含的位置数据与所述第二积分结果中包含的位置数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的位置数据；和/或将所述第一积分结果中包含的速度数据与所述第二积分结果中包含的速度数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的速度数据；和/或将所述第一积分结果中包含的旋转数据与所述第二积分结果中包含的旋转数据进行求积处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的旋转数据。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种IMU数据的积分方法，其特征在于，包括：

若需要对第一时刻与第二时刻之间采集到的IMU数据进行积分，则确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间；

在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果；

根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果；

在需要对所述第一时刻与非IMU离散测量时刻的第四时刻之间采集到的IMU数据进行积分时，将处于所述第一时刻与所述第四时刻之间且最接近所述第四时刻的IMU离散测量时刻作为所述第二时刻；

获取所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果；

根据所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果，确定所述第一时刻与所述第四时刻之间采集到的IMU数据的积分结果；

其中，根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果，包括以下至少一种：

将所述第一积分结果中包含的位置数据与所述第二积分结果中包含的位置数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的位置数据；

将所述第一积分结果中包含的速度数据与所述第二积分结果中包含的速度数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的速度数据；

将所述第一积分结果中包含的旋转数据与所述第二积分结果中包含的旋转数据进行求积处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的旋转数据。

2.根据权利要求1所述的IMU数据的积分方法，其特征在于，还包括：

在确定未存储有所述第一积分结果时，对所述第一时刻与所述第二时刻之间采集到的IMU数据进行积分。

3.根据权利要求1所述的IMU数据的积分方法，其特征在于，还包括：

在得到所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果之后，存储所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果。

4.根据权利要求3所述的IMU数据的积分方法，其特征在于，在存储所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果之前，还包括：

生成所述第一时刻对应的检索表，以通过所述第一时刻对应的检索表存储以所述第一时刻为积分起始点的IMU数据的积分结果。

5.根据权利要求4所述的IMU数据的积分方法，其特征在于，所述检索表的结构包括以下任一：数组、树结构、哈希表、链表。

6.根据权利要求1至5中任一项所述的IMU数据的积分方法，其特征在于，对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的积分结果包括：位置数据、速度数据和旋转数据。

7.根据权利要求6所述的IMU数据的积分方法，其特征在于，通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述位置数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的位置数据；

表示IMU数据中包含的从t时刻到t_j时刻的旋转信息；

表示IMU数据在b_j时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

8.根据权利要求6所述的IMU数据的积分方法，其特征在于，通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述速度数据：

其中，

表示对t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的速度数据；

表示IMU数据中包含的从t时刻到t_m时刻的旋转信息；

表示IMU数据在b_m时刻的加速度；

表示IMU数据在t_m时刻与t_n时刻之间的加速度偏差。

9.根据权利要求6所述的IMU数据的积分方法，其特征在于，通过以下公式对所述t_m时刻与t_n时刻之间采集到的IMU数据进行积分，以得到所述旋转数据：

其中，

表示t_m时刻与t_n时刻之间采集到的IMU数据进行积分得到的旋转数据；

表示IMU数据在b_t时刻的角速度；

表示IMU数据在t_m时刻与t_n时刻之间的角速度的偏差；

表示将一个3×1的向量c转换为3×3的矩阵。

10.一种IMU数据的积分装置，其特征在于，包括：

确定单元，用于在需要对第一时刻与第二时刻之间采集到的IMU数据进行积分时，确定是否存储有所述第一时刻与第三时刻之间采集到的IMU数据的第一积分结果，其中，所述第三时刻处于所述第一时刻与所述第二时刻之间；

处理单元，用于在确定存储有所述第一积分结果时，获取所述第一积分结果，并对所述第三时刻与所述第二时刻之间采集到的IMU数据进行积分，得到第二积分结果；

生成单元，用于根据所述第一积分结果和所述第二积分结果，生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果；

其中，所述确定单元还用于在需要对所述第一时刻与非IMU离散测量时刻的第四时刻之间采集到的IMU数据进行积分时，将处于所述第一时刻与所述第四时刻之间且最接近所述第四时刻的IMU离散测量时刻作为所述第二时刻；

所述处理单元还用于获取所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果；

所述生成单元还用于，根据所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果及所述第二时刻与所述第四时刻之间采集到的IMU数据的积分结果，确定所述第一时刻与所述第四时刻之间采集到的IMU数据的积分结果；

所述生成单元生成所述第一时刻与所述第二时刻之间采集到的IMU数据的积分结果的过程，包括以下至少一种：

将所述第一积分结果中包含的位置数据与所述第二积分结果中包含的位置数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的位置数据；

将所述第一积分结果中包含的速度数据与所述第二积分结果中包含的速度数据进行求和处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的速度数据；

将所述第一积分结果中包含的旋转数据与所述第二积分结果中包含的旋转数据进行求积处理，得到所述第一时刻与所述第二时刻之间采集到的IMU数据积分得到的旋转数据。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的IMU数据的积分方法。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的IMU数据的积分方法。

Images