CN107888828B - 空间定位方法及装置、电子设备、以及存储介质 - Google Patents

Abstract

本发明的实施方式提供了一种空间定位方法及装置、电子设备、以及计算机可读存储介质，涉及大数据技术领域，该空间定位方法可应用于包含有图像采集装置和惯性测量装置的智能设备中，包括：获取当前帧图像对应的图像采集装置位姿信息；根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化当前帧图像对应的图像采集装置位姿信息；根据优化后的当前帧图像对应的图像采集装置位姿信息以及关键帧图像对应的图像采集装置位姿信息获取当前帧图像的空间定位。本公开可提高空间定位的精度以及定位效果。

Description

空间定位方法及装置、电子设备、以及存储介质

技术领域

本发明的实施方式涉及大数据技术领域，更具体地，本发明的实施方式涉及空间定位方法、空间定位装置、电子设备、以及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

根据手机和头戴设备等附带的摄像头和IMU(Inertial Measurement Unit,惯性测量单元)等传感器进行设备的空间定位，这就是目前较为通用的inside-out设备定位方法，该方法可应用于VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备、以及智能设备导航等场景。

相比于全局快门相机，卷帘快门相机的价格相对低廉，因此目前大多数智能设备都采用卷帘快门相机作为图像捕捉设备。但卷帘快门相机的曝光方式为逐行曝光，这就导致卷帘快门相机在运动过程中采集到的图像数据时间不一致。

发明内容

在现有技术中，以相机和IMU等辅助设备进行空间定位的方法都是基于采用的相机为全局快门相机这一假设实现的。即，在卷帘快门相机融合IMU的空间定位方法中，不考虑卷帘快门相机对于运动图像的影响，这种假设虽然能够简化处理过程，但也忽略了图像采集时间不一致所引发的问题，例如空间定位的精度低以及定位效果差等，从而在AR/VR等应用中会产生虚拟场景或者物体不断抖动的效果。

为此，非常需要一种改进的空间定位方法，以使得能够进行高精度的空间定位。

在本上下文中，本发明的实施方式期望提供一种空间定位方法、空间定位装置、电子设备、以及计算机可读存储介质。

在本发明实施方式的第一方面中，提供了一种空间定位方法，应用于包含有图像采集装置和惯性测量装置的智能设备中；所述空间定位方法包括：

获取当前帧图像对应的图像采集装置位姿信息；

根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化所述当前帧图像对应的图像采集装置位姿信息；

根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。

在本发明的一个实施例中，优化所述当前帧图像对应的图像采集装置位姿信息包括：

基于所述关键帧图像得到该关键帧图像的多个关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息；

根据多个所述关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息对所述当前帧图像对应的图像采集装置位姿信息进行优化，以使所述当前帧图像的特征点在各个所述关键帧分图像上的重投影误差小于一预设值。

在本发明的一个实施例中，对所述当前帧图像对应的图像采集装置位姿信息进行优化包括：

获取所述关键帧图像的时间戳以及惯性信息并预测所述关键帧图像在初始采集时刻的关键帧分图像对应的图像采集装置位姿信息；

根据所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息以及自所述初始采集时刻到目标采集时刻的惯性信息预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息；

根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差对所述当前帧图像对应的图像采集装置位姿信息进行优化；

其中，所述初始采集时刻与所述目标采集时刻为同一帧图像的不同采集时刻，且所述初始采集时刻为所述时间戳标定的时刻。

在本发明的一个实施例中，预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息包括：

获取所述初始采集时刻以及所述目标采集时刻；

根据自所述初始采集时刻到目标采集时刻的加速度信息和角速度信息、以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息预积分所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息。

在本发明的一个实施例中，所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差的确定方法包括：

根据所述关键帧图像的极线曲线确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置；

根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的重投影误差。

在本发明的一个实施例中，所述关键帧图像的极线曲线的确定方法包括：

基于在所述初始采集时刻所述关键帧图像的一点，根据所述初始采集时刻的速度信息以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息拟合所述关键帧图像的极线曲线。

在本发明的一个实施例中，获取当前帧图像对应的图像采集装置位姿信息包括：

提取当前帧图像的特征点并计算所述特征点的特征描述量；

根据上一帧图像对应的图像采集装置位姿信息和上一帧图像到当前帧图像的惯性信息估算当前帧图像对应的图像采集装置位姿信息以及上一帧图像的特征点到当前帧图像的投影位置；

根据上一帧图像的特征描述量和当前帧图像的特征描述量在预设范围内对当前帧图像与上一帧图像进行特征匹配，并利用所述特征匹配的关系校正所述当前帧图像对应的图像采集装置位姿信息。

在本发明的一个实施例中，所述空间定位方法还包括：

对所述图像采集装置和所述惯性测量装置进行初始化。

在本发明实施方式的第二方面中，提供一种空间定位装置，应用于包含有图像采集装置和惯性测量装置的智能设备中；其特征在于，所述空间定位装置包括：

获取模块，用于获取当前帧图像对应的图像采集装置位姿信息；

优化模块，用于根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化所述当前帧图像对应的图像采集装置位姿信息；

定位模块，用于根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。

在本发明的一个实施例中，所述优化模块包括：

分割子模块，用于基于所述关键帧图像得到该关键帧图像的多个关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息；

优化子模块，用于根据多个所述关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息对所述当前帧图像对应的图像采集装置位姿信息进行优化，以使所述当前帧图像的特征点在各个所述关键帧分图像上的重投影误差小于一预设值。

在本发明的一个实施例中，所述优化子模块包括：

第一预测单元，用于获取所述关键帧图像的时间戳以及惯性信息并预测所述关键帧图像在初始采集时刻的关键帧分图像对应的图像采集装置位姿信息；

第二预测单元，用于根据所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息以及自所述初始采集时刻到目标采集时刻的惯性信息预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息；

优化单元，用于根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差对所述当前帧图像对应的图像采集装置位姿信息进行优化；

其中，所述初始采集时刻与所述目标采集时刻为同一帧图像的不同采集时刻，且所述初始采集时刻为所述时间戳标定的时刻。

在本发明的一个实施例中，所述第二预测单元包括：

时钟子单元，用于获取所述初始采集时刻以及所述目标采集时刻；

预积分子单元，用于根据自所述初始采集时刻到目标采集时刻的加速度信息和角速度信息、以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息预积分所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息。

在本发明的一个实施例中，所述优化单元包括：

投影位置子单元，用于根据所述关键帧图像的极线曲线确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置；

投影误差子单元，用于根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的重投影误差。

在本发明的一个实施例中，所述优化单元还包括：

极线拟合子单元，用于基于在所述初始采集时刻所述关键帧图像的一点，根据所述初始采集时刻的速度信息以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息拟合所述关键帧图像的极线曲线。

在本发明的一个实施例中，所述获取模块包括：

提取子模块，用于提取当前帧图像的特征点并计算所述特征点的特征描述量；

估算子模块，用于根据上一帧图像对应的图像采集装置位姿信息和上一帧图像到当前帧图像的惯性信息估算当前帧图像对应的图像采集装置位姿信息以及上一帧图像的特征点到当前帧图像的投影位置；

校正子模块，用于根据上一帧图像的特征描述量和当前帧图像的特征描述量在预设范围内对当前帧图像与上一帧图像进行特征匹配，并利用所述特征匹配的关系校正所述当前帧图像对应的图像采集装置位姿信息。

在本发明的一个实施例中，所述空间定位装置还包括：

初始化模块，用于对所述图像采集装置和所述惯性测量装置进行初始化。

在本发明实施方式的第三方面中，提供了一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述的空间定位方法。

在本发明实施方式的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的空间定位方法。

根据本发明实施方式的空间定位方法和空间定位装置，首先获取当前帧图像对应的图像采集装置位姿信息；然后根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化所述当前帧图像对应的图像采集装置位姿信息；最后根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。这样一来，基于优化后的位姿信息进行空间定位不仅可以大幅度的降低空间定位的误差，从而提高空间定位的精度，而且还能有效的改善空间定位的效果，从而避免出现虚拟场景或者物体抖动的现象。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性示出了根据本发明实施方式的一示例性应用场景的示意图；

图2示意性示出了根据本发明一实施例的空间定位方法的流程图；

图3示意性示出了根据本发明一实施例的空间定位装置的示意框图；

图4示意性示出了根据本发明实施例的电子设备的一种示意框图；以及

图5示意性示出了根据本发明实施例的用于空间定位的一种程序产品。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种空间定位方法和空间定位装置。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，现有技术中以相机和IMU等辅助设备进行空间定位的方法都是基于采用的相机为全局快门相机这一假设实现的。即，在卷帘快门相机融合IMU的空间定位方法中，不考虑卷帘快门相机对于运动图像的影响，这种假设虽然能够简化处理过程，但也忽略了图像采集时间不一致所引发的问题，例如空间定位的精度低以及定位效果差等，从而在AR/VR等应用中会产生虚拟场景或者物体不断抖动的效果。

基于上述内容，本发明的基本思想在于：获取当前帧图像对应的图像采集装置位姿信息；根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化所述当前帧图像对应的图像采集装置位姿信息；根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。因此，根据本发明的实施方式可以先利用关键帧图像对当前帧图像对应的图像采集装置位姿信息进行优化，再根据优化后的位姿信息进行空间定位。这样一来，基于优化后的位姿信息进行空间定位不仅可以大幅度的降低空间定位的误差，从而提高空间定位的精度，而且还能有效的改善空间定位的效果，从而避免出现虚拟场景或者物体抖动的现象。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，图1示出了本发明的实施方式的一示例性应用场景的示意图。如图1所示，智能设备10可用于将虚拟的小猫201嵌入真实的房间场景202中，其例如可以通过一智能手机来实现，该智能手机可以包括图像采集装置101和惯性测量装置102。其中，智能设备10可将图像采集装置101获取的图像信息以及惯性测量装置102获取的惯性信息发送至服务器，从而对该智能设备10进行精确的空间定位。

本领域技术人员应该理解，图1所示的示意图仅是本发明的实施方式可以在其中得以实现的一个示例。本发明实施方式的适用范围不受到该框架任何方面的限制。

需要说明的是，本发明的示例性附图以AR设备为例，然而，本发明的应用场景不限于AR设备。本发明的应用场景也可以应用于VR设备、智能设备导航等场景。

应该理解的是，本发明的应用场景中，在执行主体方面不受任何限制，只要执行了本发明实施方式所公开的动作即可。

示例性方法

下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的用于空间定位的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

图2示出了根据本发明一实施例的空间定位方法的流程图。参考图2所示，该空间定位方法可以包括以下步骤：

S10.获取当前帧图像对应的图像采集装置位姿信息；

S20.根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化当前帧图像对应的图像采集装置位姿信息；

S30.根据优化后的当前帧图像对应的图像采集装置位姿信息以及关键帧图像对应的图像采集装置位姿信息获取当前帧图像的空间定位。

根据本发明实施方式的空间定位方法和空间定位装置，可以先利用关键帧图像对当前帧图像对应的图像采集装置位姿信息进行优化，再根据优化后的位姿信息进行空间定位。这样一来，基于优化后的位姿信息进行空间定位不仅可以大幅度的降低空间定位的误差，从而提高空间定位的精度，而且还能有效的改善空间定位的效果，从而避免出现虚拟场景或者物体抖动的现象。

接下来，将对本示例实施例中的空间定位方法进一步进行说明。

在步骤S10之前，需要对图像采集装置10和惯性测量装置20进行初始化。

在本示例实施例中，所述图像采集装置10是指具有图像捕捉功能以及存储功能的装置，例如手机摄像单元。所述惯性测量装置20是指用于测量物体三轴姿态角或角速率以及加速度的装置，其例如可以包括三个单轴的加速度计和三个单轴的陀螺，加速度计可用于检测物体在载体坐标系统独立三轴的加速度信号，而陀螺可用于检测载体相对于导航坐标系的角速度信号。

需要说明的是，本实施例与大多数视觉融合IMU的空间定位算法类似，首先需要进行图像采集装置10和惯性测量装置20的初始化，对齐图像采集装置10和惯性测量装置20以及真实场景之间的真实尺度信息，同时恢复出设备的运动状态以及IMU的偏置量信息。

在步骤S10中，获取当前帧图像对应的图像采集装置位姿信息。

在本示例实施例中，所述图像采集装置位姿信息是指该图像采集装置10的位姿信息，其可用于描述设备相对于环境的位置与姿态等。

本步骤S10中获取当前帧图像对应的图像采集装置位姿信息具体可以包括：

S101、提取当前帧图像的特征点并计算该特征点的特征描述量；

S102、根据上一帧图像对应的图像采集装置位姿信息和上一帧图像到当前帧图像的惯性信息估算当前帧图像对应的图像采集装置位姿信息以及上一帧图像的特征点到当前帧图像的投影位置；

S103、根据上一帧图像的特征描述量和当前帧图像的特征描述量在预设范围内对当前帧图像与上一帧图像进行特征匹配，并利用特征匹配关系校正当前帧图像对应的图像采集装置位姿信息。

其中，根据设备运算能力以及应用场景，所述特征点的提取方法可以为SIFT、FAST、ORB等特征提取方法中的任一种，所述特征描述量的计算方法相应的也可以为SIFT、BRIEF、ORB等特征描述方法中的任一种。所述惯性信息可由IMU采集而得，其具体可以包括角速度和加速度等信息。

举例而言，采用FAST特征提取方法提取当前帧图像的特征点，并采用FAST特征描述方法计算所提取的特征点的特征描述量；在完成特征描述量的计算之后，可利用上一帧图像对应的相机位姿信息和上一帧图像到当前帧图像的IMU信息估算当前帧图像的相机位姿信息，以及上一帧图像的特征点到当前帧图像的投影位置；在此基础上，根据特征描述量的匹配程度在一小范围内计算当前帧图像与上一帧图像的特征匹配程度，并利用得到的特征匹配关系来对之前获取的当前帧图像的相机位姿信息进行校正。

需要说明的是，基于上述步骤所得到的图像采集装置位姿信息仅为一初始估计量，其并未考虑设备运动所导致的同一帧图像的实际采集时间不同的问题，以此确定的空间定位精度有待提高。

基于此，为了提高空间定位精度，需要对图像采集装置10的位姿信息以及场景的三维信息进行优化。

在步骤S20中，根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化当前帧图像对应的图像采集装置位姿信息。

在本示例性实施例中，所述关键帧图像是指在跟踪过程中所选取的状态良好的图像帧。为了减小计算量并增加计算效率，这里可采用集束优化法进行关键帧的优化。所述关键帧图像对应的惯性信息可以包括速度、加速度、角速度、以及偏置量信息等。

本步骤S20中优化当前帧图像对应的图像采集装置位姿信息的步骤可以包括：

S201、基于关键帧图像得到该关键帧图像的多个关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息；

S202、根据多个关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息对当前帧图像对应的图像采集装置位姿信息进行优化，以使当前帧图像的特征点在各个关键帧分图像上的重投影误差小于一预设值。

其中，所述预设值是用于衡量重投影误差大小的指标，其取值越小、重投影误差就越小，最终得到的定位精度就越高。

需要说明的是：所述关键帧分图像是指针对在运动过程中采集的到关键帧图像，其在不同捕捉时刻对应的图像数据。具体而言，由于关键帧图像是图像采集装置10在运动过程中获取的，而图像采集装置10为卷帘快门相机，其曝光方式为逐行曝光，因此同一帧图像的每行数据实际是在不同的位姿下捕捉得到的。基于此，本实施例可将一关键帧图像分割为多个关键帧分图像，并计算出各个关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息，再通过优化当前帧图像的特征点在各个关键帧分图像上的重投影误差以使其小于一预设值，从而实现对当前帧图像对应的图像采集装置位姿信息的优化。这样一来，由于当前帧图像的特征点相对于每个关键帧分图像的重投影误差均得到了优化，因此其相对于在运动过程中得到的关键帧图像的重投影误差也得到了优化。

在步骤S202中对当前帧图像对应的图像采集装置位姿信息进行优化的方法具体可以包括：

S202-1、获取关键帧图像的时间戳以及惯性信息并预测关键帧图像在初始采集时刻的关键帧分图像对应的图像采集装置位姿信息；

S202-2、根据初始采集时刻的关键帧分图像对应的图像采集装置位姿信息以及自初始采集时刻到目标采集时刻的惯性信息预测该关键帧图像在目标采集时刻的关键帧分图像对应的图像采集装置位姿信息；

S202-3、根据当前帧图像的特征点在初始采集时刻的关键帧分图像和在目标采集时刻的关键帧分图像上的重投影误差对当前帧图像对应的图像采集装置位姿信息进行优化。

其中，初始采集时刻t₀与目标采集时刻t_n为同一帧图像的不同采集时刻。所述初始采集时刻t₀为关键帧图像的时间戳标定的时刻，即采集该关键帧图像的第一行的时刻；所述目标采集时刻t_n为采集该关键帧图像的第n行的时刻，且该目标采集时刻t_n可以包括多个，例如采集该关键帧图像的第10行、第20行、第50行对应的时刻等。

假设图像采集装置10的总曝光时间为t_e，采集到的图像共L行，则第n行的采集时间即目标采集时刻为t_n＝t₀+t_e·n/L，1<n≤L。在此情况下，首先基于惯性信息获取初始采集时刻t₀的关键帧分图像对应的图像采集装置位姿信息T₀；然后利用初始采集时刻t₀到目标采集时刻t_n的惯性信息例如加速度、角速度等信息，基于初始采集时刻t₀的关键帧分图像对应的图像采集装置位姿信息预积分出关键帧图像在目标采集时刻t_n的关键帧分图像对应的图像采集装置位姿信息T_n。

为了保证计算效率，本实施例对于初始采集时刻t₀到目标采集时刻t_n的图像采集装置的位姿变化信息不进行优化，即将初始采集时刻t₀到目标采集时刻t_n的图像采集装置的相对位姿变化视为恒定T_n’＝T₀ ^-1·T_n。此时，用于进行优化的实际参数仅为关键帧图像在初始采集时刻t₀对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息例如速度、加速度、角速度和偏置量信息等。由于初始采集时刻t₀到目标采集时刻t_n的图像采集装置的相对位姿变化恒定，因此基于初始采集时刻t₀的各项参数即可得到其它采集时刻即目标采集时刻t_n的各项参数，例如目标采集时刻t_n对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息，从而能够得到各个关键帧分图像的上述参数。在此基础上，根据当前帧图像的特征点在不同采集时刻的关键帧分图像上的重投影误差即可实现对当前帧图像对应的图像采集装置位姿信息的优化，以使当前帧图像的特征点在各个关键帧分图像上的重投影误差小于预设值。

基于此，所述当前帧图像的特征点在不同采集时刻的关键帧分图像上的重投影误差的确定方法可以包括：

首先，基于在初始采集时刻t₀关键帧图像的一点，根据该初始采集时刻t₀的速度信息以及初始采集时刻t₀的关键帧分图像对应的图像采集装置位姿信息拟合关键帧图像的极线曲线；

然后，根据该关键帧图像的极线曲线确定当前帧图像的特征点在不同采集时刻的关键帧分图像上的投影位置；

最后，根据当前帧图像的特征点在不同采集时刻的关键帧分图像上的投影位置确定当前帧图像的特征点在不同采集时刻的关键帧分图像上的重投影误差。

本实施例中，采用图像采集装置10直接采集到的帧图像是没有深度信息的，一帧图像上的一点其实对应了一条沿着观察方向射出去的射线，在另一帧图像中搜索该点时需要在射线投影的极线方向进行搜索。然而卷帘快门相机的同一帧图像是在不同的位姿下采集得到的，则其对应的极线是一曲线。由于极线搜索会在极线两侧较宽的区间内进行搜索，因此本实施例可对极线进行简单的拟合，即假设图像采集装置10在初始采集时刻t₀到目标采集时刻t_n进行匀速运动，速度保持为初始采集时刻t₀的运动速度v₀，则根据初始采集时刻t₀的运动速度v₀以及该时刻关键帧分图像对应的图像采集装置位姿信息T₀即可计算出极限曲线。

在步骤S30中，根据优化后的当前帧图像对应的图像采集装置位姿信息以及关键帧图像对应的图像采集装置位姿信息获取当前帧图像的空间定位。

在本示例实施例中，以关键帧图像对应的图像采集装置位姿信息为基础，通过将优化后的当前帧图像对应的图像采集装置位姿信息与关键帧图像对应的图像采集装置位姿信息进行对比，即可得到当前帧图像的精确空间定位信息。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明一示例性实施方式的空间定位装置30进行详细描述。如图3所示，该空间定位装置可以包括：获取模块301、优化模块302、以及定位模块303。其中：

获取模块301，可用于获取当前帧图像对应的图像采集装置位姿信息；

优化模块302，可用于根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化所述当前帧图像对应的图像采集装置位姿信息；

定位模块303，可用于根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。

在本发明的一个实施例中，所述优化模块302可以包括：

分割子模块，用于基于所述关键帧图像得到该关键帧图像的多个关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息；

优化子模块，用于根据多个所述关键帧分图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息对所述当前帧图像对应的图像采集装置位姿信息进行优化，以使所述当前帧图像的特征点在各个所述关键帧分图像上的重投影误差小于一预设值。

在本发明的一个实施例中，所述优化子模块可以包括：

第一预测单元，用于获取所述关键帧图像的时间戳以及惯性信息并预测所述关键帧图像在初始采集时刻的关键帧分图像对应的图像采集装置位姿信息；

第二预测单元，用于根据所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息以及自所述初始采集时刻到目标采集时刻的惯性信息预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息；

优化单元，用于根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差对所述当前帧图像对应的图像采集装置位姿信息进行优化；

其中，所述初始采集时刻与所述目标采集时刻为同一帧图像的不同采集时刻，且所述初始采集时刻为所述时间戳标定的时刻。

在本发明的一个实施例中，所述第二预测单元可以包括：

时钟子单元，用于获取所述初始采集时刻以及所述目标采集时刻；

预积分子单元，用于根据自所述初始采集时刻到目标采集时刻的加速度信息和角速度信息、以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息预积分所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息。

在本发明的一个实施例中，所述优化单元可以包括：

投影位置子单元，用于根据所述关键帧图像的极线曲线确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置；

投影误差子单元，用于根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的重投影误差。

在本发明的又一个实施例中，所述优化单元还可以包括：

极线拟合子单元，用于基于在所述初始采集时刻所述关键帧图像的一点，根据所述初始采集时刻的速度信息以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息拟合所述关键帧图像的极线曲线。

在本发明的一个实施例中，所述获取模块301可以包括：

提取子模块，用于提取当前帧图像的特征点并计算所述特征点的特征描述量；

估算子模块，用于根据上一帧图像对应的图像采集装置位姿信息和上一帧图像到当前帧图像的惯性信息估算当前帧图像对应的图像采集装置位姿信息以及上一帧图像的特征点到当前帧图像的投影位置；

校正子模块，用于根据上一帧图像的特征描述量和当前帧图像的特征描述量在预设范围内对当前帧图像与上一帧图像进行特征匹配，并利用所述特征匹配的关系校正所述当前帧图像对应的图像采集装置位姿信息。

在本发明的一个实施例中，所述空间定位装置还可以包括：

初始化模块，用于对所述图像采集装置和所述惯性测量装置进行初始化。

需要说明的是：由于本发明的示例实施例中的空间定位装置的各个功能模块与上述空间定位方法的各个步骤对应，因此在此将不再赘述。

示例性设备

在介绍了本发明示例性实施方式的方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的用于空间定位的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的电子设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的空间定位方法中的步骤。例如，所述处理单元可以执行如图2中所示的步骤S10：获取当前帧图像对应的图像采集装置位姿信息；步骤S20：根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化当前帧图像对应的图像采集装置位姿信息；以及步骤S30：根据优化后的当前帧图像对应的图像采集装置位姿信息以及关键帧图像对应的图像采集装置位姿信息获取当前帧图像的空间定位。

下面参照图4来描述根据本发明的这种实施方式的用于空间定位的电子设备400。图4所示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，该电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：上述至少一个处理单元401、上述至少一个存储单元402、连接不同系统组件(包括存储单元402和处理单元401)的总线403。

总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元402可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)4021和/或高速缓存存储器4022，还可以进一步包括只读存储器(ROM)4023。

存储单元402还可以包括具有一组(至少一个)程序模块4024的程序/实用工具4025，这样的程序模块4024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备400也可以与一个或多个外部设备404(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与电子设备400交互的设备通信，和/或与使得电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且，电子设备400还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器406通过总线403与电子设备400的其它模块通信。应当明白，尽管图4中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

示例性程序产品

在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的空间定位方法中的步骤，例如，所述处理单元可以执行如图2中所示的步骤S10：获取当前帧图像对应的图像采集装置位姿信息；步骤S20：根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息优化当前帧图像对应的图像采集装置位姿信息；以及步骤S30：根据优化后的当前帧图像对应的图像采集装置位姿信息以及关键帧图像对应的图像采集装置位姿信息获取当前帧图像的空间定位。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

如图5所示，描述了根据本发明的实施方式的用于空间定位的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于空间定位的电子设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (16)

1.一种空间定位方法，应用于包含有图像采集装置和惯性测量装置的智能设备中；其特征在于，所述空间定位方法包括：

获取当前帧图像对应的图像采集装置位姿信息；

根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息，优化当前帧图像的特征点在各个关键帧分图像上的重投影误差以使其小于一预设值，从而实现对所述当前帧图像对应的图像采集装置位姿信息的优化；

根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。

2.根据权利要求1所述的空间定位方法，其特征在于，对所述当前帧图像对应的图像采集装置位姿信息进行优化包括：

获取所述关键帧图像的时间戳以及惯性信息并预测所述关键帧图像在初始采集时刻的关键帧分图像对应的图像采集装置位姿信息；

根据所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息以及自所述初始采集时刻到目标采集时刻的惯性信息预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息；

根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差对所述当前帧图像对应的图像采集装置位姿信息进行优化；

其中，所述初始采集时刻与所述目标采集时刻为同一帧图像的不同采集时刻，且所述初始采集时刻为所述时间戳标定的时刻。

3.根据权利要求2所述的空间定位方法，其特征在于，预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息包括：

获取所述初始采集时刻以及所述目标采集时刻；

根据自所述初始采集时刻到目标采集时刻的加速度信息和角速度信息、以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息预积分所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息。

4.根据权利要求2所述的空间定位方法，其特征在于，所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差的确定方法包括：

根据所述关键帧图像的极线曲线确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置；

根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的重投影误差。

5.根据权利要求4所述的空间定位方法，其特征在于，所述关键帧图像的极线曲线的确定方法包括：

基于在所述初始采集时刻所述关键帧图像的一点，根据所述初始采集时刻的速度信息以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息拟合所述关键帧图像的极线曲线。

6.根据权利要求1所述的空间定位方法，其特征在于，获取当前帧图像对应的图像采集装置位姿信息包括：

提取当前帧图像的特征点并计算所述特征点的特征描述量；

根据上一帧图像对应的图像采集装置位姿信息和上一帧图像到当前帧图像的惯性信息估算当前帧图像对应的图像采集装置位姿信息以及上一帧图像的特征点到当前帧图像的投影位置；

根据上一帧图像的特征描述量和当前帧图像的特征描述量在预设范围内对当前帧图像与上一帧图像进行特征匹配，并利用所述特征匹配的关系校正所述当前帧图像对应的图像采集装置位姿信息。

7.根据权利要求1-6任一项所述的空间定位方法，其特征在于，所述空间定位方法还包括：

对所述图像采集装置和所述惯性测量装置进行初始化。

8.一种空间定位装置，应用于包含有图像采集装置和惯性测量装置的智能设备中；其特征在于，所述空间定位装置包括：

获取模块，用于获取当前帧图像对应的图像采集装置位姿信息；

优化模块，用于根据关键帧图像对应的图像采集装置位姿信息、特征点描述信息、以及惯性信息，优化当前帧图像的特征点在各个关键帧分图像上的重投影误差以使其小于一预设值，从而实现对所述当前帧图像对应的图像采集装置位姿信息的优化；

定位模块，用于根据优化后的所述当前帧图像对应的图像采集装置位姿信息以及所述关键帧图像对应的图像采集装置位姿信息获取所述当前帧图像的空间定位。

9.根据权利要求8所述的空间定位装置，其特征在于，所述优化模块包括：

第一预测单元，用于获取所述关键帧图像的时间戳以及惯性信息并预测所述关键帧图像在初始采集时刻的关键帧分图像对应的图像采集装置位姿信息；

第二预测单元，用于根据所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息以及自所述初始采集时刻到目标采集时刻的惯性信息预测所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息；

优化单元，用于根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和在所述目标采集时刻的关键帧分图像上的重投影误差对所述当前帧图像对应的图像采集装置位姿信息进行优化；

其中，所述初始采集时刻与所述目标采集时刻为同一帧图像的不同采集时刻，且所述初始采集时刻为所述时间戳标定的时刻。

10.根据权利要求9所述的空间定位装置，其特征在于，所述第二预测单元包括：

时钟子单元，用于获取所述初始采集时刻以及所述目标采集时刻；

预积分子单元，用于根据自所述初始采集时刻到目标采集时刻的加速度信息和角速度信息、以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息预积分所述关键帧图像在所述目标采集时刻的关键帧分图像对应的图像采集装置位姿信息。

11.根据权利要求9所述的空间定位装置，其特征在于，所述优化单元包括：

投影位置子单元，用于根据所述关键帧图像的极线曲线确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置；

投影误差子单元，用于根据所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的投影位置确定所述当前帧图像的特征点在所述初始采集时刻的关键帧分图像和所述目标采集时刻的关键帧分图像上的重投影误差。

12.根据权利要求11所述的空间定位装置，其特征在于，所述优化单元还包括：

极线拟合子单元，用于基于在所述初始采集时刻所述关键帧图像的一点，根据所述初始采集时刻的速度信息以及所述初始采集时刻的关键帧分图像对应的图像采集装置位姿信息拟合所述关键帧图像的极线曲线。

13.根据权利要求8所述的空间定位装置，其特征在于，所述获取模块包括：

提取子模块，用于提取当前帧图像的特征点并计算所述特征点的特征描述量；

估算子模块，用于根据上一帧图像对应的图像采集装置位姿信息和上一帧图像到当前帧图像的惯性信息估算当前帧图像对应的图像采集装置位姿信息以及上一帧图像的特征点到当前帧图像的投影位置；

校正子模块，用于根据上一帧图像的特征描述量和当前帧图像的特征描述量在预设范围内对当前帧图像与上一帧图像进行特征匹配，并利用所述特征匹配的关系校正所述当前帧图像对应的图像采集装置位姿信息。

14.根据权利要求8～13任意一项所述的空间定位装置，其特征在于，所述空间定位装置还包括：

初始化模块，用于对所述图像采集装置和所述惯性测量装置进行初始化。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7中任一项所述的空间定位方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的空间定位方法。

Images