CN110986930B - 设备定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了设备定位方法、装置、电子设备及存储介质，属于导航技术领域。方法包括：通过IMU惯性测量单元，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息。通过摄像机获取目标设备当前时刻的测量定位信息。根据当前时刻的预测定位信息及测量定位信息，获取目标设备当前时刻的参考定位信息。基于参考定位信息，通过IMU及摄像机确定目标设备下一时刻的目标定位信息。本申请中目标设备下一时刻的目标定位信息，是综合了通过IMU获取的预测定位信息以及通过摄像机获取的测量定位信息预测得到的。因此，避免了仅通过推算进行预测而导致的误差累积，保证了目标定位信息的准确度与精度。

Description

设备定位方法、装置、电子设备及存储介质

技术领域

本申请涉及导航技术领域，特别涉及一种设备定位方法、装置、电子设备及存储介质。

背景技术

随着导航技术的发展，使用导航功能的场景也越来越多。例如，在物流配送场景中，常常需要对车辆等移动设备进行导航。其中，导航功能的实施主要依赖于对设备的准确定位。因此，如何对使用导航功能的目标设备进行定位，是保证导航功能正常实施的关键。

相关技术提供一种定位方法，该方法通过IMU(Inertial Measurement Unit，惯性测量单元)对目标设备进行定位。定位过程中，IMU首先通过陀螺仪测量得到角速度，通过加速度计测量得到加速度，基于角速度及加速度计算得到当前时刻的定位结果。之后，根据当前时刻的定位结果推算得到下一时刻的定位结果，以此类推，即可完成连续的定位过程。

然而，正是由于相关技术不断通过当前时刻的定位结果来推算下一时刻的定位结果，因而各个时刻的定位结果的误差会不断累积，导致定位精度逐渐发散。因此，相关技术在长时间、长距离的场景下的定位精度较低。

申请内容

本申请实施例提供了一种设备定位方法、装置、电子设备及存储介质，以解决相关技术在长时间、长距离的场景下的定位精度较低的问题。所述技术方案如下：

一方面，提供了一种设备定位方法，所述方法包括：

通过IMU惯性测量单元，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息；

通过摄像机获取所述目标设备当前时刻的测量定位信息；

根据所述当前时刻的预测定位信息及所述测量定位信息，获取所述目标设备当前时刻的参考定位信息；

基于所述参考定位信息，通过所述IMU及所述摄像机确定所述目标设备下一时刻的目标定位信息。

可选地，所述基于所述参考定位信息，通过所述IMU及所述摄像机确定所述目标设备下一时刻的目标定位信息，包括：

基于所述参考定位信息，通过所述IMU预测所述目标设备下一时刻的第一定位信息；

基于所述第一定位信息，在所述下一时刻通过所述摄像机获取所述目标设备的第二定位信息；

根据所述第一定位信息及所述第二定位信息确定所述目标定位信息。

可选地，所述基于所述参考定位信息，通过所述IMU预测所述目标设备下一时刻的第一定位信息，包括：

通过所述IMU获取所述参考定位信息在所述当前时刻的变化量；

根据所述参考定位信息及所述变化量计算得到所述第一定位信息。

可选地，所述基于所述第一定位信息，在所述下一时刻通过所述摄像机获取所述目标设备的第二定位信息，包括：

根据所述第一定位信息确定初始定位信息；

在所述下一时刻通过所述摄像机拍摄参考图像，根据所述参考图像从所述初始定位信息中获取所述第二定位信息。

可选地，所述根据所述第一定位信息确定初始定位信息之前，所述方法还包括：

获取所述目标设备所在的全局地图图像；

所述根据所述第一定位信息确定初始定位信息，包括：

根据所述第一定位信息从所述全局地图图像中确定区域地图图像。

一方面，提供了一种设备定位装置，所述装置包括：

第一获取模块，用于通过IMU惯性测量单元，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息；

第二获取模块，用于通过摄像机获取所述目标设备当前时刻的测量定位信息；

第三获取模块，用于根据所述当前时刻的预测定位信息及所述测量定位信息，获取所述目标设备当前时刻的参考定位信息；

确定模块，用于基于所述参考定位信息，通过所述IMU及所述摄像机确定所述目标设备下一时刻的目标定位信息。

可选地，所述确定模块，包括：

预测单元，用于基于所述参考定位信息，通过所述IMU预测所述目标设备下一时刻的第一定位信息；

获取单元，用于基于所述第一定位信息，在所述下一时刻通过所述摄像机获取所述目标设备的第二定位信息；

确定单元，用于根据所述第一定位信息及所述第二定位信息确定所述目标定位信息。

可选地，所述预测单元，用于通过所述IMU获取所述参考定位信息在所述当前时刻的变化量；根据所述参考定位信息及所述变化量计算得到所述第一定位信息。

可选地，所述获取单元，用于根据所述第一定位信息确定初始定位信息；在所述下一时刻通过所述摄像机拍摄参考图像，根据所述参考图像从所述初始定位信息中获取所述第二定位信息。

可选地，所述装置还包括：第四获取模块，用于获取所述目标设备所在的全局地图图像；

所述获取单元，用于根据所述第一定位信息从所述全局地图图像中确定区域地图图像。

一方面，提供了一种电子设备，所述电子设备包括存储器及处理器；所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现本申请实施例所提供的任一种可能的设备定位方法。

另一方面，提供了一种可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现本申请实施例所提供的任一种可能的设备定位方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例中目标设备下一时刻的目标定位信息，是综合了通过IMU获取的预测定位信息以及通过摄像机获取的测量定位信息预测得到的。因此，避免了仅通过推算进行预测而导致的误差累积，保证了目标定位信息的准确度与精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的设备定位系统示意图；

图2是本申请实施例提供的设备定位方法的流程图；

图3是本申请实施例提供的定位流程示意图；

图4是本申请实施例提供的定位示意图；

图5是本申请实施例提供的定位示意图；

图6是本申请实施例提供的设备定位装置的结构示意图；

图7是本申请实施例提供的终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种设备定位方法，该方法可应用于如图1所示的定位系统中。图1中，包括至少一个电子设备11、IMU(Inertial Measurement Unit，惯性测量单元)12和摄像机13，电子设备11分别与IMU12及摄像机13进行通信连接，以从IMU12获取预测定位信息，并从摄像机13获取测量定位信息。

其中，电子设备11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视等。

本领域技术人员应能理解上述电子设备11仅为举例，其他现有的或今后可能出现的电子设备或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于上述图1所示的定位系统，参见图2，本申请实施例提供了一种设备定位方法，该方法可应用于图1所示的电子设备中。如图2所示，该方法包括：

步骤201，通过IMU，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息。

其中，目标设备为待定位的设备，目标设备可以为有人驾驶车辆、无人驾驶车辆、飞行器、智能机器人等各种可移动的设备，目标设备可应用于交通驾驶、室内外物流配送等多个领域。IMU可以与目标设备固定连接，以便于获取目标设备当前时刻的预测定位信息。

通过k(k＝0、1、2……)来指示通过IMU对目标设备进行定位过程中的不同时刻，则在定位开始的初始时刻k＝0，首先将初始定位信息输入IMU。其中，该初始定位信息可以通过摄像机、激光雷达以及GNSS(Global Navigation Satellite System，全球导航卫星系统)中的任意一种进行获取。之后，通过IMU获取k＝0时刻的初始定位信息的变化量，根据初始定位信息及初始定位信息的变化量信息便可推测得到k＝1时刻的预测定位信息。接着，IMU通过k＝1时刻的预测定位信息及k＝1时刻的预测定位信息的变化量，继续推测得到k＝2时刻的预测定位信息。可以看出，IMU的定位方式即为：基于上一时刻的预测定位信息进行推测，从而得到当前时刻的预测定位信息。

以当前时刻为k、上一时刻为k-1为例，在预测过程中，可获取如下的IMU运动模型：

其中，R_k-1、V_k-1以及P_k-1均为k-1时刻的预测定位信息，R_k-1为k-1时刻的姿态，V_k-1为k-1时刻的速度，P_k-1为k-1时刻的位置；

Δr、Δv以及Δp均为k-1时刻的预测定位信息的变化量，Δr为姿态的变化量，Δv为速度的变化量，Δp为位置的变化量。在实施中，可通过IMU的陀螺仪测量k-1时刻的角速度，通过IMU的加速度计测量k-1时刻加速度，从而根据角速度及加速度计算得到k-1时刻的预测定位信息的变化量；

R_k、V_k以及P_k均为k时刻的预测定位信息，R_k为k时刻的姿态，V_k为k时刻的速度，P_k为k时刻的位置。

进一步地，参见图3，上述IMU运动模型也可表示为如下的卡尔曼滤波的状态预测方程式(1)：

X_k＝F_k-1X_k-1+B_k-1u_k-1 (1)

其中，X_k-1为由k-1时刻的预测定位信息所构成的k-1时刻的状态向量，X_k-1＝[R_k-1，V_k-1，P_k-1]^T。F_k-1为根据k-1时刻的预测定位信息的变化量Δr、Δv以及Δp所确定的变换矩阵，X_k为由k时刻的预测定位信息所构成的k时刻的状态向量，X_k＝[R_k，V_k，P_k]^T。u_k-1是控制变量，用于控制状态向量X_k-1变化的大小与方向，u_k-1在实施中可取为0。B_k-1为作用在控制变量u_k-1上的变换矩阵，可根据状态向量X_k-1与控制变量u_k-1的物理关系进行建模获取，一般情况下没有控制增益。

因此，通过状态预测方程(1)便可求解得到X_k，X_k即为目标设备当前时刻的预测定位信息。需要说明的是，预测定位信息中的姿态可包括俯仰角、翻滚角、偏航角，位置可包括经纬度、朝向(东南西北)。另外，预测定位信息还可以包括加速度计零偏、陀螺仪零偏等信息。可以看出，本实施例对预测定位信息的数量及类型不加以限定，可根据实际需要选择类型及设置数量。

除了获取目标设备当前时刻的预测定位信息以外，本实施例还获取目标设备当前时刻的测量定位信息，详见步骤202。

步骤202，通过摄像机获取目标设备当前时刻的测量定位信息。

其中，与IMU基于上一时刻的预测定位信息预测得到当前时刻的预测定位信息不同，摄像机在当前时刻对目标设备进行实际测量定位，从而获取目标设备当前时刻的测量定位信息。在实施中，摄像机可以为红外摄像机、双目摄像机或者TOF(TimeofFlight，飞行时间)深度摄像机等等安装于图像采集设备。摄像机与目标设备固定连接。

获取目标设备当前时刻的测量定位信息时，通过摄像机采集目标设备当前时刻下所处环境的图像。之后，将采集得到的图像与全局地图图像进行匹配，或者，对采集得到的图像中的特征点与全局地图图像中的特征点进行匹配，从而得到图像特征点的匹配点对。最后，根据图像特征点的匹配点对，通过PnP(Perspective-n-Point，n点透视)算法与RANSAC(Random Sample Consensus，随机抽样一致)算法进行计算，便可确定目标设备当前时刻的测量定位信息，在实施中，测量定位信息包括但不限于目标设备的姿态、速度及位置。

需要说明的是，步骤201及步骤202并不构成对于执行顺序的限定。换言之，对于目标设备当前时刻的预测定位信息及当前时刻的测量定位信息，本实施例可以先后依次获取，也可以同时进行获取。实现获取后，便可进一步基于所获取的预测定位信息及测量定位信息来获取参考定位信息，详见步骤203。

步骤203，根据当前时刻的预测定位信息及测量定位信息，获取目标设备当前时刻的参考定位信息。

由于当前时刻的预测定位信息是通过IMU基于上一时刻的预测定位信息进行推算得到的，因而当前时刻的预测定位信息可能具有误差。而通过视觉定位单元测量得到的当前时刻的测量定位信息也可能具有误差。因此，本实施例结合当前时刻的预测定位信息及测量定位信息，从而得到目标设备当前时刻的参考定位信息。该参考定位信息是与目标设备当前时刻的实际定位信息的偏差值最小的定位信息，也称为当前时刻的最优值。

接下来，仍以当前时刻为k、上一时刻为k-1为例，对获取参考定位信息的过程进行说明如下：

首先，根据协方差预测方程(2)，由k-1时刻的协方差矩阵预测k时刻的协方差矩阵：

其中，P_k即为所预测的k时刻的协方差矩阵，F_k-1为根据k-1时刻的预测定位信息的变化量Δr、Δv以及Δp所确定的变换矩阵，

为F_k-1的转置矩阵，P_k-1为k-1时刻的协方差矩阵，Q_k-1为过程噪声的协方差矩阵。在实施中，给定初始时刻的协方差矩阵P₀便可以递推得到P_k-1及P_k。

接着，根据卡尔曼增益方程(3)，由所预测的k时刻的协方差矩阵P_k计算卡尔曼增益：

其中，K_k即为卡尔曼增益，H_k是量测矩阵，通过建立状态向量与k时刻的测量定位信息之间的数学关系获取，

为H_k的转置矩阵，R_k为测量噪声的协方差矩阵。需要说明的是，在实施中可以根据经验或者进行实验来确定R_k的数值，再将所确定的数值作为已知条件用于上述方程(3)中，以保证(3)的快速收敛。

最后，根据更新最优值方程(4)，结合k时刻的预测定位信息、k刻的测量定位信息以及卡尔曼增益，得到k时刻的参考定位信息所构成的状态向量(即最优值)：

其中，

即为k时刻的参考定位信息所构成的状态向量，X_k为k时刻的预测定位信息，Z_k为k时刻的测量定位信息。

可见，通过上述公式(2)、(3)、(4)即可获取目标设备当前时刻的参考定位信息所构成的状态向量，即得到了目标设备当前时刻的参考定位信息。另外，还需根据如下的更新协方差方程(5)对所预测的k时刻的协方差矩阵P_k进行更新，得到k时刻更新后的协方差矩阵：

其中，

即为k时刻更新后的协方差矩阵，

用于对k+1时刻的目标定位信息进行计算，详见步骤204中的说明。

步骤204，基于参考定位信息，通过IMU及摄像机确定目标设备下一时刻的目标定位信息。

根据上述说明可知，参考定位信息与目标设备当前时刻的实际定位信息的偏差值最小的定位信息。因此，本实施例基于参考定位信息来确定目标设备下一时刻的目标定位信息，从而提高了定位的精度。

在一种可选的实施方式中，基于参考定位信息，通过IMU及摄像机确定目标设备下一时刻的目标定位信息，包括如下的步骤2041-2043：

步骤2041，基于参考定位信息，通过IMU预测目标设备下一时刻的第一定位信息。

若直接用步骤201中得到的当前时刻的预测定位信息来预测下一时刻的第一定位信息，则会使得误差不断累积，从而导致IMU预测得到的定位精度不断发散。因此，本实施例在得到参考定位信息之后，基于参考定位信息来预测目标设备下一时刻的第一定位信息，相当于对当前时刻的预测定位信息进行了纠正，减小了误差的累计，以避免长时间、长距离使用IMU进行定位时存在定位精度发散的情况，从而得到高频且精度较高的第一定位信息。

可选地，基于参考定位信息，通过IMU预测目标设备下一时刻的第一定位信息，包括：通过IMU获取参考定位信息在当前时刻的变化量；根据参考定位信息及变化量计算得到第一定位信息。

在实施中，IMU首先在当前时刻下获取参考定位信息的变化量，获取方式可参见步骤201中的说明，此处不再加以赘述。之后，基于与步骤201中的相同方式，将当前时刻表示为k、将下一时刻表示为k+1为例，按照如下的状态预测方程(6)得到k+1时刻的第一定位信息：

其中，即为k+1时刻的第一定位信息，为k时刻的参考定位信息所构成的状态向量，为根据k时刻的参考定位信息的变化量所确定的变换矩阵，B_k为作用在控制变量上的变换矩阵，u_k是控制变量，u_k在实施中可取为0。

在得到第一定位信息之后，便可进一步地触发摄像机获取目标设备的第二定位信息，详见步骤2042。

步骤2042，基于第一定位信息，在下一时刻通过摄像机获取目标设备的第二定位信息。

在实施中，基于第一定位信息，在下一时刻通过摄像机获取目标设备的第二定位信息，包括：根据第一定位信息确定初始定位信息；在下一时刻通过摄像机拍摄参考图像，根据参考图像从初始定位信息中获取第二定位信息。

其中，初始定位信息是下一时刻目标设备有可能处于的区域，该区域小于全局地图所指示的区域。因此，对于摄像机所拍摄的参考图像，从初始定位信息中获取第二定位信息的速度高于从全局地图所指示的区域中获取第二定位信息的速度。例如，全局地图所指示的区域为A省，则根据第一定位信息可以从A省中确定B市作为初始定位信息。这样，在下一时刻摄像机仅需从B市中确定第二定位信息，从而提高了定位速度。

可选地，根据第一定位信息确定初始定位信息之前，方法还包括：获取目标设备所在的全局地图图像。相应地，根据第一定位信息确定初始定位信息，包括：根据第一定位信息从全局地图图像中确定区域地图图像。

由于全局地图图像所指示的区域较大，因而全局地图图像中的特征点也较大。若将下一时刻摄像机所拍摄的参考图像与全局地图图像进行匹配，则容易造成匹配错误或匹配失败，从而影响第二定位信息的准确性。因此，根据初始定位信息所指示的区域从全局地图图像中确定较小的区域地图图像。该区域地图图像中的特征点也较小，因而参考图像与区域地图图像进行匹配的准确性较高，进而使得基于匹配结果所获取的第二定位信息的准确度较高。

在实施中，如图4所示，可通过基于特征点匹配的视觉全局定位方式来获取第二定位信息。首先，采集全局地图图像，获取全局地图图像中的3D(3Dimensions，三维)特征点信息。之后，将全局地图图像划分为多个子地图图像，每个子地图图像具有对应的3D特征点信息，从而建立索引数据库。

在得到初始定位信息之后，可根据初始定位信息从索引数据库中确定一个或多个子地图图像作为区域地图图像，从而获取到所确定的一个或多个子地图图像的3D特征点信息。当摄像机拍摄得到参考图像之后，可对参考图像进行特征提取，得到2D特征点信息，再将2D特征点信息转换为3D特征点信息，以便于从所确定的一个或多个子地图图像的3D特征点信息中进行匹配。在匹配过程中可使用PnP(Perspective-n-Point，n点透视)算法与RANSAC(Random Sample Consensus，随机抽样一致)算法，得到与参考图像的3D特征点信息的匹配度最高的索引数据库中的3D特征点信息，根据该匹配度最高的索引数据库中的3D特征点信息确定出6-DOF(6Degree of Freedom，6自由度)的定位信息作为第二定位信息。

或者，参见图5，也可以通过基于关键帧匹配的视觉全局定位方式来获取第二定位信息。在采集全局地图图像并获取3D特征点信息之后，将全局地图图像中的每帧图像与3D特征点信息相对应，从而建立索引数据库。

在得到初始定位信息之后，进一步根据初始定位信息从索引数据库中确定一帧或多帧图像作为相似图像，这些相似图像即为区域地图图像。之后，按照上述说明中的方式获取摄像机所拍摄的参考图像的3D特征点信息，从而在相似图像对应的3D特征点中进行匹配，进而得到6-DOF的定位信息作为第二定位信息。

当然，无论通过怎样的方式确定第二定位信息，在确定第二定位信息之后，便可以进一步触发对目标设备下一时刻的目标定位信息的确定，详见步骤2043。

步骤2043，根据第一定位信息及第二定位信息确定目标定位信息。

基于与步骤203的相同构思，以当前时刻为k、下一时刻为k+1为例，按照如下的公式(7)、(8)、(9)确定目标定位信息。

其中，

即为目标定位信息，

为由步骤203中的公式(5)计算得到的k时刻更新后的协方差矩阵，X_k+1为第一定位信息，Z_k+1为第二定位信息。

综上所述，本申请实施例中目标设备下一时刻的目标定位信息，是综合了通过IMU获取的预测定位信息以及通过摄像机获取的测量定位信息预测得到的。因此，避免了仅通过推算进行预测而导致的误差累积，保证了目标定位信息的准确度与精度。

另外，本实施例所使用的卡尔曼滤波等算法较为成熟，不仅提高了定位速度，还增大了定位的成功率。本实施例无需人工辅助便可以实现定位，不仅较为智能，而且降低了定位所需的成本。本实施例受环境影响较小，适用于不同类型的环境，通用性较强。

基于相同构思，本申请实施例提供了一种设备定位装置，参见图6，该装置包括：

第一获取模块601，用于通过IMU惯性测量单元，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息；

第二获取模块602，用于通过摄像机获取目标设备当前时刻的测量定位信息；

第三获取模块603，用于根据当前时刻的预测定位信息及测量定位信息，获取目标设备当前时刻的参考定位信息；

确定模块604，用于基于参考定位信息，通过IMU及摄像机确定目标设备下一时刻的目标定位信息。

可选地，确定模块604，包括：

预测单元，用于基于参考定位信息，通过IMU预测目标设备下一时刻的第一定位信息；

获取单元，用于基于第一定位信息，在下一时刻通过摄像机获取目标设备的第二定位信息；

确定单元，用于根据第一定位信息及第二定位信息确定目标定位信息。

可选地，预测单元，用于通过IMU获取参考定位信息在当前时刻的变化量；根据参考定位信息及变化量计算得到第一定位信息。

可选地，获取单元，用于根据第一定位信息确定初始定位信息；在下一时刻通过摄像机拍摄参考图像，根据参考图像从初始定位信息中获取第二定位信息。

可选地，装置还包括：第四获取模块，用于获取目标设备所在的全局地图图像；

获取单元，用于根据第一定位信息从全局地图图像中确定区域地图图像。

综上所述，本申请实施例中目标设备下一时刻的目标定位信息，是综合了通过IMU获取的预测定位信息以及通过摄像机获取的测量定位信息预测得到的。因此，避免了仅通过推算进行预测而导致的误差累积，保证了目标定位信息的准确度与精度。

另外，本实施例所使用的卡尔曼滤波等算法较为成熟，不仅提高了定位速度，还增大了定位的成功率。本实施例无需人工辅助便可以实现定位，不仅较为智能，而且降低了定位所需的成本。本实施例受环境影响较小，适用于不同类型的环境，通用性较强。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

参见图7，其示出了本申请实施例提供的一种的电子设备700的结构示意图。该电子设备700可以是便携式移动电子设备，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备700还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。

通常，电子设备700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、7核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的设备定位方法。

在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏707、摄像头706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及7G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置电子设备700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在电子设备700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在电子设备700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。

定位组件708用于定位电子设备700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源709用于为电子设备700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器710可以检测以电子设备700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测电子设备700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对电子设备700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在电子设备700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在电子设备700的侧边框时，可以检测用户对电子设备700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置电子设备700的正面、背面或侧面。当电子设备700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。

接近传感器716，也称距离传感器，通常设置在电子设备700的前面板。接近传感器716用于采集用户与电子设备700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

基于相同构思，本申请实施例提供了一种电子设备，电子设备包括存储器及处理器；存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现本申请实施例所提供的任一种可能的设备定位方法。

另一方面，提供了一种可读存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现本申请实施例所提供的任一种可能的设备定位方法。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种设备定位方法，其特征在于，所述方法包括：

通过IMU惯性测量单元，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息，所述预测定位信息包括预测得到的所述目标设备的姿态、速度和位置；

通过摄像机采集所述目标设备在当前时刻下所处环境的图像，将采集得到的所述图像和全局地图图像进行匹配得到图像特征点的匹配点对，通过n点透视算法与随机抽样一致算法进行计算，获取所述目标设备当前时刻的测量定位信息，所述测量定位信息包括经过测量定位得到的所述目标设备的姿态、速度及位置；

根据如下公式，结合所述当前时刻的预测定位信息、所述当前时刻的测量定位信息以及卡尔曼增益，得到当前时刻的参考定位信息所构成的状态向量：

其中，

为所述当前时刻的参考定位信息所构成的状态向量，X_k为所述当前时刻的预测定位信息，K_k为所述卡尔曼增益，Z_k为所述当前时刻的测量定位信息，H_k为量测矩阵，所述H_k通过建立状态向量与上一时刻的测量定位信息之间的数学关系获取；

根据得到的所述状态向量

得到当前时刻的参考定位信息；

基于所述参考定位信息，通过所述IMU预测所述目标设备下一时刻的第一定位信息；

根据所述第一定位信息确定初始定位信息，在所述下一时刻通过所述摄像机拍摄参考图像，根据所述参考图像从所述初始定位信息中获取第二定位信息；

根据所述第一定位信息及所述第二定位信息确定目标定位信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述参考定位信息，通过所述IMU预测所述目标设备下一时刻的第一定位信息，包括：

通过所述IMU获取所述参考定位信息在所述当前时刻的变化量；

根据所述参考定位信息及所述变化量计算得到所述第一定位信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一定位信息确定初始定位信息之前，所述方法还包括：

获取所述目标设备所在的全局地图图像；

所述根据所述第一定位信息确定初始定位信息，包括：

根据所述第一定位信息从所述全局地图图像中确定区域地图图像，将所述区域地图图像作为所述初始定位信息。

4.一种设备定位装置，其特征在于，所述装置包括：

第一获取模块，用于通过IMU惯性测量单元，基于上一时刻的预测定位信息进行预测，获取目标设备当前时刻的预测定位信息，所述预测定位信息包括预测得到的所述目标设备的姿态、速度和位置；

第二获取模块，用于通过摄像机采集所述目标设备在当前时刻下所处环境的图像，将采集得到的所述图像和全局地图图像进行匹配得到图像特征点的匹配点对，通过n点透视算法与随机抽样一致算法进行计算，获取所述目标设备当前时刻的测量定位信息，所述测量定位信息包括经过测量定位得到的所述目标设备的姿态、速度及位置；

第三获取模块，用于根据如下公式，结合所述当前时刻的预测定位信息、所述当前时刻的测量定位信息以及卡尔曼增益，得到当前时刻的参考定位信息所构成的状态向量：

其中，

为所述当前时刻的参考定位信息所构成的状态向量，X_k为所述当前时刻的预测定位信息，H_k为所述卡尔曼增益，Z_k为所述当前时刻的测量定位信息，H_k为量测矩阵，所述H_k通过建立状态向量与上一时刻的测量定位信息之间的数学关系获取；

根据得到的所述状态向量

得到当前时刻的参考定位信息；

确定模块，所述确定模块包括预测单元、获取单元和确定单元，

所述预测单元，用于基于所述参考定位信息，通过所述IMU预测所述目标设备下一时刻的第一定位信息；

所述获取单元，用于根据所述第一定位信息确定初始定位信息；在所述下一时刻通过所述摄像机拍摄参考图像，根据所述参考图像从所述初始定位信息中获取第二定位信息；

所述确定单元，用于根据所述第一定位信息及所述第二定位信息确定目标定位信息。

5.一种电子设备，其特征在于，所述电子设备包括存储器及处理器；所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现权利要求1-3任一所述的设备定位方法。

6.一种可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1-3任一所述的设备定位方法。

Images