CN110119649A - 电子设备状态跟踪方法、装置、电子设备及控制系统 - Google Patents

Abstract

本发明实施例提供一种电子设备状态跟踪方法、装置、电子设备及控制系统，该方法包括：在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。该方法实现跟踪丢失后，可快速恢复跟踪状态。

Description

电子设备状态跟踪方法、装置、电子设备及控制系统

技术领域

本发明涉及计算机技术，尤其涉及一种电子设备状态跟踪方法、装置、电子设备及控制系统。

背景技术

在同时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)系统中，需要支持跟踪技术。跟踪主要指对用户视场与视点的跟踪。另外，跟踪还可能指对用户动作的跟踪。SLAM系统在运行过程中，由于一些异常可能会出现无法正常跟踪的问题，即出现跟踪丢失。

当出现跟踪丢失之后，需要快速地恢复正常跟踪。而目前的SLAM系统在出现跟踪丢失之后，需要较长的处理时间才能继续跟踪。

发明内容

本发明实施例提供一种电子设备状态跟踪技术方案和增强现实控制技术方案。

本发明实施例第一方面提供一种电子设备状态跟踪方法，包括：

在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；

根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；

基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。

结合本发明任一实施例，可选地，所述在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定与状态跟踪丢失的当前帧相匹配的目标关键帧，包括：

将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配；

根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。

结合本发明任一实施例，可选地，所述根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧，包括：

将所述关键帧集合中相似度最高的关键帧作为所述目标关键帧；或者，

将所述关键帧集合中相似度超过设定阈值的关键帧作为所述目标关键帧。

结合本发明任一实施例，可选地，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

根据所述当前帧的缩略图上的像素点与所述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。

结合本发明任一实施例，可选地，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：

在所述地图的关键帧集合中确定原图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的原图；

根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。

结合本发明任一实施例，可选地，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

确定所述多个关键帧的原图；

根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。

结合本发明任一实施例，可选地，将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配之前，还包括：根据拍摄参数在所述关键帧集合中确定所述至少一个关键帧，所述拍摄参数包括以下至少之一：镜头朝向、镜头位置、拍摄时间；和/或，

所述至少一个关键帧的图像包括：所述至少一个关键帧的缩略图和/或原图。

结合本发明任一实施例，可选地，所述根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向，包括：

根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；

若投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值，则将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向。

结合本发明任一实施例，可选地，所述根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向，包括：

根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；

根据所述初始镜头位置、所述初始镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；

根据投影结果确定所述电子设备的镜头位置和镜头朝向。

结合本发明任一实施例，可选地，所述根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向，包括：

根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；

若投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值，则将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向；

根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；

根据所述当前帧对应的镜头位置、镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；

根据投影结果确定所述电子设备的镜头位置和镜头朝向。

结合本发明任一实施例，可选地，还包括：

确定所述电子设备中惯性测量单元IMU的参数信息；

根据所述电子设备的镜头位置和镜头朝向以及所述参数信息，重新确定所述电子设备的IMU的状态；

根据重新确定的所述电子设备的IMU的状态进行所述电子设备的IMU状态跟踪。

结合本发明任一实施例，可选地，所述IMU的参数信息包括以下至少之一：所述电子设备的速度、所述IMU的角速度偏差以及所述IMU的加速度偏差。

结合本发明任一实施例，可选地，确定所述IMU的角速度偏差，包括：

确定所述电子设备镜头采集的视频流中第一视频子段中每帧图像对应的IMU的位置和朝向；

根据第一帧对应的IMU的朝向和第二帧对应的IMU的朝向，确定第一角度变化量；

根据所述第一帧的图像和所述第二帧的图像对应的时间间隔内所述IMU的角速度进行积分得到第二角度变化量；

根据所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的IMU的角速度偏差；

其中，所述第二帧为所述第一帧的前一帧。

结合本发明任一实施例，可选地，确定所述IMU的加速度偏差，包括：

根据第一帧对应的IMU的位置和第二帧对应的IMU的位置，确定第一位移变化量；

根据预设重力信息，对所述第一帧图像和所述第二帧图像对应的时间间隔内所述IMU的加速度进行积分得到第二位移变化量；

根据所述第一位移变化量、所述第二位移变化量、所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的速度信息和所述IMU的加速度偏差。

结合本发明任一实施例，可选地，还包括：

对所述IMU的参数信息进行验证；

若验证通过，则根据确定出的所述IMU的状态对所述IMU进行相应调整。

结合本发明任一实施例，可选地，还包括：

若验证不通过，确定所述电子设备镜头采集的视频流中第二视频子段，并基于所述第二视频子段重新确定所述IMU的参数信息，其中，所述第二视频子段与所述第一视频子段部分重叠或完全不同。

结合本发明任一实施例，可选地，所述对所述IMU的参数信息进行验证，包括：

验证所述IMU的参数信息是否满足如下至少一种条件：

所述IMU的加速度偏差小于等于第一预设阈值，并且所述IMU的加速度偏差与所述电子设备中保存的加速计的历史偏移量的差值小于第二预设阈值；

所述电子设备的速度与在所述跟踪时确定的速度的差值小于第三预设阈值。

本发明实施例第二方面提供一种增强现实AR控制方法，其特征在于，包括：

AR引擎获取同时定位与地图构建SLAM系统的输出结果，所述输出结果包括采用上述第一方面所述的方法获得的电子设备的状态跟踪信息；

所述AR引擎根据所述状态跟踪信息在所述电子设备的场景或场景拍摄的视频流中绘制虚拟物体。

本发明实施例第三方面提供一种电子设备状态跟踪装置，包括：

第一确定模块，用于在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；

获取模块，用于根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；

第一跟踪模块，用于基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。

结合本发明任一实施例，可选地，所述第一确定模块包括：

匹配单元，用于将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配；

第一确定单元，用于根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。

结合本发明任一实施例，可选地，所述第一确定单元具体用于：

将所述关键帧集合中相似度最高的关键帧作为所述目标关键帧；或者，

将所述关键帧集合中相似度超过设定阈值的关键帧作为所述目标关键帧。

结合本发明任一实施例，可选地，所述匹配单元具体用于：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

根据所述当前帧的缩略图上的像素点与所述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。

结合本发明任一实施例，可选地，所述匹配单元具体还用于：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

确定所述多个关键帧的原图；

根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。

结合本发明任一实施例，可选地，所述第一确定模块还包括：

第二确定单元，用于根据拍摄参数在所述关键帧集合中确定所述至少一个关键帧，所述拍摄参数包括以下至少之一：镜头朝向、镜头位置、拍摄时间；和/或，

所述至少一个关键帧的图像包括：所述至少一个关键帧的缩略图和/或原图。

结合本发明任一实施例，可选地，所述获取模块包括：

第一确定单元，用于根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

第一投影单元，用于根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；

第一处理单元，用于在投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值时，将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向。

结合本发明任一实施例，可选地，所述获取模块还包括：

第二确定单元，用于根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

第一匹配单元，用于根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；

第二投影单元，用于根据所述初始镜头位置、所述初始镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；

第二处理单元，用于根据投影结果确定所述电子设备的镜头位置和镜头朝向。

结合本发明任一实施例，可选地，所述获取模块还包括：

第三确定单元，用于根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

第三投影单元，用于根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；

第三处理单元，用于在投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值时，将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向；

第一匹配单元，用于根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；

第三投影单元，用于根据所述当前帧对应的镜头位置、镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；

第四处理单元，用于根据投影结果确定所述电子设备的镜头位置和镜头朝向。

结合本发明任一实施例，可选地，还包括：

第二确定模块，用于确定所述电子设备中惯性测量单元IMU的参数信息；

第三确定模块，用于根据所述电子设备的镜头位置和镜头朝向以及所述参数信息，重新确定所述IMU的状态；

第二跟踪模块，用于根据重新确定的所述电子设备的IMU的状态进行所述电子设备的IMU状态跟踪。

结合本发明任一实施例，可选地，所述IMU的参数信息包括以下至少之一：所述电子设备的速度、所述IMU的角速度偏差以及所述IMU的加速度偏差。

结合本发明任一实施例，可选地，所述第二确定模块包括：

第一确定单元，用于确定所述电子设备镜头采集的视频流中第一视频子段中每帧图像对应的IMU的位置和朝向；

第二确定单元，用于根据第一帧对应的IMU的朝向和第二帧对应的IMU的朝向，确定第一角度变化量；

第三确定单元，用于根据所述第一帧的图像和所述第二帧的图像对应的时间间隔内所述IMU的角速度进行积分得到第二角度变化量；

第一获取单元，用于根据所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的IMU的角速度偏差；

其中，所述第二帧为所述第一帧的前一帧。

结合本发明任一实施例，可选地，所述第二确定模块还包括：

第四确定单元，用于根据第一帧对应的IMU的位置和第二帧对应的IMU的位置，确定第一位移变化量；

第五确定单元，用于根据预设重力信息，对所述第一帧图像和所述第二帧图像对应的时间间隔内所述IMU的加速度进行积分得到第二位移变化量；

第二获取单元，用于根据所述第一位移变化量、所述第二位移变化量、所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的速度信息和所述IMU的加速度偏差。

结合本发明任一实施例，可选地，还包括：

还包括：

验证模块，用于对所述IMU的参数信息进行验证；

调整模块，用于在验证通过时，根据确定出的所述IMU的状态对所述IMU进行相应调整。

结合本发明任一实施例，可选地，还包括：

第四确定模块，用于在验证不通过时，确定所述电子设备镜头采集的视频流中第二视频子段，并基于所述第二视频子段重新确定所述IMU的参数信息，其中，所述第二视频子段与所述第一视频子段部分重叠或完全不同。

结合本发明任一实施例，可选地，所述验证模块具体用于：

验证所述IMU的参数信息是否满足如下至少一种条件：

所述IMU的加速度偏差小于等于第一预设阈值，并且所述IMU的加速度偏差与所述电子设备中保存的加速计的历史偏移量的差值小于第二预设阈值；

所述电子设备的速度与在所述跟踪时确定的速度的差值小于第三预设阈值。

本发明实施例第四方面提供一种增强现实AR引擎，包括：

获取模块，用于获取SLAM系统的输出结果，所述输出结果包括采用上述电子设备状态跟踪方法获得的电子设备的状态跟踪信息；

绘制模块，用于根据所述状态跟踪信息在所述电子设备的场景或场景拍摄的视频流中绘制虚拟物体。

本发明实施例第五方面提供一种电子设备，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。

本发明实施例第六方面提供一种可读存储介质，所述可读存储介质中存储有计算机程序，当电子设备状态跟踪装置的至少一个处理器执行所述计算机程序时，电子设备状态跟踪装置执行上述第一方面所述的电子设备状态跟踪方法。

本发明实施例第七方面提供一种增强现实AR控制系统，包括：通信连接的电子设备、增强现实AR引擎和同时定位与地图构建SLAM系统，所述AR引擎为上述第二方面所述的AR引擎，所述SLAM系统包括上述第三方面所述的电子设备状态跟踪装置。

本发明实施例所提供的电子设备状态跟踪方法、装置、电子设备及控制系统，电子设备在SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定出与当前帧相匹配的目标关键帧，并根据当前帧以及该目标关键帧得到电子设备的镜头位置和镜头朝向，进而可以基于得到的电子设备的镜头位置和镜头朝向进行电子设备的视觉状态跟踪，从而实现跟踪丢失后，快速恢复跟踪状态。本发明实施例可在用户没有感知的情况下快速地恢复跟踪，极大提升用户的体验。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的电子设备状态跟踪方法实施例一的流程示意图；

图2为本发明实施例提供的电子设备状态跟踪方法实施例二的流程示意图；

图3为本发明实施例提供的电子设备状态跟踪方法实施例三的流程示意图；

图4为本发明实施例提供的电子设备状态跟踪方法实施例四的流程示意图；

图5为本发明实施例提供的电子设备状态跟踪方法实施例五的流程示意图；

图6为本发明实施例提供的电子设备状态跟踪方法实施例六的流程示意图；

图7为本发明实施例提供的电子设备状态跟踪方法实施例七的流程示意图；

图8为本发明实施例提供的电子设备状态跟踪方法实施例八的流程示意图；

图9为本发明实施例提供的电子设备状态跟踪方法实施例九的流程示意图；

图10为本发明实施例提供的电子设备状态跟踪方法实施例十的流程示意图；

图11为本发明实施例提供的电子设备状态跟踪方法实施例十一的流程示意图；

图12为本发明实施例提供的电子设备状态跟踪装置实施例一的模块结构图；

图13为本发明实施例提供的电子设备状态跟踪装置实施例二的模块结构图；

图14为本发明实施例提供的电子设备状态跟踪装置实施例三的模块结构图；

图15为本发明实施例提供的电子设备状态跟踪装置实施例四的模块结构图；

图16为本发明实施例提供的电子设备状态跟踪装置实施例五的模块结构图；

图17为本发明实施例提供的电子设备状态跟踪装置实施例六的模块结构图；

图18为本发明实施例提供的电子设备状态跟踪装置实施例七的模块结构图；

图19为本发明实施例提供的电子设备状态跟踪装置实施例八的模块结构图；

图20为本发明实施例提供的电子设备状态跟踪装置实施例九的模块结构图；

图21为本发明实施例提供的电子设备状态跟踪装置实施例十的模块结构图；

图22为本发明实施例提供的电子设备状态跟踪装置实施例十一的模块结构图；

图23为本发明实施例提供的AR引擎的模块结构图；

图24为本发明实施例提供的电子设备的实体框图；

图25-27为本发明实施例提供的增强现实AR控制系统的架构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

SLAM技术是增强现实(Augmented Reality，简称AR)、虚拟现实、机器人和自动驾驶等领域的基础问题。例如，在AR应用SLAM系统的输出信息的应用场景中，由SLAM系统进行电子设备的视觉状态跟踪，并由AR引擎调用SLAM系统的输出结果进行虚拟物体的绘制，从而实现AR的视觉效果。

本发明实施例提出一种电子设备状态跟踪方法，当出现跟踪丢失时，首先通过视觉重定位确定电子设备的镜头位置和镜头朝向，基于所确定出的电子设备的镜头位置和镜头朝向，SLAM系统可以快速地正常进行跟踪，从而实现在用户没有感知的情况下恢复跟踪，极大提升用户的体验。

图1为本发明实施例提供的电子设备状态跟踪方法实施例一的流程示意图，该方法的执行主体为上述电子设备，如图1所示，该方法包括：

S101、在SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧。

具体的，本发明实施例应用于SLAM系统出现跟踪丢失的场景下，即，SLAM系统出现跟踪丢失时，电子设备会通过本发明实施例涉及的方法步骤进行跟踪恢复。

作为一种可选的实施方式，电子设备可以根据当前帧与关键帧的差别来判断SLAM系统是否出现跟踪丢失。具体的，SLAM系统在运行过程中，会按照一定的原则对运行时所形成的帧进行保存，例如选择图像质量满足一定要求的帧或者图像角度满足一定要求的帧进行保存，从而形成关键帧。进而SLAM系统运行时，将当前帧与关键帧进行比较，如果当前帧与关键帧的差别超过一定的阈值，则可以确定SLAM系统出现跟踪丢失。示例性地，当前帧与关键帧的差别可以通过对图像的像素点进行比较得出。

进而，当确定出SLAM系统出现跟踪丢失之后，电子设备根据SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合，可以确定与跟踪丢失的当前帧相匹配的目标关键帧。

其中，上述地图的关键帧集合具体是指由关键帧所形成的帧的集合，关键帧可以通过前述的形成关键帧的过程来获得。

可选的，电子设备可以根据像素点的匹配度、朝向匹配度等从地图的关键帧集合中选择出与当前帧匹配的目标关键帧。

S102、根据上述目标关键帧和上述当前帧得到电子设备的镜头位置和镜头朝向。

基于确定出的目标关键帧以及当前帧，可以得到电子设备的镜头位置和镜头朝向，具体是指捕获当前帧时电子设备的镜头位置和镜头朝向。

其中，SLAM系统所跟踪的环境为一个三维空间，相应的，电子设备的位置具体为一个三维坐标，而电子设备的镜头朝向为电子设备相对参照平面的朝向，例如相对地面的朝向。电子设备的镜头朝向由电子设备在三个坐标轴上的角度组合形成，可以通过一条法线来表示。

另外，上述电子设备的镜头位置也指电子设备的位置，由于电子设备通常为刚体，因此，电子设备的位置实际可以是电子设备的镜头位置。

S103、基于所确定的上述电子设备的镜头位置和镜头朝向进行上述电子设备的视觉状态跟踪。

当出现跟踪丢失后，电子设备无法获取到镜头位置和镜头朝向，而经过上述的步骤处理之后，电子设备可以快速地获取到镜头位置和镜头朝向，基于该镜头位置和镜头朝向即可正常进行跟踪。

本实施例中，电子设备在SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定出与当前帧相匹配的目标关键帧，并根据当前帧以及该目标关键帧得到电子设备的镜头位置和镜头朝向，进而可以基于得到的电子设备的镜头位置和镜头朝向进行电子设备的视觉状态跟踪，从而实现跟踪丢失后，在用户没有感知的情况下快速地恢复跟踪，极大提升用户的体验。

在此之后，电子设备可以进而对IMU的状态进行恢复，具体的恢复过程将在下述实施例中进行详细描述。

在上述实施例的基础上，本实施例涉及电子设备在SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧的具体方法。

图2为本发明实施例提供的电子设备状态跟踪方法实施例二的流程示意图，如图2所示，上述步骤S101包括：

S201、将上述当前帧的图像与上述关键帧集合中的至少一个关键帧的图像进行相似度匹配。

可选的，可以通过当前帧与关键帧的原图进行相似度匹配，或者，也可以通过当前帧与关键帧的缩略图进行相似度匹配，或者，也可以通过当前帧与关键帧的原图以及缩略图进行相似度匹配。

另外，在具体匹配时，可以基于不同的拍摄参数进行匹配，例如镜头位置、镜头筛选或者拍摄时间等。

上述各方案将在下述实施例中进行具体说明。

S202、根据匹配的相似度在上述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。

一种可选方式中，当确定出当前帧与关键帧的匹配度之后，电子设备可以将关键帧集合中相似度最高的关键帧作为目标关键帧。

另一种可选方式中，电子设备也可以将上述关键帧集合中相似度超过设定阈值的关键帧作为上述目标关键帧。具体的，电子设备可以预先设定一个阈值，进而将当前帧与关键帧集合中的关键帧进行相似度匹配，一旦某个关键帧与当前帧的相似度达到该阈值，则将该关键帧作为目标关键帧，而不再需要对关键帧集合中的其他关键帧再进行相似度匹配。

以下对上述步骤S201中进行相似度匹配的具体方法进行描述。

图3为本发明实施例提供的电子设备状态跟踪方法实施例三的流程示意图，如图3所示，上述步骤S201的第一种可选方式为：

S301、在上述地图的关键帧集合中确定缩略图拍摄参数与上述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图。

S302、根据所述当前帧的缩略图上的像素点与上述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。

其中，当前帧的缩略图是指对当前帧的图像进行压缩处理之后形成的图像，关键帧的缩略图是指对关键帧的图像进行压缩处理之后形成的图像。缩略图的尺寸相比当前帧的原图有明显缩小，因此，电子设备预先在存储关键帧时，除了存储关键帧的原图外，还会存储关键帧的缩略图。

进而，在本实施例中，以上述地图的关键帧集合中的关键帧的缩略图以及当前帧的缩略图为比较对象，首先对关键帧集合中的关键帧进行筛选，即筛选出与当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图，例如，假设拍摄参数为镜头位置，则可以筛选出与当前帧的镜头位置的差异小于特定阈值的多个关键帧的缩略图，进而再将这些关键帧的缩略图与当前帧的缩略图进行像素点比较，从而得出相似度匹配的结果。

本实施例中，首先根据关键帧的拍摄参数对地图的关键帧集合中的关键帧进行了筛选，进而，对当前帧和筛选出的关键帧进行相似度匹配，即通过对关键帧的筛选使得需要进行相似度匹配的关键帧数量大幅减少，从而进一步减少了相似度匹配时的计算量和计算时间，提升了处理效率。另外，由于缩略图的尺寸较小，因此，基于缩略图进行筛选也进一步提升了图像筛选的效率。

图4为本发明实施例提供的电子设备状态跟踪方法实施例四的流程示意图，如图4所示，上述步骤S201的第二种可选方式为：

S401、在上述地图的关键帧集合中确定原图拍摄参数与上述当前帧的拍摄参数的差异满足容差范围的多个关键帧的原图。

S402、根据上述当前帧的原图上的像素点与上述关键帧的原图上的像素点的相似程度，进行相似度匹配。

上述步骤中，以上述地图的关键帧集合中的关键帧的原图以及当前帧的原图为比较对象，首先对关键帧集合中的关键帧进行筛选，即筛选出与当前帧的拍摄参数的差异满足容差范围的多个关键帧的原图，例如，假设拍摄参数为镜头朝向，则可以筛选出与当前帧的镜头朝向的差异小于特定阈值的多个关键帧的原图，进而再将这些关键帧的原图与当前帧的原图进行像素点比较，从而得出相似度匹配的结果。

本实施例中，首先根据关键帧的拍摄参数对地图的关键帧集合中的关键帧进行了筛选，进而，对当前帧和筛选出的关键帧进行相似度匹配，即通过对关键帧的筛选使得需要进行相似度匹配的关键帧数量大幅减少，从而进一步减少了相似度匹配时的计算量和计算时间，提升了处理效率。另外，由于原图的信息完整，因此，基于原图进行筛选能够使得相似度匹配的结果更加准确。

图5为本发明实施例提供的电子设备状态跟踪方法实施例五的流程示意图，如图5所示，上述步骤S201的第三种可选方式为：

S501、在上述地图的关键帧集合中确定缩略图拍摄参数与述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图。

S502、确定上述多个关键帧的原图。

S503、根据上述当前帧的原图上的像素点与上述关键帧的原图上的像素点的相似程度，进行相似度匹配。

该实施例是将缩略图与原图结合起来进行相似度匹配，即首先基于缩略从关键帧集合中筛选出多个关键帧的缩略图，进而，再获取这些关键帧的原图，并基于这些关键帧的原图的像素点进行相似度匹配。

可选地，如前所述，上述拍摄参数具体可以是镜头位置、镜头朝向以及拍摄时间等。则在执行上述图3-图5任一实施例之前，电子设备还会根据拍摄参数在上述关键帧集合中确定上述至少一个关键帧，其中，拍摄参数包括以下至少之一：镜头朝向、镜头位置、拍摄时间；和/或，上述至少一个关键帧的图像包括：上述至少一个关键帧的缩略图和/或原图。

在上述实施例的基础上，本实施例涉及电子设备基于目标关键帧和当前帧得到电子设备的镜头位置和镜头朝向的具体方法。

可选的，可以通过以下三种方式来处理：

1、基于目标关键帧的缩略图以及当前帧的缩略图进行处理

2、基于目标关键帧的原图以及当前帧的原图进行处理

3、同时基于目标关键帧的缩略图、原图以及当前帧的缩略图、原图进行处理

以下分别进行说明。

图6为本发明实施例提供的电子设备状态跟踪方法实施例六的流程示意图，如图6所示，上述步骤S102的第一种可选方式为：

S601、根据上述目标关键帧对应的镜头位置以及镜头朝向，确定上述当前帧对应的初始镜头位置以及初始镜头朝向。

具体的，将目标关键帧对应的镜头位置作为当前帧对应的初始镜头位置，将目标关键帧对应的初始镜头朝向作为当前帧对应的初始镜头朝向。

S602、根据上述当前帧对应的初始镜头位置以及初始镜头朝向，将上述目标关键帧的缩略图投影到上述当前帧的缩略图上。

S603、若投影之后上述目标关键帧的缩略图的像素点与上述当前帧的缩略图的像素点的匹配度达到预设值，则将投影时的镜头位置和镜头朝向作为上述当前帧对应的镜头位置以及镜头朝向。

其中，上述步骤S602-S603可以为迭代处理过程，迭代开始时，首先根据当前帧对应的初始镜头位置以及初始镜头朝向，再基于目标关键帧的缩略图，将目标关键帧的缩略图投影到当前帧，投影完成之后，计算当前帧的缩略图与投影后的目标关键帧的缩略图的像素点匹配度，根据匹配度调整当前帧对应的镜头位置以及镜头朝向，作为下一次迭代的输入。迭代结束条件为：当某次迭代中目标关键帧的缩略图投影之后与当前帧的缩略图的匹配度达到预设值，则代表迭代结束，并将本次迭代中的当前帧的镜头位置以及镜头朝向作为最终的镜头位置以及镜头朝向。

图7为本发明实施例提供的电子设备状态跟踪方法实施例七的流程示意图，如图7所示，上述步骤S102的第二种可选方式为：

S701、根据上述目标关键帧对应的镜头位置以及镜头朝向，确定上述当前帧对应的初始镜头位置以及初始镜头朝向。

具体的，将目标关键帧对应的镜头位置作为当前帧对应的初始镜头位置，将目标关键帧对应的初始镜头朝向作为当前帧对应的初始镜头朝向。

S702、根据上述当前帧的原图以及上述目标关键帧的原图，对上述当前帧以及上述目标关键帧进行像素点匹配，获取匹配的像素点集合。

在本步骤中，首先对当前帧的原图和目标关键帧的原图进行像素点匹配。其中，进行像素点匹配的像素点可以称为特征点，即能代表当前帧的原图特征的像素点。电子设备可以首先确定当前帧的原图中的特征点，进而，在目标关键帧的原图中找出匹配的像素点。匹配的像素点可以形成匹配的像素点集合，该集合中包括当前帧的原图的匹配像素点以及目标关键帧的原图的匹配像素点。

S703、根据上述初始镜头位置、上述初始镜头朝向以及上述匹配的像素点集合，将上述目标关键帧投影到上述当前帧上。

S704、根据投影结果确定电子设备的镜头位置和镜头朝向。

其中，上述步骤S703-S704可以为迭代处理过程，

迭代开始时，首先根据上述初始镜头位置以及上述初始镜头朝向，再基于目标关键帧的匹配像素点，将目标关键帧的匹配像素点投影到当前帧的匹配像素点，投影完成之后，计算当前帧的匹配像素点与投影后的目标关键帧的匹配像素点的匹配度，根据匹配度调整当前帧对应镜头位置以及镜头朝向，作为下一次迭代的输入。该迭代阶段的结束条件为：当某次迭代中目标关键帧的匹配像素点投影之后与当前帧的匹配像素点的匹配度达到预设目标值，则代表迭代结束，，并将本次迭代中的当前帧的镜头位置以及镜头朝向作为最终的镜头位置以及镜头朝向。

图8为本发明实施例提供的电子设备状态跟踪方法实施例八的流程示意图，如图8所示，上述步骤S102的第三种可选方式为：

S801、根据上述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向。

首先，本实施例的处理思路为：首先为当前帧赋予初始的镜头位置和镜头朝向，进而，进行将目标关键帧投影到当前帧的多次迭代处理，每次迭代中都会确定出当前帧对应的新的镜头位置和镜头朝向，并且每次迭代所得到新的镜头位置和镜头朝向都更加逼近正确的镜头位置和镜头朝向。另外，上述迭代可以按照缩略图投影和原图投影两个阶段来进行，即首先基于尺寸较小的缩略图进行迭代，获得一个中间结果，再以中间结果为输入，基于原图进行迭代，从而得到准确的结果。

具体的，将目标关键帧对应的镜头位置作为当前帧对应的初始镜头位置，将目标关键帧对应的初始镜头朝向作为当前帧对应的初始镜头朝向。

S802、根据当前帧对应的初始镜头位置以及初始镜头朝向，将上述目标关键帧的缩略图投影到当前帧的缩略图上。

S803、若投影之后上述目标关键帧的缩略图的像素点与当前帧的缩略图的像素点的匹配度达到预设值，则将投影时的镜头位置和镜头朝向作为当前帧对应的中间镜头位置以及中间镜头朝向。

如上所述，迭代过程可以分为两个阶段，分别为缩略图的迭代阶段以及原图的迭代阶段，其中，步骤S801-S803为缩略图的迭代阶段，步骤S802-S803为具体的迭代过程。

具体的，迭代开始时，首先根据当前帧对应的初始镜头位置以及初始镜头朝向，再基于目标关键帧的缩略图，将目标关键帧的缩略图投影到当前帧，投影完成之后，计算当前帧的缩略图与投影后的目标关键帧的缩略图的像素点匹配度，根据匹配度调整当前帧对应镜头位置以及镜头朝向，作为下一次迭代的输入。该迭代阶段的结束条件为：当某次迭代中目标关键帧的缩略图投影之后与当前帧的缩略图的匹配度达到预设值，则代表迭代结束。

该迭代阶段为缩略图阶段，即基于缩略图进行投影，由于缩略图的尺寸小，因此，可以节省计算时间和计算量，在该迭代阶段结束之后，即可以形成一个比较接近正确的镜头位置和镜头朝向的结果，即中间镜头位置和中间镜头朝向。后续再基于该中间镜头位置和中间镜头朝向继续进入原图的迭代阶段。

S804、根据当前帧的原图以及上述目标关键帧的原图，对当前帧以及上述目标关键帧进行像素点匹配，获取匹配的像素点集合。

步骤S804-S806为原图的迭代阶段。

在本步骤中，首先对当前帧的原图和目标关键帧的原图进行像素点匹配。其中，进行像素点匹配的像素点可以称为特征点，即能代表当前帧的原图特征的像素点。电子设备可以首先确定当前帧的原图中的特征点，进而，在目标关键帧的原图中找出匹配的像素点。匹配的像素点可以形成匹配的像素点集合，该集合中包括当前帧的原图的匹配像素点以及目标关键帧的原图的匹配像素点。

S805、根据上述中间镜头位置、上述中间镜头朝向以及上述匹配的像素点集合，将上述目标关键帧投影到所述当前帧上。

S806、根据投影结果确定所述电子设备的镜头位置和镜头朝向。

步骤S805-S806为具体的迭代过程，迭代开始时，首先根据在缩略图的迭代阶段所确定出的中间镜头位置以及中间镜头朝向，再基于目标关键帧的匹配像素点，将目标关键帧的匹配像素点投影到当前帧的匹配像素点，投影完成之后，计算当前帧的匹配像素点与投影后的目标关键帧的匹配像素点的匹配度，根据匹配度调整当前帧对应镜头位置以及镜头朝向，作为下一次迭代的输入。该迭代阶段的结束条件为：当某次迭代中目标关键帧的匹配像素点投影之后与当前帧的匹配像素点的匹配度达到预设目标值，则代表迭代结束。

本步骤中，通过缩略图投影以及原图中匹配像素点投影两个阶段确定出当前帧对应的准确的镜头位置以及镜头朝向，即先基于尺寸较小的缩略图进行投影，得到一个接近准确值的镜头位置以及镜头朝向信息，进而再基于包含所有特征点信息的原图进行投影，得到准确的镜头位置以及镜头朝向信息，从而既节省了处理时间又保证了所确定出的镜头位置以及镜头朝向的准确性。

以下为电子设备对IMU的状态进行恢复的具体过程。

当电子设备恢复跟踪之后，需要对IMU的状态进行恢复，即重新估计IMU的状态。可选的，IMU的状态恢复可以在跟踪恢复之后间隔一定的时间再执行，即当电子设备进行一定的运动之后再执行。

图9为本发明实施例提供的电子设备状态跟踪方法实施例九的流程示意图，如图9所示，IMU状态恢复的过程为：

S901、确定电子设备中IMU的参数信息。

其中，该参数信息包括：电子设备的速度、IMU的角速度偏差以及IMU的加速度偏差至少之一。

具体的，IMU的状态用于表示电子设备的运动状态，其中，IMU的状态根据IMU的相关参数来确定。

IMU的相关参数包括：电子设备的镜头位置、电子设备的镜头朝向、重力方向、电子设备的速度、IMU的角速度偏差以及IMU的加速度偏差。

其中，电子设备的镜头位置和镜头朝向可以通过上述的方法来确定，重力方向可以根据跟踪恢复之前的视觉估计来获得。因此，本实施例中，需要确定电子设备的速度、IMU的角速度偏差以及IMU的加速度偏差。

S902、根据电子设备的镜头位置和镜头朝向以及上述参数信息，重新确定IMU的状态。

当得到IMU的参数信息之后，即可以得出IMU的状态。

S903、根据重新确定的电子设备的IMU的状态进行电子设备的IMU状态跟踪。

以下具体说明电子设备确定上述电子设备的速度、IMU的角速度偏差以及IMU的加速度偏差的过程。

图10为本发明实施例提供的电子设备状态跟踪方法实施例十的流程示意图，如图10所示，电子设备确定IMU的角速度偏差的过程为：

S1001、确定电子设备镜头采集的视频流中第一视频子段中每帧图像对应的IMU的位置和朝向。

上述每帧图像具体是指当恢复跟踪后，开始进行IMU状态恢复时，电子设备所拍摄到的第一视频子段中的每帧图像。当SLAM系统恢复正常跟踪之后，在拍摄每帧图像时，都可以获取到电子设备的位置和镜头朝向。

进而，在本步骤中，具体可以根据每帧图像对应的电子设备的位置和镜头朝向来确定每帧图像对应的IMU的位置和朝向。

S1002、根据第一帧对应的IMU的朝向和第二帧对应的IMU的朝向，确定第一角度变化量。

其中，上述第一帧可以是开始进行IMU状态恢复处理之后所获取的任何一帧，上述第二帧是第一帧的前一帧，即本实施例通过相邻两帧的比较处理来获取IMU的角速度偏差。

如前所述，镜头朝向为三个坐标轴上的角度组合形成，IMU的朝向同样也是这样，因此，可以根据第一帧和第二帧的IMU的朝向确定出一个角度变化量，即第一角度变化量。

S1003、根据上述第一帧的图像和上述第二帧的图像对应的时间间隔内IMU的角速度进行积分得到第二角度变化量。

其中，IMU的角速度可以从陀螺仪中读取到。

S1004、根据上述第一角度变化量和上述第二角度变化量获取第一帧对应的IMU的角速度偏差。

其中，本步骤获取到的第一帧对应的IMU的角速度偏差即为IMU的角速度偏差。

图11为本发明实施例提供的电子设备状态跟踪方法实施例十一的流程示意图，如图11所示，电子设备确定IMU的加速度偏差的过程为：

S1101、根据第一帧对应的IMU的位置和第二帧对应的IMU的位置，确定第一位移变化量。

S1102、根据预设重力信息，对第一帧图像和第二帧图像对应的时间间隔内IMU的加速度进行积分得到第二位移变化量。

IMU的加速度可以从加速计中读取。

S1103、根据第一位移变化量、第二位移变化量、第一角度变化量和第二角度变化量获取第一帧对应的速度和IMU的加速度偏差。

其中，本步骤获取到的第一帧对应的速度和IMU的加速度偏差即为电子设备的速度以及IMU的加速度偏移量。

进一步地，作为一种可选的实施方式，当电子设备确定出电子设备的速度、IMU的角速度偏差以及IMU的加速度偏差之后，还可以验证这些信息的正确性。即，电子设备可以对上述IMU的参数信息进行验证，如果验证通过，再根据上述确定出的IMU的状态对IMU进行相应调整。

而如果验证不通过，则确定电子设备镜头采集的视频流中第二视频子段，并基于该第二视频子段重新确定IMU的参数信息，其中，该第二视频子段与第一视频子段部分重叠或完全不同。

具体的，由于陀螺仪、加速度计等硬件信号可能存在噪声过大的问题，因此，当验证不通过时，可以重新选择一段视频来确定IMU的参数信息。例如，第一视频子段对应第1至10帧，则当验证不通过时，所选择的第二视频子段可以为第4至10帧，即同第一视频子段部分重叠。

需要说明的是，上述每个视频子段中至少包括两帧。

可选的，电子设备可以验证IMU的参数信息是否满足如下条件：

(1)、IMU的加速度偏差小于等于第一预设阈值，并且IMU的加速度偏差与电子设备中保存的加速计的历史偏移量的差值小于第二预设阈值。

其中，上述第一预设阈值为预先标定的数值范围，上述历史偏移量可以是SLAM初始化时得到的加速计的偏移量，也可以是在IMU状态恢复之前的某个时刻得到的加速计的偏移量。

(2)、电子设备的速度与在跟踪时确定的速度的差值小于第三预设阈值。

其中，在跟踪时确定的速度可以是在进行IMU状态恢复之前的跟踪过程中，选择两帧图像进行视觉定位所得到的速度信息。

图12为本发明实施例提供的电子设备状态跟踪装置实施例一的模块结构图，如图12所示，该装置包括：

第一确定模块1201，用于在SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧。

获取模块1202，用于根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向。

第一跟踪模块1203，用于基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。

图13为本发明实施例提供的电子设备状态跟踪装置实施例二的模块结构图，如图13所示，第一确定模块1201包括：

匹配单元12011，用于将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配。

第一确定单元12012，用于根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。

另一实施例中，第一确定单元12012具体用于：

将所述关键帧集合中相似度最高的关键帧作为所述目标关键帧；或者，

将所述关键帧集合中相似度超过设定阈值的关键帧作为所述目标关键帧。

另一实施例中，匹配单元12011具体用于：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

根据所述当前帧的缩略图上的像素点与所述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。

另一实施例中，匹配单元12011具体还用于：

在所述地图的关键帧集合中确定原图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的原图；

根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。

另一实施例中，匹配单元12011具体还用于：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

确定所述多个关键帧的原图；

根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。

图14为本发明实施例提供的电子设备状态跟踪装置实施例三的模块结构图，如图14所示，第一确定模块1201还包括：

第二确定单元12013，用于根据拍摄参数在所述关键帧集合中确定所述至少一个关键帧，所述拍摄参数包括以下至少之一：镜头朝向、镜头位置、拍摄时间；和/或，

所述至少一个关键帧的图像包括：所述至少一个关键帧的缩略图和/或原图。

图15为本发明实施例提供的电子设备状态跟踪装置实施例四的模块结构图，如图15所示，获取模块1202包括：

第一确定单元12021，用于根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

第一投影单元12022，用于根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；

第一处理单元12023，用于在投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值时，将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向。

图16为本发明实施例提供的电子设备状态跟踪装置实施例五的模块结构图，如图16所示，获取模块1202还包括：

第二确定单元12024，用于根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

第一匹配单元12025，用于根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；

第二投影单元12026，用于根据所述初始镜头位置、所述初始镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；

第二处理单元12027，用于根据投影结果确定所述电子设备的镜头位置和镜头朝向。

图17为本发明实施例提供的电子设备状态跟踪装置实施例六的模块结构图，如图17所示，获取模块1202还包括：

第三确定单元12028，用于根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；

第三投影单元12029，用于根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；

第三处理单元120210，用于在投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值时，将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向；

第二匹配单元120211，用于根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；

第四投影单元120212，用于根据所述当前帧对应的镜头位置、镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；

第四处理单元120213，用于根据投影结果确定所述电子设备的镜头位置和镜头朝向。

图18为本发明实施例提供的电子设备状态跟踪装置实施例七的模块结构图，如图18所示，还包括：

第二确定模块1204，用于确定所述电子设备中惯性测量单元IMU的参数信息；

第三确定模块1205，用于根据所述电子设备的镜头位置和镜头朝向以及所述参数信息，重新确定所述IMU的状态；

第二跟踪模块1206，用于根据重新确定的所述电子设备的IMU的状态进行所述电子设备的IMU状态跟踪。

另一实施例中，所述IMU的参数信息包括以下至少之一：所述电子设备的速度、所述IMU的角速度偏差以及所述IMU的加速度偏差。

图19为本发明实施例提供的电子设备状态跟踪装置实施例八的模块结构图，如图19所示，第二确定模块1204包括：

第一确定单元12041，用于确定所述电子设备镜头采集的视频流中第一视频子段中每帧图像对应的IMU的位置和朝向。

第二确定单元12042，用于根据第一帧对应的IMU的朝向和第二帧对应的IMU的朝向，确定第一角度变化量。

第三确定单元12043，用于根据所述第一帧的图像和所述第二帧的图像对应的时间间隔内所述IMU的角速度进行积分得到第二角度变化量。

第一获取单元12044，用于根据所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的IMU的角速度偏差；

其中，所述第二帧为所述第一帧的前一帧。

图20为本发明实施例提供的电子设备状态跟踪装置实施例九的模块结构图，如图20所示，第二确定模块1204还包括：第四确定单元12045，用于根据第一帧对应的IMU的位置和第二帧对应的IMU的位置，确定第一位移变化量。第五确定单元12046，用于根据预设重力信息，对所述第一帧图像和所述第二帧图像对应的时间间隔内所述IMU的加速度进行积分得到第二位移变化量。

第二获取单元12047，用于根据所述第一位移变化量、所述第二位移变化量、所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的速度信息和所述IMU的加速度偏差。

图21为本发明实施例提供的电子设备状态跟踪装置实施例十的模块结构图，如图21所示，还包括：

验证模块1207，用于对所述IMU的参数信息进行验证。

调整模块1208，用于在验证通过时，根据确定出的所述IMU的状态对所述IMU进行相应调整。

图22为本发明实施例提供的电子设备状态跟踪装置实施例十一的模块结构图，如图22所示，还包括：

第四确定模块1209，用于在验证不通过时，确定所述电子设备镜头采集的视频流中第二视频子段，并基于所述第二视频子段重新确定所述IMU的参数信息，其中，所述第二视频子段与所述第一视频子段部分重叠或完全不同。

另一实施例中，验证模块706具体用于：

验证所述IMU的参数信息是否满足如下至少一种条件：

所述IMU的加速度偏差小于等于第一预设阈值，并且所述IMU的加速度偏差与所述电子设备中保存的加速计的历史偏移量的差值小于第二预设阈值；

所述电子设备的速度与在所述跟踪时确定的速度的差值小于第三预设阈值。

图23为本发明实施例提供的AR引擎的模块结构图，如图23所示，该AR引擎包括：

获取模块2301，用于获取SLAM系统的输出结果，所述输出结果包括采用上述电子设备状态跟踪方法获得的电子设备的状态跟踪信息；

绘制模块2302，用于根据所述状态跟踪信息在所述电子设备的场景或场景拍摄的视频流中绘制虚拟物体。

图24为本发明实施例提供的电子设备的实体框图，如图24所示，该电子设备包括：

存储器2401，用于存储程序指令。

处理器2402，用于调用并执行存储器2401中的程序指令，执行上述方法实施例所述的方法步骤。

图25为本发明实施例提供的增强现实AR控制系统的架构示意图，如图24所示，该系统50包括：

通信连接的电子设备2501、AR引擎2502以及SLAM系统2503。

其中，AR引擎2502为上述图23所示的AR引擎，SLAM系统2403包括上述实施例中所述的电子设备状态跟踪装置。在实际使用中，SLAM系统中的电子设备状态跟踪装置获取电子设备的状态跟踪信息，并将其传输给AR引擎，由AR引擎根据电子设备的状态跟踪信息在电子设备的场景或场景拍摄的视频流中绘制虚拟物体。

具体的，如图25所示，AR控制系统50中的电子设备2501、SLAM系统2503和AR引擎2502之间通信连接，可以进行数据的传输。

可选的，如图26所示，本实施例的SLAM系统2503可以设置在电子设备2501中，或者，如图27所示，本实施例的SLAM系统2503和AR引擎2502均设置在电子设备2501中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种电子设备状态跟踪方法，其特征在于，包括：

在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；

根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；

基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。

2.根据权利要求1所述的方法，其特征在于，所述在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定与状态跟踪丢失的当前帧相匹配的目标关键帧，包括：

将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配；

根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。

3.根据权利要求2所述的方法，其特征在于，所述根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧，包括：

将所述关键帧集合中相似度最高的关键帧作为所述目标关键帧；或者，

将所述关键帧集合中相似度超过设定阈值的关键帧作为所述目标关键帧。

4.根据权利要求2或3所述的方法，其特征在于，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：

在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；

根据所述当前帧的缩略图上的像素点与所述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。

5.一种增强现实AR控制方法，其特征在于，包括：

AR引擎获取同时定位与地图构建SLAM系统的输出结果，所述输出结果包括采用权利要求1-4任一所述的方法获得的电子设备的状态跟踪信息；

所述AR引擎根据所述状态跟踪信息在所述电子设备的场景或场景拍摄的视频流中绘制虚拟物体。

6.一种电子设备状态跟踪装置，其特征在于，包括：

第一确定模块，用于在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；

获取模块，用于根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；

第一跟踪模块，用于基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。

7.一种增强现实AR引擎，其特征在于，包括：

获取模块，用于获取SLAM系统的输出结果，所述输出结果包括采用上述电子设备状态跟踪方法获得的电子设备的状态跟踪信息；

绘制模块，用于根据所述状态跟踪信息在所述电子设备的场景或场景拍摄的视频流中绘制虚拟物体。

8.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-4任一项所述的方法步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当电子设备状态跟踪装置的至少一个处理器执行所述计算机程序时，电子设备状态跟踪装置执行权利要求1-4任一项所述的电子设备状态跟踪方法。

10.一种增强现实AR控制系统，其特征在于，包括：通信连接的电子设备、增强现实AR引擎和同时定位与地图构建SLAM系统，所述AR引擎为如权利要求7所述的AR引擎，所述SLAM系统包括如权利要求6所述的电子设备状态跟踪装置。