CN111307146B - 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统 - Google Patents

Abstract

本申请公开了一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置电连接。本发明的优点在于它能克服现有技术的弊端，结构设计合理新颖。

Description

一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统

技术领域

本发明涉及一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，属于计算机视觉、虚拟现实(VR)技术领域。

背景技术

近年来，随着虚拟现实(Virtual Reality，VR)产业的火热发展，各类虚拟现实设备层出不穷。对于虚拟现实设备来说，实时追踪定位是最基本的问题之一，它可以使虚拟现实的体验更加真实。但虚拟现实头戴显示设备的定位技术发展相对缓慢。现阶段的VR设备大都依赖外部套件，采用Outside-In(由外向内)的技术方案进行追踪，但外部套件对于移动的VR头戴显示设备来说并不是一个合理的解决方案，因为这些外部套件会使移动的VR头戴显示设备失去便携性。一些厂商针对移动设备开发了双目摄像头，SLAM(simultaneouslocalization and mapping，同步定位与建图)等追踪方案，但是存在成本较高，计算复杂的问题。当前，VR场景下的追踪定位方法主要有红外光学定位、激光定位、低功耗蓝牙定位、视觉定位四种，这几种定位方法主要有以下缺点：

1)激光定位：基本原理就是利用定位光塔，对定位空间发射横竖两个方向扫射的激光，在被定位物体上放置多个激光感应接收器，通过计算两束光线到达定位物体的角度差，解算出待测定位节点的坐标。但激光定位价格高，不利用VR产品的大面积推广。

2)红外光学定位：利用多个红外摄像头对室内空间进行覆盖，还需要在被追踪物体上放置红外反光点，通过捕捉这些反光点来确定物体在空间中的位置信息。这种定位系统定位精度较高，但造价昂贵，供货量很小，不适合消费级的虚拟现实设备。

3)蓝牙定位:即利用低功耗蓝牙设备向周围发送自己特有的ID，接收到该ID的应用软件会根据其信息采取一些动作。缺点是定位精度很低且设备要求较高，不适用于VR应用。

4)视觉定位：视觉定位方案利用摄像头采集信息，并提取图像中的特征来进行定位，该方法的精度没有激光定位、红外光学定位等方案高，但其算法简单、价格便宜、且容易扩展，使它成为了目前VR市场上相对主流的定位方案。但纯视觉定位算法存在以下问题：尺度不确定性、三角化算法退化、不能与重力对齐、对环境干扰敏感等问题。因此可以利用惯性传感器(Inertial Measurement Unit，IMU)等额外的传感器来提高算法的精度和鲁棒性。

当前虚拟现实领域中，大多数的视觉定位方法不能重复利用建好的地图，而大量的虚拟现实应用位于室内，地图重复率非常高，如何利用已建好的地图值得思考。

发明内容

本发明提供一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，利用视觉信息和IMU信息来确定设备在空间中的三维坐标和朝向信息，该系统部署简单、功耗低、硬件成本小、不会产生对人体有害的电磁波谱、实用性好。

本发明采取的技术方案是，一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置电连接；所述数据处理服务端接收左目相机、右目相机和IMU传输的数据，数据处理服务端将接收到的左目相机、右目相机和IMU传输的数据进行解析后计算出VR设备的具体坐标位置值，数据处理服务端将解析后计算出的VR设备的具体坐标位置值反馈给相应的VR头戴显示设备；

数据服务端包括双目图像获取模块、IMU信息读取与预处理模块、图像特征提取模块、立体匹配模块、位姿估计模块；

双目图像获取模块获得左目相机、右目相机中的双目图像，并完成左目相机图像、右目相机图像之间的时间同步；

IMU信息读取与预处理模块读取IMU传感器中的加速度数据和角速度数据，利用预积分完成IMU数据与双目相机之间的同步；

图像特征提取模块对通过左目相机、右目相机获取图像进行处理，提取左目相机图像、右目相机图像中的特征点，并利用左目相机图像、右目相机图像恢复特征点的深度信息；

立体匹配模块对左目相机图像、右目相机图像提取出的特征点进行匹配，得到特征点的对应匹配关系；根据三角化原理对从左目相机图像、右目相机图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；

位姿估计模块利用图像中提取的特征对应关系和IMU信息计算位姿估计及效果。

优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，头戴显示设备启动时，数据处理服务端对双目相机单元和IMU的内部参数和外部参数进行标定，IMU需要标定的内部参数包括加速度计的随机游走和噪声密度、陀螺仪的随机游走和噪声密度；双目相机需要标定的内部参数包括各个摄像头的畸变系数、投影矩阵和时间戳信息；需要标定的外部参数包括IMU与左目相机之间、IMU与右目相机之间的转换矩阵。

优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，双目图像获取模块获得左目相机、右目相机中的左目图像、右目图像，利用左目图像、右目图像携带中的时间戳信息完成右目图像序列、右目图像序列之间的对齐，得到时间一致的图像配对序列；

IMU信息读取与预处理模块读取IMU传感器中的加速度计数据和陀螺仪的角速度数据，IMU信息读取与预处理模块对加速度计数据和角速度数据进行预积分以完成图像配对序列与IMU数据在时间上的同步；

图像特征提取模块根据左目相机、右目相机获取的左目图像、右目图像的平移量和旋转量计算左目图像前后两帧间、右目图像前后两帧间的平均视差，并且根据图像特征提取模块内存储的预定阈值判断平均视差是否符合关键帧提取条件，提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，利用ORB算子提取关键帧中的特征点；所述立体匹配模块对左目图像、右目图像的关键帧中提取出的特征点进行匹配，得到特征点的对应匹配关系；立体匹配模块根据三角化原理对从左目图像、右目图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；

位姿估计模块根据匹配好的3D特征点计算前后两帧间的位姿变换矩阵，得到图像间初步的位姿变换矩阵；利用IMU预积分结果作为运动的初步约束，再由各特征点对计算得出位姿变换矩阵进行初步筛选，保存与IMU预积分结果相近的变换；最后再上一步的基础上，利用RANSAC算法排除离群点，得到与大部分特征点变化相吻合的位姿估计矩阵。

优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，IMU信息读取与预处理模块利用滤波算法对IMU传感器中的加速度计数据和陀螺仪的角速度数据进行噪声过滤；图像特征提取模块提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，并利用左目图像、右目图像的时间戳记进行左目图像关键帧、右目图像关键帧的配对；利用ORB算子提取左目图像关键帧、右目图像关键帧中的特征点，并将配对的左目图像关键帧、右目图像关键帧中的特征点作为特征匹配点对。

优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，数据服务端还包括局部建图模块、局部优化模块、闭环检测模块；

局部建图模块根据立体匹配模块的结果，对提取出的图像特征点建立局部地图；

局部优化模块利用L-M算法对建立的局部地图和相机位姿序列进行优化，优化局部地图和位姿变换信息；

闭环检测模块检测局部地图中已出现过的相同场景，利用闭环减少IMU和视觉估计位姿变换的累积误差，得到更加准确的相机位置和相机姿态。

优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，局部建图模块将立体匹配模块的结果中计算得到的三维特征点参数化到地图数据库中，通过对地图中重复的特征点进行融合建立局部地图；

局部优化模块将位姿估计模块计算结果中得到的位姿变换矩阵和局部地图中的3D特征点更新到系统状态向量中，根据公式计算包含图像特征点重投影误差和IMU误差项的总误差，再利用高斯牛顿法优化状态变量，得到优化的地图特征点和位姿变换矩阵。

闭环检测模块检测到闭环后就，对全局的相机位姿进行优化，消除漂移并将消除漂移均匀地分配到整个场景中。

优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，局部建图模块根据立体匹配模块的处理结果，对地图中跟踪质量不佳的特征点进行剔除；对地图中的冗余关键帧进行剔除。

本发明提供的虚拟现实设备定位系统有如下优点：利用相机和IMU可以在室内没有GPS的环境下对虚拟现实头戴显示设备进行追踪定位；与现有的基于视觉定位的方法相比能够利用IMU提高输出频率；不需要外部设备的辅助就能完成定位；相机模组和IMU传感器的组合具有体积小、低功耗、安全便携、对人体没有危害的优点，并且硬件设备便宜，实现成本低，因此可以提高产品在消费级市场的竞争力。

附图说明

图1为本发明的虚拟现实定位系统流程图；

图2为本发明的双目相机单元与IMU结构示意图；

图3为双目相机的数学几何模型。

具体实施方式

下面结合附图与具体实施例进一步阐述本发明的技术特点。

一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置电连接；所述数据处理服务端接收左目相机、右目相机和IMU传输的数据，数据处理服务端将接收到的左目相机、右目相机和IMU传输的数据进行解析后计算出VR设备的具体坐标位置值，数据处理服务端将解析后计算出的VR设备的具体坐标位置值反馈给相应的VR头戴显示设备；

数据服务端包括双目图像获取模块、IMU信息读取与预处理模块、图像特征提取模块、立体匹配模块、位姿估计模块、局部优化模块、局部建图模块、闭环检测模块。

头戴显示设备定位系统的定位操作包括以下步骤：

头戴显示设备定位系统在定位开始前需要标定双目相机单元和IMU的内部参数和外部参数。其中，IMU需要标定的内部参数包括三轴加速度计的随机游走和噪声密度、三轴陀螺仪的随机游走和噪声密度；双目相机单元需要标定的内部参数包括左目相机、右目相机的畸变系数、投影矩阵和时间戳信息；需要标定的外部参数包括IMU与左目相机之间、IMU与右目相机之间的转换矩阵。

双目图像获取模块获得左目相机、右目相机中的左目图像、右目图像，利用左目图像、右目图像携带中的时间戳信息完成右目图像序列、右目图像序列之间的对齐，得到时间一致的图像配对序列。具体实施过程中，可以利用时间戳信息把拍摄时间偏差在一定范围内的照片认为是同步的，在条件允许的情况下，可采用较高帧率的相机来减少同步时间偏差，例如把相机帧率从25fps增加到50fps时，就可把最大同步偏差20ms减少到10ms。

IMU信息读取与预处理模块包括：读取IMU传感器中的加速度计数据和陀螺仪的角速度数据/>利用滤波算法对IMU数据进行噪声过滤。由于IMU采样率较高，一般都在100hz以上，因此需要对加速度计数据和角速度数据进行预积分以完成图像配对序列与IMU数据在时间上的同步以便于后续步骤。具体实施过程中：IMU传感器的数学模型为：

其中，是t时刻IMU角速度的观测值，w_t是t时刻真实的角速度，/>是t时刻的角速度偏差向量，n_w是影响角速度的高斯白噪声，满足/>是t时刻IMU加速度的观测值，α_t是t时刻真实的加速度向量，/>是t时刻的加速度偏差向量，g^w是当地的重力加速度，/>是t时刻的转换矩阵，n_α是影响加速度的高斯白噪声，满足假设时间序列t_k和t_k+1对应的两个关键帧b_k和b_k+1之间存在多个IMU数据。则其预积分公式为：

其中，

图像特征提取模块包括：首先根据左目相机、右目相机获取的左目图像、右目图像的平移量和旋转量计算左目图像前后两帧间、右目图像前后两帧间的平均视差，根据图像特征提取模块内存储的预定阈值判断平均视差是否符合关键帧提取条件，提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，利用ORB算子提取关键帧中的特征点。

立体匹配模块对左目图像、右目图像的关键帧中提取出的特征点进行匹配，得到特征点的对应匹配关系；立体匹配模块根据三角化原理对从左目图像、右目图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置。

基于双目相机的几何模型如附图3所示，其中空间中的点P的深度为z，f为焦距，由相似原理，可得到特征点P的深度的计算公式为：

d＝u_L-u_R

其中d表示左右图的横坐标之差。P_L和P_R分别是点P在左目相机和右目相机的投影点，对应的坐标分别是u_L和u_R。

位姿估计模块包括：根据匹配好的特征点计算前后两帧间的位姿变换矩阵，得到图像间初步的位姿变换矩阵；利用IMU预积分结果作为运动的初步约束，再由各特征点对计算得出位姿变换矩阵进行初步筛选，保存与IMU预积分结果相近的变换；最后再上一步的基础上，利用RANSAC算法排除离群点，得到与大部分特征点变化相吻合的位姿估计矩阵。

具体地，该系统根据匹配好的一组3D特征点P＝{p₁,...p_n}，P'＝{p₁',...p'_n}，利用ICP算法来计算两帧图像之间的旋转矩阵R和平移向量t,使得：

本系统采用非线性优化的方法求解该ICP问题，具体步骤如下：

计算两组点的质心位置P，P′,然后计算每个点的去质心坐标：

q_i＝p_i-p，q′_i＝p′_i-p

根据以下优化问题计算旋转矩阵：

根据第二步的R，计算t：

t′＝p-Rp′

具体地，RANSAC算法的具体步骤如下：

1)选择出可以估计出模型的最小数据集；

2)使用这个数据集来计算出数据模型；

3)将所有数据带入这个模型，计算出“内点”的数目；

4)比较当前模型和之前推出的最好的模型的“内点“的数量，记录最大“内点”数的模型参数和“内点”数；

重复1)至4)步，直到迭代结束或者当前模型达到预定要求(“内点数目大于一定数量”)。

通过以后RANSAC算法就可以处理带有错误匹配的数据。

局部建图模块包括：把立体匹配模块计算得到的三维特征点参数化到地图数据库中；对地图中重复的特征点进行融合；对地图中跟踪质量不佳的特征点进行剔除；对地图中的冗余关键帧进行剔除。

具体地，我们使用逆深度的方法即图像坐标u,v和深度值的倒数来参数化三维特征点。

局部优化模块包括：把得到的位姿变换矩阵和局部地图中的特征点更新到系统状态向量中，根据公式计算包含图像特征点重投影误差和IMU误差项的总误差；再利用高斯牛顿法优化状态变量，得到更加精准的地图特征点和位姿变换矩阵。

滑动窗口中的状态向量如下所示：

其中，x_k是第k帧图片捕获时IMU的状态向量。则待优化的重投影误差如下表示：

其中，ρ(s)是Huber范数,计算方法如下：

s<1时，ρ(s)＝s；s>1时，

其中，和/>分别是IMU和视觉测量值的残差项。e表示观测到的特征x集合。{r_p,H_p}边缘化的先验信息。本系统的实现中使用了Ceres solver来优化该目标函数，具体使用了高斯牛顿法进行优化。给定一个待解的线性最小二乘问题：

高斯牛顿法的算法具体步骤描述如下：

《1》.给定初始值x₀。

《2》.对于第k次迭代，求出当前的雅可比矩阵J(x_k)和误差f(x_k)。

《3》.求解增量方程：H△x_k＝g.

《4》.若△x_k足够小，则停止。否则，令x_k+1＝x_k+△x_k，返回步骤《2》并重复步骤《2》至步骤《4》的过程。

有别于位姿估计模块仅考虑相邻帧间的投影误差，在局部优化阶段，需要综合考虑局部地图内一系列关键帧间的投影误差和，通过求解多帧间误差和的最小值，以调整局部地图中的相机位姿和路标点位置，从而得到更精确的结果。

闭环检测模块主要是为了解决IMU漂移和视觉累积误差的问题。室内环境又是地图重复利用率非常高的场景，因此需要闭环检测以得到全局一致的轨迹和地图，闭环检测还可用于解决重定位的问题。通常依赖视觉词袋的构建和图像间的相似性计算来实现。当系统检测到闭环后就可以对全局的相机位姿进行优化，从而消除漂移并将误差均匀地分配到整个场景中，最终形成全局一致的三维地图。

具体地，视觉词袋模型的构建包括如下步骤：

在根节点，用k-means把所有样本聚成k类(实际中为保证聚类均匀性会使用k-means++)。这样得到了第一层。

对第一层的每个节点，把属于该节点的样本再聚成k类，得到下一层。

依此类推，最后得到叶子层。叶子层即为所谓的Words。

其中涉及的k-means聚类方法包括如下步骤：

随机选取k个中心点：c₁,...c_k；

对每一个样本，计算与每个中心点之间的距离，取最小的作为它的归类；

重新计算每个类的中心点。

如果每个中心点变化都很小，则算法收敛，退出；否则返回1。

通过以上步骤即可建立视觉词袋模型。

本系统利用TF-IDF来描述视觉单词的权重。具体地，设图像A中单词w_i出现了n_i次，而一共出现的单词数为n，则该视觉单词的权重为：

η_i＝TF_i×IDF_i

其中，

而图像A的描述向量

ν_A＝{(W₁,η₁),(W₂,η₂),...(W_N,η_N)}。

对于两个图像A和B的描述向量νA和νB，两帧图像之间的相似度通过下式计算：

经过上述各模块之后，由局部优化模块输出六维的位姿变换结果q＝[p,q]。

在本发明的实施例中，提供了一种融合双目视觉和IMU的定位系统。该系统包括：双目摄像头、惯性测量单元；如附图2所示：所述双目相机单元包括左目相机和右目相机；所述IMU设置在所述双目相机单元上，且所述左目相机和所述右目相机对称位于所述惯性测量单元的两侧；所述双目相机单元和所述惯性测量单元分别与所述双目视觉定位装置连接。

本发明实施例提供的技术方案中，联合双目相机单元和惯性测量单元来进行位姿估计，引入惯性测量单元不但能提高输出率，还可减少仅根据双目相机单元进行位姿估计的误差；并且，在双目相机单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目相机单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用的图优化算法来对位姿估计结果和局部地图进行优化。可有效减少数据处理时间，提高实时性。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，作出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (6)

1.一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置相连接；所述数据处理服务端接收左目相机、右目相机和IMU传输的数据，数据处理服务端将接收到的左目相机、右目相机和IMU传输的数据进行解析后计算出VR设备的具体坐标位置值，数据处理服务端将解析后计算出的VR设备的具体坐标位置值反馈给相应的VR头戴显示设备；

数据服务端包括双目图像获取模块、IMU信息读取与预处理模块、图像特征提取模块、立体匹配模块、位姿估计模块；

双目图像获取模块获得左目相机、右目相机中的双目图像，并完成左目相机图像、右目相机图像之间的时间同步；

IMU信息读取与预处理模块读取IMU传感器中的加速度数据和角速度数据，利用预积分完成IMU数据与双目相机之间的同步；

图像特征提取模块对通过左目相机、右目相机获取图像进行处理，提取左目相机图像、右目相机图像中的特征点，并利用左目相机图像、右目相机图像恢复特征点的深度信息；

立体匹配模块对左目相机图像、右目相机图像提取出的特征点进行匹配，得到特征点的对应匹配关系；根据三角化原理，利用从左目相机图像、右目相机图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；

位姿估计模块利用图像中提取的特征点对应关系和IMU信息计算位姿估计及效果；

双目图像获取模块获得左目相机、右目相机中的左目图像、右目图像，利用左目图像、右目图像携带中的时间戳信息完成右目图像序列、右目图像序列之间的对齐，得到时间一致的图像配对序列；

IMU信息读取与预处理模块读取IMU传感器中的加速度计数据和陀螺仪的角速度数据，IMU信息读取与预处理模块对加速度计数据和角速度数据进行预积分以完成图像配对序列与IMU数据在时间上的同步；

图像特征提取模块根据左目相机、右目相机获取的左目图像、右目图像的平移量和旋转量计算左目图像前后两帧间、右目图像前后两帧间的平均视差，并且根据图像特征提取模块内存储的预定阈值判断平均视差是否符合关键帧提取条件，提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，利用ORB算子提取关键帧中的特征点；所述立体匹配模块对左目图像、右目图像的关键帧中提取出的特征点进行匹配，得到特征点的对应匹配关系；立体匹配模块根据三角化原理对从左目图像、右目图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；

位姿估计模块根据匹配好的3D特征点计算前后两帧间的位姿变换矩阵，得到图像间初步的位姿变换矩阵；利用IMU预积分结果作为运动的初步约束，再由各特征点对计算得出位姿变换矩阵进行初步筛选，保存与IMU预积分结果相近的变换；最后再上一步的基础上，利用RANSAC算法排除离群点，得到与大部分特征点变化相吻合的位姿估计矩阵。

2.根据权利要求1所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：头戴显示设备启动时，数据处理服务端对双目相机单元和IMU的内部参数和外部参数进行标定，IMU需要标定的内部参数包括加速度计的随机游走和噪声密度、陀螺仪的随机游走和噪声密度；双目相机需要标定的内部参数包括各个摄像头的畸变系数、投影矩阵和时间戳信息；需要标定的外部参数包括IMU与双目相机各摄像头之间的转换矩阵。

3.根据权利要求1所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：IMU信息读取与预处理模块利用滤波算法对IMU传感器中的加速度计数据和陀螺仪的角速度数据进行噪声过滤；图像特征提取模块提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，并利用左目图像、右目图像的时间戳记进行左目图像关键帧、右目图像关键帧的配对；利用ORB算子提取左目图像关键帧、右目图像关键帧中的特征点，并将配对的左目图像关键帧、右目图像关键帧中的特征点作为特征匹配点对。

4.根据权利要求1所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：数据服务端还包括局部建图模块、局部优化模块、闭环检测模块；

局部建图模块根据立体匹配模块的结果，对提取出的图像特征点建立局部地图；

局部优化模块利用L-M算法对建立的局部地图和相机位姿序列进行优化，优化局部地图和位姿变换信息；

闭环检测模块检测局部地图中已出现过的相同场景，利用闭环减少IMU和视觉估计位姿变换的累积误差，得到更加准确的相机位置和相机姿态。

5.根据权利要求4所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：局部建图模块将立体匹配模块的结果中计算得到的三维特征点参数化到地图数据库中，通过对地图中重复的特征点进行融合建立局部地图；

局部优化模块将位姿估计模块计算结果中得到的位姿变换矩阵和局部地图中的3D特征点更新到系统状态向量中，根据公式计算包含图像特征点重投影误差和IMU误差项的总误差，再利用高斯牛顿法优化状态变量，得到优化的地图特征点和位姿变换矩阵；

闭环检测模块检测到闭环后就，对全局的相机位姿进行优化，消除漂移并将消除漂移均匀地分配到整个场景中。

6.根据权利要求4所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：局部建图模块根据立体匹配模块的处理结果，对地图中跟踪质量不佳的特征点进行剔除；对地图中的冗余关键帧进行剔除。