CN113340312A - 一种ar室内实景导航方法及系统 - Google Patents

Abstract

本发明提供了一种AR室内实景导航方法及系统，导航方法先构建高精地图，获取地图数据，后在高精地图上进行视觉定位。视觉定位包括移动端定位，获取移动端位姿，服务端定位，输入查询图，自查询图中提取二维特征点，并与地图数据中的三维特征点进行匹配，获取对应关系，输出查询图位姿，对移动端位姿进行实时校正；最后根据移动端的位姿和查询图的位姿在高精度图中生成路线指引并渲染。本发明基于视觉定位进行导航，定位精度可以达到米级，且无需额外布置设备，成本相对比较低。

Description

一种AR室内实景导航方法及系统

技术领域

本发明涉及导航技术领域，具体涉及一种AR室内实景导航方法及系统。

背景技术

自1967年卫星导航技术开放民用以来，经过50多年发展，导航定位已广泛应用于交通物流、地理信息、高精度测量等多种行业中，提升了现代社会的运营效率，也为个人生活和出行都带来巨大便利。不过，尽管导航定位技术在室外场景中已非常普及，室内导航应用却一直未取得很好发展。

特别是机场、火车站等大型室内场所内存在GPS信号不稳定、室内面积大、路线复杂、用户判断方向难等问题，给在大型场所内的用户日常的定位、寻路造成很大的困扰。

传统的定位导航方案是有GPS，而且只适合于室外，精度通常只有10米级别。室内一般较常采用的方案有WiFi、蓝牙，通常定位精度也基本上只能到米级，而且预先去布置设备，需要硬件设备的支撑，工程量较大、成本较高。

发明内容

本发明的目的在于提供一种提高定位精度降低造价的AR室内实景导航方法及系统。

本发明提供的这种AR室内实景导航方法，包括如下步骤：

S.1、构建高精地图，获取地图数据；

S.2、视觉定位；

S.2.1、移动端定位，获取移动端位姿，

S.2.2、服务端定位，输入查询图，自查询图中提取二维特征点，并与地图数据中的三维特征点进行匹配，获取对应关系，输出查询图位姿，

S.2.3、对移动端位姿进行实时校正；

S.3、根据移动端位姿和查询图的位姿在高精度图中生成路线指引并渲染。

所述S.1中构建高精视觉地图包括稀疏地图构建和稠密地图构建。

所述稀疏地图构建采用运动恢复结构，利用机器人进场采集的视频、图片数据作为输入，提取场景中的视觉特征，恢复图片的位姿和场景的稀疏三维特征点云。

所述稠密地图构建利用追加的全景视频以及恢复的位姿为输入，输出场景的精细化稠密点云和带纹理的三维网格模型。

所述S.2中：首先进行图像上的二维特征点检测，其次进行二维特征点描述，接着进行二维特征点与三维特征点匹配，然后进行三维特征点与相机空间位置求解，再进行运动推断结构，构建稠密点云，再表面网格重建，最后进行纹理重建。

所述移动端定位利用移动端自带的传感器进行实时定位。

所述S.2.3中根据一段距离和不同视角内具有显著区分度的地物特征对移动端位姿进行实时校正；实时校正根据上下文信息对移动端位姿进行校正，如果前后两帧信息均满足定位条件，但定位结果存在差异，过滤出现孤立跳变的定位结果，保证行走轨迹光滑。

所述S.3中读取移动端上的传感器信息并结合人体运动模型，推算对应位置；结合移动端上各类传感器的信息及视觉定位信息给定初始位姿，通过检测加速度计读数的峰值点实现步向识别；利用一步之内的加速度计读数，根据人体特征拟合当前一步的步长进行步数识别。

所述S.3中通过滤波实现移动端的姿态估计，获取当前一步的行走朝向，并通过基于深度模型的朝向回归算法和基于机器学习的运动分类算法校正导航过程中计算误差累积导致的偏差。

本发明还提供了一种AR室内实景导航系统，包括高精地图构建模块、移动端定位模块和服务端定位模块；

高精地图构建模块包括稀疏地图构建模块和稠密地图构建模块，

稀疏地图构建模块根据VR地图，采用运动恢复结构，提取场景中的视觉特征，恢复图片的位姿和场景的稀疏三维特征点云，

稠密地图构建模块利用追加的360全景视频以及恢复的位姿为输入，输出场景的精细化稠密点云和带纹理的三维网格模型；

移动端定位模块用于通过移动端自带传感器对移动端进行实时定位；

服务端定位模块用于对查询图在构建好的高精地图中进行定位。

本发明投入使用后先构建高精地图，获取地图数据，后在高精地图上进行视觉定位并对移动端的位姿进行实时校正，再根据移动端位姿和查询图的位姿在高精度图中生成路线指引并渲染即可。本发明基于视觉定位进行导航，定位精度可以达到米级，而且无需额外布置设备，成本相对比较低。

附图说明

图1为本发明优选实施例一的流程图。

图2为本发明优选实施例二的架构图。

图3为本发明优选实施例三的架构图。

图4为本发明优选实施例三中云平台的架构图。

具体实施方式

优选实施例一

如图1所示，本实施例提供的这种AR室内实景导航方法，包括如下步骤。

步骤一、构建高精地图，获取地图数据。

高精地图生成方案分为稀疏地图构建以及稠密地图构建两部分。稀疏地图生成使用机器人进场采集的视频数据作为输入，产物是具有尺度但较为稀疏的视频点位，相机位姿和少量三维点；稠密地图生成以后续追加的360全景视频为输入，产物是最终的较为稠密的视觉地图。

稀疏点云地图构建采用运动恢复结构（Structure from Motion，简称SfM）技术。利用离线采集的视频或图片提取场景中的视觉特征，恢复图片的相机位姿和场景的稀疏三维点云，视觉特征和三维点云主要用于视觉重定位，而相机位姿可用来做进一步的稠密三维几何构建。

SfM包括四个主要步骤：数据采集；特征提取；数据关联；结构恢复。恢复场景的三维结构时，并不是使用图像中的所有像素点，而仅从图像中提取稳定、显著的点作为特征点；数据关联用以确定有共视区域的两张图像中哪些特征点是对应的；后续会借助几何的方法以及最优化技术（Bundle Adjustment）将这些图像中的点恢复为空间的三维点。整个问题最终被转化为大型非线性最优化问题求解，优化目标是重建的三维点重投影到图像中的位置与图像中的观测点位置差最小。

稠密地图构建以采集的视频或图片以及SfM恢复的相机位姿为输入，经过稠密深度估计、深度融合、网格构建和纹理贴图，最终输出场景的精细化稠密点云和带纹理的三维网格模型。

步骤二、视觉定位。

移动端定位，移动端定位算法主要是利用手机图像、IMU、磁罗盘等手机自带传感器对手机进行实时定位。目前移动端定位算法主要有两种，一种是基于图像、IMU的定位，定位精度高，但需要计算量较大，只能支持一些高端机型。另外一种是基于IMU、磁罗盘的定位，定位精度较高、速度快、计算量小，可以支持所有机型。这两种定位算法均为现有技术，故不再赘述。

服务端定位，定位时以用户拍摄图像为输入，将图像中的二维特征点与地图数据中的三维特征点进行匹配，获取二维特征点与三维特征点的对应关系。

二维特征点检测时：确定二维特征点的位置，方向和尺度等仿射变换参数的过程。基于DOG的特征点检测方法——尺度不变特征变换（SIFT）。

SIFT流程：对输入图像进行DOG滤波，搜索滤波后的图像中的所有的极大值和极小值，这些极值对应的像素坐标即为二维特征点坐标，当特征区域的大小与DOG滤波宽度大致相当时即呈现极值。

二维特征点描述：SIFT提取二维特征点周围的一块区域，并利用特征向量来描述该区域作为特征描述符。SIFT描述符使用图像梯度，计算局部图像梯度方向的直方图，并在二维特征点周围创建4*4的直方图方格，每个柱状图包含八个梯度方向，因此SIFT 包含128维特征向量。

PCA-SIFT还有SURF(通过近似方法计算梯度和积分来提升SIFT的速度)。

二维特征点与三维特征点匹配：索引结构是多维搜索树，Lowe对这类方法进行对比研究，提出基于层次K均值树的优先搜索策略。在高维近似最邻近（ANN）搜索问题中，多随机KD树性能最优。为进一步剔除误匹配，需要几何验证，通常采用随机采样一致（RANSAC）算法估计两视图间的基础矩阵，然后通过计算图像匹配与基础矩阵的拟合程度来剔除误匹配，可供选择的基础矩阵的估计方法有归一化的八点法，黄金标准法。

三维特征点与相机空间位置求解：SIFT->SFM包括用迭代方法考虑多幅图像匹配对->恢复相机参数，同时得到相机之间的相对位置关系->使用BA调整对生成的摄像机位置进行微调；为计算出的相机位置结果更好，只比对每一幅图像的邻近几幅图像会更好。

运动推断结构：SFM改进方面：采用相机姿态估计来初始化相机参数，选择新的启发式方法选择初始两视图，引入三维重建点筛选过程剔除质量较差的重建效果，以及使用从图像文件EXIF标记中提取的焦距信息。

以此构建三维稠密点云并进行表面重建（网格）和纹理重建（纹理贴图）即可。

通过对手机图像在提前构建好的高精度视觉地图中进行定位的一种方法。具有精度高、一致性好，不会产生累计误差等优点。实现定位后，为了给用户提供更直观的导航体验，AR实景导航系统同时提供精准3D数字地图，在室内3D数字地图可展示用户在室内环境中的准确位置，并通过数字地图的路网，给出用户导航中的最优路线，并结合AR实景，根据用户所处空间、姿态信息，逆向将路线渲染在AR实景空间内。通过与3D数字地图的结合，最终提供完整、全面、易用的室内定位、导航服务。

位姿校正，基于上下文信息进行位姿校正。

由于室内人造结构的特殊性，很多场景都是对称修建或者呈规则排列的几何布局，导致在视觉定位的时候，不仅是局部特征几乎一致，甚至大范围场景内的全局特征也是非常相似的，这就导致初始定位存在一定概率的误匹配情况。当用户刚好位于此类区域的时候，很有可能会得到错误的引导信息。

在实际情况中，这些容易混淆的区域不会完全一模一样，当用户移动一小段距离或者视角发生变化的时候，往往会出现具有显著区分度的地物特征，依赖这些信息可以对用户当前的位姿进行校正，重新生成一条正确的引导路线。但是同样是特征匹配，当前后两帧信息都满足定位条件，但定位结果存在较大差异的时候。定位时并不完全依赖于一次的定位结果，而是一片区域或者一段轨迹中的多个定位结果，当这些结果呈现出较好的一致性的时候，是正确的定位。相反，局部特征相似的区域，由于匹配到了错误的参考图像，其结果呈现出孤立的跳变，与前后帧并不能平滑过渡，行走轨迹也是不光滑的。利用这种定位结果的上下文信息，可以有效检测出错误的定位结果，对其进行过滤，或者及时发现当前已经处于错误的引导路线上，根据正确的结果进行校正。

步骤三、根据移动端位姿和查询图的位姿在高精度图中生成路线指引并渲染。

在完成视觉定位后，需要根据手机的位置进行实时的路线指引和渲染，本实施例使用传感器位置推算技术，通过读取手机上的传感器信息并结合人体运动模型，推算出对应的位置。结合手机上各类传感器的信息及视觉定位信息给定初始位置和朝向，通过检测加速度计读数的峰值点实现步向识别；步长估计利用一步之内的加速度计读数，根据人的身高、体重、步频等特征拟合当前一步的步长；朝向估计利用加速度计和陀螺仪读数，通过滤波或者优化技术实现设备的姿态估计，继而获取当前一步的行走朝向，并通过基于深度模型的朝向回归算法和基于机器学习的运动分类算法进一步校正导航过程中计算误差累积导致的偏差。在导航领域中，传感器位置推算技术、步长估计算法、朝向股计算法和运动分类算法均为成熟且公知的算法，故不再赘述。

本实施例高精度、低延时的导航与定位：精准导航至各个进检票口，距离精确到厘米级；可配套AR融合算法实现美食购物店铺各种活动营销展示与实景结合，促进营销的同时给用户沉浸式实景导航体验；还能链接旅游景点广告展示：点击广告图片后跳转至广告商的宣传页面或者官网。

优选实施例二

如图2所示，本实施例提供了一种AR室内实景导航系统，它包括视觉分析子系统和应用服务子系统。

视觉分析子系统包括高精地图构建模块、移动端定位模块和服务端定位模块。

高精地图构建模块包括稀疏地图构建模块和稠密地图构建模块，稀疏地图构建模块根据VR地图，采用运动恢复结构，提取场景中的视觉特征，恢复图片的位姿和场景的稀疏三维特征点云，稠密地图构建模块利用追加的360全景视频以及恢复的位姿为输入，输出场景的精细化稠密点云和带纹理的三维网格模型；移动端定位模块用于通过移动端自带传感器对移动端进行实时定位；服务端定位模块用于对查询图在构建好的高精地图中进行定位。

应用服务子系统包括数据库服务器、文件服务器、接口服务器和应用服务器，其所需资源配置如表1。

表1.视觉分析子系统资源配置表

优选实施例三

如图3所示，本实施例在优选实施例二的基础上增设网络信息安全子系统。

网络信息安全子系统包括权限管理模块、访问控制模块和云平台。

权限管理模块采用身份鉴别和权限组的认证方式来加强系统的安全性。根据系统功能及流程，将系统划分为若干功能模块，通过赋予或禁止用户组使用每个功能模块的权限来满足系统对用户的权限管理要求。

访问控制模块提供包括用户名的识别与验证、用户口令的识别与验证、用户帐号的缺省限制检查等多道安全检查。

用于支持按照自主访问控制规则对用户进行访问控制，即按照用户与被访问对象（文件等）的关系是否允许访问。

用于支持使用强制访问控制规则对用户进行强制访问检查，即根据该用户在多级安全模型中所具有的安全属性（等级和范畴）、本次访问操作所涉及的客体（如文件）来确定这次访问是否被允许。

用于防止用户经过被允许路径以外的其它访问路径，隐蔽地实现某些越权的非法访问。

用于将主体对客体的每一次访问记录在日志文件中，并提供分析和审计功能。

云平台选取政府政务网同平台的云供应商，确保整体网络的安全性。如图4所示，云平台提供五横两纵的七 个维度的安全架构保障。两个纵向维度分别为账户安全（身份和访问控制），以及安全监控和运营管理，这两个纵向维度包括了租户侧和云平台侧的不同实现。五个横向维度中，包括了从最底层的云平台层面安全，到对外租户层面的基础安全、数据安全、应用安全和业务安全。

Claims (10)

1.一种AR室内实景导航方法，其特征在于，本方法包括如下步骤：

S.1、构建高精地图，获取地图数据；

S.2、视觉定位；

S.2.1、移动端定位，获取移动端位姿，

S.2.2、服务端定位，输入查询图，自查询图中提取二维特征点，并与地图数据中的三维特征点进行匹配，获取对应关系，输出查询图位姿，

S.2.3、对移动端位姿进行实时校正；

S.3、根据移动端的位姿和查询图的位姿在高精度图中生成路线指引并渲染。

2.如权利要求1所述的一种AR室内实景导航方法，其特征在于：所述S.1中构建高精视觉地图包括稀疏地图构建和稠密地图构建。

3.如权利要求2所述的一种AR室内实景导航方法，其特征在于：所述稀疏地图构建采用运动恢复结构，利用机器人进场采集的视频、图片数据作为输入，提取场景中的视觉特征，恢复图片的位姿和场景的稀疏三维特征点云。

4.如权利要求3所述的一种AR室内实景导航方法，其特征在于：所述稠密地图构建利用追加的全景视频以及恢复的位姿为输入，输出场景的精细化稠密点云和带纹理的三维网格模型。

5.如权利要求1所述的一种AR室内实景导航方法，其特征在于：所述S.2中：首先进行图像上的二维特征点检测，其次进行二维特征点描述，接着进行二维特征点与三维特征点匹配，然后进行三维特征点与相机空间位置求解，再进行运动推断结构，构建稠密点云，再表面网格重建，最后进行纹理重建。

6.如权利要求1所述的一种AR室内实景导航方法，其特征在于：所述移动端定位利用移动端自带的传感器进行实时定位。

7.如权利要求1所述的一种AR室内实景导航方法，其特征在于：所述S.2.3中根据一段距离和不同视角内具有显著区分度的地物特征对移动端位姿进行实时校正；实时校正根据上下文信息对移动端位姿进行校正，如果前后两帧信息均满足定位条件，但定位结果存在差异，过滤出现孤立跳变的定位结果，保证行走轨迹光滑。

8.如权利要求1所述的一种AR室内实景导航方法，其特征在于：所述S.3中读取移动端上的传感器信息并结合人体运动模型，推算对应位置；结合移动端上各类传感器的信息及视觉定位信息给定初始位姿，通过检测加速度计读数的峰值点实现步向识别；利用一步之内的加速度计读数，根据人体特征拟合当前一步的步长进行步数识别。

9.如权利要求8所述的一种AR室内实景导航方法，其特征在于：所述S.3中通过滤波实现移动端的姿态估计，获取当前一步的行走朝向，并通过基于深度模型的朝向回归算法和基于机器学习的运动分类算法校正导航过程中计算误差累积导致的偏差。

10.一种AR室内实景导航系统，其特征在于：本系统包括高精地图构建模块、移动端定位模块和服务端定位模块；

高精地图构建模块包括稀疏地图构建模块和稠密地图构建模块，

稀疏地图构建模块根据VR地图，采用运动恢复结构，提取场景中的视觉特征，恢复图片的位姿和场景的稀疏三维特征点云，

稠密地图构建模块利用追加的360全景视频以及恢复的位姿为输入，输出场景的精细化稠密点云和带纹理的三维网格模型；

移动端定位模块用于通过移动端自带传感器对移动端进行实时定位；

服务端定位模块用于对查询图在构建好的高精地图中进行定位。

Images