CN110926478B

CN110926478B - 一种ar导航路线纠偏方法、系统及计算机可读存储介质

Info

Publication number: CN110926478B
Application number: CN201911299030.6A
Authority: CN
Inventors: 刘刚; 张小军
Original assignee: Visionstar Information Technology Shanghai Co ltd
Current assignee: Visionstar Information Technology Shanghai Co ltd
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2021-10-08
Anticipated expiration: 2039-12-16
Also published as: CN110926478A

Abstract

本申请实施例提供了一种AR导航路线纠偏方法、系统及计算机可读存储介质，其中所述方法包括将航路径坐标串信息G叠加到现实环境中形成交互内容；获取第二定位点A2的第二定位信息以及所述A2在所述现实环境中的第二现实特征点信息；确定与所述第二现实特征点信息相似度大于预设阈值的第一现实特征点信息，以及所述相似度大于预设阈值的第一现实特征点信息对应的第一定位点A1的第一定位信息；利用所述第一定位点A1的第一定位信息、所述导航路径坐标串信息G，以及所述第二定位点A2的第二定位信息，计算得到纠偏量并校正所述交互内容。本申请实施例提供的方法、系统及计算机可读存储介质能自动实时纠正AR导航路线。

Description

一种AR导航路线纠偏方法、系统及计算机可读存储介质

技术领域

本申请涉及计算机视觉领域，特别是涉及一种AR导航路线纠偏方法、系统及计算机可读存储介质。

背景技术

随着高性能小型化的图像处理芯片的成熟，使用摄像头利用视觉图像识别特定图像进行定位的应用越来越多。使用图像相比于无线信号，在设备维护上要求很低，无需考虑施工布线、电源更换等问题。传统上利用视觉定位大多使用光学陀螺仪方式，即在使用单目或多目相机通过实时寻找视频帧中特征点并在后续视频帧中进行特征点匹配，以此完成航向角、步数累计和惯性导航。AR导航融合传统导航和增强现实两个技术领域，通过将AR技术与地图导航相结合，为用户提供更直观的导航引导，例如通过AR平视显示器将引导路线显示在用户前方的道路上，或者通过AR绘制在车机图像的道路上或仪表盘上显示引导路线，从而达到直观的引导作用。

但目前非专用的图像采集设备，特别是移动终端等小型化设备，其处理器能力的缺陷无法运行大量的算法，用户体验较差，导航路线标注不准确，跟踪不稳定，路线不贴合现实路面，无法自动纠偏。

发明内容

本申请利用高精度GPS、视觉惯性里程计及视觉空间定位等技术，提供一种AR导航路线纠偏方法、系统及计算机可读存储介质，可用于自动实时纠正AR导航路线。

本申请提供一种AR导航路线纠偏方法，其特征在于，所述方法包括：

将起始位置到终点位置的导航路径坐标串信息G叠加到现实环境中形成交互内容；

获取第二定位点A2的第二定位信息以及所述A2在所述现实环境中的第二现实特征点信息；

利用预先存储的包含第一定位点的第一定位信息与所述第一定位点在所述现实环境中的第一现实特征点信息的映射关系表，以及所述第二现实特征点信息，确定与所述第二现实特征点信息相似度大于预设阈值的第一现实特征点信息，以及所述相似度大于预设阈值的第一现实特征点信息对应的第一定位点A1的第一定位信息；

利用所述第一定位点A1的第一定位信息、所述导航路径坐标串信息G，以及所述第二定位点A2的第二定位信息，计算得到所述交互内容的纠偏量；

利用视觉惯性里程计获取所述A2在所述视觉惯性里程计坐标系中的坐标A2inVIO2；所述A2在所述视觉惯性里程计坐标系中的坐标A2inVIO2至少有A2_x和A2_y两个坐标量；

利用所述A2和所述导航路径坐标串信息G计算得到从所述A2至所述终点位置的方向向量GO2，所述方向向量GO2至少有GO2_x和GO2_y两个方向分量；

利用所述A1的第一定位信息和所述导航路径坐标串信息G计算得到从所述A1至所述终点位置的方向向量GA2，所述方向向量GA2至少有GA2_x和GA2_y两个方向分量；

所述纠偏量中的至少两个方向分量分别为GO2_x-GA2_x-A2_x以及GO2_y-GA2_y-A2_y；

利用所述交互内容的纠偏量校正所述交互内容。

优选地，所述方法还包括构建所述映射关系表，其中：

获取所述第一定位点的第一定位信息以及所述第一定位点在所述现实环境中的第一现实特征点信息，构建并存储包含至少两个所述第一定位点的第一定位信息、所述至少两个第一定位点分别在所述现实环境中的所述第一现实特征点信息以及所述第一定位点的第一定位信息与所述第一现实特征点信息的映射关系表。

优选地，所述方法还包括构建视觉地图，其中：

利用采集到的至少两个所述第一定位点的现实环境进行恢复重建为所述视觉地图，并将所述映射关系表作为所述视觉地图的一部分。

优选地，所述方法还包括：

在所述映射关系表中的第一现实特征点信息集合中提取至少两个所述第一现实特征点信息，分别与所述第二定位点A2的第二现实特征点信息进行比对，找到与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第二特征点信息所对应的所述第一定位点A1。

本申请还提供一种AR导航路线纠偏系统，其特征在于，所述系统包括存储器和处理器，其中：

所述存储器，用于储存代码和/或相关数据；

所述处理器，用于执行所述存储器中的代码和/或相关数据用以实现如前所述AR导航路线纠偏方法的步骤。

本申请还提供一种AR导航路线纠偏系统，其特征在于，所述系统包括调取路径信息模块、视觉空间特征定位模块和纠偏模块，其中：

所述调取路径信息模块，用于将起始位置到终点位置的导航路径坐标串信息G叠加到现实环境中形成交互内容；

所述视觉空间特征定位模块，用于获取第二定位点A2的第二定位信息以及所述A2在所述现实环境中的第二现实特征点信息；并且，利用预先存储的包含第一定位点的第一定位信息与所述第一定位点在所述现实环境中的第一现实特征点信息的映射关系表，以及所述第二现实特征点信息，确定与所述第二现实特征点信息相似度大于预设阈值的第一现实特征点信息，以及所述相似度大于预设阈值的第一现实特征点信息对应的第一定位点A1的第一定位信息；利用视觉惯性里程计获取所述A2在所述视觉惯性里程计坐标系中的坐标A2inVIO2；所述A2在所述视觉惯性里程计坐标系中的坐标A2inVIO2至少有A2_x和A2_y两个坐标量；

所述纠偏模块，用于利用所述第一定位点A1的第一定位信息、所述导航路径坐标串信息G，以及所述第二定位点A2的第二定位信息，计算得到所述交互内容的纠偏量；利用所述A2和所述导航路径坐标串信息G计算得到从所述A2至所述终点位置的方向向量GO2，所述方向向量GO2至少有GO2_x和GO2_y两个方向分量；并且，利用所述A1的第一定位信息和所述导航路径坐标串信息G计算得到从所述A1至所述终点位置的方向向量GA2，所述方向向量GA2至少有GA2_x和GA2_y两个方向分量；所述纠偏量中的至少两个方向分量分别为GO2_x-GA2_x-A2_x以及GO2_y-GA2_y-A2_y；并且，利用所述交互内容的纠偏量校正所述交互内容。

优选地，所述系统还包括视觉空间特征采集模块；

所述视觉空间特征采集模块，用于获取所述第一定位点的第一定位信息以及所述第一定位点在所述现实环境中的第一现实特征点信息，构建并存储包含至少两个所述第一定位点的第一定位信息、所述至少两个第一定位点分别在所述现实环境中的所述第一现实特征点信息以及所述第一定位点的第一定位信息与所述第一现实特征点信息的映射关系表。

优选地，所述视觉空间特征采集模块还用于构建视觉地图，其中：

所述视觉空间特征采集模块，用于利用采集到的至少两个所述第一定位点的现实环境进行恢复重建为所述视觉地图，并将所述映射关系表作为所述视觉地图的一部分。

优选地，为了确定与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第一定位点A1，

所述视觉空间特征定位模块，还用于在所述映射关系表中的第一现实特征点信息集合中提取至少两个所述第一现实特征点信息，分别与所述第二定位点A2的第二现实特征点信息进行比对，找到与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第二特征点信息所对应的所述第一定位点A1。

本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述AR导航路线纠偏方法的步骤。

本申请实施例所提供的AR导航路线纠偏方法、系统及计算机可读存储介质，可以实现的有益效果是：

本申请提供实时计算并利用视觉空间定位实现自动纠正AR导航路线的流程，通过视觉空间定位到预先获得的视觉地图后，实时计算纠偏量，并实时纠正/更新AR设备中的导航路线，不会出现AR导航路线漂移或飘离路面的情况，也不需要用户手动校正AR导航路线，用户使用的成本低、AR导航路线的定位精度高、纠正AR导航路线的鲁棒性和互补性强，能够为用户提供更高的使用体验，而且能够广泛支持当前主流的电子设备。

附图说明

图1是本申请实施例AR导航路线纠偏方法的第一结构示意图；

图2是本申请实施例AR导航路线纠偏方法的第一流程示意图；

图3是本申请实施例AR导航路线纠偏方法的第二流程示意图；

图4是本申请实施例AR导航路线纠偏系统的第二结构示意图；

图5是本申请实施例AR导航路线纠偏系统的第三结构示意图；

图6是本申请实施例AR导航路线纠偏系统的第四结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，系统架构10可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、IOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。

所述网络104包括但不限于互联网、移动通信网络、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。例如，移动通信网络可以是3G、4G或5G移动通信系统，例如，移动通信网络可以是宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、频分多址(Frequency Division Multiple Access，FDMA)系统、正交频分多址(Orthogonal Frequency-Division Multiple Access，OFDMA)系统、单载波FDMA(SC-FDMA)系统、通用分组无线业务(GeneralPacket Radio Service，GPRS)系统或长期演进(LongTerm Evolution，LTE)系统，以及其他此类通信系统。当然，本领域技术人员应能理解上述终端设备仅为举例，其他现有的或今后可能出现的终端设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

服务器105可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，例如云端服务器。其也可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的AR导航路线纠偏方法一般由服务器执行，相应地，AR导航路线纠偏系统一般设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

如图2所示，本申请实施例提供了一种AR导航路线纠偏方法，所述AR导航路线纠偏方法可以由云端服务器执行。例如，

步骤100、获取第二定位点A2的第二定位信息以及所述A2在现实环境中的第二现实特征点信息。

例如，采集第二定位设备的位置信息，所述第二定位设备与AR设备、VIO2(第二视觉惯性里程计)和GPS2(第二GPS，对精度的要求比GPS1低)相连，初始化所述VIO2，利用所述GPS2获取的定位信息，记录当前第二定位设备的位置，例如，第二定位设备所采集到的A2的GPS2信息，即为第二定位点A2的第二定位信息。不断利用所述VIO2扫描所述第二定位点A2的现实环境，对所述第二定位点A2的现实环境提取至少一个特征点和/或进行特征描述，得到所述第二定位点A2的第二现实特征点信息。所述第二定位点A2的第二现实特征点信息包括所述第二定位点A2的现实环境的第一现实特征点和/或特征描述向量。

在本申请另一实施例中，还可以利用所述VIO2和所述GPS2联合标定所述A2的第二定位信息。例如，所述VIO2以初始化的位置为原点O2，利用所述GPS2记录所述O2的定位位置，利用所述VIO2记录所述第二定位设备与所述原点O2的相对位姿，利用所述VIO2和所述GPS2获取所述第二定位点A2的第二定位信息，例如，在所述GPS2记录的所述O2的定位位置的基础上叠加所述V1O2记录的所述第二定位设备与所述原点O2的相对位姿，计算得到所述第二定位点A2的第二定位信息。所述相对位姿可以包括相对距离和相对方位等。所述VIO2记录所述第二定位设备与所述原点O2的相对位姿的方法很多，例如，计算所述A2在所述VIO2中的坐标A2inVIO2。例如，所述VIO2中的坐标系可以由X轴、Y轴、Z轴组成，所述Y轴正方向为重力方向，所述Z轴方向与所述第二定位设备垂直，所述X轴与所述Z轴组成的平面与所述Y轴垂直。初始化的VIO2坐标系原点O2可以是在X轴、Y轴、Z轴上距离均为0的点，所述VIO2坐标系原点O2始终停留在所述初始化时刻的现实环境位置，不随所述第二定位设备的移动而改变。利用所述第二定位设备计算得到所述第二定位点A2在所述VIO2中的坐标A2inVIO2。

在本实施例的一个可选方案中，所述第二视觉惯性里程计VIO2等设备也可以集成在所述第二定位设备上。

在本申请实施例中，所述第二定位点A2的第二现实特征点信息可以包括所述A2的现实环境的特征点和/或所述A2的现实环境的特征描述向量。例如，使用特征提取算子提取所述第二定位点A2的现实环境的第一现实特征点，例如，使用加速角点特征(Featuresfrom Accelerated Segment Test，FAST)检测算法、哈里斯(Harris)角点检测算法、莫拉维克(Moravec)角点检测算法、史托马西(Shi-Tomasi)角点检测算法或基于加速角点特征和二元独立特征描述(Oriented FASTand Rotated BRIEF，ORB)特征检测算法等。所述特征点是图像中的特殊位置，也可以称为“角点”，或“兴趣点(interest point)”。例如，FAST角点检测算法是找到与周围邻域内大于预定数量的像素点相差大于等于阈值的像素点P，则所述像素点P为角点，角点即为所要提取的特征点。例如，随机选择一个像素点P，以P为圆心画一个半径为3像素的圆经过16个像素点，如果圆周上有连续n个像素点的灰度值与P点的灰度值之差大于等于阈值，则认为P为所要提取的特征点，其中n为大于等于1的整数，例如，n可以设置为12，阈值可以利用应用场景预设。在本申请实施例中，可以使用尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)特征描述子算法、加速稳健特征(SpeededUp Robust Features，SURF)特征描述子算法或二元尺度不变(Binary Robust InvariantScalable Keypoints，BRISK)特征描述子算法等，对所述特征点进行特征描述。例如，SIFT特征描述子算法，用于侦测与描述图像中的局部性特征，对所述特征点进行梯度计算，生成梯度直方图，统计选取的领域内像素的梯度和方向，从而确定所述特征点的方向；取所述特征点周围4×4共16个区域块，统计每个所述区域块内8个梯度方向，用这4×4×8共128维向量作为所述特征点的特征描述向量，将所述A2的现实环境中的所有特征点都用SIFT算法转化为128维的特征描述向量，得到所述A2的现实环境的特征描述向量。

步骤200、利用所述第二定位点A2的第二现实特征点信息，在映射关系表或视觉地图中进行视觉特征检索，找到与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第一定位点为第一定位点A1。

所述视觉特征检索的方法很多，例如，采用特征点比对法，计算所述映射关系表中各第一定位点在现实环境中的第一现实特征点信息与所述第二定位点A2的现实特征点信息的相似度，找到与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第一定位点作为第一定位点A1，并获取A1的第一定位信息，例如所述A1的GPS1信息。例如，提取所述映射关系表中各第一定位点的第一现实特征点信息，分别与所述第二定位点A2的第二现实特征点信息进行比对，按相同/近似特征点的数量从多到少进行排序，与所述第二定位点A2的第一现实特征点相同或近似特征点最多的第一定位点即为所述第一定位点A1。

如图3所示，所述映射关系表和所述视觉地图可以是预先构建的，例如：

步骤201、利用第一定位设备采集的信息构建所述映射关系表。

在本申请实施例中，可以使用装配有高精度信号天线和图像采集设备的第一定位设备，采集所述第一定位设备的位置信息，得到所述第一定位点的第一定位信息。所述第一定位设备还可以采集所述第一定位点所处的现实环境，计算得到所述第一定位点在所述现实环境中的第一现实特征点信息。例如，所述第一定位设备可以利用高精度GPS、陀螺仪等来采集位置信息，所述第一定位点的第一定位信息包括经度、纬度、海拔、方位角、水平定位精度和垂直定位精度中的一个或者多个。所述第一定位设备可以利用第一视觉惯性里程计VIO1、照相机或者摄像机等来采集现实环境，所述现实环境是包括街道、楼宇、树木等环境真实图像信息，所述现实环境的第一现实特征点信息包括所述现实环境的第二现实特征点和/或特征描述向量等。所述第一视觉惯性里程计VIO1、照相机或者摄像机等设备可以集成在所述第一定位设备上。所述第一定位点的第一定位信息包括但不限于GPS1坐标定位信息、相对于所述视觉地图的定位及变换位姿，所述位姿变换包括但不限于平移、旋转、缩放。

例如，所述第一定位设备与VIO1(第一视觉惯性里程计)和GPS1(第一GPS，对精度的要求比GPS2更高)相连；初始化所述VIO1，利用所述GPS1获取的定位信息，记录所述第一定位设备的位置，即为第一定位点的第一定位信息。或者，利用所述VIO1和所述GPS1联合标定所述第一定位点的第一定位信息，例如，参照步骤100，所述VIO1以初始化的位置为原点O1，利用所述GPS1记录所述O1的位置，利用所述VIO1记录所述第一定位设备与所述原点O1的相对位姿，利用所述VIO1和所述GPS1获取所述第一定位点的第一定位信息。不断利用所述VIO1扫描所述第一定位点的现实环境，获取所述第一定位点的现实环境，对所述第一定位点的现实环境提取至少一个特征点和/或进行特征描述，得到所述第一定位点的第一现实特征点信息。所述第一定位点的第一现实特征点信息可以包括所述第一定位点的现实环境的特征点和/或所述第一定位点的现实环境的特征描述向量。在预设的范围内不断变换所述第一定位设备的位置，例如在预设范围内以预设的速度和方向变换位置并以预设的间隔采集信息，得到至少两个所述第一定位点的第一定位信息和现实环境，提取所述第一定位点的现实环境的第二现实特征点，得到所述第一定位点的现实环境的第一现实特征点信息；构建并存储所述映射关系表，所述映射关系表包含至少两个所述第一定位点的第一定位信息、所述至少两个第一定位点分别在所述现实环境中的第一现实特征点信息和/或所述第一定位点的第一定位信息与所述第一现实特征点信息的映射关系。

在本申请实施例中，所述映射关系表中存储的所有所述第一现实特征点信息可以称为第一现实特征点信息集合，所述第一现实特征点信息集合包含所述第一定位设备采集到的现实环境的至少两个第二特征点信息。

步骤202、利用采集到的至少两个所述第一定位点分别对应的现实环境进行恢复重建得到所述视觉地图。

在本申请实施例一个可选的方案中，将所述映射关系表(包括所述第一定位点的第一定位信息及第一现实特征点信息，和/或所述映射关系)作为所述视觉地图的一部分一同存储。所述映射关系表和所述视觉地图可以存储在所述云端服务器中。

在本申请另一实施例中，所述映射关系表和/或视觉地图可以通过调取已有地图数据、现实环境等信息直接使用或构建而成。构建所述映射关系表的方法很多，例如通过三角定位法等获取到所述第一定位点。所述视觉地图的构建方法很多，例如运动推断法、自标定三维重建法等进行恢复重建。

步骤300、调用现实地图生成起始位置到终点位置的导航路径坐标串信息G，将所述导航路径坐标串信息G叠加到所述AR设备获取的所述现实环境中得到交互内容。

例如，所述第二定位设备将所述导航路径坐标串信息G转换成图像，叠加到所述AR设备获得的现实环境中并进行渲染处理，形成所述交互内容。

在本申请实施例中，可以使用第二定位设备直接获取所述起始位置到终点位置的所述导航路径坐标串信息G，也可以调用其他设备和/或地图软件获取在所述现实地图中的所述起始位置到终点位置的所述导航路径坐标串信息G。所述现实地图可以是数字地图，例如高德地图、百度地图、谷歌地图等。

在本申请实施例中，所述导航路径坐标串信息G由所述现实地图中生成的从所述起始位置至所述终点位置的导航路线中的至少两个点的坐标构成，所述导航路径坐标串信息G可以是所述导航路线中的至少两个点的坐标信息的集合。

在本申请实施例中，所述第二定位设备可以是智能手机等终端设备；所述AR设备也可以是智能手机等终端设备，也可以是专用的AR设备。在另外一个可选的方案中，所述第二定位设备也可以是AR设备。

在本申请实施例一个可选的方案中，利用所述导航路径坐标串信息G获取预设的对应AR素材，并将所述AR素材与所述AR设备获得的现实环境进行叠加，形成所述交互内容。

在本申请实施例一个可选的方案中，所述交互内容还可以通过所述AR设备进行显示。

步骤400、利用所述第一定位点A1的第一定位信息、所述导航路径坐标串信息G，以及所述第二定位点A2的第二定位信息，计算得到所述交互内容的纠偏量；利用所述交互内容的纠偏量校正所述交互内容。

例如，所述第二定位点A2在所述VIO2中的坐标A2inVIO2的X轴坐标为A2_x，Y轴坐标为A2_y。利用所述A2的第二定位信息和所述导航路径坐标串信息G计算得到从所述A2至所述终点位置的方向向量GO2，例如，所述方向向量GO2的水平分量为GO2_x，垂直分量为GO2_y。利用所述第一定位点A1的第一定位信息和所述导航路径坐标串信息G计算得到从所述A1至所述终点位置的方向向量GA2，例如，所述方向向量GA2的水平分量为GA2_x，垂直分量为GA2_y。利用公式dx＝GO2_x-GA2_x-A2_x以及dz＝GO2_y-GA2_y-A2_y，计算得到所述纠偏量{dx，dz}。利用所述纠偏量{dx，dz}，校正所述交互内容。例如，在所述导航路径坐标串信息G中叠加所述纠偏量{dx，dz}，重新形成所述交互内容，随着所述第二定位点A2的变化，实时更新所述交互内容。

在本申请另一实施例中，所述交互内容的纠偏量也可以是所述第二定位点A2的第二定位信息与所述第一定位点A1的第一定位信息的差值。

在本申请实施例的一个可选方案中，可以利用所述第一定位点A1在现实环境中的第一现实特征点信息与所述第二定位点A2的第二现实特征点信息，计算得到所述第二定位点A2与所述第一定位点A1的相对位姿；利用所述A2与所述A1的相对位姿计算得到所述纠偏量。所述标定所述第二定位点A2与所述第一定位点A1的相对位姿的方法很多，例如可以采用特征点匹配法，分别提取所述第一定位点A1的第二现实特征点与所述第二定位点A2的第一现实特征点并进行比对，将相同/近似的特征点标记为所述第二定位点A2与所述第一定位点A1的重合部分，利用所述重合部分以及所述A1、A2中未标记的现实特征点，计算得到所述第二定位点A2与所述第一定位点A1的相对位姿。利用所述A2与A1的相对位姿，以及从所述映射关系表和/或所述视觉地图中获取所述第一定位点A1的GPS定位信息、所述A1在现实环境中的第一现实特征点信息和/或所述A1在视觉地图中的位姿信息，计算得到所述A2在现实环境中的位置A2’，所述A2在现实环境中的位置A2’即为所述第二定位设备的实际位置A2’。所述位姿信息包括位置信息和姿态信息，所述位置信息包括地理位置信息，例如地理位置名称或者包括经度和纬度，所述姿态信息包括海拔、方位角、水平定位精度和垂直定位精度中的一个或者多个。利用所述第二定位点A2与所述第二定位设备的实际定位A2’的偏差距离、相对位姿等计算得到纠偏量。例如，以从所述A2’至所述终点位置的方向向量为GA2’，例如，所述方向向量GA2’的水平分量为GA2’x，垂直分量为GA2’_y。利用公式dx＝GO2_x-GA2’x-A2_x以及dz＝GO2_y-GA2’_y-A2_y，计算得到所述纠偏量{dx,dz}。利用所述纠偏量{dx,dz}，校正所述交互内容。

如图4所示，本申请实施例还提供了一种AR导航路线纠偏系统，所述系统包括存储器501和处理器502。

所述存储器501，用于存储代码和相关数据；

所述处理器502，用于执行所述存储器501中的代码和相关数据用以实现前述方法步骤。

如图5所示，本申请实施例还提供了一种AR导航路线纠偏系统，所述系统包括包括云端服务器600。

所述云端服务器600，用于通过网络700与定位设备800进行通信。所述云端服务器600，还用于对AR导航路线进行纠偏。例如，所述云端服务器600可以包括通过系统总线相互通信连接的调取路径信息模块601、视觉空间特征采集模块602、视觉空间特征定位模块603和纠偏模块604。

所述网络700，用于联通所述定位设备800和所述云端服务器600，所述网络700的具体功能可以如图1所描述的AR导航路线纠偏系统的网络104的工作过程。

所述定位设备800，用于获取第二定位点的位置信息。所述定位设备800的具体功能可以如图2所描述的AR导航路线纠偏方法的步骤100中的所述第二定位设备的工作过程，在此不再赘述。

所述调取路径信息模块601，用于将起始位置到终点位置的导航路径坐标串信息G叠加到现实环境中形成交互内容。所述调取路径信息模块601的具体功能可以执行如图2所描述的AR导航路线纠偏方法的步骤300。

所述视觉空间特征采集模块602，用于获取所述第一定位点的第一定位信息以及所述第一定位点在所述现实环境中的第一现实特征点信息，构建并存储包含至少两个所述第一定位点的第一定位信息、所述至少两个第一定位点分别在所述现实环境中的所述第一现实特征点信息以及所述第一定位点的第一定位信息与所述第一现实特征点信息的映射关系表。所述视觉空间特征采集模块602，还用于利用采集到的至少两个所述第一定位点的现实环境进行恢复重建为所述视觉地图，并将所述映射关系表作为所述视觉地图的一部分。所述视觉空间特征采集模块602的具体功能可以执行如图3所描述的AR导航路线纠偏方法的步骤201、步骤202。

所述视觉空间特征定位模块603，用于获取第二定位点A2的第二定位信息以及所述A2在所述现实环境中的第二现实特征点信息；并且，利用预先存储的包含第一定位点的第一定位信息与所述第一定位点在所述现实环境中的第一现实特征点信息的映射关系表，以及所述第二现实特征点信息，确定与所述第二现实特征点信息相似度大于预设阈值的第一现实特征点信息，以及所述相似度大于预设阈值的第一现实特征点信息对应的第一定位点A1的第一定位信息。所述视觉空间特征定位模块603，还用于在所述映射关系表中的第一现实特征点信息集合中提取至少两个所述第一现实特征点信息，分别与所述第二定位点A2的第二现实特征点信息进行比对，找到与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第二特征点信息所对应的所述第一定位点A1。所述视觉空间特征定位模块603，还用于利用视觉惯性里程计获取所述A2在所述视觉惯性里程计坐标系中的坐标A2inVIO2；所述A2在所述视觉惯性里程计坐标系中的坐标A2inVIO2至少有A2_x和A2_y两个坐标量。所述视觉空间特征定位模块603的具体功能可以执行如图2所描述的AR导航路线纠偏方法的步骤100、步骤200。

所述纠偏模块604，用于利用所述第一定位点A1的第一定位信息、所述导航路径坐标串信息G，以及所述第二定位点A2的第二定位信息，计算得到所述交互内容的纠偏量；并且，利用所述交互内容的纠偏量校正所述交互内容。所述纠偏模块604，还用于利用所述A2和所述导航路径坐标串信息G计算得到从所述A2至所述终点位置的方向向量GO2，所述方向向量GO2至少有GO2_x和GO2_y两个方向分量；并且，利用所述A1的第一定位信息和所述导航路径坐标串信息G计算得到从所述A1至所述终点位置的方向向量GA2，所述方向向量GA2至少有GA2_x和GA2_y两个方向分量；所述纠偏量中的至少两个方向分量分别为GO2_x-GA2_x-A2_x以及GO2_y-GA2_y-A2_y。所述纠偏模块604的具体功能可以执行如图2所描述的AR导航路线纠偏方法的步骤400。

在本申请实施例中，所述调取路径信息模块601、视觉空间特征采集模块602、视觉空间特征定位模块603和纠偏模块604可以集成在设备上，例如集成在设备的处理器上，设备的处理器可以是CPU、服务器，或者其他中央处理器等。

本申请实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。

所述计算机设备1000可以作为云端服务器，包括通过系统总线相互通信连接存储器1001、处理器1002、网络接口1003。需要指出的是，图中仅示出了具有组件1001、1002、1003的计算机设备1000，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器1001至少包括一种类型的可读存储介质，所述可读存储介质包括非易失性存储器(non-volatile memory)或易失性存储器，例如，闪存(flashmemory)、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(randomaccessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、电可擦写可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、可编程只读存储器(programmableread-only memory，PROM)、磁性存储器、磁盘、光盘等，所述RAM可以包括静态RAM或动态RAM。在一些实施例中，所述存储器1001可以是所述计算机设备1000的内部存储单元，例如，该计算机设备1000的硬盘或内存。在另一些实施例中，所述存储器1001也可以是所述计算机设备1000的外部存储设备，例如该计算机设备1000上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器1001还可以既包括所述计算机设备1000的内部存储单元也包括其外部存储设备。本实施例中，所述存储器1001通常用于存储安装于所述计算机设备1000的操作系统和各类应用软件，例如AR导航路线纠偏方法的程序代码等。此外，所述存储器1001还可以用于暂时地存储已经输出或者将要输出的各类数据。

在本申请实施例中，该处理器1002可以是中央处理单元(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，例如单片机等。

该处理器1002通常用于控制所述计算机设备1000的总体操作。本实施例中，所述存储器1001用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器1002用于执行所述存储器1001存储的程序代码或指令或者处理数据，例如运行所述AR导航路线纠偏方法的程序代码。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图2、图3中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。

计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，所述存储器用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器用于执行所述存储器存储的程序代码或指令。

所述存储器和所述处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本申请的说明书和权利要求书中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种AR导航路线纠偏方法，其特征在于，所述方法包括：

利用所述交互内容的纠偏量校正所述交互内容。

2.如权利要求1所述的方法，其特征在于，所述方法还包括构建所述映射关系表，其中：

3.如权利要求2所述的方法，其特征在于，所述方法还包括构建视觉地图，其中：

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

5.一种AR导航路线纠偏系统，其特征在于，所述系统包括存储器和处理器，其中：

所述存储器，用于储存代码和/或相关数据；

所述处理器，用于执行所述存储器中的代码和/或相关数据用以实现如权利要求1至4中任一项所述AR导航路线纠偏方法的步骤。

6.一种AR导航路线纠偏系统，其特征在于，所述系统包括调取路径信息模块、视觉空间特征定位模块和纠偏模块，其中：

7.如权利要求6所述的系统，其特征在于，所述系统还包括视觉空间特征采集模块；

8.如权利要求7所述的系统，其特征在于，所述视觉空间特征采集模块还用于构建视觉地图，其中：

9.如权利要求6所述的系统，其特征在于，为了确定与所述第二定位点A2的第二现实特征点信息相似度大于预设阈值的第一定位点A1，

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述AR导航路线纠偏方法的步骤。