CN115290110A

CN115290110A - 一种ar导航方法、系统及计算机可读存储介质

Info

Publication number: CN115290110A
Application number: CN202211022561.2A
Authority: CN
Inventors: 郭文艺
Original assignee: Guangdong Icar Guard Information Technology Co ltd
Current assignee: Guangdong Icar Guard Information Technology Co ltd
Priority date: 2022-08-25
Filing date: 2022-08-25
Publication date: 2022-11-04

Abstract

本发明涉及AR导航技术领域，尤其涉及了一种AR导航方法、系统及计算机可读存储介质，在计算机内部构建三维高精度地图，对于车载移动测量技术获得的点云、影像等数据，处理后进行三维模型重建，采用人工建模技术即以人工模型替代实景三维模型，利用定位设备导入用户客户端相机的姿位，在相机拍摄的画面中获取多个定位点，从而确定用户位置，在高精度三维地图中定位用户的位置，根据用户位置变化将实时路况画面传输到用户客户端实现AR导航。该AR导航方法、系统及计算机可读存储介质，实现了在环境复杂，规模巨大的室内场景中进行AR导航，在定位设备信号传输过程中运用基于最小均方误差LMS算法的功率倒置算法，对传输信号的抗干扰能力进行加强。

Description

一种AR导航方法、系统及计算机可读存储介质

技术领域

本发明涉及AR导航技术领域，具体为一种AR导航方法、系统及计算机可读存储介质。

背景技术

随着高性能小型化的图像处理芯片的成熟，使用摄像头利用视觉图像识别特定图像进行定位的应用越来越多。使用图像相比于无线信号，在设备维护上要求很低，无需考虑施工布线、电源更换等问题。传统上利用视觉定位大多使用光学陀螺仪方式，即在使用单目或多目相机通过实时寻找视频帧中特征点并在后续视频帧中进行特征点匹配，以此完成航向角、步数累计和惯性导航。AR导航融合传统导航和增强现实两个技术领域，通过将AR技术与地图导航相结合，为用户提供更直观的导航引导，例如通过AR平视显示器将引导路线显示在用户前方的道路上，或者通过AR绘制在车机图像的道路上或仪表盘上显示引导路线，从而达到直观的引导作用。

自1967年卫星导航技术开放民用以来，经过50多年发展，导航定位已广泛应用于交通物流、地理信息、高精度测量等多种行业中，提升了现代社会的运营效率，也为个人生活和出行都带来巨大便利。不过，尽管导航定位技术在室外场景中已非常普及，室内导航应用却一直未取得很好发展，一方面由于卫星信号的衰减，卫星导航定位在室内几乎毫无用武之地。另一方面，尽管基于蓝牙信标定位、Wi-Fi信号等专用设备的解决方案在一定程度上可以辅助室内导航定位，但却部署和维护成本高昂，不具备大规模推广的条件。展览馆、博物馆、商场、交通枢纽等大型室内场景环境复杂，规模巨大，并存在很多无纹理空间区域和视觉歧义区域，地图数据的采集、制作及表达是一大难点。同时，伴随光照、视点变化，用户如何精准快速地实现重定位也是一项挑战。

发明内容

本发明的目的在于提供一种AR导航方法、系统及计算机可读存储介质，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种AR导航方法、系统及计算机可读存储介质，包括计算机、处理器、通信接口、通信总线、定位设备和移动测量采集车，所述处理器和通信总线均设置于计算机的内部，所述通信接口开设于计算机的外表面，所述处理器通过通信总线与通信接口电性连接，所述通信接口与定位设备电性连接，所述定位设备与用户客户端信号连接，所述移动测量采集车搭载有高分辨率全景相机、高精度激光雷达，所述处理器对收集到的数据进行通信链路参数的动态调整，且在定位设备信号传输过程中运用基于最小均方误差LMS算法的功率倒置算法。

一种AR导航方法，包括以下步骤：

S1：高分辨率全景相机和高精度激光雷达采集移动测量采集车行驶路线前方和两侧的室内图像、道路设施信息，进而快速获取近地面的影像和点云信息。

S2：在采集完成后，对于车载移动测量技术获得的点云、影像等数据，通过通信接口和通信总线传递给处理器，处理器对收集到的数据进行通信链路参数的动态调整，经过剔除错误点处理后进行三维模型重建，恢复三维场景信息，实现点云和影像的对齐映射。

S3：在计算机上通过纹理压缩且以合并根节点的方式实现数据的轻量化，在地图加载渲染层面，采用人工建模技术即以人工模型替代实景三维模型，利用建模软件人工建模，通过导入不同尺寸的数据和纹理映射关系表，实现为不同要素赋予不同的纹理或模型，生成高精度三维地图。

S4：生成的高精度三维地图上传网络，用户客户端自行下载后，通过定位设备对用户客户端的位置进行定位，利用用户客户端的相机对场景进行拍摄，拍摄的画面在传输给定位设备的过程中运用基于最小均方误差LMS算法的功率倒置算法提高传输信号的质量，计算机对拍摄的场景信息进行AR识别以获取识别结果，获得该场景的位置信息，在三维高精度地图中进行定位，再根据用户客户端的目的地，生成对应的导航指引信息，将导航指引信息发送到用户的客户端，根据用户位置信息的改变，对用户实现AR导航。

优选的，所述S3中的建模软件为3DSMax。

优选的，所述S3中在获取物体模型不同角度的点云时，为了让最近点迭代的效果更加接近于现实，需要对初步形成的最近点对进行筛选，对错误点进行剔除。

优选的，所述S4中用户客户端拍摄的场景通过通信链路参数的动态调整，将场景发送给计算机。

一种计算机可读存储介质，所述计算机中设置有可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现AR导航方法AR导航方法的步骤。

与现有技术相比，本发明的有益效果是：

1.该AR导航方法、系统及计算机可读存储介质，通过在计算机内部构建室内的三维高精度地图，利用定位设备导入用户客户端相机的姿位，在相机拍摄的画面中获取多个定位点，从而确定用户位置，在高精度三维地图中定位用户的位置，根据用户位置变化将实时路况画面传输到用户客户端实现AR导航，实现了在环境复杂，规模巨大的室内场景中进行AR导航。

2.该AR导航方法、系统及计算机可读存储介质，处理器对收集到的数据进行通信链路参数的动态调整，并且在定位设备信号传输过程中运用基于最小均方误差LMS算法的功率倒置算法，对传输信号的抗干扰能力进行加强，从而提高AR导航通信链路的抗干扰能力，确保导航的准确性和精确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的AR导航方法整体流程图；

图2为本发明的三维地图构建流程图；

图3为本发明的画面传输信号增强流程图；

图4为本发明的计算机可读存储介质结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图4，本发明提供一种技术方案：一种AR导航系统，包括计算机、处理器、通信接口、通信总线和定位设备，处理器和通信总线均设置于计算机的内部，通信接口开设于计算机的外表面，处理器通过通信总线与通信接口电性连接，通信接口与定位设备电性连接，定位设备与用户客户端信号连接，处理器对收集到的数据进行通信链路参数的动态调整，并且在定位设备信号传输过程中运用基于最小均方误差LMS算法的功率倒置算法，对传输信号的抗干扰能力进行加强。

功率倒置算法对传输信号的抗干扰能力增强途径如下：

设天线阵元个数为N，功率倒置阵列选择加权向量为W＝[W₁，W₂，…，W_N]T。第一阵元输出功率的权系数为常数。其他N-1阵元的加权系数可调节。设置四个天线阵元，分析其天线方向图，此时，权系数为：W＝[W₁，W₂，W₃，W₄]T。在功率倒置算法中，接收信号中的最强信号分量应得到最大程度的抑制，因此，在自适应滤波器的实现中，选择某一阵元的接收信号为期望信号。通常，选择参考阵元的接收信号为期望信号。不失一般性，可令W₁＝1。

输入信号为：

s(t)＝[s₁(t)，s₂(t)，s₃(t)，s₄(t)，]T

则期望信号为：

d(n)＝W₁s₁(t)

滤波器的输出为：

y(n)＝w·sT

阵列输出为误差信号，表示为：

e(n)＝d(n)-y(n)

梯度算法下，权系数更新表达式为：

其中μ为梯度算法迭代步长。

在实际情况中，天线阵列一般为四元阵列，选用阵列形状为正方形的4个天线阵元，阵元间隔为λ/2(λ为信号波长)，以构成天线阵列。

LMS自适应算法的核心在不断调整权系数，在将要发出对通信链路的资源分配信号之前，处理器会对当前环境数据的电信号进行A/D模拟-数字转换，将当前的数据与本地数据库进行对比，结合实际情况设置最符合当前环境的权系数，使得干扰信号的阵列输出功率尽可能的最小，即当干扰信号功率较小时，输出干扰信号的功率随着输入干扰信号的增加而增加；而当干扰信号功率高于某一限制值时，输入干扰信号越强，输出干扰信号功率反而越小，干扰信号功率降低后，传输信号的质量会提高，即传输信号的抗干扰能力增强。

一种AR导航方法，包括以下步骤：

S1：移动测量采集车搭载高分辨率全景相机、高精度激光雷达，可采集车辆行驶路线前方和两侧的室内图像、道路设施信息，进而快速获取近地面的影像和点云信息。

在对源点云和目标点云进行最近点对查找时,常用的查找方法有基于点到点之间的距离进行计算，对点到面之间的距离进行计算。由于设备的局限性，存在的扫描误差等，在计算的过程中，可能丢失部分精确的点对，通过点到面的距离计算，可以在一定程度上减少此类的误差。该查找方式通过对查找的最近点建立参考平面，将该平面上最近的点作为与之匹配的最近点对。

将待配准的点云图像记为集合

源点云中

中的任意一点记为P_i(x₀，y₀，z₀)，在目标点云

中搜索距离P_i最近的三个点，即q₁,q₂,q₃，坐标为(x_j,y_j,z_j)，j＝1，2，3将这三个点连接成一个平面三角形，当p_i到Δq₁q₂q₃的垂足P_c落在三角形内部时，则将P_c作为最近点，和P_i共同构成对应点对；当P_c落在三角形外部时，则将距离P_c最近的点当成最近点，与P_i一起构成对应点对。

在获取物体模型不同角度的点云时，物体模型同一区域的点云片面在不同角度的点云数据的坐标位置也不可能完全一致，在寻找最近点对的过程中，与之匹配的最近点对也可能是其相邻位置的最近点。为了让最近点迭代的效果更加接近于现实，需要对初步形成的最近点对进行筛选，对错误点进行剔除。将大于该阈值偏差的最近点对进行删除，在该阈值范围的点对则保留。

对形成的最近点P_i，q_c进行距离计算，设定d_max为最近点对的最大距离阈值。

在对点云的最近点对进行错误点对剔除后，对保留的有效最近点对，采取奇异值分解法对变换矩阵和平移矩阵进行有效求解。根据公式

求取源点云P_i和目标点云q_j的重心μ_p，μ_q，在求源点云和目标点云的重心后，对{P_i}和{q_i}中的点集合进行质心平移，形成新的点云集{P_i'}和{q_i'}，P_i'＝P_i-μ_p，q_j'＝q_j-μ_q。

根据经过质心平移得到的源点云和目标点云，构建三阶协差矩阵H。

对上一步得到的三阶协差矩阵做进一步的奇异值分解，其中D为对角矩阵，D＝diag(d_i)(i＝1，2，3)，并且对角矩阵中的三个元素满足d₁≥d₂≥d₃≥0。

H＝UDV^T

对协差矩阵H的秩进行判断，当秩不小于2时，则可得到旋转矩阵R和平移矩阵T。

R＝UAV^T，T＝μ_q-Rμ_p。

S3：在计算机上通过纹理压缩且以合并根节点的方式实现数据的轻量化，以定长压缩形式存储图形数据，将倾斜切片的纹理压缩成更适合特定设备的纹理格式，从而优化倾斜摄影模型数据在三维场景中的渲染性能，获得更流畅的浏览体验。将相邻一定空间范围的根节点合并为一个根节点，即向上抽稀生成了一层更为粗糙的一个层级，每合并一次，模型根节点数量减少约为原始数量的1/4。在地图加载渲染层面，采用人工建模技术即以人工模型替代实景三维模型，利用平面信息的基础上建立没有纹理的三维模型，利用3DSMax建模软件人工建模，通过导入不同尺寸的数据和纹理映射关系表，调取3DSMax建模软件中自带的纹理库或模型库中的相应素材，实现为不同要素赋予不同的纹理或模型，生成高精度三维地图。

S4：生成的高精度三维地图上传网络，用户客户端自行下载后，通过定位设备对用户客户端的位置进行定位，利用用户客户端的相机对场景进行拍摄，通过前文叙述的通信链路参数的动态调整，将场景发送给计算机，计算机对拍摄的场景信息进行AR识别以获取识别结果，采用现有的成熟的定位技术和AR识别技术对场景信息，因此具体对信息进行识别处理的原理与过程在此就不再赘述。基于AR识别结果，将拍摄场景的局部特征与三维高精度地图中的特征进行局部特征匹配，获得该场景的位置信息，在三维高精度地图中进行定位，再根据用户客户端的目的地，生成对应的导航指引信息，将导航指引信息发送到用户的客户端，根据用户位置信息的改变，对用户实现AR导航。

为了排除图像尺寸对结果的影响，将当前位置图像尺寸重置为标准图像尺寸m×n，采用计算机视觉技术提取当前位置图像局部特征，并将图像级定位结果存储在视觉地图中的局部特征与当前位置图像进行局部特征匹配，如果两个图像的各个局部特征点相匹配，则提取图像级定位结果存储在视觉地图中的相对应的三维信息。通过相对应的局部特征与三维特征点，可以计算两者之间的位姿关系，如下式所示：

其中，[w_jk_j1]^T为当前位置图像所对应的第j个局部特征点坐标，[A_jB_jC_j1]^T为图像级定位结果图像中对应的第j个三维特征点，P为车载摄像机的内参数，为3×3矩阵，Q和S分别为当前位置图像与图像级定位结果之间的旋转与平移关系，其中Q为旋转矩阵，尺寸为3×3，S为平移向量，尺寸为3×1，这两个值表示了车辆当前位置与图像级定位结果图像的位姿关系。

一种计算机可读存储介质，计算机中设置有可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时AR导航方法的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种AR导航系统，包括计算机、处理器、通信接口、通信总线、定位设备和移动测量采集车，所述处理器和通信总线均设置于计算机的内部，所述通信接口开设于计算机的外表面，其特征在于：所述处理器通过通信总线与通信接口电性连接，所述通信接口与定位设备电性连接，所述定位设备与用户客户端信号连接，所述移动测量采集车搭载有高分辨率全景相机、高精度激光雷达，所述处理器对收集到的数据进行通信链路参数的动态调整，且在定位设备信号传输过程中运用基于最小均方误差LMS算法的功率倒置算法。

2.一种AR导航方法，其基于权利要求1所述的一种AR导航系统所实现，其特征在于，包括以下步骤：

S1：高分辨率全景相机和高精度激光雷达采集移动测量采集车行驶路线前方和两侧的室内图像、道路设施信息，进而快速获取近地面的影像和点云信息；

S2：在采集完成后，对于车载移动测量技术获得的点云、影像等数据，通过通信接口和通信总线传递给处理器，处理器对收集到的数据进行通信链路参数的动态调整，经过剔除错误点处理后进行三维模型重建，恢复三维场景信息，实现点云和影像的对齐映射；

S3：在计算机上通过纹理压缩且以合并根节点的方式实现数据的轻量化，在地图加载渲染层面，采用人工建模技术即以人工模型替代实景三维模型，利用建模软件人工建模，通过导入不同尺寸的数据和纹理映射关系表，实现为不同要素赋予不同的纹理或模型，生成高精度三维地图；

3.根据权利要求2所述的一种AR导航方法，其特征在于：所述S3中的建模软件为3DSMax。

4.根据权利要求2所述的一种AR导航方法，其特征在于：所述S2中在获取物体模型不同角度的点云时，为了让最近点迭代的效果更加接近于现实，需要对初步形成的最近点对进行筛选，对错误点进行剔除。

5.根据权利要求2所述的一种AR导航方法，其特征在于：所述S4中用户客户端拍摄的场景通过通信链路参数的动态调整，将场景发送给计算机。

6.一种计算机可读存储介质，其特征在于：所述计算机中设置有可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求2中任一项AR导航方法的步骤。