CN110470295A

CN110470295A - 一种基于ar定位的室内步行导航系统和方法

Info

Publication number: CN110470295A
Application number: CN201810435795.7A
Authority: CN
Inventors: 方灵; 刘文龙; 徐连明; 李欣欣
Original assignee: Beijing Wisdom Figure Science And Technology Ltd Co
Current assignee: Beijing Wisdom Figure Science And Technology Ltd Co
Priority date: 2018-05-09
Filing date: 2018-05-09
Publication date: 2019-11-19
Anticipated expiration: 2038-05-09
Also published as: CN110470295B

Abstract

本发明公开了一种基于AR定位的室内步行导航系统和方法，包括预处理阶段和图像识别阶段，所述预处理阶段需要建立图像匹配特征库，在需要定位区域用设备拍摄图像，并标记设备所在的位置，并包括一种基于AR定位的室内步行导航系统的方法，本发明的设置，不用部署定位设备，如WiFi设备、蓝牙节点、UWB设备等。通用性好，在绝大多数室内区域，只有该区域有一些标识信息即可满足。可以和其它定位技术融合，对其它系统的定位结果进纠正和补充。在AR模式下，用户所见即所得，打开摄像头对准标识物就知道当前所在位置。需要的铺设的硬件成本几乎可忽略不计。

Description

一种基于AR定位的室内步行导航系统和方法

技术领域

本发明涉及室内步行导航技术领域，具体是基于AR定位的室内步行导航系统和方法。

背景技术

人们有大约在70％的时间是在室内环境下，室外环境下比较成熟的GPS定位技术在室内基本不可用，定位体验很差。WiFi/Beacon定位是室内定位中一种精度较高的方法，常用的方式有基于RSSI测距的几何定位以及基于RSSI特征的指纹定位。几何定位是在节点位置已知的情况下，通过终端接收到的节点信号强度来估算终端到节点的距离，根据到多个节点的距离，估计出终端的位置。指纹定位可以在节点位置未知的情况下，通过采集，存储多个已知位置处信号的特征值，用实时接收信号去匹配特征库，估计当前位置。

在室内定位领域的定位技术，如WiFi定位，蓝牙定位，UWB定位、可见光定位等，这些技术都需要提前部署硬件设备，实施成本相对较高，通用性不是很理想。本发明仅使用手机的摄像头，拍摄所在环境的特征物品，得到其所在的位置，达到所见即所得的理想效果。本发明可以作为其它室内定位技术的补充，在一些特定区域提供高精度的定位。特别在一些没有部署其它定位设备的情况下，通过本发明能够快速构建定位系统.

发明内容

本发明的目的在于提供一种基于AR定位的室内步行导航系统和方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于AR定位的室内步行导航系统和方法，包括预处理阶段和图像识别阶段，所述预处理阶段需要建立图像匹配特征库，在需要定位区域用设备拍摄图像，并标记设备所在的位置，图像匹配特征库包括以下步骤：

第1步，对采集的若干图像提取模板图像，

第2步，对模板图像提取特征点和描述信息，特征点与描述信息是：斑点与角点；

第3步，制作特征信息描述库；通过第2步，检测出图像的特征点，用BRIEF算法得到图像的描述因子，将该描述因子存入特征信息描述库，BRIEF算法的主要思想是：在特征点周围邻域内选取若干个像素点对，通过对这些点对的灰度值比较，将比较的结果组合成一个二进制串字符串用来描述特征点，最后，使用汉明距离来计算在特征描述子是否匹配；

第4步，对各模板匹配器进行训练；

用准备好的待匹配样图，与从模板图像提取的特征描述库，利用BRIEF特征进行匹配，如果成功率不满足预设值，调整第2步、第3步中的参数值，重新生成特征描述库，直至达到预设值；

在图像识别阶段，通过摄像头获取的图像信息与特征库进行匹配，具体步骤如下：

1).载入模板图像，对其进行特征点的识别与描述；

2).载入待匹配图像，对其进行特征点的识别与描述：

3).对模板图像与待匹配图像的特征点进行匹配，并剔除误匹配；

4).通过得到的正确匹配数量，比对事先设定的阈值，确定待匹配图像中是否存在模板；

5).若存在模板，则对正确的匹配点对进行仿射变换，得到待匹配图像中的模板位置并标出轮廓；

6).计算图像中模板轮廓一条稳定边的像素距离，并用其与事先测得的真实模板边长和相机焦距进行相似计算，并辅以仿射变换分解单应矩阵测得的相机旋转角度，得到最终的实际距离。

基于AR定位的室内步行导航系统的方法，导航步骤如下：

1).在室内步行AR导航过程中，手机通过拍照获得用户当前的图像信息，再通过图像匹配方法进行匹配，若匹配，则再结合特征库中特征图像的位置得到用户的位置；

2).在一些关键的位置，利用手机上罗盘得到前进的方向，利用加速度传感器的数据通过G-Sensor计步算法得到前进的距离，通过PDR推导得到连续的位置；

3).当用户用AR导航到了下一个图像采集点时，通过PDR推算的定位结果缩小图像匹配的范围，在图像匹配成功后，对定位结果进行修正；

作为本发明的进一步技术方案：BRIEF算法步骤：

1).先对图像进行高斯滤波，方差为2，高斯窗口为9x9；

2).以特征点为中心，取SxS的邻域窗口，在窗口内随机选取一对点，比较二者像素的大小，进行如下二进制赋值，

其中，p(x)，p(y)分别是随机点x＝(u1，v1)，y＝(u2，v2)的像素值；

3).在窗口中随机选取N对随机点，重复步骤2的二进制赋值，形成一个二进制编码。

作为本发明的进一步技术方案：斑点是图像中与周围颜色与灰度差别的区域，使用高斯拉普拉斯算子检测的方法，角点是图像中物体的拐点或线条间的交叉部分，使用Harris角点检测的算法进行检测。

作为本发明的进一步技术方案：G-Sensor计步算法流程如下：

1).三阶移动均值滤波，对采集到波形进行平滑；

2).零点交叉法检测，信号经过滤波处理后，信号从下至上穿过某阈值就计为一步；

3).根据频率以及波形特征判断是走路，跑步，骑行。

作为本发明的进一步技术方案：PDR推导是结合G-Sensor计步与罗盘方向，得到用户连续的轨迹，假设初始位置为(0，0)点，每前进一步(假设一步前进n米)都有前进的方向(前进方向为θ)，前进一步后的所在的位置为(n cosθ，nsinθ)，如此对每一步都进行推导，则得到每一步的的坐标(x1，y1)，(x2，y2)....。

与现有技术相比，本发明的有益效果是：本发明的设置，不用部署定位设备，如WiFi设备、蓝牙节点、UWB设备等。通用性好，在绝大多数室内区域，只有该区域有一些标识信息即可满足。可以和其它定位技术融合，对其它系统的定位结果进纠正和补充。在AR模式下，用户所见即所得，打开摄像头对准标识物就知道当前所在位置。需要的铺设的硬件成本几乎可忽略不计。

附图说明

图1为预处理阶段原理图。

图2为图像识别阶段原理图。

图3为PDR推导原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～3，本发明实施例中，一种基于AR定位的室内步行导航系统和方法，包括预处理阶段和图像识别阶段，所述预处理阶段需要建立图像匹配特征库，在需要定位区域用设备拍摄图像，并标记设备所在的位置，图像匹配特征库包括以下步骤：

第1步，对采集的若干图像提取模板图像，模板图像是有一定特征的图案，如一个冰箱、一张海报、一个店铺牌匾等；

第2步，对模板对象提前特征点和描述信息，特征点与描述信息主要是：斑点与角点；

第3步，对制作特征信息描述库；通过第2步，检测出图像的特征点，用BRIEF算法得到图像的描述因子，将该描述因子存入到库中，BRIEF算法的主要思想是：在特征点周围邻域内选取若干个像素点对，通过对这些点对的灰度值比较，将比较的结果组合成一个二进制串字符串用来描述特征点，最后，使用汉明距离来计算在特征描述子是否匹配；

第4步，对各模板匹配器进行训练；

用准备好的待匹配样图，与从模板图像提取的特征描述库，利用BRIEF特征进行进行匹配，看配准的成功率，如果成功率不满足预设值，调整第2步、第3步中的参数值，重新生成特征描述库，直至达到预设值；

1).载入模板图像，对其进行特征点的识别与描述；

2).载入待匹配图像，对其进行特征点的识别与描述；

一种基于AR定位的室内步行导航系统的方法：导航步骤如下：

1).在室内步行AR导航过程中，手机通过拍照获得用户当前的图像信息，在通过图像匹配方法进行匹配，如果匹配上了再结合特征库中特征图像的位置得到用户的位置；

2).在一些关键的位置，可能是道路的拐点，这时利用手机上罗盘可以得到前进的方向，利用加速度传感器的数据通过G-Sensor计步算法得到前进的距离，通过PDR推导得到连续的位置，这样可以为用户提供连续的定位服务；

3).当用户用AR导航到了下一个图像采集点时，可以通过PDR推算的定位结果缩小图像匹配的范围，提高匹配成功的准确率，在图像匹配成功后，可以对定位结果进行修正，这样就可以对用户提供持续的定位导航服务。

BRIEF算法步骤：

1).为减少噪声干扰，先对图像进行高斯滤波，方差为2，高斯窗口为9x9；

3).在窗口中随机选取N对随机点，重复步骤2的二进制赋值，形成一个二进制编码，这个编码就是对特征点的描述，即特征描述子，一般N＝256。

斑点是图像中与周围颜色与灰度差别的区域，使用高斯拉普拉斯算子检测的方法(LOG)，角点是图像中物体的拐点或线条间的交叉部分，使用Harris角点检测的算法进行检测。

G-Sensor计步算法流程如下：

1).三阶移动均值滤波，对采集到波形进行平滑，降低噪音干扰；

3).根据频率以及波形特征判断是走路，跑步，骑行。

PDR推导是结合G-Sensor计步与罗盘方向，得到用户连续的轨迹，假设初始位置为(0，0)点，每前进一步(假设一步前进n米)都有前进的方向(前进方向为θ)，前进一步后的所在的位置为(n cosθ，nsinθ)，如此对每一步都进行推导，则得到每一步的的坐标(x1，y1)，(x2，y2)....。

本发明的设置，不用部署定位设备，如WiFi设备、蓝牙节点、UWB设备等。通用性好，在绝大多数室内区域，只有该区域有一些标识信息即可满足。可以和其它定位技术融合，对其它系统的定位结果进纠正和补充。在AR模式下，用户所见即所得，打开摄像头对准标识物就知道当前所在位置。需要的铺设的硬件成本几乎可忽略不计。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于AR定位的室内步行导航系统，包括预处理阶段和图像识别阶段，其特征在于，所述预处理阶段需要建立图像匹配特征库，在需要定位区域用设备拍摄图像，并标记设备所在的位置，图像匹配特征库包括以下步骤：

第1步，对采集的若干图像提取模板图像，

第4步，对各模板匹配器进行训练；

1).载入模板图像，对其进行特征点的识别与描述；

2).载入待匹配图像，对其进行特征点的识别与描述；

2.根据权利要求1所述的基于AR定位的室内步行导航系统的方法，其特征在于，导航步骤如下：

3).当用户用AR导航到了下一个图像采集点时，通过PDR推算的定位结果缩小图像匹配的范围，在图像匹配成功后，对定位结果进行修正。

3.根据权利要求1所述的基于AR定位的室内步行导航系统，其特征在于，BRIEF算法步骤：

1).先对图像进行高斯滤波，方差为2，高斯窗口为9x9；

4.根据权利要求1所述的基于AR定位的室内步行导航系统，其特征在于，斑点是图像中与周围颜色与灰度差别的区域，使用高斯拉普拉斯算子检测的方法，角点是图像中物体的拐点或线条间的交叉部分，使用Harris角点检测的算法进行检测。

5.根据权利要求2所述的基于AR定位的室内步行导航系统的方法，其特征在于，G-Sensor计步算法流程如下：

1).三阶移动均值滤波，对采集到波形进行平滑；

3).根据频率以及波形特征判断是走路，跑步，骑行。

6.根据权利要求2所述的基于AR定位的室内步行导航系统的方法，其特征在于，PDR推导是结合G-Sensor计步与罗盘方向，得到用户连续的轨迹，假设初始位置为(O，O)点，每前进一步(假设一步前进n米)都有前进的方向(前进方向为θ)，前进一步后的所在的位置为(ncosθ，n sinθ)，如此对每一步都进行推导，则得到每一步的的坐标(x1，y1)，(x2，y2)....。