CN104866873B - 一种基于手机图像匹配的室内定位方法 - Google Patents

Abstract

本发明公开了一种基于手机图像匹配的室内定位方法：步骤1，将室内地面划分为多个虚拟网格；步骤2，在每个虚拟网格中拍摄四幅图像，将室内所有虚拟网格中拍摄的图像根据拍摄方向的不同存为四类图像；在每类图像中选出一个或多个基准图像，将每类图像的基准图像与对应类中的图像一一匹配；步骤3，目标用户使用手机拍摄待匹配图像，根据方向信息确定待搜索图像；在待搜索图像中搜索出待匹配图像的最佳匹配图像；步骤4，给目标粗略位置对应的虚拟网格以及八邻域网格分别赋权值；根据所述权值计算目标用户的位置。本发明定位准确，算法复杂度低，且无需在手机上安装其他硬件，仅利用手机自身摄像头即完成定位，成本低、可靠性高、通用性好。

Description

一种基于手机图像匹配的室内定位方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于手机图像匹配的室内定位方法。

背景技术

近年来，随着智能手机的普及和移动物联网的深度发展，室内定位技术引起了越来越多的关注，逐渐成为物联网的研究热点。但在复杂的室内环境(如机场大厅、仓库、超市、图书馆、地下停车场等)，传统的GPS系统接收不到卫星信号，无法实现室内定位，不能满足日益增长的室内定位服务LBS(Location based service)。目前国内外的室内定位技术主要有以下7种方式：①红外技术(IR)；②无线局域网(WLAN)；③蓝牙技术(Blue Tooth)；④超声波(Ultrasonic)；⑤计算机视觉(Computer Vision)；⑥磁场；⑦射频技术(RFID)。上述定位技术均能在一定程度上满足室内定位需求，但大多数定位系统易受室内障碍物、多径传输等随机因素和干扰的影响，且系统部署复杂，维护成本高，通用性和可扩展性差。综合多方面因素对比表明，基于计算机视觉的室内定位技术(即图像处理技术)抗信号干扰性强、定位精度高、实际应用代价小，已成为室内定位研究的一个热点方向。

目前，运用图像处理技术进行室内定位的方式主要是：将目标运行过程的视频流划分成一帧一帧图像，匹配相邻两帧图像并计算其基本矩阵，累积获得的相对偏移量实现室内定位。这种方法的特点是定位精度较高，但是随时间的推进累计误差不断增大，并且消耗时间，需要计算多帧图像才可以完成一次定位，不适用于精确且实时的室内定位。

发明内容

针对上述现有技术的缺陷或不足，本发明的目的在于，提供一种基于手机图像匹配的准确快速室内定位方法。

为了实现上述目的，本发明采用如下技术方案予以解决：

一种基于手机图像匹配的室内定位方法，包括如下步骤：

步骤1，将室内地面划分为多个正方形的虚拟网格；

步骤2，在每个虚拟网格中拍摄四幅图像，将室内所有虚拟网格中拍摄的图像根据拍摄方向的不同存为四类图像，并对应存储每幅图像的拍摄方向、所在的虚拟网格和虚拟网格中心坐标；对每幅图像进行特征点提取，存储每幅图像对应的SURF特征描述子；在每类图像中选出一个或多个基准图像，将每类图像的基准图像与对应类中的图像一一匹配，得到匹配点数集合；

步骤3，目标用户使用手机拍摄待匹配图像，并将待匹配图像及拍摄的方向信息发送至服务器，服务器保存满足阈值要求的待匹配图像，根据方向信息，确定步骤2中得到的与所述方向信息一致方向的一类图像为待搜索图像；在待搜索图像中搜索出待匹配图像的最佳匹配图像，所述最佳匹配图像拍摄时所在的虚拟网格为目标粗略位置；

步骤4，将最佳待匹配图像与其所在虚拟网格的八邻域虚拟网格进行匹配，获得匹配点数，给目标粗略位置对应的虚拟网格以及八邻域网格分别赋权值；根据所述权值计算目标用户的位置。

进一步的，所述步骤1中，虚拟网格边长a取50cm～70cm。

进一步的，所述步骤2具体包括如下步骤：

步骤2.1，采用带有支架的摄像机在每个虚拟网格对应的实际网格中，在四个方向上共采集四幅图像；

步骤2.2，将采集的图像根据拍摄方向的不同分为4类图像进行存储；同时存储每幅图像拍摄时的拍摄方向、所在的虚拟网格和虚拟网格中心坐标；

步骤2.3，采用SURF算子提取每幅图像的特征点，并存储每幅图像对应的SURF特征描述子；

步骤2.4，在每类图像中选出一幅或多幅图像作为该类图像的基准图像；

步骤2.5，将每类图像的基准图像与该类图像一一匹配，得到匹配点数集合，将该集合内的匹配点数从小到大排列得到集合base_N_i，i＝1,2,3,4。

进一步的，所述步骤3具体包括如下步骤：

步骤3.1，目标用户使用手机垂直于墙面-i拍摄待匹配图像，i＝1,2,3,4；

步骤3.2，将待匹配图像与拍摄时刻的电子罗盘方向信息发送至服务器；

步骤3.3，服务器采用SURF算子提取待匹配图像的特征点，得到待匹配图像的SURF特征点数K；

步骤3.4，判断SURF特征点数K是否大于设定阈值T，如果是，执行步骤3.5；反之，令i＝i+1或i-1，i＝1,2,3,4，执行步骤3.1；

步骤3.5，根据步骤3.2中所述的电子罗盘方向信息，确定第i类图像为待搜索图像；

步骤3.6，在待搜索图像中搜索出待匹配图像的最佳匹配图像，所述最佳匹配图像拍摄时所在的虚拟网格为目标粗略位置。

进一步的，所述步骤3.6，在待搜索图像中搜索出待匹配图像的最佳匹配图像，所述最佳匹配图像拍摄时所在的虚拟网格为目标粗略位置，包括：

步骤3.6.1，已知待匹配图像I，待搜索图像为步骤3.5中确定的第i类图像Database_i，初始化阈值T₁＝0.1；

步骤3.6.2，将待匹配图像I与第i类图像Database_i中的每个基准图像baseI_k匹配，得到待匹配图像与每个基准图像的匹配点数量N_k；将匹配点数量N_k的最大值N_max对应的基准图像作为最佳基准图像baseI_id；

步骤3.6.3，计算区间[Key₁，Key₂]，其中，Key₁＝(1-T₁)×N_max、Key₂＝(1+T₁)×N_max；

步骤3.6.4，将步骤2得到的匹配点数集合按照匹配点数由小到大排列得到集合base_N_i，在该集合中搜索Key₁和Key₂，找到与区间[Key₁，Key₂]最接近的位置区间[pos₁，pos₂]；

步骤3.6.5，搜索位置区间[pos₁，pos₂]内每个匹配点数对应的图像，作为一个新的集合new_space；

步骤3.6.6，待匹配图像I与所述新的集合new_space中每个图像基于SURF算子进行匹配，产生匹配点数集合match_N；

步骤3.6.7，计算集合match_N的最大值match_N_max，并将最大值match_N_max对应的图像作为最佳匹配图像；最佳匹配图像拍摄时所在的虚拟网格即为目标粗略位置。

进一步的，所述步骤4包括：

步骤4.1，获得目标粗略位置对应的虚拟网格的八邻域虚拟网格，(x_p,y_p),p＝1,2,...,9为每个虚拟网格中心坐标；

步骤4.2，将最佳匹配图像与八邻域网格中所拍摄的图像一一进行匹配，获得匹配点数Num_p；

步骤4.3，给目标粗略位置对应的虚拟网格以及八邻域网格分别赋权值w_p：

步骤4.4，计算目标用户的位置坐标(x,y)：

与现有方法相比，本发明的方法的优点如下：

1、区别于现有的基于计算机视觉的室内定位方法，融入虚拟化网格的思想，将整个室内空间网格化，并在此基础上建立图像特征数据库；

2、提出了一种基于折半查找的快速粗定位方法，只需约一对图像匹配的时间就能确定待匹配图像最大可能性的拍摄网格(最大概率网格)。

3、提出一种基于加权网格的精确定位方法，根据图像匹配点数赋予最大概率网格及其8邻域范围的网格不同权重，联合计算手机用户精确位置。

4、该定位方法较现有室内定位方法处理数据量大大减少，不存在累计误差，精度不大于30cm。

5、该定位方法精度与UWB相当，其系统使用手机自置摄像头采集图像，无需安装其它硬件，成本低、可靠性高、通用性好。

附图说明

图1是本发明的方法所应用的室内地面的虚拟网格划分示意图。

图2是图像采集装置。

图3是垂直墙面拍摄方式示意图。

图4是本发明的基于手机图像匹配的室内粗定位方法流程图。

图5是目标粗略位置对应的虚拟网格及其八邻域网格示意图。

图6是本发明的实施例1中的部分图像。

图7是本发明的实施例1中用户处于网格中心时两种方法目标定位效果。

图8是本发明的实施例1中用户处于网格任意位置时两种方法目标定位效果。

图9是本发明的实施例1中用户处于网格中心时两种方法误差分析结果。

图10是本发明的实施例1中用户处于网格任意位置时两种方法误差分析结果。

图11是本发明的实施例2中三种方法轨迹对比结果。

以下将结合附图及具体实施方式对本发明进一步解释说明。

具体实施方式

本发明给出一种基于手机图像匹配的室内定位方法，该方法包括如下步骤：

步骤1，将室内地面虚拟网格化

如图1所示，建立坐标系xoy，将室内地面划分为多个虚拟网格，每个虚拟网格大小为a×a。据试验，虚拟网格面积越大则定位精度明显降低；反之，虚拟网格面积越小则处理数据增加，经试验确定a的取值范围在50cm～70cm定位精度较高，优选a＝60。

要求室内环境具备以下条件：①室内公共场所为长方形区域；②室内空间较为空旷；③室内光照强度较为恒定；④室内无线网络畅通无阻。

步骤2，建立搜索数据库

步骤2.1，如图2所示，采用带有支架的摄像机在每个虚拟网格对应的实际区域中，在四个方向上共采集四幅图像。注意拍摄时正对室内的每一面墙体，如图3所示。i表示室内各墙体所在的方向的序号，i取1,2,3,4。拍摄过程中摄像机内外参数及支架高度保持不变；

步骤2.2，将采集的图像根据拍摄方向的不同分为4类图像进行存储；同时存储每个图像拍摄时的拍摄方向、所在的虚拟网格和虚拟网格中心坐标；该步骤中将图像进行分类，能够在后续步骤中减少搜索数据量，节约时间；

步骤2.3，采用SURF算子提取每幅图像的特征点，并存储每幅图像对应的SURF特征描述子，以方便后续图像匹配。

步骤2.4，在每类图像中选出一幅或多幅图像作为该类图像的基准图像；所述基准图像要求囊括该拍摄方向上所有物体，因此，拍摄基准图像所在的实际区域是与被拍摄墙面相对墙面的距离中点最近的网格；

步骤2.5，将每类图像的基准图像与该类图像一一匹配，得到匹配点数集合，将该集合内的匹配点数从小到大排列得到集合base_N_i(i＝1,2,3,4)。

步骤3，目标用户使用手机拍摄图像进行粗定位，其流程图如图4，具体步骤如下：

步骤3.1，目标用户使用手机垂直于墙面-i(i＝1,2,3,4)拍摄待匹配图像；

步骤3.2，将待匹配图像与拍摄时刻的电子罗盘方向信息发送至服务器；

步骤3.3，服务器采用SURF算子提取待匹配图像的特征点，得到待匹配图像的SURF特征点数K；

步骤3.4，判断SURF特征点数K是否大于设定阈值T(取50)，如果是，执行步骤3.5；反之，令i＝i+1或i-1(i＝1,2,3,4)，执行步骤3.1；

步骤3.5，根据步骤3.2中所述的电子罗盘方向信息，确定第i类图像为待搜索图像。该步骤能够避免将待匹配图像与所有的图像进行匹配，而将搜索范围缩小到第i类图像总，有效缩短了检索时间；

步骤3.6，在待搜索图像中，使用折半查找方法搜索出待匹配图像的最佳匹配图像及其拍摄时所在的虚拟网格。具体过程如下：

步骤3.6.1，已知待匹配图像I，待搜索图像为步骤3.5中确定的第i类图像Database_i，初始化阈值T₁＝0.1；

步骤3.6.2，将待匹配图像I与第i类图像Database_i中的每个基准图像baseI_k匹配，得到待匹配图像与每个基准图像的匹配点数量N_k；将匹配点数量N_k的最大值N_max对应的基准图像作为最佳基准图像baseI_id；

由于待匹配图像和数据库图像拍摄位置的差异，如果在步骤2.5得到的集合base_N_i中仅搜索匹配点数量的最大值N_max，可能会遗漏最佳匹配图像，因此通过如下步骤扩大搜索范围：

步骤3.6.3，计算区间[Key₁，Key₂]，其中，Key₁＝(1-T₁)×N_max、Key₂＝(1+T₁)×N_max；

步骤3.6.4，在步骤2.5得到的集合base_N_i中搜索Key₁和Key₂，找到与区间[Key₁，Key₂]最接近的位置区间[pos₁，pos₂]；

步骤3.6.5，搜索到的位置区间[pos₁，pos₂]内每个匹配点数对应的图像，作为一个新的集合new_space；

步骤3.6.6，待匹配图像I与所述新的集合new_space中每个图像基于SURF算子进行匹配，产生匹配点数集合match_N；

步骤3.6.7，计算集合match_N的最大值match_N_max，并将最大值match_N_max对应的图像作为最佳匹配图像；最佳匹配图像拍摄时所在的虚拟网格即为目标粗略位置；

步骤4，基于加权网格的目标精确定位，具体执行过程如下：

步骤4.1，获得最佳匹配图像对应的虚拟网格的八邻域虚拟网格，如图5所示。图中(x_p,y_p),p＝1,2,...,9为每个虚拟网格中心坐标；

步骤4.2，将最佳匹配图像与八邻域网格中所拍摄的图像一一进行匹配，获得匹配点数Num_p；

步骤4.3，给目标粗略位置对应的虚拟网格以及八邻域网格分别赋权值w_p：

步骤4.4，计算目标用户的位置坐标(x,y)：

实施例1：

本实施中，以长安大学的陕西省道路交通智能检测与装备工程研究中心为例，其大厅长约为24m，宽13.2m，划分为40×22＝880个虚拟网格，每个虚拟网格大小a×a＝60cm×60cm。使用160万像素的Canon摄像机，支架高为1.35m采集数据库场景图像。目标用户在高1.25m-1.45m范围内使用iphone 4S垂直平面拍摄待匹配图像，图像大小为2448×3264。实验环境所选择的操作系统为Windows XP，中央处理器为2.85GHz，程序编写平台为OpenCV。

实验使用50个虚拟网格区域，在每个网格的拍摄节点垂直面-i(i＝1,2,3,4)采集4幅场景图像，总共拍摄200幅图像作为数据库，其中垂直左面-1的前24幅图像如图6所示。以图8中目标所在方框区域的位置为例进行测试，目标用户在此位置垂直左面-1拍摄的图像提取的SURF特征点数为1372，满足待匹配图像对特征点数量的要求，然后与基准图像匹配，匹配点对数量为217，则采用二分查找在搜索空间内搜索[195，239]范围的特征点数，进而将该位置范围内对应的图像与待匹配图像依次匹配，得到最佳匹配图像，其对应的虚拟网格区域即为图8中的黑色方框区域，加权计算所得精确位置用圆圈标注。建立数据库及完成这次基于手机图像的室内定位的时间性能如表1所示，较采用顺序检索的定位方法时间大大提高。

为测试本发明的准确性，分别选取10处网格中心和10处网格其他任意位置拍摄图像，如图7-8所示，观察可知，对于处于网格中心的用户，本文方法获得的坐标几乎与真实位置重合，精度很高；对于处于网格其他位置的用户，本文方法可以准确确定所处的虚拟网格，获得的坐标位置接近真实位置。误差分析如图9-10所示。观察可知，用户处于网格中心时本文方法误差小于10cm，处于网格其他任意位置时误差不大于30cm，因此，本发明方法的精度较UWB高。

表1两种搜索算法性能对比

实施例2：

本实施例中，为测试本发明方法所得用户运行轨迹的实用性，将该方法与UWB和一般的基于图像的定位方法(文献方法：陈旭，基于图像特征匹配的室内定位算法研究[D]，北京工业大学，2011)对比。定义某网格左下角为坐标原点(0,0)，用户真实运行轨迹为y＝x/2+15 x∈[30,570]，如图11所示，试验时本发明方法每走采集一次图像，“*”为拍摄位置，可能处于虚拟网格区域的任意点，UWB每秒采集一个坐标数据，文献方法每秒采集25帧图像，图中“△”、“◇”和“o”分别为三种方法所测的用户位置，依次连接得到运行轨迹。分析可知，该发明方法获得的轨迹较UWB更趋近与真实轨迹，波动范围较小。而与文献方法对比，该发明文方法拍摄节点少，每次拍摄最多4幅图像，处理数据量大大减小；定位过程中网格位置是固定的，不会出现误差累计，整体趋势为在真实轨迹上下浮动。相反，文献方法图像处理数据过大，轨迹开始较准确，随着时间推进发生偏移，因此本发明方法较常规的基于计算机视觉的室内定位方法实用性更大。

实施例3：

本实施例中，为测试本发明方法系统性能，将本发明系统与UWB装置对比，结果如表2所示，该实现系统无需在手机上安装其他硬件，仅利用手机自身配置的摄像头即可完成定位，且成本低、可靠性高、抗信号干扰性强等，具有较强的实用价值。

表2两种系统实用性对比

Claims (6)

1.一种基于手机图像匹配的室内定位方法，其特征在于，包括如下步骤：

步骤1，将室内地面划分为多个正方形的虚拟网格；

步骤2，在每个虚拟网格中拍摄四幅图像，将室内所有虚拟网格中拍摄的图像根据拍摄方向的不同存为四类图像，并对应存储每幅图像的拍摄方向、所在的虚拟网格和虚拟网格中心坐标；对每幅图像进行特征点提取，存储每幅图像对应的SURF特征描述子；在每类图像中选出一个或多个基准图像，将每类图像的基准图像与对应类中的图像一一匹配，得到匹配点数集合；

步骤3，目标用户使用手机拍摄待匹配图像，并将待匹配图像及拍摄的方向信息发送至服务器，服务器保存满足阈值要求的待匹配图像，根据方向信息，确定步骤2中得到的与所述方向信息一致方向的一类图像为待搜索图像；在待搜索图像中搜索出待匹配图像的最佳匹配图像，所述最佳匹配图像拍摄时所在的虚拟网格为目标粗略位置；

步骤4，将最佳待匹配图像与其所在虚拟网格的八邻域虚拟网格进行匹配，获得匹配点数，给目标粗略位置对应的虚拟网格以及八邻域网格分别赋权值；根据所述权值计算目标用户的位置。

2.如权利要求1所述的基于手机图像匹配的室内定位方法，其特征在于，所述步骤1中，虚拟网格边长a取50cm～70cm。

3.如权利要求1所述的基于手机图像匹配的室内定位方法，其特征在于，所述步骤2具体包括如下步骤：

步骤2.1，采用带有支架的摄像机在每个虚拟网格对应的实际网格中，在四个方向上共采集四幅图像；

步骤2.2，将采集的图像根据拍摄方向的不同分为4类图像进行存储；同时存储每幅图像拍摄时的拍摄方向、所在的虚拟网格和虚拟网格中心坐标；

步骤2.3，采用SURF算子提取每幅图像的特征点，并存储每幅图像对应的SURF特征描述子；

步骤2.4，在每类图像中选出一幅或多幅图像作为该类图像的基准图像；

步骤2.5，将每类图像的基准图像与该类图像一一匹配，得到匹配点数集合，将该集合内的匹配点数从小到大排列得到集合base_N_i，i＝1,2,3,4。

4.如权利要求1所述的基于手机图像匹配的室内定位方法，其特征在于，所述步骤3具体包括如下步骤：

步骤3.1，目标用户使用手机垂直于墙面i拍摄待匹配图像，i＝1,2,3,4；

步骤3.2，将待匹配图像与拍摄时刻的电子罗盘方向信息发送至服务器；

步骤3.3，服务器采用SURF算子提取待匹配图像的特征点，得到待匹配图像的SURF特征点数K；

步骤3.4，判断SURF特征点数K是否大于设定阈值T，如果是，执行步骤3.5；反之，令i＝i+1，i＝1,2,3,4，执行步骤3.1；

步骤3.5，根据步骤3.2中所述的电子罗盘方向信息，确定第i类图像为待搜索图像；

步骤3.6，在待搜索图像中搜索出待匹配图像的最佳匹配图像，所述最佳匹配图像拍摄时所在的虚拟网格为目标粗略位置。

5.如权利要求4所述的基于手机图像匹配的室内定位方法，其特征在于，所述步骤3.6，在待搜索图像中搜索出待匹配图像的最佳匹配图像，所述最佳匹配图像拍摄时所在的虚拟网格为目标粗略位置，包括：

步骤3.6.1，已知待匹配图像I，待搜索图像为步骤3.5中确定的第i类图像Database_i，初始化阈值T₁＝0.1；

步骤3.6.2，将待匹配图像I与第i类图像Database_i中的每个基准图像baseI_k匹配，得到待匹配图像与每个基准图像的匹配点数量N_k；将匹配点数量N_k的最大值N_max对应的基准图像作为最佳基准图像baseI_id；

步骤3.6.3，计算区间[Key₁，Key₂]，其中，Key₁＝(1-T₁)×N_max、Key₂＝(1+T₁)×N_max；

步骤3.6.4，将步骤2得到的匹配点数集合按照匹配点数由小到大排列得到集合base_N_i，在该集合中搜索Key₁和Key₂，找到与区间[Key₁，Key₂]最接近的位置区间[pos₁，pos₂]；

步骤3.6.5，搜索位置区间[pos₁，pos₂]内每个匹配点数对应的图像，作为一个新的集合new_space；

步骤3.6.6，待匹配图像I与所述新的集合new_space中每个图像基于SURF算子进行匹配，产生匹配点数集合match_N；

步骤3.6.7，计算集合match_N的最大值match_N_max，并将最大值match_N_max对应的图像作为最佳匹配图像；最佳匹配图像拍摄时所在的虚拟网格即为目标粗略位置。

6.如权利要求1所述的基于手机图像匹配的室内定位方法，其特征在于，所述步骤4包括：

步骤4.1，获得目标粗略位置对应的虚拟网格的八邻域虚拟网格，(x_p,y_p),p＝1,2,…,9为每个虚拟网格中心坐标；

步骤4.2，将最佳匹配图像与八邻域网格中所拍摄的图像一一进行匹配，获得匹配点数Num_p；

步骤4.3，给目标粗略位置对应的虚拟网格以及八邻域网格分别赋权值w_p：

步骤4.4，计算目标用户的位置坐标(x,y)：