CN109029444B

CN109029444B - 一种基于图像匹配和空间定位的室内导航系统及导航方法

Info

Publication number: CN109029444B
Application number: CN201810601432.6A
Authority: CN
Inventors: 张秀君; 孙晓丽; 张晓婷; 徐晨
Original assignee: Shenzhen Polytechnic
Current assignee: Shenzhen Polytechnic
Priority date: 2018-06-12
Filing date: 2018-06-12
Publication date: 2022-03-08
Anticipated expiration: 2038-06-12
Also published as: CN109029444A

Abstract

本发明提供一种基于图像匹配和空间定位的室内导航系统及导航方法，属于导航技术领域。本发明室内导航系统包括数据库模块、定位模块、路径规划模块和显示模块，所述数据库模块用于存储关键位置图像、图像特征及其与位置之间的关系，在图像中选择生成地标，形成地标节点图并保存；定位模块用于根据用户输入的查询图像，提取图像的特征，对用户位置精确定位；路径规划模块用于根据用户输入的目的地及定位模块获取的用户位置，获取最优路径；显示模块用于查找最优路径上经过的地标，并基于所述地标生成用户指示路径图，并发送给用户。本发明只要输入目的地并上传周边环境的一张图片，就可以进行方向及路径的标定，导航指示更加直观，使用更加便捷。

Description

一种基于图像匹配和空间定位的室内导航系统及导航方法

技术领域

本发明涉及导航技术领域，尤其涉及一种基于图像匹配和空间定位的室内导航系统及导航方法。

背景技术

近几年中，基于GPS定位的导航系统得到了广泛的应用，我国提出的“北斗”卫星导航技术也在飞速发展。作为导航技术的一个分支，室内导航技术由于其独有的特点，逐渐引起工业界、学术界的注意。主要原因是GPS导航系统在室内场景下无法使用。在室外场景中，我们可以通过GPS系统很容易地定位我们的位置。但是在室内场景中情况要复杂的多。在室内环境下，由于建筑物的遮挡，卫星信号比较弱，而且要在不同楼层的不同房间中进行导航，这些问题都是GPS系统无法解决的。因此，专门研究一种新的室内导航技术是很有必要的。从发展和使用的角度来看，室内导航系统应该提供和室外导航系统类似的功能。但考虑到导航的物理位置、方向指示的需求等方面的不同，需要为室内导航技术发展特有的技术。现有的室内导航系统通常可以分为两类：独立室内导航系统和基于网络的室内导航系统。基于网络的室内导航系统一般利用网络技术（如传感器网络）来获取用户的位置并提供路径规划，而独立室内导航系统聚焦于利用自发用户的位置。

基于网络的室内导航系统一般采用网络技术，如蓝牙、超宽带技术、WiFi、RFID、红外光、近场通讯技术等。根据采用的技术不同，定位的精度各有差异。一般来讲，基于超宽带技术和WiFi技术比基于蓝牙和RFID技术的定位精度高。

另一类室内导航系统就是独立室内导航系统，它利用的是航位推测技术。它要求收集两类数据。首先，在足够数目的辅助设备的帮助下，固定位置决定了定位，例如GPS卫星系统。其次，当前位置的估计是根据上一次的固定位置、目标的速度、它的路径、它从上一个位置到当前位置所花费的时间等因素来确定。另一种独立室内导航系统是所谓的辅助GPS系统（A-GPS），它将GPS的范围扩展到室内环境下。

此外，基于图像的视觉辅助技术已被应用到机器人导航上。近来，这些技术被扩展到行人导航。基于图像的特点，使得这些方法给用户提供了丰富的视觉信息，带来全新的使用体验。在精度适当的条件下，也提供了相对较低成本的室内导航服务。基于图像导航系统的一个很好的例子，是谷歌地图的街景服务，它提供了360度的街道图像显现。它使用全景图像呈现了一个虚拟的城市环境。虽然人们对它的意见不一，但是无可否认它把用户关于导航系统的体验提升到一个全新的水平。

前述的两类室内导航系统尽管为人们的生活提供了很多便利，但依然不可避免地由于一些客观条件和技术缺陷而存在不同程度的缺点。

基于网络技术的室内导航系统的缺点在于它需要预装的基础设置，而且位置信息的可用性也受到限制。而基于航位推测技术的室内导航系统的显著缺点是它被累计误差所强烈影响。在估计过程中误差的出现是不可避免的，而当基于上一个位置进行新位置的估计时，误差是会累积的。在另外一种独立室内导航A-GPS系统中，室内的GPS系统通过连接到一个参考接收器上的服务器来进行处理。虽然信号得到了增强，但是有时候对于室内GPS接收器来说还是太弱。

基于图像导航系统的谷歌地图街景服务提供了360度的街道图像显现，它使用全景图像呈现了一个虚拟的城市环境。为了收集图像数据，这个系统需要在一辆移动的汽车的顶部安装一个全景相机来同时记录图像和地理数据。因此，这套系统的造价是很昂贵的，而且在一些汽车或三轮脚踏车无法到达的地方是不可用的，如公园的内部或者建筑物的内部等。因此，谷歌还提供了一项服务叫做Google Image Gallery，允许用户上传在那些谷歌汽车无法到达的地方拍摄的照片。但这个服务并不能为导航提供足够的信息。

一般来讲，现有的基于图像的导航系统比较昂贵、难以部署，甚至不够精确。特别需要指出的，现有的大部分基于图像的导航技术不适合在室内使用。首先，它们的数据收集方法需要昂贵的设备或者特殊的图像数据，例如全景相机、移动传感器、全景图像等，而这些设备或数据对于普通用户来说，或者难以接触到，或者难以部署在室内环境下。其次，大部分现有的导航系统仅仅提供了位置信息，而没有提供方向指示，因此它们不能真正算一个完整的导航系统。最后，现有的基于图像的导航系统没有充分利用用户上传的照片。基本上，查询图片在用户位置被确定后就丢弃了，而可能的从上传图片获得的新知识没有被再利用。

发明内容

为解决现有技术中的问题，本发明提供一种基于图像匹配和空间定位的室内导航系统，还提供一种基于其室内导航系统的导航方法。

本发明基于图像匹配和空间定位的室内导航系统包括数据库模块、定位模块、路径规划模块和显示模块，其中，

所述数据库模块用于存储关键位置图像，提取关键位置图像的图像特征，建立并存储图像特征与位置之间的关系，并在各个图像中选择有突出的标志性作用的图像，生成地标，形成地标节点图并保存；

所述定位模块用于根据用户输入的查询图像，提取图像的特征，在数据库中进行特征匹配，从而对用户位置精确定位；

所述路径规划模块用于根据用户输入的目的地及定位模块获取的用户位置，获取最优路径；

所述显示模块用于查找最优路径上经过的地标，并基于所述地标生成用户指示路径图，并发送给用户。

本发明作进一步改进，所述数据库模块还用于根据关键位置图像之间的实际位置关系建立并保存用于规划路径的无向加权图。

本发明作进一步改进，用户输入的查询图像获取精确位置信息后，将其添加入数据库，更新已有的地标节点图。

本发明作进一步改进，所述图像特征包括SIFT特征、纹理、颜色；所述地标的选取采用显著性物体检测算法，对图像进行显著性检测，将显著物体自动分割出来，符合一定规则的作为地标保存。

本发明作进一步改进，所述定位模块采用显著物体特征匹配和空间逆投影变换的方法进行位置计算，具体处理方法为：首先采用显著性目标分割方法，对图像进行显著性的分割，然后再进行基于显著性物体的特征点匹配获取用户的初步位置估计，最后通过空间逆投影变换的方法推算用户所在的精确位置。

本发明作进一步改进，所述最优路径采用显著性加权法进行路径计算，其中，所述显著性加权法的处理方法包括如下步骤：

A1：评估每个地点的显著性，根据显著性的高低分别设置每个地点相应的权值；

A2：将两个地点权值的正差值作为加权分子，然后乘以这两个地点之间的物理距离，作为空间中这两个节点间的边权；

A3：计算起点到目的地之间各个路径的边权总和，选取边权总和最大的路径作为最优路径。。

本发明作进一步改进，所述显示模块查找最优路径上经过的地标图像后，在关键的转向位置将指示箭头图像和实际图像进行拟合标注方向；所述用户指示路径图包括地标信息、方向信息及实际图像信息。

本发明还提供一种基于所述室内导航系统的导航方法，包括如下步骤：

S1：用户选取有特征的地方拍照上传；

S2：根据用户上传的查询图像，提取图像的特征，在数据库中进行特征匹配，从而获取用户精确位置；

S3：根据用户精确位置及目的地信息，进行最优路径规划；

S4：生成基于地标的用户指示路径图，然后发送给用户。

本发明作进一步改进，在用户上传查询图像之前，还包括数据库建立步骤：拍摄并保存关键位置图像，提取关键位置图像的图像特征，建立并存储图像特征与位置之间的关系，并在各个图像中选择有突出的标志性作用的图像，生成地标并保存。

本发明作进一步改进，在步骤S2执行后，还包括数据库更新步骤：根据用户上传的查询图像，及获取的精确位置，更新已有的地标节点图。

与现有技术相比，本发明的有益效果是：用户只要输入目的地并上传拍摄得到的周边环境的一张图片，系统就可以进行方向及路径的标定。而且相对于之前的系统来说，导航指示更加直观，使用更加便捷；基于显著性物体的地标自动生成方法，可以将有明显指示作用的地点/物体，作为网络节点，形成节点图，供后续导航路径规划时使用；采用基于显著性加权图的最优路径规划算法，从用户的角度考虑导航路径的容易程度，并将简单的最短路径代替为用户容易辨别的路径，这大大地提升了用户的使用感受。

附图说明

图1为本发明结构示意图；

图2-图7为选取的地标图片实施例；

图8为利用 SIFT 算法进行图像匹配实施例；

图9为基于显著性物体的SIFT算法匹配方法示意图；

图10为逆投影变换方法示意图；

图11为两个显著性没有明显差异的路径，选择最短的路径的示意图；

图12和图13为根据显著性路标做路线规划示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

本发明涉及一种基于图像匹配和空间定位的室内导航系统，与以往的第一代导航系统、第二代导航系统不同，本发明探索了一种新的室内导航系统，采取用户视角来考虑导航问题。用户只要输入目的地并上传拍摄得到的周边环境的一张图片，系统就可以在用户输入的图片上进行方向及路径的标定。而且相对于之前的系统来说，导航指示更加直观，使用更加便捷。

如图1所示，本发明的室内导航系统整体上由四部分构成：数据库模块、定位算法模块、路径规划算法模块、显示模块。各个模块的主要功能如下：

数据库模块：该模块主要是搭建了一个基础查询数据库平台，利用事先拍摄好的关键位置的图片，提取其中的特征，建立图像特征与位置之间的关系数据库。并根据图像之间的实际位置关系建立一个无向加权图，以便为后期的路径寻找对应算法。

定位算法模块：根据用户输入的查询图像，提取图像的特征，在查询数据库中进行特征匹配，从而确定图像的位置。然后根据距离估计算法，估计相机所处的位置，从而给出用户位置的精确定位。

路径规划模块：根据用户输入的目的地，基于在定位模块中得到的用户位置信息，在Graph（图表）中利用最优路径寻找算法找出当前位置到目的地的最优路径。并在路径转折的地方进行方向判断，输出相应的指示箭头。

显示模块：根据查询数据库计算该数据库中的地标图像，建立相应的地标数据库。根据路径规划模块生成的用户路径，查找该路径上经过的地标图像，在关键的转向位置将指示箭头图像和实际图像进行拟合标注方向。最终生成一个用文字和图像描述的用户前进指引提示，并发送给用户。

该系统框图主要利用基于图像的相关技术，还可以利用Wifi等室内无线定位技术，进一步提高定位的精度。

下面通过实施例对本发明各个模块进行说明：

①数据库模块：基于图像特征的数据库平台

本例利用手机对某一楼宇内部进行拍摄照片后，根据拍摄的照片，选择合适的特征建立特征数据库。目前本发明采用SIFT（尺度不变特征变换，英文全称为：Scale-invariant feature transform）特征、纹理、颜色等多种特征。在各个图像中选择有突出的标志性作用的图像，根据地标生成算法，生成一些地标。其中地标指的是显著的物体或标识，可以表明拍摄地点的地理位置，这样的地标图片包括名牌、门牌、楼层平面图、雕像、数字标牌、箭头指示等。如图2-图7所示，本例以深圳大学科技楼为例，给出了一些地标图片的示例。

可以看出，在地标图片中，如何将地标自动生成出来是一个难点问题，因为可以用作地标的物体类型多样，大小不一，设计一种通用的算法有较大难度。但从物体显著性方面讲，一个物体如果它不是显著的，即在一个场景中人眼不能一下子就注意到它，则它一定不合适用作地标。所以本例最终采用了显著性物体检测算法，对图像进行显著性检测，将显著物体自动分割出来，符合一定规则的作为地标保留下来。

②定位模块：基于显著物体和逆投影变换(IPM)的空间定位技术

定位模块的一个关键问题是判断用户发起导航请求时所在的位置。这个位置是导航的起点，如果定位不够准确，会导致路径规划时出现较大偏差。在现有导航系统中，美国的GPS和中国的北斗系统公布的民用定位精度约为10米，但定位精度受卫星轨道、时钟误差、大气环境等因素的影响，所以定位精度是一个变化的值。在本发明室内导航系统中，由于室内环境下无法使用卫星导航，对于用户所在的位置，本例采用了显著物体匹配和空间逆投影变换的方法进行位置计算。

如图8所示，现有技术中，利用SIFT 算法对两幅图像中的特征点进行匹配。假设左图是数据库模块中采集的图像，而右图是用户发起导航请求时上传的图像，则系统在收到用户的导航请求后，则会将用户上传的图像与数据库中的已有图像进行匹配，以初步判断用户所在的位置。

如图9所示，由于上述图像一一与数据库中的已有图像依次匹配会耗费大量的时间与计算资源，所以本发明在上述方法中进行改进，首先采用显著性目标分割技术，对图像进行显著性的分割，然后再进行基于显著性物体的特征点匹配，以减少数据，提高系统性能。通过图9可以看到，在增加显著性物体分割的环节后，用来匹配的特征点大大减少，因此改进后的匹配方法能够明显提高系统性能。

本例通过显著物体特征匹配的方法得到用户的初步位置估计后，再通过空间逆投影变换的方法推算用户所在的精确位置。

图像坐标系与世界坐标系的映射关系如图10所示，世界坐标平面

到相机平面

的映射关系如下：

其中，

是真实世界平面的三维坐标，

是相机平面的坐标系，这是一个二维平面，所以在转换时，本例把第三维设为1。R表示旋转矩阵：

表示转换矩阵：

表示相机的高度，

表示相机参数矩阵：

其中，

表示相机的焦距，单位一般是毫米（mm），

为像元尺寸，

一般称为

轴和

轴上的归一化焦距，

是畸变因子，

、

是图像中心坐标。

在本例实验中，使用的智能手机的焦距为6mm，长宽比设置为

，相机拍摄时高度为1.7米，相机倾斜角设为-3゜。通过以上公式计算即可得到较为精确的用户位置。

③路径规划模块：基于显著性加权图的最优路径规划

在导航的路径规划问题中，一般求解的都是最短路径。如果把当前用户所在位置视为起点，用户的目的地视为终点，中间若干经过的地点视为各个节点，则从起点到终点有若干条路径可以选择。导航路径规划中的最短路径问题，一般求的是从起点到终点的各个路径中最短的那条。如果将这些节点视为一个图（Graph）中的节点，两个地点间的距离设为对应节点间的边权，则最短路径问题求的就是从图的一个顶点（起点）出发，沿图的边到达另一顶点（终点）所经过的路径中，各边上权值之和最小的一条路径。而本发明则是从用户的角度考虑导航中的路径规划问题。因为最短路径不一定是最优的路径，对于用户来说，一条路牌明显，容易走且不容易迷路的路径比最短路径更加重要。

基于以上认识，本发明利用显著性物体探测的方法评估每个地点的显著性，并将两个地点间的显著性差值作为加权分子，除以这两个地点之间的物理距离，作为图空间中这两个节点间的边权。这样经过显著性加权后的图空间中，如果两个节点间边权较大，说明这两个节点间物理距离较短，且显著性较为明显，即用户从这个节点走到另一个节点时，用于判断路径是否正确的路牌、地标建筑物等更加容易寻找。节点

和节点

间的加权计算公式如下，其中

是节点

和节点

之间的物理距离，

是节点

和节点

之间的显著性。

下面我们以图11-图13为示例，对本例的路径选择原理进行说明。如图11所示，从起点到终点存在两条路径，在两条路径中经过的路标显著性没有明显差异时，我们选择物理距离上更短的那一条，在该图中标为较为粗的路径。如图12所示，从起点到终点也存在两条路径，但一条路径中没有明显路标，另一条路径中有一个显著性路标，那么即使后一条路径中物理距离甚至更远一点，我们也倾向于选择后一条路径。所以，在增加了显著性的加权后，即使几个节点间物理距离上比较接近，但是由于显著性的不同，它们的边权也有较大差异。在路径上有非常显著路标（Landmark）的路径才是强烈推荐的路径，否则即使物理距离上很近，但是路径上无特殊标识，用户容易迷路，那么这条路径就是不推荐路径。这一点与现有的导航系统设计不一样，现有导航系统推荐的往往是以下三种路径：物理距离上最短的路径、根据拥堵情况推荐的最省时路径、根据收费情况推荐的最省钱路径，这是为汽车驾驶导航为主要目的设计的，用于室内导航并不是很合适。室内导航应该立足于用户角度设计，考虑路径上显著路标（Landmark）的影响，以用户体验为最终考量目的。我们最理想的推荐路径是物理距离最短，且路径上有显著性的路标，如图13中较粗的路径。

综上所述，在经过对图中节点的显著性加权后，再通过算法计算最优路径，即可得到本发明希望的从用户角度考虑的路径选择与指示。

S1：用户选取有特征的地方拍照上传；

S3：根据用户精确位置及目的地信息，进行最优路径规划；

S4：生成基于地标的用户指示路径图，然后发送给用户。

其中，在用户上传查询图像之前，还包括数据库建立步骤：拍摄并保存关键位置图像，提取关键位置图像的图像特征，建立并存储图像特征与位置之间的关系，并在各个图像中选择有突出的标志性作用的图像，生成地标并保存。

在步骤S2执行后，还包括数据库更新步骤：根据用户上传的查询图像，及获取的精确位置，更新已有的地标节点图。

本发明重点解决如下关键问题：

1. 在图像中根据显著性目标分割算法自动地生成地标，是提高用户导航体验的关键问题。而在用户提出导航请求后，根据用户输入的图像自动地进行显著性目标的匹配，提高系统定位准确度；

2. 在用户提出导航请求时，系统会要求用户上传他所在位置周边环境的一张图片。对于用户上传的这些图片，通过逆透视映射(IPM)进行相机位置的估计，从而将这些图片进行地理位置编码后，放入数据库图像序列中的合适位置。从而保证系统数据库中数据不断自我更新；

3. 对原有图中的每个节点进行显著性的评估，利用两个节点间的显著性进行权重的重加权，从用户视角进行导航路径选择及提示的关键问题。

本发明具有如下突出的优势：

本发明采用图像匹配和空间定位技术解决导航中的用户位置估计问题，避免了建筑物遮挡、无线信号干扰等造成的GPS信号不好的问题，为室内导航技术提供一条新思路。并且基于图像特征的数据库平台，以及基于显著性物体的地标自动生成算法，可以将有明显指示作用的地点/物体，作为网络节点，形成节点图，供后续导航路径规划时使用。采用基于显著性加权图的最优路径规划算法，从用户的角度考虑导航路径的容易程度，并将简单的最短路径代替为用户容易辨别的路径，这大大地提升了用户的使用感受。值得注意的是，本发明还采用图文形式的导航指示，指示用户朝哪个方向走，看到某个地标后，朝左(右)走，等等。这样的导航指示更加符合用户的习惯，比给出一条机械的路径指示更加生动，容易理解，有助于提高用户的导航体验。

以上所述之具体实施方式为本发明的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明所作的等效变化均在本发明的保护范围内。

Claims

1.一种基于图像匹配和空间定位的室内导航系统，其特征在于：包括数据库模块、定位模块、路径规划模块和显示模块，其中，

所述显示模块用于查找最优路径上经过的地标，并基于所述地标生成用户指示路径图，并发送给用户，

所述最优路径采用显著性加权法进行路径计算，其中，所述显著性加权法的处理方法包括如下步骤：

A3：计算起点到目的地之间各个路径的边权总和，选取边权总和最大的路径作为最优路径。

2.根据权利要求1所述的基于图像匹配和空间定位的室内导航系统，其特征在于：所述数据库模块还用于根据关键位置图像之间的实际位置关系建立并保存用于规划路径的无向加权图。

3.根据权利要求1所述的基于图像匹配和空间定位的室内导航系统，其特征在于：用户输入的查询图像获取精确位置信息后，将其添加入数据库，更新已有的地标节点图。

4.根据权利要求1所述的基于图像匹配和空间定位的室内导航系统，其特征在于：所述图像特征包括SIFT特征、纹理、颜色；所述地标的选取采用显著性物体检测算法，对图像进行显著性检测，将显著物体自动分割出来，符合规则的作为地标保存。

5.根据权利要求4所述的基于图像匹配和空间定位的室内导航系统，其特征在于：所述定位模块采用显著物体特征匹配和空间逆投影变换的方法进行位置计算，具体处理方法为：首先采用显著性目标分割方法，对图像进行显著性的分割，然后再进行基于显著性物体的特征点匹配获取用户的初步位置估计，最后通过空间逆投影变换的方法推算用户所在的精确位置。

6.根据权利要求1所述的基于图像匹配和空间定位的室内导航系统，其特征在于：所述显示模块查找最优路径上经过的地标图像后，在关键的转向位置将指示箭头图像和实际图像进行拟合标注方向；所述用户指示路径图包括地标信息、方向信息及实际图像信息。

7.一种基于权利要求1-6任一项所述基于图像匹配和空间定位的室内导航系统的导航方法，其特征在于包括如下步骤：

S1：用户选取有特征的地方拍照上传；

S3：根据用户精确位置及目的地信息，进行最优路径规划；

S4：生成基于地标的用户指示路径图，然后发送给用户。

8.根据权利要求7所述的导航方法，其特征在于：在用户上传查询图像之前，还包括数据库建立步骤：拍摄并保存关键位置图像，提取关键位置图像的图像特征，建立并存储图像特征与位置之间的关系，并在各个图像中选择有突出的标志性作用的图像，生成地标并保存。

9.根据权利要求8所述的导航方法，其特征在于：在步骤S2执行后，还包括数据库更新步骤：根据用户上传的查询图像，及获取的精确位置，更新已有的地标节点图。