CN111664848B - 一种多模态室内定位导航方法及系统 - Google Patents

Abstract

本发明公开了一种多模态室内定位导航方法及系统，其中方法包括如下步骤：采集室内结构的位置信息，绘制室内地图,采集室内实景图像信息，将基准图像信息与基准位置信息进行对应的整合，构建室内位置信息数据库，设立一中心区域，存储于服务器；移动终端处于室内时，开启摄像头模块，获取实时图像信息，反馈给服务器；服务器将实时图像信息与位置信息数据库中基准图像进行匹配，输出匹配后的基准位置信息，判断匹配后的基准位置信息是否处于中心区域中，将判断结果反馈给移动终端；移动终端基于判断结果，选择定位方案，判断结果为是，启用第一模态进行定位导航，判断结果为否，启用第二模态进行定位导航。本发明可实现室内的精确定位导航。

Description

一种多模态室内定位导航方法及系统

技术领域

本发明涉及一种多模态室内定位导航方法及系统。

背景技术

近年来，人们在使用智能手机的同时通过市场上多种多样的地图软件方便地调用手机的GPS以及基站定位系统简单轻松地为自己导航，这类导航方式已广泛的应用于我们生活的方方面面，比如驾车、出差、公交等等。GPS和基站两种定位方式涵盖了市面上绝大部分智能手机地图定位导航软件，然而它们并不能覆盖到我们生活中某些常见情况，比如室内，比如乘地铁，由于卫星无线电无法穿透土壤或建筑物，GPS在室内/地铁中完全无法使用；若手机地图采用基站定位方式，又由于基站信号在室内反射叠加等原因，造成基站定位误差过大(约400m)，输出定位数据存在无固定发生周期、发生时间间隔大等问题，无法满足用户对手机地图的高精度定位导航需求，而且常见的导航软件并不具有室内精准导航的功能。

发明内容

针对以上问题，本发明提供了一种多模态室内定位导航方法及系统，。

为实现上述目的，本发明提供如下技术方案：

一种多模态室内定位导航方法，包括如下步骤：

S1.采集室内结构的位置信息，作为基准位置信息，绘制室内地图,采集室内实景图像信息，作为基准图像，并将基准图像信息与基准位置信息进行对应的整合，以构建室内位置信息数据库，并设立一中心区域，存储于服务器；

S2.移动终端处于室内时，开启摄像头模块，获取实时图像信息，并反馈给服务器；

S3.服务器将实时图像信息与位置信息数据库中基准图像进行匹配，并输出匹配后的基准位置信息，判断匹配后的基准位置信息是否处于中心区域中，将判断结果反馈给移动终端；

S4.移动终端基于所述判断结果，选择定位方案，若判断结果为是，则启用第一模态进行定位导航，若判断结果为否，则启用第二模态进行定位导航。

通过采用上述技术方案，利用多模态定位方法，中心区域可以理解为完全室内的情况，移动终端在中心区域内时，调用第一模态进行定位导航，和在中心区域外时调用第二模态进行定位导航。不仅考虑了完全在室内的情况，也考虑了靠近出口的地方已经有部分GPS及基站定位信号的情况，本方案可以实现室内定位和外部定位导航的无缝结合，弥补了常用地图软件在室内定位方面的功能，解决了室内的定位导航需求。

作为本发明的进一步改进，第一模态采用摄像头模块、WIFI模块中的一种或两者的配合进行定位导航，第二模态采用GPS模块进行定位导航。通过采用上述技术方案，第一模态下，完全在室内的定位，可考虑多场景分配，基于用户所在的实际场景，通过摄像头模块的拍摄实时图像信息，与服务器中室内位置信息数据库进行匹配，以识别出携带该移动终端的用户的具体位置。第二模态下，在靠近出口等非中心区域，采用GPS模块进行定位导航，结合了GPS信号的强度，将不同模态下的定位方法巧妙切换和综合利用，使室内定位精确高效。

作为本发明的进一步改进，第一模态中，采用摄像头模块与WIFI模块的配合进行定位导航，服务器根据移动终端所在的WIFI位置坐标在位置信息数据库中的位置，完成定位，服务器以目的地坐标为导航终点，以WIFI位置坐标为导航起点，结合室内位置信息数据库来规划第一路径，启用移动终端上的摄像头模块，实时拍摄实景图像并配合使用者的移动路径以实时变化定位图像的位置，基于定位图像的位置、导航终点位置、室内位置信息数据库以规划第二路径，将第二路径与第一路径进行实时地融合修正，以形成导航路径。通过采用上述技术方案，用户在室内位置是移动的，可变的，室内导航也应适应这种实时变化，利用WIFI模块来进行辅助定位，同时可利用实时位置特征、终点相对位置和室内布局等信息的融合，基于预先设定的场景记忆(如室内位置信息数据库)，通过对室内布局等信息特征点的获取(如利用摄像头模块拍照获取，通过扫二维码获取等)，对基于WIFI模块定位方案的进一步融合和修正，实现导航过程中的WIFI模块和摄像头模块的结合定位，使路径航线不偏离。

作为本发明的进一步改进，实时图像信息包括二维码信息、室内场景实物信息、室内结构布局信息中的一种或多种的组合。通过采用上述技术方案，二维码信息中可包含位置信息，室内场景实物信息可为不可移动的的固定参照物信息等，包括但不限于文本信息，图像信息，声音信息等，室内结构布局信息可包含室内通道布局、走向等信息，以用于匹配室内位置信息数据库中的信息，来完成定位，实时图像信息中用于定位的信息来源多样且实用。

作为本发明的进一步改进，第一模态中采用移动终端的摄像头模块进行定位导航，服务器后台利用特征提取、匹配搜索算法，快速返回室内位置信息数据库中的定位结果以实现定位；

服务器后台特征提取，先对摄像头模块所拍摄图像进行特征预处理，通过构建Gaussian特征金字塔来构建不同尺度大小的特征图，其表达式为：

其中P_n(·)表示输入图片上像素点的值，P_m+1表示不同尺度的输出特征图，W(m)·W(n)表示采样时的高斯卷积核；而后在不同尺度的特征图上进行ROI区域选取，即提取可能的具有可匹配特征的显著区域，显著区域表达为：

其中，R(m，n)表示m*n大小的显著区域，C＝c_x表示区域的点的特征值，P＝p_x表示其位置标记，由此统计处各个区域的显著性特征和，以此为依据选取出ROI区域。通过采用上述技术方案，采用此方法选取ROI区域(感兴趣区域)，巧妙简便，有利于实时图像与室内位置信息数据库中信息的快速匹配，可定位到室内的具体层数及具体位置。

作为本发明的进一步改进，第二模态中采用GPS模块进行定位导航，结合偏移校正算法修正定位，大量采集中心区域之外的定位数据及偏移情况，利用深度学习方法训练偏移校正算法。通过采用上述技术方案，可利用GPS定位以及偏移校正的方法对处于中心区域之外的位置进行定位，实现各模态下定位方法的巧妙结合。

作为本发明的进一步改进，第一模态中采用WIFI模块进行定位导航，通过室内多个WIFI终端匹配移动终端的唯一MAC地址及其相对位置信息，以完成定位。通过采用上述技术方案，此方案中的WIFI模块进行定位，可作为第一模态中的一种定位方案，可独立完成定位或起辅助定位。

作为本发明的进一步改进，通过采集GPS模块在室内定位的准确性来确定中心区域，准确性低于预设值时，视为中心区域。通过采用上述技术方案，中心区域的选定有利于后续定位方案的选取，使室内定位导航高效快捷。

作为本发明的进一步改进，结合移动终端的移动速度，使用与移动速度相匹配的判断频次来判断匹配后的基准位置信息是否处于中心区域中。通过采用上述技术方案，用户在室内的移动，可通过移动终端的移动来判断，而移动得越快，即其移动速度越快的情况下，越容易走出中心区域，则是否仍然处于中心区域的判断频次相应地增大，以利于实时选择合适的定位方法来进行定位。

一种多模态室内定位导航系统，包括移动终端和服务器，采用上述任一项方案所述的一种多模态室内定位导航方法，所述移动终端上设置有摄像头模块、WIFI模块和GPS模块，所述服务器中存储有所述室内位置信息数据库，移动终端和服务器通信连接。通过采用上述技术方案，本方案中多模态室内定位导航系统，可在室内利用多模块定位方法，定位高效巧妙。

与现有技术相比，本发明的有益效果至少有：可根据移动终端所处的室内位置，根据其是否在中心区域范围之内，来自主/自动选择相应的定位方案，可至少在第一模态和第二模态间进行无缝切换，可以实现多模态室内(如商场内、图书馆内、地铁内、大型室内会场内、室内展销现场、酒店内、机场内、高铁站内、写字楼内等)的定位导航，定位灵活，且定位精确，有利于大范围的推广应用，具有较好的商用价值，便民利民，应用前景广阔。

附图说明

图1为本发明一个实施例所提供的多模态室内定位导航方法流程示意图；

图2为本发明一个实施例所提供的多模态室内定位导航方法的另一流程示意图；

图3为本发明一个实施例所提供的多模态室内定位导航方法中第二模态中GPS定位的流程示意图；

图4为本发明一个实施例所提供的多模态室内定位导航方法中第一模态中摄像头模块定位的流程示意图；

图5为本发明另一个实施例提供的多模态室内定位导航系统的模块结构示意图。

图6为本发明一个实施例所提供的多模态室内定位导航方法的图像训练模型示意图；

图7为本发明一个实施例所提供的多模态室内定位导航方法的图像测试预测模型示意图；

图8为本发明多模态室内定位导航系统的电子设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”等仅用于区分所描述的特征，而不可理解为指示或暗示相对重要性。

实施例1

请参阅图1至图8，本发明提供一种技术方案：

一种多模态室内定位导航方法，参阅图1，详细地，包括如下步骤：

S1.采集室内结构的位置信息，作为基准位置信息，绘制室内地图,采集室内实景图像信息，作为基准图像，并将基准图像信息与基准位置信息进行对应的整合，构成一对一的索引关系，以构建室内位置信息数据库，并设立一中心区域，存储于服务器；本步骤中的中心区域，可以理解为GPS信号弱或GPS定位不准确的区域，在建立室内位置信息数据库，可通过采集大量的GPS定位数据的信号情况来确定此中心区域，在室内位置信息数据库中构建此中心区域，以便于后续步骤中选择相应的定位方案，从而有利于实现多模态的定位，即在中心区域内使用一种模态的定位方案，在非中心区域内，使用另一模态下的另一种或另几种定位方案，便于多模态定位方案的无缝切换。

S2.移动终端处于室内时，开启摄像头模块，获取实时图像信息，并反馈给服务器；本步骤中的开启摄像头模块，可以是用户自主地开启。移动终端上，可预设应用本发明所涉及的多模态室内定位导航方法的应用程序(APP等)，应用程序通信连接于服务器，在开启移动终端上的应用程序时，服务器可发送诱导信息，以诱导用户开启摄像头模块，以获取实时图像信息。

S3.服务器将实时图像信息与位置信息数据库中基准图像进行匹配，并输出匹配后的基准位置信息，判断匹配后的基准位置信息是否处于中心区域中，将判断结果反馈给移动终端；

S4.移动终端基于所述判断结果，选择定位方案，若判断结果为是，即判定移动终端用户处于中心区域内，则启用第一模态进行定位导航，若判断结果为否，即判定移动终端用于处于中心区域之外，则启用第二模态进行定位导航。此步骤中选择定位方案，可以是用户根据移动终端屏幕输出的判断结果自主选择，也可是移动终端基于判断结果自动选择。

步骤S3中，若基于实时图像信息未能在位置信息数据库中找到与之匹配的基准图像信息，则提示用户重新拍取另一图像信息，并重复步骤S3，直到找到相匹配的基准图像，输出匹配后的基准位置信息。同时，服务器可基于未找到的那一幅实时图像的前后幅已经匹配的实时图像，来纪录未匹配的那一幅基准图像所在的位置信息，并作对此基准图像作出标记，供后续判断，若此基准图像未匹配的次数超出预设的次数，则判断为室内位置信息数据库中基准图像信息与实际环境情况不符，实际环境中该位置处的信息可能已经发生改变，服务器基于此判断向移动终端发出提示信息，以提示用户重新拍摄，服务器也可基于此判断向后台管理/操作人员发出预警信息，提示管理/操作人员及时审查或更新室内位置信息数据库，以使室内位置信息数据库保持常新，便于本发明多模态室内定位导航方案的精确运行。

参阅图2，从另一个角度进行说明，本发明所提供的多模态室内定位导航方法的另一流程示意图，步骤S4中第一模态的定位方案，包括但不限于二维码定位，拍照识别定位，第二模态的定位方案，包括但不限于GPS定位的方案，基于GPS信号强度的情况，若GPS信号强度达标，则启用GPS模块进行定位，若不达标，则返回以让用户或移动终端重新选择定位方案。WIFI模块可起辅助定位，提高第一模态下的定位方案的定位精度。

本发明中第一模态下的定位方案，可对室内的具体位置进行精确定位。采用摄像头模块进行定位时，可对移动终端所处室内的具体层数等位置信息进行精确定位，以便于后续的导航。

本发明中的移动终端包括但不限于手机、IPAD、手提电脑、智能手表、智能眼镜等。

其中，第一模态采用摄像头模块、WIFI模块中的一种或两者的配合进行定位导航，第二模态采用GPS模块进行定位导航。

第一模态中，采用摄像头模块与WIFI模块的配合进行定位导航，服务器根据移动终端所在的WIFI位置坐标在位置信息数据库中的位置，完成定位，服务器以目的地坐标为导航终点，以WIFI位置坐标为导航起点，结合室内位置信息数据库来规划第一路径，启用移动终端上的摄像头模块，实时拍摄实景图像并配合使用者的移动路径以实时变化定位图像的位置，基于定位图像的位置、导航终点位置、室内位置信息数据库以规划第二路径，将第二路径与第一路径进行实时地融合修正，以形成导航路径。详细地，如可对第二路径与第一路径进行契合度的比较，以第二路径为基准，对不相契合的部分进行修正。

实时图像信息包括二维码信息、室内场景实物信息、室内结构布局信息中的一种或多种的组合，当然也可包括其他信息。

参阅图4，第一模态中采用移动终端的摄像头模块进行定位导航，对于拍照识别定位，首先通过摄像头获取图像，然后服务器后台通过Gaussian(高斯)特征金字塔进行特征预处理，选取ROI区域(感兴趣区域)，匹配搜索算法，利用场景识别网络，返回室内位置信息数据库，搜索数据匹配定位结果，以实现定位，若定位成功则结束定位，若定位失败则返回以重新获取图像。摄像头模块定位包括但不限于拍照识别定位，二维码定位等，当然二维码定位的方案可作为图像信息进行处理，也可作为包含位置位置信息的特征进行处理。

服务器后台特征提取，先对摄像头模块所拍摄图像进行特征预处理，通过构建Gaussian特征金字塔来构建不同尺度大小的特征图，其表达式为：

其中P_n(·)表示输入图片上像素点的值，P_m+1表示不同尺度的输出特征图，W(m)*W(n)表示采样时的高斯卷积核；而后在不同尺度的特征图上进行ROI区域(感兴趣区域)选取，即提取可能的具有可匹配特征的显著区域，显著区域表达为：

其中，R(m，n)表示m*n大小的显著区域，C＝c_x表示区域的点的特征值，P＝p_x表示其位置标记，由此统计处各个区域的显著性特征和，以此为依据选取出ROI区域。

详细地，对于室内的一种情况，如地铁内，摄像头模块定位中，由于站台上靠近车门的线路图等区域的图像信息基本不变，有可定位特征，可采用拍照定位的方法。通过采集真实地铁站内场景图，建立室内位置信息数据库，当乘客使用手机拍照定位功能时，服务器后台可采用发上所述的方案，利用特征提取、匹配搜索算法，快速返回数据库中的定位结果以实现定位。搜索算法是利用计算机的高性能来有目的的穷举一个问题解空间的部分或所有的可能情况，从而求出问题的解的一种方法。现阶段一般有枚举算法、深度优先搜索、广度优先搜索、A*算法、回溯算法、蒙特卡洛树搜索、散列函数等算法。本发明中搜索算法可为其中任意一种或多种。

参阅图3，第二模态中，采用GPS模块进行定位导航，结合偏移校正算法修正定位，大量采集中心区域之外的定位数据及偏移情况，利用深度学习方法训练偏移校正算法。利用GPS模块进行定位，首先接入GPS信号信息，匹配最近出口，获取当前出口通道信息，并结合大量定位数据及偏移情况，执行偏移较正算法，以完成定位，若定位成功，则结束定位，若定位失败，则返回重新接入GPS信号信息。深度学习方法是一类模式分析方法的统称，主要涉及三类方法：(1)基于卷积运算的神经网络系统，即卷积神经网络(CNN)。(2)基于多层神经元的自编码神经网络，包括自编码(Auto encoder)以及近年来受到广泛关注的稀疏编码两类(Sparse Coding)。(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。本发明中深度学习方法可为其中任意一种或多种的结合。

第一模态中采用WIFI模块进行定位导航，通过室内多个WIFI终端匹配移动终端的唯一MAC地址及其相对位置信息，以完成定位。

本发明中，通过大量采集GPS模块在室内定位的准确性来确定中心区域，准确性低于预设值时，视为中心区域。当然，也可通过GPS的信号强度来判断是否处于中心区域，若GPS信号弱于预设值，则视为中心区域。

本发明中，结合移动终端的移动速度，使用与移动速度相匹配的判断频次来判断匹配后的基准位置信息是否处于中心区域中。移动终端内可设置传感器，如加速计或/及陀螺仪等，以感测移动终端的加速度、角速度，以得知其移动速度，用户在室内的移动，可通过移动终端的移动来判断，而移动得越快，越容易走出中心区域，则是否仍然处于中心区域的判断频次相应地增大，以利于实时选择合适的定位方法来进行定位。

实施例2

本发明的另一个实施例中，参阅图5，一种多模态室内定位导航系统，包括移动终端和服务器，采用上述方案所述的一种多模态室内定位导航方法，移动终端上设置有摄像头模块、WIFI模块和GPS模块，服务器中存储有室内位置信息数据库，移动终端和服务器通信连接。通信连接，可基于网络模块用于接收以及发送网络信号的连接方式，网络信号可包括无线信号或者有线信号，通过信号的传输交互，在连接的设备之间构成通讯，如蓝牙连接、UWB(超宽带)通讯连接、GPRS连接、WIFI连接等等。服务器在网络中为移动终端提供计算、应用服务，具有高速的CPU运算能力、长时间的可靠运行、强大的I/O外部数据吞吐能力以及更好的扩展性。

当然，多模态室内定位导航系统还包括控制模块，控制模块包括存储模块和处理模块，处理模块直接或间接连接存储模块、摄像头模块、WIFI模块和GPS模块。存储模块中存储有计算机程序，计算机程序在被处理模块执行时能够实现上述方案所述的一种多模态室内定位导航方法的步骤。

多模态室内定位导航系统还包括发送模块和接收模块，发送模块用于将摄像头模块获取的可识别的实时图像或对摄像头模块所述获取的可识别的实时图像解码后所得信息发送至服务器；接收模块，用于接收服务器根据移动终端发送的可识别实时图像或者解码所得信息返回的导航引导信息，以引导移动终端的用户到达导航目的地。服务器，可用于在收到移动终端发送的可识别的实时图像或对可识别的实时图像解码所得信息后，向移动终端返回导航引导信息。本申请也可以通过对图像的学习进行图像识别准确性的提升(图6)，并对图像的输入后利用训练好的模型对图像做出预测，如图7所示，从而进一步提升事实图像的解码信息获取精准度。

通常存储在一个存储介质中的程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。处理模块可能是一种集成电路芯片，具有信号的处理能力。上述的处理模块可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一个实施例中，本发明应用于室内定位，其中一种应用场景为地铁内，基于多模态室内定位的地铁站内导航方法，将地铁站内定位导航场景分为靠近出口和室内等的多个场景，针对靠近出口的导航场景可以使用GPS信号及相应的偏移校正算法来实现定位(第二模态定位方案)；而室内的导航也分为站台、站厅等多个不同场景，应用不同的室内定位方法，例如WIFI定位、二维码定位及拍照识别定位等(第一模态定位方案)，在不同位置时利用不同模态下的定位方案，可实现地铁站内定位导航的精准定位功能。

本发明应用于室内定位导航时，可结合室内环境特征，基于用户的自主选择，给用户以相应的环境特征及信息介绍等。如在另一个实施例中，本发明应用于室内图书馆，拍照识别定位中的实时图像信息包括书架的布局、书架的位置信息或者书籍的索书号信息等，不仅可以对移动终端进行定位，还可以辅助用于书籍的查找定位。

在另一个实施例中，本发明应用于商场，拍照识别定位中的实时图像信息包括各商铺的位置信息，同时也可给予移动终端用户相应的商铺信息的介绍，包括但不限于所出售的商品的信息。在另一个实施例中，本发明应用于室内展销现场，拍照识别定位中的实时图像信息包括展销现场各展台的位置信息，同时也可给予移动终端用户相应的展台信息的介绍，包括但不限于所展示物品的信息。当然，本发明室内定位方案还可应用于其他各种各样场所的室内定位，如酒店内、机场内、高铁站内、写字楼内，在应用于相应的场所内时，可给予移动终端用户相应的场所信息的介绍，包括但不限于场所内所涉及具体特色物品的介绍信息等等，相应的信息可存储于服务器中，用户可根据自身需求进行自主选择，通过移动终端进行相关信息的播报。

图6为本发明实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令。

此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：使用与移动速度相匹配的判断频次来判断匹配后的基准位置信息是否处于中心区域中。移动终端内可设置传感器，如加速计或/及陀螺仪等，以感测移动终端的加速度、角速度，以得知其移动速度，用户在室内的移动，可通过移动终端的移动来判断，而移动得越快，越容易走出中心区域，则是否仍然处于中心区域的判断频次相应地增大，以利于实时选择合适的定位方法来进行定位。。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多模态室内定位导航方法，其特征在于，包括

采集室内结构的位置信息，作为基准位置信息，绘制室内地图；

采集室内实景图像信息，作为基准图像；

将基准图像信息与基准位置信息进行对应的整合，以构建室内位置信息数据库，并设立一中心区域，存储于服务器；

当移动终端处于室内时，开启摄像头模块，获取实时图像信息，并反馈给服务器；服务器将实时图像信息与位置信息数据库中基准图像进行匹配，并输出匹配后的基准位置信息，判断匹配后的基准位置信息是否处于中心区域中，将判断结果反馈给移动终端；移动终端基于所述判断结果，选择定位方案，若判断结果为是，则启用第一模态进行定位导航，若判断结果为否，则启用第二模态进行定位导航；第一模态采用摄像头模块、WIFI模块中的一种或两者的配合进行定位导航，第二模态采用GPS模块进行定位导航；

第一模态中采用移动终端的摄像头模块进行定位导航，服务器后台利用特征提取、匹配搜索算法，快速返回室内位置信息数据库中的定位结果以实现定位；

服务器后台特征提取，先对摄像头模块所拍摄图像进行特征预处理，通过构建Gaussian特征金字塔来构建不同尺度大小的特征图，其表达式为：

其中P_n(·)表示输入图片上像素点的值，P_m+1表示不同尺度的输出特征图，W(m)*W(n)表示采样时的高斯卷积核；而后在不同尺度的特征图上进行ROI区域选取，即提取可能的具有可匹配特征的显著区域，显著区域表达为：

其中，R(m，n)表示m*n大小的显著区域，C＝c_x表示区域的点的特征值，P＝p_x表示其位置标记，由此统计处各个区域的显著性特征和，以此为依据选取出ROI区域。

2.根据权利要求1所述的一种多模态室内定位导航方法，其特征在于，第一模态中，采用摄像头模块与WIFI模块的配合进行定位导航，服务器根据移动终端所在的WIFI位置坐标在位置信息数据库中的位置，完成定位，服务器以目的地坐标为导航终点，以WIFI位置坐标为导航起点，结合室内位置信息数据库来规划第一路径，启用移动终端上的摄像头模块，实时拍摄实景图像并配合使用者的移动路径以实时变化定位图像的位置，基于定位图像的位置、导航终点位置、室内位置信息数据库以规划第二路径，将第二路径与第一路径进行实时地融合修正，以形成导航路径。

3.根据权利要求1-2任一项所述的一种多模态室内定位导航方法，其特征在于，实时图像信息包括二维码信息、室内场景实物信息、室内结构布局信息中的一种或多种的组合。

4.根据权利要求2所述的一种多模态室内定位导航方法，其特征在于，第二模态中采用GPS模块进行定位导航，结合偏移校正算法修正定位，大量采集中心区域之外的定位数据及偏移情况，利用深度学习方法训练偏移校正算法。

5.根据权利要求2所述的一种多模态室内定位导航方法，其特征在于，第一模态中采用WIFI模块进行定位导航，通过室内多个WIFI终端匹配移动终端的唯一MAC地址及其相对位置信息，以完成定位。

6.根据权利要求2所述的一种多模态室内定位导航方法，其特征在于，通过采集GPS模块在室内定位的准确性来确定中心区域，准确性低于预设值时，视为中心区域。

7.根据权利要求2所述的一种多模态室内定位导航方法，其特征在于，结合移动终端的移动速度，使用与移动速度相匹配的判断频次来判断匹配后的基准位置信息是否处于中心区域中。

8.一种多模态室内定位导航系统，包括移动终端和服务器，其特征在于，采用权利要求1-7任一项所述的一种多模态室内定位导航方法，所述移动终端上设置有摄像头模块、WIFI模块和GPS模块，所述服务器中存储有所述室内位置信息数据库，移动终端和服务器通信连接。

Images