CN105371847B - 一种室内实景导航方法及系统 - Google Patents

一种室内实景导航方法及系统 Download PDF

Info

Publication number
CN105371847B
CN105371847B CN201510708392.1A CN201510708392A CN105371847B CN 105371847 B CN105371847 B CN 105371847B CN 201510708392 A CN201510708392 A CN 201510708392A CN 105371847 B CN105371847 B CN 105371847B
Authority
CN
China
Prior art keywords
image
full
view image
indoor
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510708392.1A
Other languages
English (en)
Other versions
CN105371847A (zh
Inventor
张星
刘涛
李清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201510708392.1A priority Critical patent/CN105371847B/zh
Publication of CN105371847A publication Critical patent/CN105371847A/zh
Application granted granted Critical
Publication of CN105371847B publication Critical patent/CN105371847B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种室内实景导航方法及系统,所述方法包括:移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;使用多源传感器融合的定位算法实时定位跟踪行人的位置,当移动终端检测到用户位置发生变化时,输出实时定位结果和行走轨迹;根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像;移动终端获取导航过程中用户输入的起点和终点,获取前进方向,在第二全景影像上添加方向引导箭头,进行实景导航。本发明能够根据行人所在的位置自动推送实景导航影像、判断最佳导航影像视角,在导航影像上叠加箭头等路径引导信息。

Description

一种室内实景导航方法及系统
技术领域
本发明涉及室内定位技术领域,尤其涉及一种室内实景导航方法及系统。
背景技术
随着智能移动终端及无线网络技术的发展,越来越多的人们使用智能手机来进行定位和导航。面对广泛的行人导航需求,移动终端行人导航应用得到了来自手机产业与基于位置服务领域的广泛关注,已经成为移动手机产业的关键应用之一。
行人导航是指在实时定位的基础上,使用电子地图、实景影像等引导信息帮助行人到达目的地的技术和方法。目前的行人导航系统主要仍停留在使用平面地图的路径规划和路径引导,根据用户输入的起点和终点,系统自动生成一条导航路径并且在平面地图上显示出来。这种方式的导航忽略了行人对环境的感知,在导航过程中容易使人迷惑、产生认知困难,进而会导致迷路。实景导航作为一种新兴的导航方式,它将二维电子地图所无法表达的立面信息通过全景影像的方式呈现出来,大大降低了行人导航过程中的认知负担、增强了导航信心,提高了行人对导航路径的确信程度。目前,谷歌、腾讯、百度等知名移动服务公司已经着手于实景导航软件模块的集成与开发,但是这些导航软件在功能上仅仅类似于实景浏览,需要用户不断的点击交互,无法真正用于行人导航。高德公司推出的一款车载实景导航软件,利用增强现实的方法在实景图像上叠加路径引导箭头,能够减少司机迷路的风险。
现有的实景导航技术和方法大多用于室外环境,室内环境下的定位方法和定位精度与室外有很大的不同,基于室外的实景导航方法无法直接用于室内环境。当用户处于大型建筑物内,无法获取室内导航数据,为用户在室内导航带来了不便。
因此,现有技术还有待于改进和发展。
发明内容
鉴于现有技术的不足,本发明目的在于提供一种室内实景导航方法及系统,旨在提供一种基于智能移动终端的室内实景导航方法及系统,旨在克服传统室内导航过程中行人对电子导航地图的理解困难,容易产生迷惑,无法确认自身位置等问题。提出一种室内全景图结合增强现实的实景导航方法,该方法能够根据行人所在的位置自动推送实景导航影像,并且在导航影像上叠加箭头等路径引导信息。
本发明的技术方案如下:
一种室内实景导航方法,其中,方法包括:
A、预先采集室内全景影像及室内全景影像的位置坐标,建立室内全景影像间的拓扑关系并存储,生成室内全景影像数据库;
B、移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;
C、移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;
D、根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将处于最佳视角的第二全景影像作为实景影像;
E、移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航。
所述的室内实景导航方法,其中,所述步骤A具体包括:
A1、预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;
A2、在平面直角坐标系上每隔一预定距离建立一个参考点,移动终端对每个参考点采集室内全景影像,记录全景影像的位置坐标,标注全景影像中各个方向相对于坐标轴的角度;
A3、对采集到的每张室内全景影像图进行拼接处理,获取全景图,提取全景图中的位置数据并存储,建立室内全景影像图间的拓扑关系,存储与影像相邻的其他影像的ID,生成室内全景影像数据库。
所述的室内实景导航方法,其中,所述步骤B具体包括:
B1、移动终端利用摄像头采集当前位置的实景影像;
B2、提取实景影像的旋转不变特征点,对特征点进行向量描述;
B3、计算移实景影像上的特征点与室内全景影像数据库存储的全景影像上所有特征点的欧式距离,选择欧式距离最小的点为最佳匹配点,两张图像上的最佳匹配点构成一个匹配点对,获取匹配点对最多的图像并作为最佳匹配影像,最佳匹配影像作为当前位置对应的第一全景影像,获取当前位置的初始坐标。
所述的室内实景导航方法,其中,所述步骤C中的室内定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法。
所述的室内实景导航方法,其中,所述步骤E具体包括:
E1、移动终端获取用户输入的起点和终端,利用已知的室内平面图和用户输入的起点终端点,在室内平面地图上规划一条导航路径;
E2、根据当前影像点在平面地图的位置和规划路径的前进方向,自动推送实景影像并且在实景影像上叠加引导箭头,进行实景导航。
一种室内实景导航系统,其中,系统包括:
预先存储模块,用于预先采集室内全景影像及室内全景影像的位置坐标,建立室内全景影像间的拓扑关系并存储,生成室内全景影像数据库;
采集与匹配模块,用于移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;
实时定位模块,用于移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;
实景推送模块,用于根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将处于最佳视角的第二全景影像作为实景影像;
引导模块,用于移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航。
所述的室内实景导航系统,其中,所述预先存储模块具体包括:
平面图获取单元,用于预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;
全景影像坐标获取单元,用于在平面直角坐标系上每隔一预定距离建立一个参考点,移动终端对每个参考点采集室内全景影像,记录全景影像的位置坐标,标注全景影像中各个方向相对于坐标轴的角度;
全景影像数据库生成单元,用于对采集到的每张室内全景影像图进行拼接处理,获取全景图,提取全景图中的位置数据并存储,建立室内全景影像图间的拓扑关系,存储与影像相邻的其他影像的ID,生成室内全景影像数据库。
所述的室内实景导航系统,其中,所述采集与匹配模块具体包括:
采集单元,用于移动终端利用摄像头采集当前位置的实景影像;
图像特征提取单元,用于提取实景影像的旋转不变特征点,对特征点进行向量描述;
匹配单元,用于计算移实景影像上的特征点与室内全景影像数据库存储的全景影像上所有特征点的欧式距离,选择欧式距离最小的点为最佳匹配点,两张图像上的最佳匹配点构成一个匹配点对,获取匹配点对最多的图像并作为最佳匹配影像,最佳匹配影像作为当前位置对应的第一全景影像,获取当前位置的初始坐标。
所述的室内实景导航系统,其中,所述室内定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法。
所述的室内实景导航系统,其中,所述引导模块具体包括:
导航路径生成单元,用于移动终端获取用户输入的起点和终端,利用已知的室内平面图和用户输入的起点终端点,在室内平面地图上规划一条导航路径;
引导箭头生成单元,用于根据当前影像点在平面地图的位置和规划路径的前进方向,自动推送实景影像并且在实景影像上叠加引导箭头,进行实景导航。
本发明提供了一种室内实景导航方法及系统,在建立室内全景影像的位置指纹图的基础上,通过多源传感器融合的室内定位方法及实时访问手机方向传感器,能够自动推送实景导航帮助,为用户在室内导航提供了方便。
附图说明
图1为本发明的一种室内实景导航方法的较佳实施例的流程图。
图2为本发明的一种室内实景导航系统的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种室内实景导航方法的较佳实施例的流程图,如图1所示,所述方法包括:
步骤S100、预先采集室内全景影像及室内全景影像的位置坐标,建立室内全景影像间的拓扑关系并存储,生成室内全景影像数据库;
步骤S200、移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;
步骤S300、移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;
步骤S400、根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将处于最佳视角的第二全景影像作为实景影像;
步骤S500、移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航。
具体实施时,步骤S100中预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;使用移动终端在原点开始每间隔一段距离建立一个参考点,对每个参考点采集室内全景影像及室内全景影像的位置坐标。并获取该参考点位置图像与直角坐标系的关系,建立实景影像间的拓扑关系,存储与影像相邻的其他影像的ID,得到室内全景影像数据库。室内全景影像数据库也称为室内全景影像位置指纹数据库。
步骤S200中移动终端控制打开摄像头获取当前位置的实景影像。并将实景影像与室内全景影像数据库的全景影像进行匹配,根据获取到的全景影像判断当前所在位置的初始坐标。
步骤S300中移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,移动终端检测用户位置发生变化时,输出定位结果及用户行走轨迹。其中室内定位算法具体可采用合WIFI、陀螺仪、加速度计、气压计等多源传感器融合的室内定位方法,实时跟踪行人行走轨迹、输出定位结果。例如根据加速度数据可以得到用户行走的步数,根据陀螺仪数据可以得到用户的拐弯次数,根据气压数据可以定位用户当前所在的楼层,结合室内地图信息可以估算出用户可能的位置。
步骤S400中根据室内定位结果,实时判断全景图像数据库中哪一张距离当前位置最近。
推送距离最近的室内全景影像作为行人实景导航帮助。根据导航时手机内置电子罗盘和陀螺仪的输出值,匹配该全景影像的角度标注值,全景影像自动旋转到最佳匹配角度。判断推送的全景影像时,遍历标注的实景影像位置(xi,yi)和室内定位结果(xk,yk),计算欧式距离距离最小的全景影像为最优导航影像。在确定导航影像之后,根据此时手机方向传感器输出三个方向的角度值,分别为方位角(azimuth)、俯仰角(pitch)、滚动角(roll),计算三个角度与影像标注时角度的差。最小角度差的标准影像方向为最佳导航方向,也称为最佳视角,并将处于最佳视角的第二全景影像作为实景影像。
步骤S500对于移动终端获取导航过程中用户输入的起点和终点,生成导航路径,在获取前进方向的基础上,在在实景影像向上添加方向引导箭头,进行实景导航。
进一步的实施例中,步骤S100具体包括:
步骤S101、预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;
步骤S102、在平面直角坐标系上每隔一预定距离建立一个参考点,移动终端对每个参考点采集室内全景影像,记录全景影像的位置坐标,标注全景影像中各个方向相对于坐标轴的角度;
步骤S103、对采集到的每张室内全景影像图进行拼接处理+获取全景图,提取全景图中的位置数据并存储,建立室内全景影像图间的拓扑关系,存储与影像相邻的其他影像的ID,生成室内全景影像数据库。
具体实施时,根据室内结构平面图,选择坐标原点,建立平面直角坐标系。使用智能手机在每间隔5m的位置采集室内全景影像,并纪录全景影像的位置坐标,标注全景图的多个方向相对于坐标轴的角度。在每个有明显视觉变化的位置补充采集全景图像,例如室内拐点、室内明显POI标志位置等。角度标注根据采集单张全景图时,记录手机电子罗盘和陀螺仪的输出角度值,角度间隔为30°。对采集到的每张室内全景影像进行拼接处理,得到圆环形状的全景图。提取全景图的位置坐标、每个视角的图像坐标范围、每个视角的方向传感器输出值、影像中的人行道路区域。其中,对每张实景影像进行室内道路识别,使用计算机视觉中的霍夫变换提取影像中的直线,对直线段进行聚类,基于先验知识的图像分割得到地面道路区域。建立实景影像间的拓扑关系,存储与影像相邻的其他影像的ID,得到室内全景影像数据库。
进一步的实施例中,步骤S200具体包括:
步骤S201、移动终端利用摄像头采集当前位置的实景影像;
步骤S202、提取实景影像的旋转不变特征点,对特征点进行向量描述;
步骤S203、计算移实景影像上的特征点与室内全景影像数据库存储的全景影像上所有特征点的欧式距离,选择欧式距离最小的点为最佳匹配点,两张图像上的最佳匹配点构成一个匹配点对,获取匹配点对最多的图像并作为最佳匹配影像,最佳匹配影像作为当前位置对应的第一全景影像,获取当前位置的初始坐标。
具体实施时,在初始化阶段,系统自动打开手机摄像头获取当前位置的实景影像。实景影像与数据库影像进行匹配,得到当前位置的初始坐标。图像匹配过程使用了快速鲁棒特征(Speeded Up Robust Features,简称SURF)算法,提取图像上的旋转不变特征点,对特征点进行向量描述,计算图像之间特征向量的欧式距离,最小欧式距离的两个匹配点作为一个匹配点对。使用匹配点对最多的数据库图像作为最佳匹配。根据用户发送的图像特征信息,对图像位置指纹数据库中的图像进行遍历,每张数据库图像分别与查询图像进行匹配。两张图像匹配的过程即计算一张图像上的特征点到另一张图像上所有特征点的欧式距离,选择欧式距离最小的点作为最佳匹配点,两张图像上最佳匹配点构成了一个匹配点对。选择匹配点对最多的图像作为查询图像的最优匹配图像。
进一步的实施例中,步骤S300的室内定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法。
具体实施时,在室内导航阶段,使用结合WIFI、陀螺仪、加速度计、气压计等多源传感器融合的室内定位方法,实时跟踪行人行走轨迹、输出定位结果。多源传感器融合定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器(加速度计、陀螺仪)的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法,具体定位方法详细如下:
1.基于连续采样的WIFI定位算法
WIFI定位技术具有基础设施普及率高、设备成本低的特点。使用WIFI定位需要建立位置指纹图(Radio-map),它描述了从RSS(Received Signal Strength)信号空间到物理空间的映射关系。在建立位置指纹图的过程中,每一个WIFI采样点都会观测到来自多个AP(Access Point)发射的信号,接收并存储来自不同AP的RSS样本值便构成了该位置的“指纹”。常规的建立指纹图方法是:按照一定的空间间隔记录L个采样点位置坐标(xi,yi),i=1,2…L;利用移动终端设备在每个标记位置采集RSS样本,RSSi,j=(RSSi,j,1,RSSi,j, 2...RSSi,j,M),M表示采集到的样本数量;采集过程中,需要在每个采样点位置停留1-2分钟,以便得到更多稳定的信号值。这种方法构建位置指纹库非常繁琐和耗时,采集到的每个RSS值并也不会完全被利用。因此,本发明使用连续采样的方法构建位置指纹数据库,即采集RSS样本时不需要停留在某个位置,连续行走并记录每个采样时刻的RSS信号,然后人工标定出每个采集时刻所在的位置。这种方法采集到每个位置的信号个数少,但都是相对较强的信号,足以满足定位匹配的需求。
在定位阶段,计算接收到的rssj与数据库中的RSSi,j间的欧式距离。M为接受到的信号的个数。使用距离最小的信号强度值的位置作为定位结果。
2.基于惯性传感器的行人航位推算方法
3、卡尔曼滤波融合算法
卡尔曼滤波是一种线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的方法。在本发明中,使用WIFI定位结果作为观测模型输入,使用航位推算作为运动模型输入,利用卡尔曼滤波对得到的定位数据进行滤波融合,作为最终的定位结果。
进一步的实施例中,所述步骤S500具体包括:
步骤S501、移动终端获取用户输入的起点和终端,利用已知的室内平面图和用户输入的起点终端点,在室内平面地图上规划一条导航路径;
步骤S502、根据当前影像点在平面地图的位置和规划路径的前进方向,自动推送实景影像并且在实景影像上叠加引导箭头,进行实景导航。
具体实施时,根据导航过程中用户输入的起点和终点,采用增强现实(AugmentedReality)的方法在实景导航影像上叠加方向引导箭头。首先,利用已知的室内平面图和用户输入的起点终点,在平面地图上规划出一条导航路径。然后根据当前影像点在平面地图的位置和规划路径的前进方向,自动生成路径引导箭头。箭头在影像上的位置贴近存储的影像地面区域,以便引导行人在道路上行走。
在上述方法实施例的基础上,本发明还提供了一种室内实景导航系统的较佳实施例的功能原理框图,如图2所示,所述系统包括:
预先存储模块100,用于预先采集室内全景影像及室内全景影像的位置坐标,建立室内全景影像间的拓扑关系并存储,生成室内全景影像数据库;具体如上所述。
采集与匹配模块200,用于移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;具体如上所述。
实时定位模块300,用于移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;具体如上所述。
实景推送模块400,用于根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将处于最佳视角的第二全景影像作为实景影像;具体如上所述。
引导模块500,用于移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航;具体如上所述。
所述的室内实景导航系统,其中,所述预先存储模块具体包括:
平面图获取单元,用于预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;具体如上所述。
全景影像坐标获取单元,用于在平面直角坐标系上每隔一预定距离建立一个参考点,移动终端对每个参考点采集室内全景影像,记录全景影像的位置坐标,标注全景影像中各个方向相对于坐标轴的角度;具体如上所述。
全景影像数据库生成单元,用于对采集到的每张室内全景影像图进行拼接处理,获取全景图,提取全景图中的位置数据并存储,建立室内全景影像图间的拓扑关系,存储与影像相邻的其他影像的ID,生成室内全景影像数据库;具体如上所述。
所述的室内实景导航系统,其中,所述采集与匹配模块具体包括:
采集单元,用于移动终端利用摄像头采集当前位置的实景影像;具体如上所述。
图像特征提取单元,用于提取实景影像的旋转不变特征点,对特征点进行向量描述;具体如上所述。
匹配单元,用于计算移实景影像上的特征点与室内全景影像数据库存储的全景影像上所有特征点的欧式距离,选择欧式距离最小的点为最佳匹配点,两张图像上的最佳匹配点构成一个匹配点对,获取匹配点对最多的图像并作为最佳匹配影像,最佳匹配影像作为当前位置对应的第一全景影像,获取当前位置的初始坐标;具体如上所述。
所述的室内实景导航系统,其中,所述室内定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法;具体如上所述。
所述的室内实景导航系统,其中,所述引导模块具体包括:
导航路径生成单元,用于移动终端获取用户输入的起点和终端,利用已知的室内平面图和用户输入的起点终端点,在室内平面地图站规划一条导航路径;具体如上所述。
引导箭头生成单元,用于根据当前影像点在平面地图的位置和规划路径的前进方向,动推送实景影像并且在实景影像上叠加引导箭头,进行实景导航;具体如上所述。
综上所述,本发明提供了一种室内实景导航方法及系统,所述方法包括:移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将处于最佳视角的第二全景影像作为实景影像;移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航。本发明能够根据行人所在的位置自动推送实景导航影像、判断最佳导航影像视角,并且在导航影像上叠加箭头等路径引导信息,为行人室内导航提供方便。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种室内实景导航方法,其特征在于,方法包括:
步骤 A、预先采集室内全景影像及室内全景影像的位置坐标,建立室内全景影像间的拓扑关系并存储,生成室内全景影像数据库;
步骤 B、移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前位置的初始坐标;
步骤 C、移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;
步骤 D、根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将所述第二全景影像中处于最佳视角的全景影像作为实景影像;
步骤 E、移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航。
2.根据权利要求1所述的室内实景导航方法,其特征在于,所述步骤A具体包括:
A1、预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;
A2、在平面直角坐标系上每隔一预定距离建立一个参考点,移动终端对每个参考点采集室内全景影像,记录全景影像的位置坐标,标注全景影像中各个方向相对于坐标轴的角度;
A3、对采集到的每张室内全景影像图进行拼接处理,获取全景图,提取全景图中的位置数据并存储,建立室内全景影像图间的拓扑关系,存储与影像相邻的其他影像的ID,生成室内全景影像数据库。
3.根据权利要求2所述的室内实景导航方法,其特征在于,所述步骤B具体包括:
B1、移动终端利用摄像头采集当前位置的实景影像;
B2、提取实景影像的旋转不变特征点,对特征点进行向量描述;
B3、计算移实景影像上的特征点与室内全景影像数据库存储的全景影像上所有特征点的欧式距离,选择欧式距离最小的点为最佳匹配点,两张图像上的最佳匹配点构成一个匹配点对,获取匹配点对最多的图像并作为最佳匹配影像,最佳匹配影像作为当前位置对应的第一全景影像,获取当前位置的初始坐标。
4.根据权利要求3所述的室内实景导航方法,其特征在于,所述步骤C中的室内定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法。
5.根据权利要求4所述的室内实景导航方法,其特征在于,所述步骤E具体包括:
E1、移动终端获取用户输入的起点和终端,利用已知的室内平面图和用户输入的起点终端点,在室内平面地图上规划一条导航路径;
E2、根据当前影像点在平面地图的位置和规划路径的前进方向,自动推送实景影像并且在实景影像上叠加引导箭头,进行实景导航。
6.一种室内实景导航系统,其特征在于,系统包括:
预先存储模块,用于预先采集室内全景影像及室内全景影像的位置坐标,建立室内全景影像间的拓扑关系并存储,生成室内全景影像数据库;
采集与匹配模块,用于移动终端采集当前位置的实景影像,与室内全景影像数据库存储的第一全景影像进行匹配,获取当前的位置的初始坐标;
实时定位模块,用于移动终端使用多源传感器融合的室内定位算法定位并跟踪行人位置,当移动终端检测到用户位置发生变化时,输出实时室内定位结果和行走轨迹;
实景推送模块,用于根据实时室内定位结果,获取与室内定位结果距离最近的室内全景影像数据库中的第二全景影像作为导航影像,并获取导航影像的最佳视角,并将所述第二全景影像中处于最佳视角的全景影像作为实景影像;
引导模块,用于移动终端根据导航过程中用户输入的起点和终点获取前进方向,在实景影像上添加方向引导箭头,进行实景导航。
7.根据权利要求6所述的室内实景导航系统,其特征在于,所述预先存储模块具体包括:
平面图获取单元,用于预先获取室内结构平面图,选择坐标原点,建立平面直角坐标系;
全景影像坐标获取单元,用于在平面直角坐标系上每隔一预定距离建立一个参考点,移动终端对每个参考点采集室内全景影像,记录全景影像的位置坐标,标注全景影像中各个方向相对于坐标轴的角度;
全景影像数据库生成单元,用于对采集到的每张室内全景影像图进行拼接处理,获取全景图,提取全景图中的位置数据并存储,建立室内全景影像图间的拓扑关系,存储与影像相邻的其他影像的ID,生成室内全景影像数据库。
8.根据权利要求7所述的室内实景导航系统,其特征在于,所述采集与匹配模块具体包括:
采集单元,用于移动终端利用摄像头采集当前位置的实景影像;
图像特征提取单元,用于提取实景影像的旋转不变特征点,对特征点进行向量描述;
匹配单元,用于计算移实景影像上的特征点与室内全景影像数据库存储的全景影像上所有特征点的欧式距离,选择欧式距离最小的点为最佳匹配点,两张图像上的最佳匹配点构成一个匹配点对,获取匹配点对最多的图像并作为最佳匹配影像,最佳匹配影像作为当前位置对应的第一全景影像,获取当前位置的初始坐标。
9.根据权利要求8所述的室内实景导航系统,其特征在于,所述室内定位算法包括:基于连续采样的WIFI定位算法、基于惯性传感器的行人航位推算方法、基于气压计的楼层定位算法和卡尔曼滤波融合算法。
10.根据权利要求9所述的室内实景导航系统,其特征在于,所述引导模块具体包括:
导航路径生成单元,用于移动终端获取用户输入的起点和终端,利用已知的室内平面图和用户输入的起点终端点,在室内平面地图上规划一条导航路径;
引导箭头生成单元,用于根据当前影像点在平面地图的位置和规划路径的前进方向,自动推送实景影像并且在实景影像上叠加引导箭头,进行实景导航。
CN201510708392.1A 2015-10-27 2015-10-27 一种室内实景导航方法及系统 Expired - Fee Related CN105371847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510708392.1A CN105371847B (zh) 2015-10-27 2015-10-27 一种室内实景导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510708392.1A CN105371847B (zh) 2015-10-27 2015-10-27 一种室内实景导航方法及系统

Publications (2)

Publication Number Publication Date
CN105371847A CN105371847A (zh) 2016-03-02
CN105371847B true CN105371847B (zh) 2018-06-29

Family

ID=55374255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510708392.1A Expired - Fee Related CN105371847B (zh) 2015-10-27 2015-10-27 一种室内实景导航方法及系统

Country Status (1)

Country Link
CN (1) CN105371847B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111337015A (zh) * 2020-02-28 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于商圈聚合大数据的实景导航方法与系统

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107289936A (zh) * 2016-03-30 2017-10-24 中国移动通信集团福建有限公司 一种室内导航方法、客户端及系统
CN105682167A (zh) * 2016-03-31 2016-06-15 太仓煜和网络科技有限公司 一种通信终端中的网络切换方法及其通信终端
CN107289935B (zh) * 2016-04-01 2021-09-14 中国航空工业第六一八研究所 一种适用于可穿戴设备的室内导航算法
CN105928505B (zh) * 2016-04-19 2019-01-29 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN107576332B (zh) * 2016-07-04 2020-08-04 百度在线网络技术(北京)有限公司 一种换乘导航的方法和装置
CN106289285A (zh) * 2016-08-20 2017-01-04 南京理工大学 一种关联场景的机器人侦察地图及构建方法
CN106403942B (zh) * 2016-08-30 2022-04-29 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
CN106161803B (zh) * 2016-08-31 2019-07-19 成都市微泊科技有限公司 一种基于室内定位和gps的场景识别方法
CN106358036B (zh) * 2016-08-31 2018-05-08 杭州当虹科技有限公司 一种以预设视角观看虚拟现实视频的方法
CN108020225A (zh) * 2016-10-28 2018-05-11 大辅科技(北京)有限公司 基于图像识别的地图系统及导航方法
CN106500701B (zh) * 2016-11-22 2019-10-08 大唐软件技术股份有限公司 一种基于实景图片的室内导航方法及系统
CN106767754A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种导航信息的处理方法、终端及服务器
CN106683195B (zh) * 2016-12-30 2021-03-09 上海网罗电子科技有限公司 一种基于室内定位的ar场景渲染方法
CN106780232A (zh) * 2016-12-30 2017-05-31 国骥 一种借助手机和vr镜头进行自动导诊的系统
CN107067807A (zh) * 2017-04-12 2017-08-18 广西灵图信息科技有限公司 一种室内停车位引导的方法
CN109121143A (zh) * 2017-06-23 2019-01-01 联芯科技有限公司 一种位置标记方法、终端与计算机可读存储介质
CN107393014A (zh) * 2017-07-17 2017-11-24 广州地理研究所 应用于导航中的实景数据采集方法
CN107462237A (zh) * 2017-07-21 2017-12-12 北京都在哪网讯科技有限公司 导航方法及装置
CN107289949B (zh) * 2017-07-26 2020-08-07 湖北工业大学 一种基于人脸识别技术的室内导识装置及方法
CN107631726A (zh) * 2017-09-05 2018-01-26 上海博泰悦臻网络技术服务有限公司 信息处理/室内导航方法,介质,终端,服务器及通信网
CN108168557A (zh) * 2017-12-19 2018-06-15 广州市动景计算机科技有限公司 导航方法、装置、移动终端及服务器
CN108917758B (zh) * 2018-02-24 2021-10-01 石化盈科信息技术有限责任公司 一种基于ar的导航方法及系统
CN108489484A (zh) * 2018-03-12 2018-09-04 中国电子科技集团公司第二十八研究所 一种基于单兵智能可视眼镜的记忆路径导航方法
CN110360999B (zh) * 2018-03-26 2021-08-27 京东方科技集团股份有限公司 室内定位方法、室内定位系统和计算机可读介质
CN108596756A (zh) * 2018-04-18 2018-09-28 中国银行股份有限公司 一种辅助办理银行业务的方法及装置
CN108985872A (zh) * 2018-05-30 2018-12-11 链家网(北京)科技有限公司 确定用户在房源虚拟三维空间图中的朝向的方法及系统
CN108846900B (zh) * 2018-05-30 2020-03-10 贝壳找房(北京)科技有限公司 提高用户在房源虚拟三维空间图中的空间感的方法及系统
WO2019228520A1 (en) * 2018-06-01 2019-12-05 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indoor positioning
CN110553648A (zh) * 2018-06-01 2019-12-10 北京嘀嘀无限科技发展有限公司 一种用于室内导航的方法和系统
CN108731690A (zh) * 2018-06-07 2018-11-02 孙亚楠 室内导航方法、装置、电子设备及计算机可读介质
WO2020034165A1 (en) * 2018-08-16 2020-02-20 Beijing Didi Infinity Technology And Development Co., Ltd. Indoor navigation system based on augmented reality
CN109186618B (zh) * 2018-08-31 2022-11-29 平安科技(深圳)有限公司 地图构建方法、装置、计算机设备及存储介质
CN111131726B (zh) * 2018-10-11 2022-06-03 上海云绅智能科技有限公司 一种基于多屏融合成像的视频播放方法、智能设备及系统
CN109029466A (zh) * 2018-10-23 2018-12-18 百度在线网络技术(北京)有限公司 室内导航方法和装置
US10549198B1 (en) * 2018-10-30 2020-02-04 Niantic, Inc. Verifying a player's real world location using image data of a landmark corresponding to a verification pathway
CN109525935B (zh) * 2018-11-23 2021-01-15 武汉大学 一种针对普适室内环境的智能楼层感知方法及控制系统
CN111220156B (zh) * 2018-11-25 2023-06-23 星际空间(天津)科技发展有限公司 一种基于城市实景的导航方法
CN109520509A (zh) * 2018-12-10 2019-03-26 福州臻美网络科技有限公司 一种充电机器人定位方法
CN109612484A (zh) * 2018-12-13 2019-04-12 睿驰达新能源汽车科技(北京)有限公司 一种基于实景图像的路径引导方法及装置
CN109520510A (zh) * 2018-12-26 2019-03-26 安徽智恒信科技有限公司 一种基于虚拟现实技术的室内导航方法及系统
CN109506658B (zh) * 2018-12-26 2021-06-08 广州市申迪计算机系统有限公司 机器人自主定位方法和系统
CN109668568A (zh) * 2019-01-25 2019-04-23 天津煋鸟科技有限公司 一种利用环视全景成像进行定位导航的方法
CN109916408A (zh) * 2019-02-28 2019-06-21 深圳市鑫益嘉科技股份有限公司 机器人室内定位和导航方法、装置、设备及存储介质
CN110426048A (zh) * 2019-09-02 2019-11-08 福建工程学院 一种基于局部视域的视觉小车定位方法
CN112558008B (zh) * 2019-09-26 2024-03-12 北京外号信息技术有限公司 基于光通信装置的导航方法、系统、设备及介质
CN110967014B (zh) * 2019-10-24 2023-10-31 国家电网有限公司 一种基于增强现实技术的机房室内导航和设备追踪的方法
CN110986916A (zh) * 2019-11-21 2020-04-10 拉扎斯网络科技(上海)有限公司 室内定位方法、装置及电子设备和存储介质
CN111024087B (zh) * 2019-12-26 2023-06-20 国网上海市电力公司 一种变电站巡检导航系统和导航方法
CN111189440B (zh) * 2019-12-31 2021-09-07 中国电建集团华东勘测设计研究院有限公司 一种基于空间信息模型与实时图像比对的定位导航方法
CN111654811B (zh) * 2020-03-17 2022-04-22 鲁迅美术学院 全息成像装置及方法
CN111758016A (zh) * 2020-05-11 2020-10-09 蜂图科技有限公司 一种图像导航方法、装置、设备及可读存储介质
CN111551179A (zh) * 2020-05-18 2020-08-18 Oppo(重庆)智能科技有限公司 室内导航方法及装置、终端及可读存储介质
CN112013847B (zh) * 2020-08-20 2022-05-03 安徽江淮汽车集团股份有限公司 一种室内导航的方法及装置
CN112291416A (zh) * 2020-08-31 2021-01-29 南京美桥信息科技有限公司 一种实景辅助导航方法及导航系统
CN112146656B (zh) * 2020-09-03 2023-02-17 武汉大学 一种基于增强现实的室内导航可视化方法
CN112614162B (zh) * 2020-12-28 2023-10-31 深圳大学 基于空间优化策略的室内视觉快速匹配定位方法及系统
CN113465601A (zh) * 2021-05-13 2021-10-01 上海师范大学 一种基于可视路径的室内导航
CN113280835A (zh) * 2021-05-20 2021-08-20 北京智慧图科技有限责任公司 一种基于路径规划的室内定位校正方法
CN114071392B (zh) * 2021-12-28 2023-07-25 智小途(上海)数字科技有限公司 一种uwb室内高精度三维实景数据构建方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102829788A (zh) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 一种实景导航方法和实景导航装置
CN103398717A (zh) * 2013-08-22 2013-11-20 成都理想境界科技有限公司 全景地图数据库采集系统及基于视觉的定位、导航方法
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN104457759A (zh) * 2014-11-05 2015-03-25 上海卫星工程研究所 高精度原子鉴频测速导航仪及其导航方法
CN104574386A (zh) * 2014-12-26 2015-04-29 速感科技(北京)有限公司 一种基于三维环境模型匹配的室内定位方法
CN104729485A (zh) * 2015-03-03 2015-06-24 北京空间机电研究所 一种基于车载全景影像与街景地图匹配的视觉定位方法
CN104897161A (zh) * 2015-06-02 2015-09-09 武汉大学 基于激光测距的室内平面地图制图方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI391874B (zh) * 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
US20130212094A1 (en) * 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning
US9052206B2 (en) * 2012-01-12 2015-06-09 Google Inc. Generating an indoor map model
US9170113B2 (en) * 2012-02-24 2015-10-27 Google Inc. System and method for mapping an indoor environment
KR101329111B1 (ko) * 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102829788A (zh) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 一种实景导航方法和实景导航装置
CN103398717A (zh) * 2013-08-22 2013-11-20 成都理想境界科技有限公司 全景地图数据库采集系统及基于视觉的定位、导航方法
CN104457759A (zh) * 2014-11-05 2015-03-25 上海卫星工程研究所 高精度原子鉴频测速导航仪及其导航方法
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN104574386A (zh) * 2014-12-26 2015-04-29 速感科技(北京)有限公司 一种基于三维环境模型匹配的室内定位方法
CN104729485A (zh) * 2015-03-03 2015-06-24 北京空间机电研究所 一种基于车载全景影像与街景地图匹配的视觉定位方法
CN104897161A (zh) * 2015-06-02 2015-09-09 武汉大学 基于激光测距的室内平面地图制图方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111337015A (zh) * 2020-02-28 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于商圈聚合大数据的实景导航方法与系统

Also Published As

Publication number Publication date
CN105371847A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN105371847B (zh) 一种室内实景导航方法及系统
CN105241445B (zh) 一种基于智能移动终端的室内导航数据获取方法及系统
CN109029444B (zh) 一种基于图像匹配和空间定位的室内导航系统及导航方法
CN103162682B (zh) 基于混合现实的室内路径导航方法
KR20180079428A (ko) 자동 로컬리제이션을 위한 장치 및 방법
CN110446159A (zh) 一种室内无人机精确定位与自主导航的系统及方法
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN106471548A (zh) 使用外围信息的加速模板匹配
CN110553648A (zh) 一种用于室内导航的方法和系统
KR101868125B1 (ko) 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
CN109523471A (zh) 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
Feng et al. Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments
David et al. Orientation descriptors for localization in urban environments
Steinhoff et al. How computer vision can help in outdoor positioning
Antigny et al. Pedestrian track estimation with handheld monocular camera and inertial-magnetic sensor for urban augmented reality
Tao et al. Automated processing of mobile mapping image sequences
US20190383616A1 (en) Terrestrial observation device having location determination functionality
CN110967013A (zh) 一种基于室内地磁场信息和智能手机的室内区域定位系统
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN115235455B (zh) 一种基于智能手机pdr与视觉修正的行人定位方法
US20210233271A1 (en) Information processing apparatus, server, movable object device, information processing method, and program
CN105320725A (zh) 获取采集点图像中的地理对象的方法及装置
Jeon et al. Design of positioning DB automatic update method using Google tango tablet for image based localization system
Khan et al. Real-time traffic light detection from videos with inertial sensor fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180629

Termination date: 20191027