CN109671119A - 一种基于slam的室内定位方法及装置 - Google Patents
一种基于slam的室内定位方法及装置 Download PDFInfo
- Publication number
- CN109671119A CN109671119A CN201811318082.9A CN201811318082A CN109671119A CN 109671119 A CN109671119 A CN 109671119A CN 201811318082 A CN201811318082 A CN 201811318082A CN 109671119 A CN109671119 A CN 109671119A
- Authority
- CN
- China
- Prior art keywords
- image
- database
- slam
- similarity
- indoor positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000013598 vector Substances 0.000 claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 20
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000004804 winding Methods 0.000 abstract 2
- 230000000007 visual effect Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于SLAM的室内定位方法及装置,获取用户终端上传的待定位图像,通过SFM算法快速构建带有位姿信息的图片数据库,通过卷积神经网络提取待定位图像的特征向量以及数据库图像的特征向量集合,计算待定位图像与数据库图像的特征向量之间的相似度,完成回环检测,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息,从而得到用户终端准确的位置和姿态信息。与传统的视觉SLAM算法采用词袋模型,识别能力较弱相比,本发明采用神经网络学习图像的深层次特征,可以实现更高的识别准确率,提高回环检测的准确率。
Description
技术领域
本发明实施例涉及场景识别技术领域,尤其涉及一种基于SLAM的室内定位方法及装置。
背景技术
导航定位是基于位置服务研究的热点,当前室外GNSS定位已经足以提供成熟的定位服务,但室内定位技术仍处于起步阶段,尚没有一种技术占据绝对的优势。根据应用需求的不同,室内定位技术分为消费级和工业级两种,消费级的定位精度要求在1~3m,要求与移动智能终端兼容,用于消费者信息指引/营销推送等;工业级的定位精度要求在cm~dm级,一般不考虑与现有的智能终端兼容,用于货物搬运、急救寻人、资产管理等。室内定位的技术中种类众多,包括基于无线信号的定位、惯性导航和基于计算机视觉的定位。
基于无线信号的定位主要分为几何关系定位和特征匹配定位两种,几何关系定位利用接收机和基站之间的几何关系,通过解算方程组来得到定位结果,代表UWB定位、RFID定位、ZigBee定位、伪卫星定位等。特征匹配定位通过建立与位置相关的可测量参数数据库,将测量值与数据库进行匹配,从而获取位置信息,代表技术包括Wi-Fi指纹、地磁定位、蓝牙信标等。基于无线信号的定位方式,容易受到复杂室内环境的干扰和非视距误差的影响等,稳定性能差。基于几何关系定位的方案基本上都需要提前构建基站并提前确定基站的准确坐标,基于特征匹配定位的方案同样需要构建指纹数据库,工作量大。除Wi-Fi、蓝牙外,其他的无线信号大都不能与移动终端很好的结合,需要专门的设备。
惯性导航作为航迹推算定位最具有代表性的技术,通过传感器获取相邻点的航向和距离信息,在不借助外界物标的情况下,求取位置信息,可以实现自主导航,与其他传感器联合应用可抑制误差积累,可以作为有力的辅助手段引入到视觉和无线信号的定位研究中。惯性导航通过内置传感器可以实现自主导航,但限制了移动终端的行动且低成本的MEMS用于独立的导航漂移误差太大,一般不能用于单独的移动终端的定位导航,而是作为辅助手段加入到其他定位方案中。
基于视觉的定位方法具有定位精度高,能够提供丰富的场景信息,避免了无线信号受非视距误差的影响且能够与移动智能终端更好的兼容,成为众多室内定位方式中消费级应用中较为新颖的一种模式。现有的基于视觉的室内定位主要分为两个方向,一是借助视觉标志物进行室内定位,如二维码、机器视觉识别路标等;另一种主要基于图像检索的室内定位,通过精确检索后,将问询图像最佳匹配的图像所指向的场景确定为用户所在场景。基于视觉标志物的定位需要提前布设标志物和获取标志物的地理位置信息,必须在室内各个场景张贴路标,其实是一种标识识别,并没有利用丰富的图像信息;基于图像检索的室内定位通过将图片信息与场景位置数据库关联,并对图像和位置进行标注,位置信息数据库同样需要人工采集,工作方式费时费力,且无法得到准确的位置和姿态信息。
发明内容
针对传统基于图像检索的室内定位方法位置信息数据库需要人工采集,工作方式费时费力,且无法得到准确的位置和姿态信息的缺陷。本发明实施例提供一种基于SLAM的室内定位方法。
第一方面,本发明实施例提供一种基于SLAM的室内定位方法,包括:
101,获取用户终端上传的待定位图像;
102,将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的;
103,计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
第二方面,本发明实施例提供一种基于SLAM的室内定位装置,包括:
图像获取模块,用于获取用户终端上传的待定位图像;
特征提取模块,用于将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的;
相似度匹配模块,用于计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
第三方面,本发明实施例提供了一种电子设备,包括:
至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于SLAM的室内定位方法。
第四方面,本发明实施例提供了一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于SLAM的室内定位方法。
本发明实施例提供的基于SLAM的室内定位方法及装置,通过SFM算法快速构建带有位姿信息的图片数据库,获取用户终端上传的待定位图像,通过卷积神经网络提取待定位图像的特征向量以及数据库图像的特征向量集合,计算待定位图像与数据库图像的特征向量之间的相似度,完成回环检测,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息,从而得到用户准确的位置和姿态信息。与传统基于图像检索的室内定位方法,位置信息数据库需要人工采集,且无法得到准确的位置和姿态信息相比,本发明实施例实现位置和姿态信息的精确获取。与传统的视觉SLAM算法采用词袋模型,识别能力较弱相比,本发明实施例采用神经网络学习图像的深层次特征,可以实现更高的识别准确率,提高回环检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供的基于SLAM的室内定位方法流程示意图;
图2为根据本发明实施例提供的基于SLAM的室内定位装置的结构框图;
图3为根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
图1为根据本发明实施例提供的基于SLAM的室内定位方法流程示意图。参照图1,基于SLAM的室内定位方法包括:
步骤101,获取用户终端上传的待定位图像。用户终端拍摄待定位图像,上传至与用户终端建立无线通讯连接的数据处理云端。
步骤102,将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的;
即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)通过自身携带的传感器,可以在没有环境先验信息的情况下,于运动过程中建立环境模型,同时估计自己的运动。SLAM技术是移动机器人导航领域的核心技术,如果搭载的传感器主要是相机,则被称为“视觉SLAM”。经典视觉SLAM框架分为前端(视觉里程计)、后端(非线性优化)、回环检测和建图四部分。前端的任务是估算相邻图像间的相机运动,以及构建局部地图;后端接受不同时刻前端测量的相机位姿,以及回环检测的信息,并进行优化,得到全局一致的轨迹和地图。回环检测用于判断机器人是否回到先前的位置,并将信息提供给后端进行处理。建图用于根据估计的轨迹,建立与任务要求对应的地图。
本实施例中,将视觉SLAM框架和技术应用于室内移动终端的定位导航领域。提供针对消费级的用户终端的室内定位方法。视觉SLAM过程不需要额外的手段即可获取带有位姿信息的图像数据库,可以有效的减少室内定位的图像数据库建立的工作量。
首先,通过单目相机、双目相机、深度相机或手机摄像头采集目标室内场景的图像信息,以视频或图片的形式上传到数据处理云端,使用SFM算法,输出带有位姿信息的图片数据库。然后,将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合。
步骤103,计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
在视觉SLAM问题中,位姿的估计往往是一个递推的过程,即由上一帧位姿解算当前帧位姿,因此其中的误差便这样一帧一帧的传递下去,也就是我们所说的累计误差。无论在单目、双目还是RGBD中,追踪得到的位姿都是有误差的。随着路径的不断延伸,前面帧的误差会一直传递到后面去,导致最后一帧的位姿在世界坐标系里的误差有可能非常大。除了利用优化方法在局部和全局调整位姿,也可以利用回环检测(loop closure)来优化位姿。其中,位置和姿态统称为位姿。
本实施例中,通过计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度来判定两帧图像是否是同一个地点,以完成回环检测。得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息,将第一位姿信息作为待定位图像的位置和姿态信息。对于SLAM算法来说,可以通过比对当前帧与过去的关键帧,相似度超过某一阈值时就可以认为检测到回环。
需要说明的是,传统SLAM算法提取稀疏的图像特征,通过SIFT特征点之间的匹配实现帧间估计和闭环检测。识别能力较弱。而本实施例提供的基于SLAM的室内定位方法,采用卷积神经网络提取待定位图像的特征向量以及数据库图像的特征向量集合,能够学习图像的深层次特征,实现更高的识别准确率,提高回环检测的准确率。
本发明实施例提供的基于SLAM的室内定位方法,通过SFM算法快速构建带有位姿信息的图片数据库,获取用户终端上传的待定位图像,通过卷积神经网络提取待定位图像的特征向量以及数据库图像的特征向量集合,计算待定位图像与数据库图像的特征向量之间的相似度,完成回环检测,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息,从而得到用户准确的位置和姿态信息。与传统基于图像检索的室内定位方法,位置信息数据库需要人工采集,且无法得到准确的位置和姿态信息相比,本发明实施例实现位置和姿态信息的精确获取。与传统的视觉SLAM算法采用词袋模型,识别能力较弱相比,本发明实施例采用神经网络学习图像的深层次特征,可以实现更高的识别准确率,提高回环检测的准确率。
在上述实施例的基础上,步骤102中,图片数据库的具体构建过程包括:
对相机上传的目标场景的图像集合进行预处理;
对预处理后的图像集合使用SFM算法,输出携带位姿信息的图片数据库。
其中,本实施例中的相机可以是单目相机、双目相机或深度相机,也可以是手机自带的相机。通过单目相机、双目相机、深度相机或手机摄像头采集目标场景的图像集合,以视频或图片的形式上传到数据处理云端并进行预处理,预处理过程主要包括畸变校正、灰度化、滤波去躁和对比度增强四部分。在使用相机采集视频或图像之前,需要经过相机标定过程获取相机的内外参数和畸变参数。优选的,本实施例采用基于棋盘格的半自动标定法获取相机的内外参数和畸变参数。
本实施例中,采用高次多项式函数纠正法、平均值法、高斯滤波法和非线性增强法对目标场景的图像集合进行预处理。具体地,采用高次多项式函数纠正法进行畸变校正。其中,多项式纠正的原理是利用地面控制点的图像坐标和其同名点的地面坐标,通过平差原理计算多项式里的系数,之后用该多项式对图像进行纠正。通过平均值法实现图像的灰度化,具体是将图像中的三分量亮度求平均得到一个灰度值。采用高斯滤波法对图像集合进行滤波去躁。通过非线性增强法对图像集合进行对比度增强处理。
进一步地,使用SFM算法,输出带有位姿信息的图片数据库,具体包括:
首先,提取图像集合中每一张图片的SIFT特征点。其中,SIFT是用于图像处理领域的一种描述。这种描述具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
然后,计算每两张图片SIFT特征点之间的欧式距离进行SIFT特征点的匹配,获得若干SIFT特征点相匹配的图像对。具体地,用kd-tree模型去计算每两张图片SIFT特征点之间的欧式距离进行SIFT特征点的匹配,从而找到SIFT特征点匹配个数达到要求的图像对。
接下来,计算每一对图像对的对极几何,估计F矩阵,并通过RANSAC算法优化所述图像对。确定初始化图像对,对初始化图像对进行第一次光束法平差。具体地,通过两图像变换之间的单应性模型来寻找初始化图像对。采用RANSC算法四点法计算单应矩阵,满足单应矩阵的匹配点称为内点,不满足单应矩阵的称为外点,找寻一个内点占比最小的图像对作为初始化图像对。
最后,循环添加新的图片进行新的光束法平差,生成SIFT特征点的点云地图,获得带有位姿信息的图片数据库。
在上述各实施例的基础上,在步骤103之后,本发明实施例提供的基于SLAM的室内定位方法还包括:
基于SFM算法生成的SIFT特征点云地图,采用EPnP算法获取待定位图像的第二位姿信息。具体的,基于SFM算法生成的SIFT特征点的点云地图,EPnP算法通常是选取世界坐标下的四个控制点坐标;通过若干3D点在相机平面的投影关系,以及与这四个控制点的权重关系,构建一个12*12方阵,求得其零空间特征向量,可以得到虚拟控制点的相机平面坐标,然后使用POSIT算法即可求出相机位姿,获得待定位图像准确的位姿信息,即第二位姿信息。
若判断获知所述第二位姿信息和第一位姿信息的相似度大于第一预设阈值,则将所述待定位图像加入图片数据库。
具体地,将第二位姿信息与步骤103获得的与待定位图像相似度最高的图像对应的第一位姿信息比较,对回环检测的正确性进行检验,若第二位姿信息和第一位姿信息的相似度大于第一预设阈值,则检验正确,将检验正确的待定位图像加入图片数据库,为SFM算法中光束法平差提供更多的有效数据,优化图像数据库。
在上述各实施例的基础上,步骤102中的卷积神经网络为Vgg-16神经网络模型。
步骤102中,将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合具体包括:
提取待定位图像的SIFT特征点,然后以待定位图像SIFT特征点的像素为中心,提取待定位图像的图像块。本实施例中,以SIFT特征点的像素为中心,提取50*50的图像块,按照特征响应的强弱进行排序,取前500个SIFT特征点。
将待定位图像的图像块和数据库图像对应的图像块分别输入卷积神经网络,以所述Vgg-16网络pool5层得到的特征向量作为图像的特征表示,提取待定位图像的特征向量以及数据库图像的特征向量集合。
本实施例采用神经网络学习图像的深层次特征,可以实现更高的识别准确率,提高回环检测的准确率。
在上述各实施例的基础上,步骤103中,所述计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度具体包括:
计算待定位图像的某一SIFT特征点对应的特征向量与数据库图像所有SIFT特征点对应特征向量的余弦相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息;
其中,两个特征向量m,n之间的余弦相似度为:
式中,分子为向量m和向量n的点乘,分母为两者的模长的乘积,余弦相似度的取值范围为[-1,1]。
本实施例通过计算待定位图像的某一SIFT特征点对应的特征向量与数据库图像所有SIFT特征点对应特征向量的余弦相似度,得到图片数据库中与待定位图像相似度最高的图像。并基于SFM算法标注的位姿信息,获得图片数据库中与待定位图像相似度最高的图像对应的第一位姿信息。
图2为根据本发明实施例提供的基于SLAM的室内定位装置的结构框图,本发明实施例提供一种基于SLAM的室内定位装置,包括图像获取模块201、特征提取模块202和相似度匹配模块203,其中:
图像获取模块201用于获取用户终端上传的待定位图像。特征提取模块202用于将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的。相似度匹配模块203用于计算待定位图像与数据库图像的特征向量之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
本实施例中,将视觉SLAM框架和技术应用于室内移动终端的定位导航领域。提供针对消费级的用户终端的室内定位方法。视觉SLAM过程不需要额外的手段即可获取带有位姿信息的图像数据库,可以有效的减少室内定位的图像数据库建立的工作量。
具体地,图像获取模块201获取用户终端上传的待定位图像。待定位图像可以是视频或图片。
进一步地,通过单目相机、双目相机、深度相机或手机摄像头采集目标室内场景的图像信息,以视频或图片的形式上传到数据处理云端,使用SFM算法,输出带有位姿信息的图片数据库。特征提取模块202将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合。
相似度匹配模块203通过计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度来判定两帧图像是否是同一个地点,以完成回环检测。得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息,将第一位姿信息作为待定位图像的位置和姿态信息。对于SLAM算法来说,可以通过比对当前帧与过去的关键帧,相似度超过某一阈值时就可以认为检测到回环。
需要说明的是,传统SLAM算法提取稀疏的图像特征,通过SIFT特征点之间的匹配实现帧间估计和闭环检测。识别能力较弱。而本实施例提供的基于SLAM的室内定位方法,采用卷积神经网络提取待定位图像的特征向量以及数据库图像的特征向量集合,能够学习图像的深层次特征,实现更高的识别准确率,提高回环检测的准确率。
本发明实施例提供的基于SLAM的室内定位装置,通过SFM算法快速构建带有位姿信息的图片数据库,获取用户终端上传的待定位图像,通过卷积神经网络提取待定位图像的特征向量以及数据库图像的特征向量集合,计算待定位图像与数据库图像的特征向量之间的相似度,完成回环检测,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息,从而得到用户准确的位置和姿态信息。与传统基于图像检索的室内定位方法,位置信息数据库需要人工采集,且无法得到准确的位置和姿态信息相比,本发明实施例实现位置和姿态信息的精确获取。与传统的视觉SLAM算法采用词袋模型,识别能力较弱相比,本发明实施例采用神经网络学习图像的深层次特征,可以实现更高的识别准确率,提高回环检测的准确率。
在上述实施例的基础上,本发明实施例提供的基于SLAM的室内定位装置还包括:
数据库更新模块204,用于基于SFM算法生成的SIFT特征点云地图,采用EPnP算法获取待定位图像的第二位姿信息;若判断获知所述第二位姿信息和第一位姿信息的相似度大于第一预设阈值,则将所述待定位图像加入图片数据库。
具体地,将第二位姿信息与相似度匹配模块203获得的与待定位图像相似度最高的图像对应的第一位姿信息比较,对回环检测的正确性进行检验,若第二位姿信息和第一位姿信息的相似度大于第一预设阈值,则检验正确,将检验正确的待定位图像加入图片数据库,为SFM算法中光束法平差提供更多的有效数据,优化图像数据库。
本发明实施例提供了一种电子设备,图3为根据本发明实施例提供的电子设备的结构示意图,如图3所示,该电子设备包括:
至少一个处理器(processor)301、通信接口(Communications Interface)304、至少一个存储器(memory)302和通信总线303,其中,至少一个处理器301,通信接口304,至少一个存储器302通过通信总线303完成相互间的通信。至少一个处理器301可以调用至少一个存储器302中的逻辑指令,以执行如下基于SLAM的室内定位方法,例如包括:获取用户终端上传的待定位图像。将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的。计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
本发明实施例还提供了一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行对应实施例所提供的基于SLAM的室内定位方法,例如包括:获取用户终端上传的待定位图像。将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的。计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于SLAM的室内定位方法,其特征在于,包括:
101,获取用户终端上传的待定位图像;
102,将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的;
103,计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
2.根据权利要求1所述的基于SLAM的室内定位方法,其特征在于,步骤102中,所述图片数据库的具体构建过程包括:
对相机上传的目标场景的图像集合进行预处理;
对预处理后的图像集合使用SFM算法,输出携带位姿信息的图片数据库。
3.根据权利要求2所述的基于SLAM的室内定位方法,其特征在于,所述对预处理后的图像集合使用SFM算法,输出携带位姿信息的图片数据库具体包括:
提取图像集合中每一张图片的SIFT特征点;
计算每两张图片SIFT特征点之间的欧式距离进行SIFT特征点的匹配,获得若干SIFT特征点相匹配的图像对;
计算每一对图像对的对极几何,估计F矩阵,并通过RANSAC算法优化所述图像对;
确定初始化图像对,对初始化图像对进行第一次光束法平差;
循环添加新的图片进行新的光束法平差,生成SIFT特征点云地图,获得带有位姿信息的图片数据库。
4.根据权利要求3所述的基于SLAM的室内定位方法,其特征在于,在步骤103之后,所述基于SLAM的室内定位方法还包括:
基于SFM算法生成的SIFT特征点云地图,采用EPnP算法获取待定位图像的第二位姿信息;
若判断获知所述第二位姿信息和第一位姿信息的相似度大于第一预设阈值,则将所述待定位图像加入图片数据库。
5.根据权利要求1所述的基于SLAM的室内定位方法,其特征在于,步骤102中,所述卷积神经网络为Vgg-16神经网络模型;
相应的,所述将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合具体包括:
提取待定位图像的SIFT特征点,然后以待定位图像SIFT特征点的像素为中心,提取待定位图像的图像块;
将待定位图像的图像块和数据库图像对应的图像块分别输入卷积神经网络,以所述Vgg-16网络pool5层得到的特征向量作为图像的特征表示,提取待定位图像的特征向量以及数据库图像的特征向量集合。
6.根据权利要求5所述的基于SLAM的室内定位方法,其特征在于,步骤103中,所述计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度具体包括:
计算待定位图像的某一SIFT特征点对应的特征向量与数据库图像所有SIFT特征点对应特征向量的余弦相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息;
其中,两个特征向量m,n之间的余弦相似度为:
式中,分子为向量m和向量n的点乘,分母为两者的模长的乘积,余弦相似度的取值范围为[-1,1]。
7.一种基于SLAM的室内定位装置,其特征在于,包括:
图像获取模块,用于获取用户终端上传的待定位图像;
特征提取模块,用于将待定位图像和图片数据库内的数据库图像分别输入卷积神经网络,提取待定位图像的特征向量以及数据库图像的特征向量集合;其中,图片数据库是对目标场景的图像集合使用SFM算法得到的;
相似度匹配模块,用于计算待定位图像对应的特征向量与数据库图像对应的特征向量集合之间的相似度,得到图片数据库中与待定位图像相似度最高的图像及其对应的第一位姿信息。
8.根据权利要求7所述的基于SLAM的室内定位装置,其特征在于,所述装置还包括:
数据库更新模块,用于基于SFM算法生成的SIFT特征点云地图,采用EPnP算法获取待定位图像的第二位姿信息;若判断获知所述第二位姿信息和第一位姿信息的相似度大于第一预设阈值,则将所述待定位图像加入图片数据库。
9.一种电子设备,其特征在于,包括:
至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以执行如权利要求1至6任一项所述的基于SLAM的室内定位方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6中任一项所述的基于SLAM的室内定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811318082.9A CN109671119A (zh) | 2018-11-07 | 2018-11-07 | 一种基于slam的室内定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811318082.9A CN109671119A (zh) | 2018-11-07 | 2018-11-07 | 一种基于slam的室内定位方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109671119A true CN109671119A (zh) | 2019-04-23 |
Family
ID=66142724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811318082.9A Pending CN109671119A (zh) | 2018-11-07 | 2018-11-07 | 一种基于slam的室内定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109671119A (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110095752A (zh) * | 2019-05-07 | 2019-08-06 | 百度在线网络技术(北京)有限公司 | 定位方法、装置、设备和介质 |
CN110136175A (zh) * | 2019-05-21 | 2019-08-16 | 杭州电子科技大学 | 一种基于神经网络的室内典型场景匹配定位方法 |
CN110455299A (zh) * | 2019-07-26 | 2019-11-15 | 中国第一汽车股份有限公司 | 一种路线生成方法、装置、设备及存储介质 |
CN110457518A (zh) * | 2019-07-29 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 一种室内定位方法、装置及存储介质 |
CN110473259A (zh) * | 2019-07-31 | 2019-11-19 | 深圳市商汤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
CN110533050A (zh) * | 2019-07-22 | 2019-12-03 | 平安科技(深圳)有限公司 | 图片地理信息获取方法、装置、计算机设备及存储介质 |
CN110660103A (zh) * | 2019-09-17 | 2020-01-07 | 北京三快在线科技有限公司 | 一种无人车定位方法及装置 |
CN110954933A (zh) * | 2019-12-09 | 2020-04-03 | 王相龙 | 一种基于场景dna的移动平台定位装置及方法 |
CN111047703A (zh) * | 2019-12-23 | 2020-04-21 | 杭州电力设备制造有限公司 | 一种用户高压配电设备识别与空间重建方法 |
CN111199564A (zh) * | 2019-12-23 | 2020-05-26 | 中国科学院光电研究院 | 智能移动终端的室内定位方法、装置与电子设备 |
CN111652929A (zh) * | 2020-06-03 | 2020-09-11 | 全球能源互联网研究院有限公司 | 一种视觉特征的识别定位方法及系统 |
CN111860050A (zh) * | 2019-04-27 | 2020-10-30 | 北京初速度科技有限公司 | 一种基于图像帧的回环检测方法及装置、车载终端 |
WO2020246085A1 (ja) * | 2019-06-03 | 2020-12-10 | 株式会社イクシス | 点検支援システム |
CN112528972A (zh) * | 2021-02-08 | 2021-03-19 | 常州微亿智造科技有限公司 | 用于飞拍拍摄点的定位方法和装置 |
CN112734841A (zh) * | 2020-12-31 | 2021-04-30 | 华南理工大学 | 一种用轮式里程计-imu和单目相机实现定位的方法 |
CN112905798A (zh) * | 2021-03-26 | 2021-06-04 | 深圳市阿丹能量信息技术有限公司 | 一种基于文字标识的室内视觉定位方法 |
CN112985419A (zh) * | 2021-05-12 | 2021-06-18 | 中航信移动科技有限公司 | 室内导航方法、装置、计算机设备及存储介质 |
CN113076914A (zh) * | 2021-04-16 | 2021-07-06 | 咪咕文化科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
CN113313763A (zh) * | 2021-05-26 | 2021-08-27 | 珠海深圳清华大学研究院创新中心 | 一种基于神经网络的单目相机位姿优化方法及装置 |
CN113554754A (zh) * | 2021-07-30 | 2021-10-26 | 中国电子科技集团公司第五十四研究所 | 一种基于计算机视觉的室内定位方法 |
CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
CN113936064A (zh) * | 2021-12-17 | 2022-01-14 | 荣耀终端有限公司 | 定位方法和装置 |
CN113984064A (zh) * | 2021-10-27 | 2022-01-28 | 山东亚历山大智能科技有限公司 | 一种用于室内移动机器人的定位方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105607071A (zh) * | 2015-12-24 | 2016-05-25 | 百度在线网络技术(北京)有限公司 | 一种室内定位方法及装置 |
CN107131883A (zh) * | 2017-04-26 | 2017-09-05 | 中山大学 | 基于视觉的全自动移动终端室内定位系统 |
CN107330357A (zh) * | 2017-05-18 | 2017-11-07 | 东北大学 | 基于深度神经网络的视觉slam闭环检测方法 |
CN107808395A (zh) * | 2017-10-31 | 2018-03-16 | 南京维睛视空信息科技有限公司 | 一种基于slam的室内定位方法 |
CN108009588A (zh) * | 2017-12-01 | 2018-05-08 | 深圳市智能现实科技有限公司 | 定位方法及装置、移动终端 |
CN108108716A (zh) * | 2017-12-29 | 2018-06-01 | 中国电子科技集团公司信息科学研究院 | 一种基于深度信念网络的回环检测方法 |
-
2018
- 2018-11-07 CN CN201811318082.9A patent/CN109671119A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105607071A (zh) * | 2015-12-24 | 2016-05-25 | 百度在线网络技术(北京)有限公司 | 一种室内定位方法及装置 |
CN107131883A (zh) * | 2017-04-26 | 2017-09-05 | 中山大学 | 基于视觉的全自动移动终端室内定位系统 |
CN107330357A (zh) * | 2017-05-18 | 2017-11-07 | 东北大学 | 基于深度神经网络的视觉slam闭环检测方法 |
CN107808395A (zh) * | 2017-10-31 | 2018-03-16 | 南京维睛视空信息科技有限公司 | 一种基于slam的室内定位方法 |
CN108009588A (zh) * | 2017-12-01 | 2018-05-08 | 深圳市智能现实科技有限公司 | 定位方法及装置、移动终端 |
CN108108716A (zh) * | 2017-12-29 | 2018-06-01 | 中国电子科技集团公司信息科学研究院 | 一种基于深度信念网络的回环检测方法 |
Non-Patent Citations (3)
Title |
---|
JURE ZBONTAR等: "Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches", 《HTTPS://ARXIV.ORG/ABS/1510.05970V2》 * |
刘涛 等: "一种运动恢复结构和航位推算结合的室内行人视觉定位方法", 《地球信息科学》 * |
赵洋 等: "基于深度学习的视觉SLAM综述", 《机器人》 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860050A (zh) * | 2019-04-27 | 2020-10-30 | 北京初速度科技有限公司 | 一种基于图像帧的回环检测方法及装置、车载终端 |
CN110095752A (zh) * | 2019-05-07 | 2019-08-06 | 百度在线网络技术(北京)有限公司 | 定位方法、装置、设备和介质 |
CN110136175A (zh) * | 2019-05-21 | 2019-08-16 | 杭州电子科技大学 | 一种基于神经网络的室内典型场景匹配定位方法 |
JP2020197454A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社イクシス | 点検支援システム |
WO2020246085A1 (ja) * | 2019-06-03 | 2020-12-10 | 株式会社イクシス | 点検支援システム |
US11869177B2 (en) | 2019-06-03 | 2024-01-09 | Ixs Co., Ltd. | Inspection support system |
CN110533050B (zh) * | 2019-07-22 | 2023-11-24 | 平安科技(深圳)有限公司 | 图片地理信息获取方法、装置、计算机设备及存储介质 |
CN110533050A (zh) * | 2019-07-22 | 2019-12-03 | 平安科技(深圳)有限公司 | 图片地理信息获取方法、装置、计算机设备及存储介质 |
CN110455299A (zh) * | 2019-07-26 | 2019-11-15 | 中国第一汽车股份有限公司 | 一种路线生成方法、装置、设备及存储介质 |
CN110457518A (zh) * | 2019-07-29 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 一种室内定位方法、装置及存储介质 |
TWI753348B (zh) * | 2019-07-31 | 2022-01-21 | 大陸商深圳市商湯科技有限公司 | 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介 |
JP2022540072A (ja) * | 2019-07-31 | 2022-09-14 | 深▲セン▼市商▲湯▼科技有限公司 | 位置姿勢決定方法及び装置、電子機器並びに記憶媒体 |
CN110473259A (zh) * | 2019-07-31 | 2019-11-19 | 深圳市商汤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
CN110660103A (zh) * | 2019-09-17 | 2020-01-07 | 北京三快在线科技有限公司 | 一种无人车定位方法及装置 |
CN110954933A (zh) * | 2019-12-09 | 2020-04-03 | 王相龙 | 一种基于场景dna的移动平台定位装置及方法 |
CN110954933B (zh) * | 2019-12-09 | 2023-05-23 | 王相龙 | 一种基于场景dna的移动平台定位装置及方法 |
CN111199564B (zh) * | 2019-12-23 | 2024-01-05 | 中国科学院光电研究院 | 智能移动终端的室内定位方法、装置与电子设备 |
CN111047703A (zh) * | 2019-12-23 | 2020-04-21 | 杭州电力设备制造有限公司 | 一种用户高压配电设备识别与空间重建方法 |
CN111047703B (zh) * | 2019-12-23 | 2023-09-26 | 杭州电力设备制造有限公司 | 一种用户高压配电设备识别与空间重建方法 |
CN111199564A (zh) * | 2019-12-23 | 2020-05-26 | 中国科学院光电研究院 | 智能移动终端的室内定位方法、装置与电子设备 |
CN111652929A (zh) * | 2020-06-03 | 2020-09-11 | 全球能源互联网研究院有限公司 | 一种视觉特征的识别定位方法及系统 |
CN112734841A (zh) * | 2020-12-31 | 2021-04-30 | 华南理工大学 | 一种用轮式里程计-imu和单目相机实现定位的方法 |
CN112528972A (zh) * | 2021-02-08 | 2021-03-19 | 常州微亿智造科技有限公司 | 用于飞拍拍摄点的定位方法和装置 |
CN112528972B (zh) * | 2021-02-08 | 2021-06-04 | 常州微亿智造科技有限公司 | 用于飞拍拍摄点的定位方法和装置 |
CN112905798A (zh) * | 2021-03-26 | 2021-06-04 | 深圳市阿丹能量信息技术有限公司 | 一种基于文字标识的室内视觉定位方法 |
CN112905798B (zh) * | 2021-03-26 | 2023-03-10 | 深圳市阿丹能量信息技术有限公司 | 一种基于文字标识的室内视觉定位方法 |
CN113076914B (zh) * | 2021-04-16 | 2024-04-12 | 咪咕文化科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
CN113076914A (zh) * | 2021-04-16 | 2021-07-06 | 咪咕文化科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
CN112985419A (zh) * | 2021-05-12 | 2021-06-18 | 中航信移动科技有限公司 | 室内导航方法、装置、计算机设备及存储介质 |
CN112985419B (zh) * | 2021-05-12 | 2021-10-01 | 中航信移动科技有限公司 | 室内导航方法、装置、计算机设备及存储介质 |
CN113313763A (zh) * | 2021-05-26 | 2021-08-27 | 珠海深圳清华大学研究院创新中心 | 一种基于神经网络的单目相机位姿优化方法及装置 |
CN113724379B (zh) * | 2021-07-08 | 2022-06-17 | 中国科学院空天信息创新研究院 | 融合图像与激光点云的三维重建方法及装置 |
CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
CN113554754A (zh) * | 2021-07-30 | 2021-10-26 | 中国电子科技集团公司第五十四研究所 | 一种基于计算机视觉的室内定位方法 |
CN113984064A (zh) * | 2021-10-27 | 2022-01-28 | 山东亚历山大智能科技有限公司 | 一种用于室内移动机器人的定位方法及系统 |
CN113936064B (zh) * | 2021-12-17 | 2022-05-20 | 荣耀终端有限公司 | 定位方法和装置 |
CN113936064A (zh) * | 2021-12-17 | 2022-01-14 | 荣耀终端有限公司 | 定位方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109671119A (zh) | 一种基于slam的室内定位方法及装置 | |
CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN107025662B (zh) | 一种实现增强现实的方法、服务器、终端及系统 | |
CN107131883B (zh) | 基于视觉的全自动移动终端室内定位系统 | |
CN111046125A (zh) | 一种视觉定位方法、系统及计算机可读存储介质 | |
WO2020224305A1 (zh) | 用于设备定位的方法、装置及设备 | |
CN113674416B (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
CN107735797B (zh) | 用于确定第一坐标系与第二坐标系之间的运动的方法 | |
CN109579825B (zh) | 基于双目视觉和卷积神经网络的机器人定位系统及方法 | |
EP3274964B1 (en) | Automatic connection of images using visual features | |
CN111323024B (zh) | 定位方法及装置、设备、存储介质 | |
CN111623765B (zh) | 基于多模态数据的室内定位方法及系统 | |
CN110322507B (zh) | 一种基于深度重投影和空间一致性特征匹配的方法 | |
CN110570474B (zh) | 一种深度相机的位姿估计方法及系统 | |
CN114279433B (zh) | 地图数据自动化生产方法、相关装置及计算机程序产品 | |
CN111652929A (zh) | 一种视觉特征的识别定位方法及系统 | |
CN113989450A (zh) | 图像处理方法、装置、电子设备和介质 | |
WO2018207426A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Feng et al. | Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN112083403A (zh) | 用于虚拟场景的定位追踪误差校正方法及系统 | |
CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
CN113340312A (zh) | 一种ar室内实景导航方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190423 |
|
RJ01 | Rejection of invention patent application after publication |