CN112880681A - 一种基于ssd的视觉室内定位系统技术方法 - Google Patents
一种基于ssd的视觉室内定位系统技术方法 Download PDFInfo
- Publication number
- CN112880681A CN112880681A CN202110036015.3A CN202110036015A CN112880681A CN 112880681 A CN112880681 A CN 112880681A CN 202110036015 A CN202110036015 A CN 202110036015A CN 112880681 A CN112880681 A CN 112880681A
- Authority
- CN
- China
- Prior art keywords
- landmark
- ssd
- roi
- images
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000010187 selection method Methods 0.000 claims abstract description 4
- 239000004576 sand Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000004807 localization Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于SSD的视觉室内定位系统技术方法，步骤为：1)收集站点(商场、博物馆)中的每个地标的图像，并使用地标ID手动注释图像中每个地标的边界框。使用这些图像与标记构建地标数据库；2)使用图像对这些图像进行大小调整，投影变换，亮度调节和图像模糊来扩充数据库，生成更多训练的图像，防止过度拟合；3)改善SSD网络使他更快更准确的识别地标ROI；4)将数据库里的数据输入网络进行训练；5)手机拍摄视频将视频信息传入服务器中；6)服务器收集到手机端拍摄的图像后使用基于ROI跟踪的有效关键帧选择方法对潜在的地标、边界和关键帧进行选择，采用改进的SSD来检测地标，得到地标概率；7)服务器处理相关数据估计位置，并将位置信息发送给手机端。该方法通过使用视觉识别进行室内定位。
Description
技术领域
本发明涉及视觉室内定位领域，具体是一种基于SSD的视觉室内定位系统技术方法
背景技术
随着经济的快速发展，我过商场越来越多且越来越大，同时节假日去博物馆参观的人也越来越多。在大型博物馆与购物中心中，人们往往需要询问工作人员或自己慢慢寻找地标来寻找自己想要去的地方或是想去参观的展台。现有的GPS在室外有着良好的定位性能，但在室内GPS并不灵敏。目前比较主流的室内定位技术有WIFI、蓝牙、RFID等。这些技术大多通过用户手持接收或者发信器接收会发送信号给射频标签，通过发送接收的时间使用三角定位算法来实现室内定位。但这些射频信号很容易受到信号反射与设备的影响。此外，他们必须部署和维护大量设备，例如Wi-Fi接入点或蓝牙信标，这大大增加了此类本地化系统的部署和维护成本。
近几年计算机视觉技术得到快速发展，基于视觉地标的室内定位最近在具有丰富功能的商业场所中受到了很多关注，因为地标在很长时间内相对稳定。现有技术经常要求用户在他/她的位置周围拍摄多个独立图像，并手动确认入围的地标。本方案提出使用计算机视觉技术来实现室内定位，只需要先采集图像数据构建数据库，用户就能通过手机操作来得知自己所在的位置。
发明内容
本发明提供一种基于SSD的视觉室内定位系统技术方法，该技术方案规避了射频信号很容易受到信号反射与设备的影响和必须部署和维护大量设备的问题。
实现本发明目的技术方案是：
一种基于SSD的视觉室内定位系统技术方法，包括数据库，web服务器、手机端。通过大量收集数据构建数据库，存放于服务器中。用户通过手机拍摄画面传入服务器，有服务筛选后进行定位，再将位置信息返还给用户。
所述的数据库，为手机到的地标的训练图像构成的数据库。
所述的手机端即智能手机。可在手机上查询医疗床的具体坐标。
一种基于SSD的视觉室内定位系统技术方法，包括如下步骤：
1)收集站点(商场、博物馆)中的每个地标的图像，并使用地标ID手动注释图像中每个地标的边界框。使用这些图像与标记构建地标数据库；
2)使用图像对这些图像进行大小调整，投影变换，亮度调节和图像模糊来扩充数据库，生成更多训练的图像，防止过度拟合；
3)改善SSD网络使他更快更准确的识别地标；
4)将数据库里的数据输入网络进行训练；
5)手机拍摄视频将视频信息传入服务器中；
6)服务器收集到手机端拍摄的图像后使用基于ROI跟踪的有效关键帧选择方法对潜在的地标、边界和关键帧进行选择，采用改进的SSD来检测地标，得到地标概率。
7)服务器处理相关数据估计位置，并将位置信息发送给手机端；
附图说明
图1一种基于SSD的视觉室内定位系统技术方法流程图；
图2一种基于SSD的视觉室内定位系统技术方法系统结构图；
图3定位角度方位关系图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。
实施例：SSD的视觉室内定位
1)收集站点(商场、博物馆)中的每个地标的图像，并使用地标ID手动注释图像中每个地标的边界框。使用这些图像与标记构建地标数据库；
2)使用图像对这些图像进行大小调整，投影变换，亮度调节和图像模糊来扩充数据库，生成更多训练的图像，防止过度拟合；其中亮度调节使用对比度拉伸，图像模糊使用高斯模糊。
使用设置需要调节到的最大最小像素值使用对比度拉伸进行亮度调节，对比度拉伸对比度拉拉伸公式如下：
其中Imax、Imin是原始图像的最小值和最大值，MAX、MIN是要拉伸到的最大值和最小值。
使用高斯函数求出权重再进行卷积计算来模糊图像，高斯方程如下：
其中r为模糊半径，N表示N维空间。
3)改善SSD网络使他更快更准确的识别地标。将SSD的基础特征提取网络VGG-16换位ResNet-101，并使用分离卷积的思想先逐通道卷积再逐点卷积，加快网络速度。
4)将数据库里的数据输入网络进行训练。
d)在训练阶段，一个产生室内场地中K个地标的概率和所有背景类，另一个产生边界框回归偏移量的编码。
e)使用检测跟踪策略来监视视频中的ROI，而不是逐帧检测它们。首先在起始帧(不一定是第一帧)中选择ROI。然后采用核相关过滤器(KCF)来有效跟踪以下帧(每秒约172帧)中每个检测到的ROI。当跟踪的ROI移出视图时，针对每个特定的ROI的跟踪都会停止。然后，我们将每个跟踪中的这些跟踪的ROI分组在一起。这些跟踪的ROI称为ROI序列。生成ROI序列后，将SSD作为另一个起始帧在下一帧中初始化ROI，然后采用过滤器(KCF)跟踪，如图3所示。这样，我们就可以提取ROI，并在ROI中选择那些帧。
f)当SSD检测到具有潜在地标的ROI时，它还会输出每个ROI属于特定地标的可能性。选取可能性最大的地标。
5)将手机端视频送入服务器。
6)服务器收集到手机端拍摄的图像后使用基于ROI跟踪的有效关键帧选择方法对潜在的地标、边界和关键帧进行选择，采用改进的SSD来检测地标，得到地标概率。
7)服务器处理相关数据估计位置，并将位置信息发送给手机端。其中定位公式为：
给定视频中检测到的两个关键帧，两个地标(z1，z2)的坐标以及用户面对它们时的指南针读数(θ1和θ2)连接地标qs和用户位置的直线表示为ls:Asx+Bsx+Cs＝0。指南针读数是用户方位与北
之间的相对角度(如图3)。我们计算As，Bs与Cs如下：
其中Rs是
传递到ls的方向向量的旋转矩阵：
x12确定的客户位置定义如下：
Claims (4)
1.一种基于SSD的视觉室内定位系统技术方法，其特征在于，包括如下步骤：
1)收集站点(商场、博物馆)中的每个地标的图像，并使用地标ID手动注释图像中每个地标的边界框。使用这些图像与标记构建地标数据库；
2)使用图像对这些图像进行大小调整，投影变换，亮度调节和图像模糊来扩充数据库，生成更多训练的图像，防止过度拟合；
3)改善SSD网络使他更快更准确的识别地标；
4)将数据库里的数据输入网络进行训练；
5)手机拍摄视频将视频信息传入服务器中；
6)服务器收集到手机端拍摄的图像后使用基于ROI跟踪的有效关键帧选择方法对潜在的地标、边界和关键帧进行选择，采用改进的SSD来检测地标，得到地标概率；
7)服务器处理相关数据估计位置，并将位置信息发送给手机端。
2.根据权利要求1所述的一种基于SSD的视觉室内定位系统技术方法，其特征在于，步骤2)中，使用图像对这些图像进行大小调整，投影变换，亮度调节和图像模糊来扩充数据库，生成更多训练的图像，防止过度拟合；其中亮度调节使用对比度拉伸，图像模糊使用高斯模糊。
使用设置需要调节到的最大最小像素值使用对比度拉伸进行亮度调节，对比度拉伸对比度拉拉伸公式如下：
其中Imax、Imin是原始图像的最小值和最大值，MAX、MIN是要拉伸到的最大值和最小值。
使用高斯函数求出权重再进行卷积计算来模糊图像，高斯方程如下：
其中r为模糊半径，N表示N维空间。
3.根据权利要求1所述的一种基于SSD的视觉室内定位系统技术方法，其特征在于，步骤4)中，数据库里的数据输入网络进行训练。其具体步骤如下：
a)在训练阶段，一个产生室内场地中K个地标的概率和所有背景类，另一个产生边界框回归偏移量的编码。
b)使用检测跟踪策略来监视视频中的ROI，而不是逐帧检测它们。首先在起始帧(不一定是第一帧)中选择ROI。然后采用核相关过滤器(KCF)来有效跟踪以下帧(每秒约172帧)中每个检测到的ROI。当跟踪的ROI移出视图时，针对每个特定的ROI的跟踪都会停止。然后，我们将每个跟踪中的这些跟踪的ROI分组在一起。这些跟踪的ROI称为ROI序列。生成ROI序列后，将SSD作为另一个起始帧在下一帧中初始化ROI，然后采用过滤器(KCF)跟踪，如图3所示。这样，我们就可以提取ROI，并在ROI中选择那些帧。
c)当SSD检测到具有潜在地标的ROI时，它还会输出每个ROI属于特定地标的可能性。选取可能性最大的地标。
4.根据权利要求1所述的一种基于SSD的视觉室内定位系统技术方法，其特征在于，步骤7)中，位置估计公式，其具体步骤如下：
给定视频中检测到的两个关键帧，两个地标(z1，z2)的坐标以及用户面对它们时的指南针读数(θ1和θ2)连接地标qs和用户位置的直线表示为ls:Asx+Bsx+Cs＝0。指南针读数是用户方位与北
之间的相对角度(如图3)。我们计算As，Bs与Cs如下：
其中Rs是
传递到ls的方向向量的旋转矩阵：
x12确定的客户位置定义如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110036015.3A CN112880681A (zh) | 2021-01-12 | 2021-01-12 | 一种基于ssd的视觉室内定位系统技术方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110036015.3A CN112880681A (zh) | 2021-01-12 | 2021-01-12 | 一种基于ssd的视觉室内定位系统技术方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112880681A true CN112880681A (zh) | 2021-06-01 |
Family
ID=76044234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110036015.3A Withdrawn CN112880681A (zh) | 2021-01-12 | 2021-01-12 | 一种基于ssd的视觉室内定位系统技术方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112880681A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107131883A (zh) * | 2017-04-26 | 2017-09-05 | 中山大学 | 基于视觉的全自动移动终端室内定位系统 |
| CN107590234A (zh) * | 2017-09-07 | 2018-01-16 | 哈尔滨工业大学 | 一种基于ransac的室内视觉定位数据库冗余信息减少的方法 |
| CN109540140A (zh) * | 2018-11-23 | 2019-03-29 | 于兴虎 | 一种融合ssd目标识别和里程计信息的移动机器人定位方法 |
| CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及系统 |
| CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
| CN110517283A (zh) * | 2019-07-18 | 2019-11-29 | 平安科技（深圳）有限公司 | 姿态跟踪方法、装置及计算机可读存储介质 |
| US20200065499A1 (en) * | 2018-08-21 | 2020-02-27 | International Business Machines Corporation | Location specific identity verification system |
| CN111126304A (zh) * | 2019-12-25 | 2020-05-08 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
| CN111582123A (zh) * | 2020-04-29 | 2020-08-25 | 华南理工大学 | 一种基于信标识别与视觉slam的agv定位方法 |
-
2021
- 2021-01-12 CN CN202110036015.3A patent/CN112880681A/zh not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107131883A (zh) * | 2017-04-26 | 2017-09-05 | 中山大学 | 基于视觉的全自动移动终端室内定位系统 |
| CN107590234A (zh) * | 2017-09-07 | 2018-01-16 | 哈尔滨工业大学 | 一种基于ransac的室内视觉定位数据库冗余信息减少的方法 |
| US20200065499A1 (en) * | 2018-08-21 | 2020-02-27 | International Business Machines Corporation | Location specific identity verification system |
| CN109540140A (zh) * | 2018-11-23 | 2019-03-29 | 于兴虎 | 一种融合ssd目标识别和里程计信息的移动机器人定位方法 |
| CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
| CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及系统 |
| CN110517283A (zh) * | 2019-07-18 | 2019-11-29 | 平安科技（深圳）有限公司 | 姿态跟踪方法、装置及计算机可读存储介质 |
| CN111126304A (zh) * | 2019-12-25 | 2020-05-08 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
| CN111582123A (zh) * | 2020-04-29 | 2020-08-25 | 华南理工大学 | 一种基于信标识别与视觉slam的agv定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| CUZZOCREA, ALFREDO 等: ""Advanced pattern recognition from complex environments: a classification-based approach"", 《SOFT COMPUTING - A FUSION OF FOUNDATIONS, METHODOLOGIES & APPLICATIONS》, vol. 22, no. 14, pages 4763 - 4778, XP036529200, DOI: 10.1007/s00500-017-2661-0 * |
| 董静薇 等: ""基于同态滤波及多尺度Retinex的低照度图像增强算法"", 《 科学技术与工程》, vol. 22, no. 1, pages 238 - 242 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11762887B2 (en) | Information processing device, map update method, program, and information processing system | |
| JP4396148B2 (ja) | 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 | |
| Kawaji et al. | Image-based indoor positioning system: fast image matching using omnidirectional panoramic images | |
| EP2426623A2 (en) | Apparatus and method for providing augmented reality using object list | |
| JP2016028331A (ja) | 動的テンプレート追跡 | |
| JP2011055250A (ja) | 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム | |
| US9092456B2 (en) | Method and system for reconstructing image having high resolution | |
| CN112544097A (zh) | 用于执行三维无线电模型构建的方法、装置和计算机程序 | |
| JP2010530998A (ja) | 画像ベース情報検索の方法およびシステム | |
| JPWO2006001129A1 (ja) | 情報処理装置および方法、プログラム、並びに情報処理システム | |
| CN104936283A (zh) | 室内定位方法、服务器和系统 | |
| TW201140427A (en) | Using a display to select a target object for communication | |
| CN107567632A (zh) | 具有可跟踪性测量结果的关键点检测 | |
| CN108507541A (zh) | 建筑物识别方法及系统，以及移动终端 | |
| JP5274192B2 (ja) | 位置推定システム、位置推定サーバおよび位置推定方法 | |
| Li et al. | SweepLoc: Automatic video-based indoor localization by camera sweeping | |
| Jiang et al. | VADS: Visual attention detection with a smartphone | |
| CN107132526A (zh) | 一种室内定位方法及定位系统 | |
| CN115578539A (zh) | 室内空间高精度视觉位置定位方法、终端及存储介质 | |
| US9851784B2 (en) | Movement line conversion and analysis system, method and program | |
| Jiao et al. | A hybrid fusion of wireless signals and RGB image for indoor positioning | |
| CN112880681A (zh) | 一种基于ssd的视觉室内定位系统技术方法 | |
| Sun et al. | Device-free human localization using panoramic camera and indoor map | |
| Kim et al. | InFo: indoor localization using fusion of visual information from static and dynamic cameras | |
| CN111372211A (zh) | 一种基于集成学习的智能手机WiFi室内定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210601 |