CN110332938A - 一种基于手机的室内单目自定位方法 - Google Patents

一种基于手机的室内单目自定位方法 Download PDF

Info

Publication number
CN110332938A
CN110332938A CN201910535165.1A CN201910535165A CN110332938A CN 110332938 A CN110332938 A CN 110332938A CN 201910535165 A CN201910535165 A CN 201910535165A CN 110332938 A CN110332938 A CN 110332938A
Authority
CN
China
Prior art keywords
mobile phone
indoor
coordinate
picture
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910535165.1A
Other languages
English (en)
Other versions
CN110332938B (zh
Inventor
赵彦超
高燃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910535165.1A priority Critical patent/CN110332938B/zh
Publication of CN110332938A publication Critical patent/CN110332938A/zh
Application granted granted Critical
Publication of CN110332938B publication Critical patent/CN110332938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于手机的室内单目自定位方法，属于室内定位技术领域，包括采集室内平面地图、训练目标检测模型、目标检测和点对映射、手机位置计算4个步骤。本发明是一种简单的适用于小范围的室内基于手机单目离线式自定位方法，操作简单只需要一张图片、下载获取室内的二维平面图，直接在手机客户端即可实现定位，实时性好，定位能达到cm级精度，定位百分比误差在10％以内。

Description

一种基于手机的室内单目自定位方法
技术领域
本发明属于室内定位领域，特别涉及一种基于手机的室内单目自定位方法。
背景技术
随着移动设备的普及和移动设备性能的飞速提升，基于室内位置服务需求激增。室内定位受到越来越多人的关注，目前比较普遍的定位方法有基于WiFi、RFID射频信号、蓝牙等技术的定位方法，但是由于射频信号易受人移动及其他环境变化因素干扰，定位容易产生积累误差，而且设备部署和维护需要消耗过多人力和物力。随着计算机视觉的发展，越来越多的人研究用图像进行室内定位，由于图像定位不需要大量部署成本，定位设备廉价，基于图像的定位有着不可取代的优势。但是目前的基于视觉的室内定位依然存在着计算复杂大，实时性差等问题。
发明内容
发明目的：针对现有技术的问题，提供一种基于手机的室内单目自定位方法，操作简单，定位实时性好。
技术方案：为解决上述技术问题，本发明提供一种基于手机的室内单目自定位方法，包括如下步骤：
(1)制作室内平面地图：建立室内三维坐标系，选择合适物体作为特征物。测量其在室内三维坐标系下的三维坐标，制作室内平面图；
(2)目标检测和点对映射：手机拍摄用于定位的图片，经过目标检测神经网络快速检测出目标特征物的种类和在图像上的位置，根据目标物的种类和室内平面图实现目标特征物3D空间到2D像平面的映射；
(3)手机位置计算：根据相机的透视原理和三角形的相似性建立手机定位模型，计算定位图片中特征物的深度信息，在已知图片上目标特征物的深度信息和其在空间中的位置坐标即可求出相机的位置坐标。
进一步的，所述步骤(1)中制作室内平面图的具体步骤如下：
(2.1)自动选择易于和周围环境区分且稳定性较好并位于同一水平面或竖直平面的若干个物体作为特征物；
(2.2)建立室内三维坐标系，特征物的三维坐标用物体的中心坐标表示，在坐标系内测量特征物的三维坐标，制作室内的平面地图。其中平面地图包括特征物的种类和特征物在坐标系中的坐标值；
进一步的，所述步骤(2)中目标检测和点对映射的具体步骤如下：
(3.1)手机拍摄的用于定位的图片，经过用于目标检测的神经网络快速检测出目标物的种类T、在图像中的位置L和置信度值P，其中P是识别特征的种类和真实目标的合适度的概率；
(3.2)当定位图片经过目标检测神经网络检测到的目标特征物的数量少于三个，返回步骤(2.1)稍微转动手机重新获取定位图片；
(3.3)实现3D空间目标特征物到2D定位图片的映射是根据从定位图片上检测的目标物的种类，在室内平面图中查找目标特征物在空间中的三维坐标；
(3.4)手机摄像机传感器获取定位图片的同时并获取手机方向传感器的值。
进一步的，所述步骤(3)中手机位置计算的具体步骤如下：
(4.1)已知手机相机的焦距f等相机内参和图像和空间上目标特征物之间的距离，根据相机透视成像原理和三角形的相似原理即可求出特征物的深度信息d；
(4.2)将以空间中特征物的中心为圆心，深度信息值d为半径的圆相交点即为手机的位置L，在实际情况下由于误差的存在，汇聚不到一点，用3个交点的平均值作为手机的位置其中Pi是任意两个圆之间的交点；
(4.3)当图像上目标特征的数量大于三个时，选择三个目标特征物重复执行步骤(4.1)和(4.2)K次，求解相机的位置，此时得到K个相机的位置。其中其中n为检测到图像上目标特征的数量。求解K个候选位置的平均坐标其中Pi x和Pi y是候选位置的X-Y轴坐标值。求解K个位置的坐标值和L1距离Di，将Di>0.7m的候选位置剔除，剩余候选坐标的均值即为相机的位置L。
与现有技术相比，本发明的优点在于：
本发明用于基于手机的室内定位时只需要拍一张相片即可定位自己的位置，操作简单便于普通用户使用。同时定位实时性很好，实现定位不需要查询数据库图片，只需要下载获取室内的二维平面图，直接在手机客户端实现定位。
附图说明
图1为本发明的具体流程图；
图2为具体实施例中定位几何建模图一；
图3为具体实施例中定位几何建模图二；
图4为具体实施例中手机位置估计折线图；
图5为具体实施例中定位结果误差图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。本发明描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的其他实施例，都属于本发明所保护的范围。
如图1本发明是基于手机的室内单目自定位方法，包括以下步骤
1.制作室内二维平面地图：
(1)定位场景设在一个容纳72个人的教室，以教室的一角作为坐标原点，教室内的板砖将室内划分网格，便于测量、记录定位目标特征物的坐标和手机的实际位置坐标。
(2)将易于和周围环境区分、用于定位的目标特征物随机放在课桌上，保证这些目标特征物近似在同一水平面上。
(3)本实验以目标特征物在同一水平面为例，忽略竖直方向的坐标值，特征物的二维坐标用物体的中心坐标表示，在坐标系内测量特征物的二维坐标，每个不同的特征物做不同的标记，将特征物的标记和其二维坐标关联以键值对的方式存储作为室内平面地图。
2.训练目标检测模型
(1)每个特征物从不同的角度和距离采集20张图片，制作成图片数据库，将不同特征物的标记以文本的方式存储形成文本数据。
(2)用图片和文本数据集在计算机平台上训练yolo目标检测神经网络
(3)将训练好的yolo目标检测神经网络模型移植到Android手机上。Yolo目标检测模型获得的是目标特征物中心在图像上的坐标，用此代替特征物在图像上的位置。
3.目标检测和点对映射
(1)用手机相机获取用于定位的图片，同时记录手机在拍照过程中方向传感器的值，获取手机拍照时与水平面的倾角值。为了验证定位方法的精确度记录手机在室内坐标系下的二维坐标。
(2)获取定位图片后，经过yolo目标检测神经网络快速的检测出目标物的种类和在图像上的位置坐标，根据目标物的种类在室内平面图中查找目标特征物在空间中的二维坐标，实现空间3D目标特征物到2D像平面的映射。
(3)当定位图片上检测到的目标种类数量少于三个时，系统提示稍微转动重新获取定位图片，返回步骤3执行。
4.手机位置计算
(1)使用MATLAB相机标定工具标定手机相机，获得焦距和像素长度、宽度、单位像素长度等相机内参数。在实际应用中将不同型号的手机相机模型的内参上传到云端数据库，定位时只需要根据手机相机型号查询即可。
(2)根据相机的透视原理和三角形的相似原理在已知相机焦距和图片单位像素的长度等相机参数和目标特征物在空间中的坐标后可求得图像上特征物的深度信息值d。这里主要分析在一次定位过程，在附图2中A、B、C是三个目标特征物中心点，A2、C1、B2是目标特征物在像平面的投影，OD为光轴所在的方向，A1、B1是特征物在直线L上的投影。直线L1是特征物在像平面上的投影直线，L和L1平行，△ABC的边长a,b,c；A1C＝e；B1C＝d；在像平面的投影坐标A2、C1、B2，相机的焦距f，像平面的大小已知可求A2C1、C1B2的长度和∠AOC、∠AOD的值
由△A1OC∽A2OC1和△B1OC∽B2OC1可得：
A2C1/B2C1＝e/d＝λ (1)
由三角形的正弦公式得：
e/sin(π-α-γ)＝b/sin(γ) (2)
在等式(2)中Y由余角公式可得
在等式(3)中ψ由平角公式、θ由余角公式可求：
θ＝π/2±BOD (6)
由(2)(3)可得：
将等式(1)、(5)带入等式(7)中得
在等式(7)中令
m＝sin(γ)cos(β-θ)
n＝sin(γ)sin(β-θ)
p＝sin(θ)cos(γ)
q＝sin(γ)sin(θ)
等式(8)变形可得
由等式(9)中m、n、p、q、ω已知可求解ɑ的值。
根据上面的已知条件A1C的长度可求得：
由等式(10)可求OC
由等式(11)可求OA的长度：
同理可求OB的长度。
(3)当手机和目标特征物不在同一水平面时，将图像上目标特征物的深度值d投影到空间目标特征物所在的水平面上。投影值d1＝d*sin(θ),其中θ是用手机与水平面倾角值近似表示。
(4)已知3个目标特征物的深度信息和目标特征物的二维坐标，如附图3以目标特征物A、B、C为中心，其深度值OA、OB、OC为半径记为d1、d2、d3，得到三个圆，三个圆在二维水平面上相交于一点O，即为手机的二维坐标P。
在等式(14)(15)(16)中(xa，ya)、(xb，yb)、(xc，yc)是A、B、C的坐标值，(x，y)待求解的相机位置O的坐标。等式(14)(15)(16)，任意两个联立可求一个坐标。求解的3个坐标值理论是相等的，在实际计算中由于误差的存在，三个圆并不会相交于一点，用3个交点的平均值作为手机的位置其中Pi是任意两个圆的交点的坐标值。
(5)当图像上目标特征的数量大于三个时，选择三个目标特征物重复执行步骤(4.1)和(4.2)K次，求解相机的位置，此时得到K个相机的位置。其中其中n为检测到图像上目标特征的数量。求解K个候选位置的平均坐标其中Pi x和Pi y是候选位置的X-Y轴坐标值。求解K个位置的坐标值和L1距离Di，将Di>0.7m的候选位置剔除，剩余候选坐标的均值即为相机的位置L；
在实验的过程中我们在一个位置从不同的角度获取多张定位图片，分别求出每张图片的相机位置，然后求其平均值。如图4和图5所示，位置估计模型的精度能达到cm级，x和y轴定位误差在百分10以内，定位准确度相对比较高。

Claims (4)

1.一种基于手机的室内单目自定位方法，其特征在于：包括如下步骤：
(1)制作室内平面地图：建立室内三维坐标系，选择合适物体作为特征物；测量其在室内三维坐标系下的三维坐标，制作室内平面图；
(2)目标检测和点对映射：手机拍摄用于定位的图片，经过目标检测神经网络快速检测出目标特征物的种类和在图像上的位置，根据目标物的种类和室内平面图实现目标特征物3D空间到2D像平面的映射；
(3)手机位置计算：根据相机的透视原理和三角形的相似性建立手机定位模型，计算定位图片中特征物的深度信息，在已知图片上目标特征物的深度信息和其在空间中的位置坐标即可求出相机的位置坐标。
2.根据权利要求1所述的一种基于手机的室内单目自定位方法，其特征在于：所述步骤(1)中制作室内平面图的具体步骤如下：
(2.1)自动选择易于和周围环境区分且稳定性较好并位于同一水平面或竖直平面的若干个物体作为特征物；
(2.2)建立室内三维坐标系，特征物的三维坐标用物体的中心坐标表示，在坐标系内测量特征物的三维坐标，制作室内的平面地图。其中平面地图包括特征物的种类和其在坐标系中的坐标值。
3.根据权利要求1所述的一种基于手机的室内单目自定位方法，其特征在于：所述步骤(2)中目标检测和点对映射的具体步骤如下：
(3.1)手机拍摄的用于定位的图片，经过用于目标检测的神经网络快速检测出目标物的种类T、在图像中的位置L和置信度值P，其中P是识别特征的种类和真实目标的合适度的概率；
(3.2)当定位图片经过目标检测神经网络检测到的目标特征物的数量少于三个，返回步骤(2.1)稍微转动手机重新获取定位图片；
(3.3)实现3D空间目标特征物到2D定位图片的映射是根据从定位图片上检测的目标物的种类，在室内平面图中查找目标特征物在空间中的三维坐标；
(3.4)手机摄像机传感器获取定位图片的同时并获取手机方向传感器的值。
4.根据权利要求1所述的一种基于手机的室内单目自定位方法，其特征在于：所述步骤(3)中手机位置计算的具体步骤如下：
(4.1)已知手机相机的焦距f等相机内参和图像和空间上目标特征物之间的距离，根据相机透视成像原理和三角形的相似原理即可求出特征物的深度信息d；
(4.2)将以空间中特征物的中心为圆心，深度信息值d为半径的圆相交点即为手机的位置L，在实际情况下由于误差的存在，汇聚不到一点，用3个交点的平均值作为手机的位置其中Pi是任意两个圆之间的交点；
(4.3)当图像上目标特征的数量大于三个时，选择三个目标特征物重复执行步骤(4.1)和(4.2)K次，求解相机的位置，此时得到K个相机的位置；其中其中n为检测到图像上目标特征的数量；求解K个候选位置的平均坐标其中Pi x和Pi y是候选位置的X-Y轴坐标值；求解K个位置的坐标和L1点的距离Di，将Di>0.7m的候选位置剔除，剩余候选坐标的均值即为相机的位置L。
CN201910535165.1A 2019-06-20 2019-06-20 一种基于手机的室内单目自定位方法 Active CN110332938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910535165.1A CN110332938B (zh) 2019-06-20 2019-06-20 一种基于手机的室内单目自定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910535165.1A CN110332938B (zh) 2019-06-20 2019-06-20 一种基于手机的室内单目自定位方法

Publications (2)

Publication Number Publication Date
CN110332938A true CN110332938A (zh) 2019-10-15
CN110332938B CN110332938B (zh) 2023-03-10

Family

ID=68142785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910535165.1A Active CN110332938B (zh) 2019-06-20 2019-06-20 一种基于手机的室内单目自定位方法

Country Status (1)

Country Link
CN (1) CN110332938B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111579061A (zh) * 2020-05-20 2020-08-25 上海闻泰信息技术有限公司 光感测试校准方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761539A (zh) * 2014-01-20 2014-04-30 北京大学 一种基于环境特征物体的室内定位方法
CN106092086A (zh) * 2016-06-12 2016-11-09 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
CN108362286A (zh) * 2018-01-31 2018-08-03 百色学院 一种基于图标成像的室内定位系统及方法
CN108534781A (zh) * 2018-03-30 2018-09-14 中山大学 基于视频的室内定位方法
CN109668568A (zh) * 2019-01-25 2019-04-23 天津煋鸟科技有限公司 一种利用环视全景成像进行定位导航的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761539A (zh) * 2014-01-20 2014-04-30 北京大学 一种基于环境特征物体的室内定位方法
CN106092086A (zh) * 2016-06-12 2016-11-09 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
CN108362286A (zh) * 2018-01-31 2018-08-03 百色学院 一种基于图标成像的室内定位系统及方法
CN108534781A (zh) * 2018-03-30 2018-09-14 中山大学 基于视频的室内定位方法
CN109668568A (zh) * 2019-01-25 2019-04-23 天津煋鸟科技有限公司 一种利用环视全景成像进行定位导航的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姬旭: "基于单目视觉的移动机器人室内定位方法研究", 《中国优秀硕士学位论文全文数据库》 *
魏焱 等: "基于单目视觉的移动机器人室内定位", 《电子信息》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111579061A (zh) * 2020-05-20 2020-08-25 上海闻泰信息技术有限公司 光感测试校准方法、装置及电子设备

Also Published As

Publication number Publication date
CN110332938B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN105358937B (zh) 大地测绘仪器及其位置数据确定方法、存储介质
US9134127B2 (en) Determining tilt angle and tilt direction using image processing
Tomaštík et al. Tango in forests–An initial experience of the use of the new Google technology in connection with forest inventory tasks
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN102419178B (zh) 基于红外路标的移动机器人定位系统和方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
US9109889B2 (en) Determining tilt angle and tilt direction using image processing
CN106408601B (zh) 一种基于gps的双目融合定位方法及装置
CN112184890B (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
US20030103651A1 (en) Photogrammetric apparatus
CN106295512B (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN107103056B (zh) 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法
CN108810473A (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN110009682A (zh) 一种基于单目视觉的目标识别定位方法
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
Ruotsalainen et al. Heading change detection for indoor navigation with a smartphone camera
CN105423915A (zh) 用于地面激光扫描数据配准的平面靶标的精确定位方法
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN106524995A (zh) 基于可见光图像实时检测目标物体空间距离的定位方法
Tian et al. The extrinsic calibration of area-scan camera and 2D laser rangefinder (LRF) using checkerboard trihedron
CN109636850A (zh) 面向室内智能灯下的可见光定位方法
WO2018027451A1 (zh) 一种飞行定位的方法及装置
CN110332938A (zh) 一种基于手机的室内单目自定位方法
Cipolla et al. Image-based localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant