CN107133325A - 一种基于街景地图的互联网照片地理空间定位方法 - Google Patents

一种基于街景地图的互联网照片地理空间定位方法 Download PDF

Info

Publication number
CN107133325A
CN107133325A CN201710310894.8A CN201710310894A CN107133325A CN 107133325 A CN107133325 A CN 107133325A CN 201710310894 A CN201710310894 A CN 201710310894A CN 107133325 A CN107133325 A CN 107133325A
Authority
CN
China
Prior art keywords
mrow
photo
streetscape
msub
checked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710310894.8A
Other languages
English (en)
Other versions
CN107133325B (zh
Inventor
程亮
袁一
李满春
楚森森
孙越凡
陈振杰
魏晓燕
李舒怡
谌颂
庄启智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Provincial Surveying And Mapping Information Archives (yunnan Basic Geographic Information Center)
Nanjing University
Original Assignee
Yunnan Provincial Surveying And Mapping Information Archives (yunnan Basic Geographic Information Center)
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Provincial Surveying And Mapping Information Archives (yunnan Basic Geographic Information Center), Nanjing University filed Critical Yunnan Provincial Surveying And Mapping Information Archives (yunnan Basic Geographic Information Center)
Priority to CN201710310894.8A priority Critical patent/CN107133325B/zh
Publication of CN107133325A publication Critical patent/CN107133325A/zh
Application granted granted Critical
Publication of CN107133325B publication Critical patent/CN107133325B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及基于街景地图的互联网照片地理空间定位方法,步骤如下:预处理街景照片库,提取和描述特征,建立特征索引;根据索引,查询待查询照片每个特征的最近邻特征,并进行投票,修剪和平滑处理投票结果,得到最相似照片;根据已知的两两街景点之间距离,以最相似照片为圆心,划定缓冲区;对缓冲区内街景照片与待查询照片计算相似度,筛选出高相似度的照片作为相似照片集;将相似照片集和待查询照片一起进行特征提取、匹配,利用SfM算法配准照片,生成稀疏点云及相机的相对位置关系;根据已知的街景点坐标,推算未知的待查询照片外方位元素,实现定位定姿。实践证明,本发明提出的图像定位方法,能有效地对互联网任意来源的电子照片精确定位。

Description

一种基于街景地图的互联网照片地理空间定位方法
技术领域
本发明涉及一种照片地理定位方法,特别是涉及一种基于街景照片的采取“图像检索-匹配识别-三维重建”三步走策略的精确照片地理定位方法。
背景技术
街道是城市的框架,是充满活力的城市空间(Parthasarathi P,2014)。生活离不开街道,市民的日常活动如上下班、购物、娱乐等任何目的的出行都要依靠城市街道(Jacobs,1993)。随着电子产品(如手机)的普及,市民将在街道上发生的生活细节用手机记录下来,然后上传到互联网,作为一种生活的记录。在国外,用户上传大量照片到Flickr、Panoramio等图片分享网站,在国内,用户则上传到微博、空间、贴吧等社交网站,虽然这些网站可以手动给照片添加位置信息,但是这个位置跟照片的实际位置可能相去甚远,如何给互联网上任意来源的电子照片恢复真实地理位置,一直是科学研究者面临的难题。
遥感技术及激光雷达技术发展迅速,都能大规模获取城市的地表信息,为城市研究提供数据源,被广泛用于城市街道景观研究。然而,遥感技术获取的地表景观影像为俯视的角度,其二维特性无法对街道层级的景观准备表达,更无法以人的视角展现地表景观。激光雷达技术虽然获取了地物的三维坐标,并以离散点的形式展现,克服了遥感影像二维的缺陷,但是光扫描仪器昂贵,获取数据成本高,只有特定的部门有能力扫描测量获得机载或者车载LiDAR数据。此外,激光雷达数据具有精确的三维坐标,数据存在涉密,一般的研究者很难获得大面积的LiDAR数据。这些缺点都限制了大范围城市街道研究。
大数据时代的到来给科研工作者带来了新的视角和新的思维(Ruppert E.,2013)。最近几年,街景地图逐步进入人们的生活,实现了“人视角”的地图浏览体验,与传统地图相比具有现实感强、易读等特点,为用户提供更加真实准确、更富画面细节的地图服务,是未来地图发展的趋势。传统的地图服务只能解决用户的文字需求,面对用户的图形化需求却无从下手,而且目前的街景图像只具有单纯的二维图像浏览功能,却没有利用大量照片背后潜在的三维地理信息,故本发明拟利用街景照片,对用户提供的任意来源电子照片,通过图像检索和三维重建等复杂算法,实现任意来源互联网照片的精确定位与定姿。
本发明所涉及的图像检索定位技术与图像查询、目标识别、地点识别技术相似,遇到的共性困难是如何根据待查询照片的特点找到与之对应的参考照片,流程是类似的,都是先提取待查询照片的特征,然后在参考照片库中根据已经建立好的特征索引,检索最相似的参考特征,最后挑选出最优解。对此前人进行了很多研究。Schindler等人提出一种贪心算法来改进由Nister等人首次提出的词汇树算法,提高了图像查询速度,并使用30,000张带有GPS标签的照片作为参考数据集,实现了图像地理定位;Knopp等人提出使用地理标签来筛选干扰的特征可以有效提升地点识别效果;Zamir等人发现优化投票机制可以有效提高单张照片地理定位精度,并提出CoL指数作为衡量多张照片地理定位效果的标准;接着,Zamir等人又利用GMCP的原理综合考虑局部和全局特征,实现了更加精确和鲁邦的照片检索方法。但是照片检索定位的结果强烈依赖参考照片的地理坐标,定位精度不可能超过参考照片集的GPS坐标精度。
基于近景摄影测量的三维重建算法可以在小区域范围内精细恢复拍摄点附近的场景,目前主流的方法是使用运动恢复结构(structure from motion,SfM) 算法从2D照片中获得3D信息。前人以互联网上的众包照片作为数据源进行不同规模的场景重建,Irachara等人提出使用最小合成照片集来描述3D点云可以提高后续的图像查询速度;Sattler等人借鉴了Li等人的直接匹配方法,建立了待查询照片与参考数据集之间2D到3D的对应关系;接着,Sattler等人又提出综合了2D到3D和3D到2D的有效匹配方法,而Li等人则在尺度上进行扩展,使用百万张照片生成点云,进行全球尺度的相机姿态恢复。
由于单纯的照片检索定位精度有限,而众包照片又没有地理标签,即使建立了基于众包照片与待查询照片的相对3D模型,也无法得到待查询照片的绝对地理位置。所以,针对以上难题,本文提出通过采取照片检索、匹配识别、三维重建的三步策略,对互联网上不明来源的电子照片实现精确附上地理标签。
发明内容
本发明要解决的技术问题是:将具有精确地理坐标、结构化组织、数据量丰富的街景照片作为参考数据集,提出采取图像检索-匹配识别-三维重建三步走策略,对互联网上不明来源的电子照片精确附上地理标签,实现图像定位与定姿。该定位方法利用基于近景摄影测量的三维重建算法的优势,对目标图像周围的三维地理信息和参与重建相机的外方位元素进行恢复,巧妙结合了检索- 匹配-重建三种算法,在定位质量和数量上明显优于前人方法;灵活可变的匹配参数也使该方法具有更大的适用性,可将研究扩大至更大尺度范围。
为了解决以上技术问题,本发明提供的一种基于街景地图的互联网照片地理空间定位方法,包括以下步骤:
步骤1、街景数据下载与组织——将试验区道路数字化为线特征,对线特征进行重采样为点特征,重采样的采样间隔与街景数据的拍摄间隔一致,获取每个采样点的经纬度坐标,下载采样点的全方位街景数据,并将全方位街景数据保存为可覆盖全视角的M张街景照片作为对应采样的街景照片;
步骤2、街景数据预处理构建索引——提取所有下载街景照片的特征向量并构建索引;
步骤3、寻找最相似照片的拍摄点——提取待查询照片的特征向量,为待查询照片的每个特征向量在特征向量索引中检索得到与之最近邻的特征向量,每个最近邻特征向量对应一张街景照片,根据下式确定参与投票的待查询照片特征向量:
式中,Vflag(ki)是特征向量ki的投票标识,Vflag(ki)为1时,特征向量ki参与投票,Vflag(ki)为0时,特征向量ki不参与投票,NN(ki,j)是待查询照片第ki个特征的第j近个近邻特征向量,Loc(NN(ki,j))是特征向量NN(ki,j)对应街景图片拍摄点的经纬度坐标,|*|是两个GPS坐标之间的空间距离,D是预设的特征向量之间空间距离阈值;对参与投票的待查询照片特征向量进行投票,以待查询照片特征向量的最近邻特征向量所属街景照片的采样点经纬度分别为x、y轴,投票数为z轴,然后对投票结果进行平滑处理,投票数最高的采样点为最相似照片拍摄点;
步骤4、获取缓冲区内的相似照片集——以最相似照片拍摄点为中心构建缓冲区,对缓冲区范围内每个采样点的M张街景照片与待查询照片进行相似度的计算,筛选出相似度高的街景照片作为相似照片集;
步骤5、相似照片集与待查询照片三维重建精定位——首先提取待查询照片和相似照片集中所有照片的特征向量,借助提取到的特征向量对照片进行匹配,建立所有照片之间的匹配关系;然后利用运动恢复结构算法配准照片,生成稀疏点云及相机的相对位置关系;最后根据已知街景采样点的坐标利用最小二乘法推算待查询照片未知的外方位元素,实现对待查询照片的定位定姿。
本发明还具有以下进一步的特征:
1、步骤2中,使用SIFT算子提取所有街景照片的特征向量,并选用K-d 树的数据结构对提取的特征向量构建索引。
2、步骤3中,利用以下公式对投票结果进行平滑处理,
式中,λ′和分别是经纬度坐标,λ和分别是平滑处理时所遍历的经纬度坐标,分别是该经纬度坐标下平滑处理前后的投票数,是该经纬度坐标对应最近邻特征向量的投票标识,是具有标准偏差σ’的二维高斯函数。
3、步骤4中,按照以下公式进行相似度计算,
式中,NN(ki,j)是待查询照片第ki个特征向量的第j近个近邻特征向量,flagi是第ki个特征向量是否满足匹配条件的标识,NKeypoints是待查询照片特征向量的总数量。
4、步骤4中,相似度大于0.7的照片加入相似照片集。
5、步骤5中,利用当前最优的特征提取算子MSER和最优的特征描述算子 SIFT对照片进行特征提取;使用近似最近邻算法进行像对之间的特征匹配;并采用RANSAC算法对初始的匹配对进行筛选。
6、利用运动恢复结构算法配准照片的方法如下:选择匹配质量最高效果最好的一个像对,通过使用计算机多目视觉原理获得初始匹配对的相机参数,并进行立体交会生成初始稀疏点云;然后以此初始稀疏点云为参考,不断加入新的照片,将各像对匹配的同名点连接起来,对初始匹配对的相机参数进行优化,使用直接线性变换算法对新相机的内方位元素和外方位元素进行估计,估算出视觉场景中相机和稀疏点云的相对位置,重复步骤,直至所有的照片完成定位定姿态。
本发明的有效效益如下:
(1)本发明挖掘了街景数据的潜在价值,增加了街景数据的可利用性。当前对投入巨大的街景数据的开发和利用仅仅提留在二维图像浏览阶段,本发明深入挖掘街景照片背后隐藏的三维地理信息,并借此来实现互联网照片的地理定位。
(2)本发明提出的“图像检索最相似照片”技术方法通过添加动态修剪和平滑处理操作,有效地检索出最相似照片,实现了粗定位,粗定位的精度是后续精定位的基础。
(3)本发明利用基于近景摄影测量的三维重建算法的优势,对目标图像周围的三维地理信息和参与重建相机的外方位元素进行恢复,巧妙结合了“图像检索-匹配识别-三维重建”三种算法,在定位质量和数量上明显优于前人方法。
(4)本发明设定了灵活可变的匹配参数,缓冲区范围可根据研究区情况因地制宜,使得该方法具有更大的适用性,可将研究扩大至更大尺度范围。
附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明实施例的总体流程图。
图2为本发明实施例的实验区范围示意图。
图3为本发明街景下载示意图。
图4为本发明实施例缓冲区内匹配识别示意图。
图5为本发明实施例的相似照片集筛选结果示意图。
图6a为本发明实施例单张照片特征提取示意图。
图6b为本发明实施例ANN算法特征匹配示意图。
图6c为本发明实施例RANSAC算法筛选匹配对结果示意图。
图7a为本发明实施例近景三维重建恢复外方位元素结果示意图。
图7b为本发明实施例精度验证示意图。
具体实施方式
下面根据附图详细阐述本发明,是本发明的技术路线和操作步骤更加清晰。
本实施例选择长江以东、秦淮河以西,南京主城区之一的建邺区作为实验区,如图2所示。2014年曾在这里隆重举办了青奥会。在“后青奥”时期,建邺区承担着建设现代化新南京的伟大使命,将发展成现代化国际性城市新中心,它是南京市发展中最具代表的缩影,其街道信息在很大程度上可以反映南京市的街道景观。下载的街景数据覆盖近180千米的城市道路,共计约15000个采样点,街景照片库数据量达12万张。
本实施例以该实验区为例进行说明一种基于街景地图的互联网照片地理空间定位方法,如图1流程图所示,具体包括以下步骤:
第一步、街景数据下载与组织——将试验区道路数字化为线特征,对线特征进行重采样为点特征,重采样的采样间隔与街景数据的拍摄间隔一致,获取每个采样点的经纬度坐标,下载采样点的全方位街景数据,并将全方位街景数据保存为可覆盖全视角的M张街景照片作为对应采样的街景照片。
本步骤中,首先对在实验区内主要街道进行数字化,通过ArcGIS 10.2软件将线特征的道路重采样成点特征,设定与采集街景一致的12米为采样间隔,获取每个采样点的经纬度坐标。
对于每一个已知经纬度的采样点,调用腾讯街景静态图提供的API接口,下载该采样点360°全方位的街景数据。并以30°仰角模拟人的视角,方位角分别偏移0°、45°、90°、135°、180°、225°、270°、315°顺时针下载 8张街景照片(既能保证相邻两张照片之间有一定的内容重叠度,又能满足较适宜的数据存储量),每张街景照片像素统一为960*640,如图3所示,然后将街景照片按照统一的命名规则编号存储。
步骤2、街景数据预处理构建索引——提取所有下载街景照片的特征向量并构建索引。
开源的VLFeat库实现了计算机视觉领域大部分主流算法,特别是在图像识别和特征提取、匹配方面,故本发明使用MATLAB软件调用VLFeat开源库,首先选用具有良好尺度不变性和旋转不变性的SIFT算法来提取和描述街景照片的特征,特征是指图像中具有明显辨识度的局部区域,如建筑物的角点、门窗的折点,SIFT描述子是128维的向量,这样每张街景照片都被提取为获得若干个 128维的SIFT特征向量。对于数以万计的街景照片,每张街景照片又被转换为若干个128维的SIFT特征向量,如此庞大数量的线性存储明显不可取,本发明选用K-d树的数据结构对大量的128维SIFT特征向量构建索引,快速将多维空间里的向量划分到不同子空间里,计算量较小,响应迅速。
第三步、寻找最相似照片的拍摄点。
如图4所示,本例中以图4中左上角提取待查询照片为例,提取该照片的特征向量,为待查询照片的每个特征向量在特征向量索引中检索得到与之最近邻的特征向量,每个最近邻(欧氏距离最小)特征向量对应一张街景照片,每一张街景照片又有与之对应的经纬度坐标。根据下式确定参与投票的待查询照片特征向量:
式中,Vflag(ki)是特征向量ki的投票标识,Vflag(ki)为1时,特征向量ki参与投票,Vflag(ki)为0时,特征向量ki不参与投票,NN(ki,j)是待查询照片第ki个特征的第j近个近邻特征向量,Loc(NN(ki,j))是特征向量NN(ki,j)对应街景图片拍摄点的经纬度坐标,|*|是两个GPS坐标之间的空间距离,D是预设的特征向量之间空间距离阈值。上述过程去除了与最近邻特征空间距离较远而且比值大于0.8 的特征向量。
接着,对参与投票的(保留下来的)待查询照片特征向量进行投票。由于最近邻特征有一一对应的经纬度坐标,所以用经纬度坐标来表达最近邻特征进行投票统计。以待查询照片特征向量的最近邻特征向量所属街景照片的采样点经纬度分别为x、y轴,投票数为z轴,进行投票统计。
然后,利用以下公式对投票结果进行平滑处理,
式中,λ′和分别是经纬度坐标,λ和分别是平滑处理时所遍历的经纬度坐标,分别是该经纬度坐标下平滑处理前后的投票数,是该经纬度坐标对应最近邻特征向量的投票标识,是具有标准偏差σ’的二维高斯函数。平滑处理过程衰减了孤立峰,放大了聚集峰,明显突出了投票高值点。投票数最高的采样点为最相似照片拍摄点。
步骤4、获取缓冲区内的相似照片集——以最相似照片拍摄点为中心构建缓冲区,对缓冲区范围内每个采样点的M张街景照片与待查询照片进行相似度的计算,筛选出相似度高的街景照片作为相似照片集。
本实例以图4左上角待查询照片为例,缓冲区内匹配识别示意图如图4所示。首先设定缓冲区范围Dis,本实例选择120米,然后计算街景照片库中两两街景照片的空间距离,接着根据空间距离表排序得到最相似照片120米范围内的具体采样点;对缓冲区范围内每个采样点的8张街景照片与待查询照片进行相似度的计算。
相似度计算公式如下:
式中,NN(ki,j)是待查询照片第ki个特征向量的第j近个近邻特征向量,flagi是第ki个特征向量是否满足匹配条件的标识,NKeypoints是待查询照片特征向量的总数量。满足使flagi=1的一对待查询照片特征与最近邻特征即是一对匹配对,最终,将两张照片之间匹配对的数量占待查询照片特征总数的比值,作为相似度的衡量标准,匹配对越多、比值越大、相似度越高。本实施例选用0.7作为相似度筛选的阈值,筛选了70张街景照片作为相似照片集。相似照片集筛选部分结果如图5所示。
步骤5、相似照片集与待查询照片三维重建精定位。
首先提取待查询照片和相似照片集中所有照片的特征向量,借助提取到的特征向量对照片进行匹配,建立所有照片之间的匹配关系。
本例中,把相似照片集和待查询照片视为同种数据源作为输入数据,综合利用当前最优的特征提取算子MSER和最优的特征描述算子SIFT,进行特征提取,特征提取示意图如图6a所示。获得了输入数据的特征之后,把任意两张照片作为一个像对,对所有的像对使用近似最近邻算法(approximate nearest neighbors,ANN)算法对它们的特征进行匹配,如图6b展示了一个像对内部特征的匹配,进一步使用随机采样一致(random sampleconsensus,RANSAC) 算法对匹配对进行更精细的筛选,筛选结果如图6c所示。通过像对之间的匹配对,建立所有照片之间的匹配关系。
然后利用运动恢复结构算法(参见文献ACM TRANSACTIONS ON GRAPHICS卷: 25,期:3,页:835-846。Photo Tourism:Exploring Photo Collections in 3D。作者:Snavely,Noah;Seitz,Steven M.;Szeliski,Richard)配准照片,生成稀疏点云及相机的相对位置关系。该运动恢复结构算法的大致思想如下:选择匹配质量最高效果最好的一个像对,通过使用计算机多目视觉原理获得初始匹配对的相机参数,并进行立体交会生成初始稀疏点云;然后以此初始稀疏点云为参考,不断加入新的照片,将各像对匹配的同名点连接起来,对初始匹配对的相机参数进行优化,使用直接线性变换算法对新相机的内方位元素和外方位元素进行估计,估算出视觉场景中相机和稀疏点云的相对位置,重复步骤,直至所有的照片完成定位定姿态。
最后根据已知街景采样点的坐标利用最小二乘法推算待查询照片未知的外方位元素,实现对待查询照片的定位定姿。近景三维重建恢复外方位元素结果示意图如图7a所示。
验证实施例:
下面为验证本发明方法可靠性,继续以该实例进行说明。
该实例中的待查询照片使用iPhone 6s拍摄,原本带有GPS信息,为了保证实验的正确进行,提前去除了该待查询照片的GPS信息,以免自带的GPS信息对实验造成干扰。现利用待查询照片的实际地理位置对实验的定位结果进行精度验证,精度验证的方法是,在同一坐标系统下,计算待查询照片实际GPS 坐标与实验得出的GPS坐标之间的欧氏距离,距离越小,定位精度越高,反之,定位精度越低。
精度验证示意图如图7b所示,图像检索最相似照片与待查询照片空间距离为88米,“图像检索-匹配识别-三维重建”三步走策略得到的定位结果与待查询照片空间距离为29米。可见,本发明大大提高了照片地理定位的精度,可以实现互联网照片的精确定位。
除上述实施例外,本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本发明要求的保护范围。

Claims (7)

1.一种基于街景地图的互联网照片地理空间定位方法,包括以下步骤:
步骤1、街景数据下载与组织——将试验区道路数字化为线特征,对线特征进行重采样为点特征,重采样的采样间隔与街景数据的拍摄间隔一致,获取每个采样点的经纬度坐标,下载采样点的全方位街景数据,并将全方位街景数据保存为可覆盖全视角的M张街景照片作为对应采样的街景照片;
步骤2、街景数据预处理构建索引——提取所有下载街景照片的特征向量并构建索引;
步骤3、寻找最相似照片的拍摄点——提取待查询照片的特征向量,为待查询照片的每个特征向量在特征向量索引中检索得到与之最近邻的特征向量,每个最近邻特征向量对应一张街景照片,根据下式确定参与投票的待查询照片特征向量:
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>V</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>a</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mfrac> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&lt;</mo> <mn>0.8</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> <mtd> <mrow> <mo>&amp;ForAll;</mo> <mi>j</mi> <mo>&amp;RightArrow;</mo> <mo>|</mo> <mi>L</mi> <mi>o</mi> <mi>c</mi> <mrow> <mo>(</mo> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mi>L</mi> <mi>o</mi> <mi>c</mi> <mrow> <mo>(</mo> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <mi>D</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
式中,Vflag(ki)是特征向量ki的投票标识,Vflag(ki)为1时,特征向量ki参与投票,Vflag(ki)为0时,特征向量ki不参与投票,NN(ki,j)是待查询照片第ki个特征的第j近个近邻特征向量,Loc(NN(ki,j))是特征向量NN(ki,j)对应街景图片拍摄点的经纬度坐标,|*|是两个GPS坐标之间的空间距离,D是预设的特征向量之间空间距离阈值;对参与投票的待查询照片特征向量进行投票,以待查询照片特征向量的最近邻特征向量所属街景照片的采样点经纬度分别为x、y轴,投票数为z轴,然后对投票结果进行平滑处理,投票数最高的采样点为最相似照片拍摄点;
步骤4、获取缓冲区内的相似照片集——以最相似照片拍摄点为中心构建缓冲区,对缓冲区范围内每个采样点的M张街景照片与待查询照片进行相似度的计算,筛选出相似度高的街景照片作为相似照片集;
步骤5、相似照片集与待查询照片三维重建精定位——首先提取待查询照片和相似照片集中所有照片的特征向量,借助提取到的特征向量对照片进行匹配,建立所有照片之间的匹配关系;然后利用运动恢复结构算法配准照片,生成稀疏点云及相机的相对位置关系;最后根据已知街景采样点的坐标利用最小二乘法推算待查询照片未知的外方位元素,实现对待查询照片的定位定姿。
2.根据权利要求1所述的基于街景地图的互联网照片地理空间定位方法,其特征在于:步骤2中,使用SIFT算子提取所有街景照片的特征向量,并选用K-d树的数据结构对提取的特征向量构建索引。
3.根据权利要求2所述的基于街景地图的互联网照片地理空间定位方法,其特征在于:步骤3中,利用以下公式对投票结果进行平滑处理,
<mrow> <msub> <mi>V</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>&amp;lambda;</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>&amp;psi;</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>&amp;lambda;</mi> <mo>=</mo> <mo>-</mo> <mi>&amp;infin;</mi> </mrow> <mrow> <mo>+</mo> <mi>&amp;infin;</mi> </mrow> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>&amp;phi;</mi> <mo>=</mo> <mo>-</mo> <mi>&amp;infin;</mi> </mrow> <mrow> <mo>+</mo> <mi>&amp;infin;</mi> </mrow> </munderover> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>&amp;lambda;</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>&amp;phi;</mi> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>&amp;sigma;</mi> <mrow> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> </msup> <mi>V</mi> <mrow> <mo>(</mo> <mrow> <msup> <mi>&amp;lambda;</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>,</mo> <msup> <mi>&amp;phi;</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mi>&amp;phi;</mi> </mrow> <mo>)</mo> </mrow> <msub> <mi>V</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>a</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>&amp;lambda;</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>,</mo> <msup> <mi>&amp;phi;</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mi>&amp;phi;</mi> </mrow> <mo>)</mo> </mrow> </mrow>
式中,λ′和分别是经纬度坐标,λ和分别是平滑处理时所遍历的经纬度坐标,分别是该经纬度坐标下平滑处理前后的投票数,是该经纬度坐标对应最近邻特征向量的投票标识,是具有标准偏差σ’的二维高斯函数。
4.根据权利要求1任一项所述的基于街景地图的互联网照片地理空间定位方法,其特征在于:步骤4中,按照以下公式进行相似度计算,
<mrow> <msub> <mi>flag</mi> <mi>i</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> <mfrac> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&lt;</mo> <mn>0.8</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> <mfrac> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&amp;GreaterEqual;</mo> <mn>0.8</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中,NN(ki,j)是待查询照片第ki个特征向量的第j近个近邻特征,flagi是第ki个特征向量是否满足匹配条件的标识,NKeypoints是待查询照片特征向量的总数量。
5.根据权利要求4所述的基于街景地图的互联网照片地理空间定位方法,其特征在于:步骤4中,相似度大于0.7的照片加入相似照片集。
6.根据权利要求5所述的基于街景地图的互联网照片地理空间定位方法,其特征在于:步骤5中,利用当前最优的特征提取算子MSER和最优的特征描述算子SIFT对照片进行特征提取;使用近似最近邻算法进行像对之间的特征匹配;并采用RANSAC算法对初始的匹配对进行筛选。
7.根据权利要求1和5所述的基于街景地图的互联网照片地理空间定位方法,其特征在于:利用运动恢复结构算法配准照片的方法如下:选择匹配质量最高效果最好的一个像对,通过使用计算机多目视觉原理获得初始匹配对的相机参数,并进行立体交会生成初始稀疏点云;然后以此初始稀疏点云为参考,不断加入新的照片,将各像对匹配的同名点连接起来,对初始匹配对的相机参数进行优化,使用直接线性变换算法对新相机的内方位元素和外方位元素进行估计,估算出视觉场景中相机和稀疏点云的相对位置,重复步骤,直至所有的照片完成定位定姿态。
CN201710310894.8A 2017-05-05 2017-05-05 一种基于街景地图的互联网照片地理空间定位方法 Expired - Fee Related CN107133325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710310894.8A CN107133325B (zh) 2017-05-05 2017-05-05 一种基于街景地图的互联网照片地理空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710310894.8A CN107133325B (zh) 2017-05-05 2017-05-05 一种基于街景地图的互联网照片地理空间定位方法

Publications (2)

Publication Number Publication Date
CN107133325A true CN107133325A (zh) 2017-09-05
CN107133325B CN107133325B (zh) 2020-01-07

Family

ID=59731377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710310894.8A Expired - Fee Related CN107133325B (zh) 2017-05-05 2017-05-05 一种基于街景地图的互联网照片地理空间定位方法

Country Status (1)

Country Link
CN (1) CN107133325B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833280A (zh) * 2017-11-09 2018-03-23 交通运输部天津水运工程科学研究所 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN108763481A (zh) * 2018-05-29 2018-11-06 清华大学深圳研究生院 一种基于大规模街景数据的图片地理定位方法和系统
CN109255042A (zh) * 2018-08-29 2019-01-22 清华大学深圳研究生院 基于大规模街景数据的实时图片匹配地理定位方法和系统
CN109522434A (zh) * 2018-10-24 2019-03-26 武汉大学 基于深度学习图像检索的社交图像地理定位方法及系统
CN109858361A (zh) * 2018-12-28 2019-06-07 南京航空航天大学 基于街景图像匹配重复结构建筑的定位方法
CN110134816A (zh) * 2019-05-20 2019-08-16 清华大学深圳研究生院 一种基于投票平滑的单张图片地理定位方法和系统
CN110148205A (zh) * 2018-02-11 2019-08-20 北京四维图新科技股份有限公司 一种基于众包影像的三维重建的方法和装置
CN110362642A (zh) * 2018-08-24 2019-10-22 北京建筑大学 面向街景影像的基态修正模型时空组织、检索方法及装置
CN110377776A (zh) * 2018-07-23 2019-10-25 北京京东尚科信息技术有限公司 生成点云数据的方法和装置
CN110472092A (zh) * 2019-07-15 2019-11-19 清华大学 一种街景图片的地理定位方法及系统
CN110503123A (zh) * 2018-05-17 2019-11-26 奥迪股份公司 图像定位方法、装置、计算机设备和存储介质
CN110704712A (zh) * 2019-09-20 2020-01-17 武汉大学 基于图像检索的场景图片拍摄位置范围识别方法及系统
CN111383335A (zh) * 2020-03-05 2020-07-07 南京大学 一种众筹照片与二维地图结合的建筑物三维建模方法
CN111897902A (zh) * 2020-07-14 2020-11-06 西安润森数码网络科技有限责任公司 基于lbs和gis的精准定位方法、装置及存储介质
US10930011B2 (en) 2019-07-02 2021-02-23 Billups, Inc. Digital image processing system for object location and facing
CN114201692A (zh) * 2022-02-18 2022-03-18 清华大学 作物类型样本的采集方法及装置
CN114353780A (zh) * 2021-12-31 2022-04-15 高德软件有限公司 姿态优化方法及设备
CN116309811A (zh) * 2022-10-19 2023-06-23 感知天下(北京)信息科技有限公司 互联网街景照片地理位置识别定位方法、存储介质及设备
CN116645404A (zh) * 2023-05-30 2023-08-25 江苏省基础地理信息中心 一种照片gps位置信息提取匹配方法以及提取匹配装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383046A (zh) * 2008-10-17 2009-03-11 北京大学 一种基于图像的三维重建方法
US20090303312A1 (en) * 2000-10-06 2009-12-10 Enrico Di Bernardo System and method for creating, storing and utilizing images of a geographic location
CN102142153A (zh) * 2010-01-28 2011-08-03 香港科技大学 基于图像的三维模型的重建模方法
CN103745498A (zh) * 2014-01-16 2014-04-23 中国科学院自动化研究所 一种基于图像的快速定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303312A1 (en) * 2000-10-06 2009-12-10 Enrico Di Bernardo System and method for creating, storing and utilizing images of a geographic location
CN101383046A (zh) * 2008-10-17 2009-03-11 北京大学 一种基于图像的三维重建方法
CN102142153A (zh) * 2010-01-28 2011-08-03 香港科技大学 基于图像的三维模型的重建模方法
CN103745498A (zh) * 2014-01-16 2014-04-23 中国科学院自动化研究所 一种基于图像的快速定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAUTAM SINGH等: "Semantically guided geo-location and modeling in urban environments", 《SPRINGER》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833280B (zh) * 2017-11-09 2021-05-11 交通运输部天津水运工程科学研究所 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN107833280A (zh) * 2017-11-09 2018-03-23 交通运输部天津水运工程科学研究所 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN110148205A (zh) * 2018-02-11 2019-08-20 北京四维图新科技股份有限公司 一种基于众包影像的三维重建的方法和装置
CN110148205B (zh) * 2018-02-11 2023-04-25 北京四维图新科技股份有限公司 一种基于众包影像的三维重建的方法和装置
CN110503123A (zh) * 2018-05-17 2019-11-26 奥迪股份公司 图像定位方法、装置、计算机设备和存储介质
CN108763481A (zh) * 2018-05-29 2018-11-06 清华大学深圳研究生院 一种基于大规模街景数据的图片地理定位方法和系统
CN110377776A (zh) * 2018-07-23 2019-10-25 北京京东尚科信息技术有限公司 生成点云数据的方法和装置
CN110362642A (zh) * 2018-08-24 2019-10-22 北京建筑大学 面向街景影像的基态修正模型时空组织、检索方法及装置
CN109255042B (zh) * 2018-08-29 2020-09-25 清华大学深圳研究生院 基于大规模街景数据的实时图片匹配地理定位方法和系统
CN109255042A (zh) * 2018-08-29 2019-01-22 清华大学深圳研究生院 基于大规模街景数据的实时图片匹配地理定位方法和系统
CN109522434A (zh) * 2018-10-24 2019-03-26 武汉大学 基于深度学习图像检索的社交图像地理定位方法及系统
CN109858361A (zh) * 2018-12-28 2019-06-07 南京航空航天大学 基于街景图像匹配重复结构建筑的定位方法
CN110134816A (zh) * 2019-05-20 2019-08-16 清华大学深圳研究生院 一种基于投票平滑的单张图片地理定位方法和系统
US10930011B2 (en) 2019-07-02 2021-02-23 Billups, Inc. Digital image processing system for object location and facing
CN110472092B (zh) * 2019-07-15 2021-11-16 清华大学 一种街景图片的地理定位方法及系统
CN110472092A (zh) * 2019-07-15 2019-11-19 清华大学 一种街景图片的地理定位方法及系统
CN110704712A (zh) * 2019-09-20 2020-01-17 武汉大学 基于图像检索的场景图片拍摄位置范围识别方法及系统
CN111383335A (zh) * 2020-03-05 2020-07-07 南京大学 一种众筹照片与二维地图结合的建筑物三维建模方法
CN111897902A (zh) * 2020-07-14 2020-11-06 西安润森数码网络科技有限责任公司 基于lbs和gis的精准定位方法、装置及存储介质
CN114353780A (zh) * 2021-12-31 2022-04-15 高德软件有限公司 姿态优化方法及设备
CN114353780B (zh) * 2021-12-31 2024-04-02 高德软件有限公司 姿态优化方法及设备
CN114201692A (zh) * 2022-02-18 2022-03-18 清华大学 作物类型样本的采集方法及装置
CN114201692B (zh) * 2022-02-18 2022-05-20 清华大学 作物类型样本的采集方法及装置
CN116309811A (zh) * 2022-10-19 2023-06-23 感知天下(北京)信息科技有限公司 互联网街景照片地理位置识别定位方法、存储介质及设备
CN116645404A (zh) * 2023-05-30 2023-08-25 江苏省基础地理信息中心 一种照片gps位置信息提取匹配方法以及提取匹配装置

Also Published As

Publication number Publication date
CN107133325B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN107133325A (zh) 一种基于街景地图的互联网照片地理空间定位方法
Luo et al. Geotagging in multimedia and computer vision—a survey
Lefevre et al. Toward seamless multiview scene analysis from satellite to street level
Huang et al. Toward automatic estimation of urban green volume using airborne LiDAR data and high resolution remote sensing images
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN107690840B (zh) 无人机视觉辅助导航方法及系统
CN109840553B (zh) 耕地作物类型的提取方法及系统、存储介质、电子设备
CN108564647A (zh) 一种建立虚拟三维地图的方法
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
CN103632626A (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN103593450B (zh) 建立街景空间数据库的系统和方法
Fedorov et al. A framework for outdoor mobile augmented reality and its application to mountain peak detection
CN109901207A (zh) 一种北斗卫星系统与图像特征结合的高精度室外定位方法
CN111383335B (zh) 一种众筹照片与二维地图结合的建筑物三维建模方法
CN114241464A (zh) 基于深度学习的跨视角影像实时匹配地理定位方法及系统
CN113340312A (zh) 一种ar室内实景导航方法及系统
CN109685893A (zh) 空间一体化建模方法及装置
Currier Mapping with strings attached: Kite aerial photography of Durai Island, Anambas Islands, Indonesia
Merchant et al. Integrating remote sensing and geographic information systems
CN113284239B (zh) 一种关于智慧城市的电子沙盘制作方法及装置
CN104539926B (zh) 距离确定方法和设备
CN115409910A (zh) 一种语义地图构建方法、视觉定位方法及相关设备
Frajberg et al. Heterogeneous information integration for mountain augmented reality mobile apps
CN103970539A (zh) 一种大学3d导航系统的设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200107

Termination date: 20200505

CF01 Termination of patent right due to non-payment of annual fee