CN110472092B - 一种街景图片的地理定位方法及系统 - Google Patents

一种街景图片的地理定位方法及系统 Download PDF

Info

Publication number
CN110472092B
CN110472092B CN201910635135.8A CN201910635135A CN110472092B CN 110472092 B CN110472092 B CN 110472092B CN 201910635135 A CN201910635135 A CN 201910635135A CN 110472092 B CN110472092 B CN 110472092B
Authority
CN
China
Prior art keywords
picture
pictures
feature
feature vector
reordering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910635135.8A
Other languages
English (en)
Other versions
CN110472092A (zh
Inventor
李春平
孙晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910635135.8A priority Critical patent/CN110472092B/zh
Publication of CN110472092A publication Critical patent/CN110472092A/zh
Application granted granted Critical
Publication of CN110472092B publication Critical patent/CN110472092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Abstract

本发明实施例提供一种街景图片的地理定位方法及系统。该方法包括获取一张待定位图片;使用排序特征模型和重排序特征模型对待定位图片进行图像特征向量提取,得到待定位图片的排序特征向量和重排序特征向量;使用排序特征向量和重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;使用排序列表与图片地理坐标进行匹配,得到待定位图片的预估地理坐标。本发明实施例通过对采集的定位区域图片集进行特征向量提取,与待定位图片匹配得到排序列表,最后计算得到待定位图片的预估地理坐标,实现了大区域街景图片的精准地理定位,有效克服了噪声干扰。

Description

一种街景图片的地理定位方法及系统
技术领域
本发明涉及定位技术领域,尤其涉及一种街景图片的地理定位方法及系统。
背景技术
自动驾驶作为新兴的智能产业,是未来保证交通安全和降低交通成本的重要手段。自动驾驶技术需要的定位场景为街道场景。
如何定位车辆的位置是自动驾驶中的核心模块,目前最常用的定位技术仍旧是全球定位系统(Global Positioning System,简称GPS),然而全球定位系统在某些场景,例如建筑物附近、地下通道、极端天气等信号极弱,从而导致定位误差极大甚至无法进行定位,因此有效的辅助车载GPS定位方法是非常有意义的。对于街道场景下的图片定位问题,有两个挑战需要克服:一个是定位区域非常大,因为车辆活动的区域相比于人步行要大的多;另一个是图片中噪音非常多,同一地点不同时间拍摄的照片可能会因为天气、季节、行人、车辆等因素而显得不同。目前已有的图片定位方法大致有两种:一种是即时定位与地图构建(Simultaneous Localization and Mapping,简称SLAM),该定位方法实时重建地图,但仅适用于小区域的定位场景;另一种是基于图像内容的检索方法,最常见的形式是使用SIFT、HOG等特征算子描述图片,然后通过这些特征点与数据库中位置已知的图片特征点进行匹配,确定图片的拍摄位置,但对行人、汽车等噪声因子非常敏感,对噪声不够鲁棒。
因此,需要提出一种适合具有定位大区域范围的街道场景下的图片定位方法,实现高精度地理定位。
发明内容
本发明实施例提供一种街景图片的地理定位方法及系统,用以解决现有技术中仅对小区域场景的定位较为精确,受噪声干扰影响比较大的问题。
第一方面,本发明实施例提供一种街景图片的地理定位方法,包括:
获取一张待定位图片;
使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;
使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;
使用所述排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标。
其中,所述图片特征向量库,通过以下步骤获得:
获取待定位区域的定位区域图片集;
使用排序特征模型和重排序特征模型分别对所述定位区域图片集进行图像特征向量提取,建立所述图片特征向量库。
其中,所述排序特征模型和所述重排序特征模型,通过以下步骤获得:
获取街道图片集;
使用所述街道图片集对多尺度卷积神经网络进行训练,得到所述排序特征模型和所述重排序特征模型。
其中,所述图片特征向量库包括排序特征向量库和重排序特征向量库。
其中,所述使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表,具体包括:
使用所述排序特征向量与所述排序特征向量库进行匹配,得到初始排序列表;
将所述排序特征向量与所述重排序特征向量进行连接,得到联合特征向量;
将所述初始排序列表中的前K项候选图片对应的排序特征向量与所述重排序特征向量进行连接,得到联合特征向量库;
将所述联合特征向量和所述联合特征向量库进行特征匹配,并对所述前K项候选图片进行重排序操作,得到所述排序列表。
其中,所述使用排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标,具体包括:
将所述排序列表中的前K项候选图片作为集合I;
在所述集合I中计算每张图片范围d内的图片数量,其中所述范围d为以每张图片拍摄位置为圆心,半径d米的区域;
在所述集合I中选取所述范围d内图片数量最多的图片为候选图片;
根据所述候选图片的地理坐标得到所述预估地理坐标。
其中,所述根据所述候选图片的地理坐标的得到所述预估地理坐标,具体包括:
若所述候选图片为一张,则使用所述候选图片拍摄的地理坐标作为所述预估地理坐标;
若所述候选图片为若干张,则选择在所述排序列表中排序靠前的所述候选图片,或者与所述待定位图片相似度最高的所述候选图片拍摄的地理坐标作为所述预估地理坐标。
第二方面,本发明实施例提供一种街景图片的地理定位系统,包括:
获取模块,用于获取一张待定位图片;
向量提取模块,用于使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;
向量匹配模块,使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;
坐标定位模块,使用排序列表与图片地理坐标进行匹配得到所述待定位图片的预估地理坐标。
第三方面,本发明实施例提供一种电子设备,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现任一项所述一种街景图片的地理定位方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现任一项所述一种街景图片的地理定位方法的步骤。
本发明实施例提供的一种街景图片的地理定位方法及系统,通过对采集的定位区域图片集进行特征向量提取,与待定位图片匹配得到排序列表,最后计算得到待定位图片的预估地理坐标,实现了大区域街景图片的精准地理定位,有效克服了噪声干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种街景图片的地理定位方法流程图;
图2为本发明实施例提供的特征模型的多尺度卷积神经网络结构示意图;
图3为本发明实施例提供的特征匹配得到排序列表的流程图;
图4为本发明实施例提供的地理坐标预估流程图;
图5为本发明实施例提供的地理坐标预估的算法示意图;
图6为本发明实施例提供的街景图片的地理定位整体流程图;
图7为本发明实施例提供的一种街景图片的地理定位系统结构图;
图8为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中的定位技术仅对小区域场景较为精确,而本发明涉及的自动驾驶需要定位的场景为街道场景,属于典型的大区域场景,另外受周围环境影响比较大,需要定位的图片中噪声非常多。本发明在一定程度上解决上述相关技术中的技术问题。
图1为本发明实施例提供的一种街景图片的地理定位方法流程图,如图1所示,包括:
S1,获取一张待定位图片;
S2,使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;
S3,使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;
S4,使用所述排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标。
具体地,首先提取出待定位的一张图片,将该待定位的图片输入至排序特征模型和重排序特征模型,输出待定位图片的排序特征向量和重排序特征向量,再将得到的排序特征向量和重排序特征向量分别与建立好的图片特征向量库进行特征匹配,得到排序列表,进一步将排序列表与图片的地理坐标进行匹配,得到待定位图片的预估地理坐标。
本发明实施例通过对采集的定位区域图片集进行特征向量提取,与待定位图片匹配得到排序列表,最后计算得到待定位图片的预估地理坐标,实现了大区域街景图片的精准地理定位,有效克服了噪声干扰。
在上述实施例基础上,所述图片特征向量库,通过以下步骤获得:
获取待定位区域的定位区域图片集;
使用排序特征模型和重排序特征模型分别对所述定位区域图片集进行图像特征向量提取,建立所述图片特征向量库。
其中,所述图片特征向量库包括排序特征向量库和重排序特征向量库。
具体地,先进行定位区域的图片采集,使用带有GPS的相机或者移动设备进行定位区域内的街景图片采集,对于同一地点,收集不同时间、不同季节、不同角度的拍摄图片,例如可以使用Android手机或苹果手机拍摄照片并同时记录地理位置,当然也可以从谷歌地图或者百度地图中直接下载带有地理位置的图片集,也可以从更大范围的街景图片集中直接选取对应的定位区域图片即可,该图片集地理密度越大,最后的定位效果也就越好。
接下来就是特征向量库的建立,使用训练好的多尺度排序特征模型对定位区域内的图片进行多尺度排序特征向量抽取,建立排序特征向量库P={Pi|0<i≤n},其中n是采集到的图片数量,P中的每一个元素Pi都是1536维的向量,使用训练好的多尺度重排序特征模型对定位区域内的图片进行多尺度重排序特征向量抽取,建立重排序特征向量库C={Ci|0<i≤n},其中n是采集到的图片数量,C中的每一个元素Ci都是1536维的向量。
再使用训练完成的排序特征模型和重排序特征模型对待定位图片q分别抽取排序特征向量VP和重排序特征向量VC,VP和VC都是1536维的向量。
在上述实施例基础上,所述排序特征模型和所述重排序特征模型,通过以下步骤获得:
获取街道图片集;
使用所述街道图片集对多尺度卷积神经网络进行训练,得到所述排序特征模型和所述重排序特征模型。
具体地,为了实现对多尺度的卷积神经网络进行训练,需要收集大量的训练图片作为输入,使用带有GPS的相机或者移动设备进行街道场景的图片采集,对于同一地点,收集不同时间、不同季节、不同角度的拍摄图片,例如可以使用Android手机或苹果手机同时记录地理位置,当然也可以从谷歌地图或者百度地图中直接下载带有地理位置的图片集合。该图片集合用于多尺度特征模型的训练使用,并不要求一定收集定位区域内的图片,即使是定位区域之外的图片对特征模型的训练也同样有价值。
接下来使用上述收集的街道训练图片集训练多尺度排序特征模型和多尺度重排序特征模型,此处从损失函数、卷积神经网络结构和训练方法三个方面对多尺度特征模型的训练进行详细描述。
(1)为了形式化描述损失函数,首先对于一个特征模型fθ,定义图片p和图片q在特征空间中的距离dθ(q,p)为:
Figure BDA0002129966640000071
对于一张锚点图片q,定义三元组
Figure BDA0002129966640000072
Figure BDA0002129966640000073
是距锚点图片q拍摄位置距离小于d米的图片集合,由于没有限制拍摄角度,该集合是可能的正例图片集合;
Figure BDA0002129966640000074
是距锚点图片q拍摄位置很远的图片集合,是确定的负例图片集合;d是一个超参数,用于控制临近搜索范围。对于一个三元组
Figure BDA0002129966640000075
定义损失函数Loss为:
Loss=Lbase+Laux
Figure BDA0002129966640000076
Figure BDA0002129966640000077
Figure BDA0002129966640000078
其中损失Lbase用于特征模型的性质塑造;margin是一个超参数,用于控制正负样例在特征空间的距离间隔;损失Laux用于特征模型防止过拟合;
Figure BDA00021299666400000711
是可能正例图片集合
Figure BDA00021299666400000712
中与锚点图片q最匹配的正例图片。
(2)多尺度特征模型所使用的卷积神经网络结构应为多尺度卷积神经网络结构,作为具体示例,图2为本发明实施例提供的特征模型的多尺度卷积神经网络结构示意图,如图2所示,卷积操作的卷积窗口为3×3,卷积步长为1×1,具体卷积操作可以表示如下:
Figure BDA0002129966640000079
其中xi和yj是输入的第i个切片和输出的第j个切片。kij是对其对应的卷积核,*表示卷积核,bj表示偏置;ReLu是一种激活函数,该函数在实际工作中表现比传统的sigmoid函数更加优秀;最大池化操作的池化窗口为2×2,池化步长为2×2,具体的最大池化操作可表示如下:
Figure BDA00021299666400000710
其中s为池化窗口尺寸;全局最大池化是一种特殊的最大池化操作,该池化操作的窗口大小与输入完全相同,对m×n×c的特征图谱进行全局最大池化操作,输出为1×1×c的特征图谱或者说是一个c维的向量;L2标准化是针对向量的一种标准化方法,其本质就是对向量中的每个元素除以该向量的第二范数,对于n维向量x,其L2标准化的结果x’为:
Figure BDA0002129966640000081
卷积操作上面的数字代表卷积核的个数;该网络的输入分别是原始图片、对折图片和四折图片,对折图片在分辨率上长宽为原始图片的一半,四折图片在分辨率上长宽为原始图片的四分之一;该网络对任意大小的图片输入都输出定长的1536维特征向量。
(3)在得到损失函数和多尺度卷积神经网络之后,可以通过使用不同的三元组负例图片选择策略分别训练关注建筑物显著特征的排序特征模型和关注建筑物细节的重排序特征模型。对特征模型进行统一的训练流程为:(a)使用预训练的VGG-16参数初始化多尺度卷积神经网络结构,其中网络分支之前的前10层使用VGG-16的前10层参数进行初始化,网络中的三个分支参数形式完全相同,均使用VGG-16的11到13层参数进行初始化;(b)使用损失函数Loss对三个网络分支分别进行训练,训练中使用合适的负例图片选择策略选择三元组中的负例图片集合,每次训练仅调试分支网络部分的参数,模型训练中关于学习速率、迭代次数、优化方法等可根据具体情况设定,此处不做特定的设置。排序特征模型训练中使用的三元组负例图片选择策略为:使用训练中的排序特征模型本身对应的特征向量选择与锚点图片相似度高的一些负例图片作为该三元组的负例图片集;重排序特征模型训练中使用的三元组负例图片选择策略为:使用已经训练完成的排序特征模型对应的排序特征向量组选择与锚点图片最相似的一些负例图片作为该三元组的负例图片集。
在上述实施例基础上,所述使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表,图3为本发明实施例提供的特征匹配得到排序列表的流程图,如图3所示,具体包括:
101,使用所述排序特征向量与所述排序特征向量库进行匹配,得到初始排序列表;
102,将所述排序特征向量与所述重排序特征向量进行连接,得到联合特征向量;
103,将所述初始排序列表中的前K项候选图片对应的排序特征向量与所述重排序特征向量进行连接,得到联合特征向量库;
104,将所述联合特征向量和所述联合特征向量库进行特征匹配,并对所述前K项候选图片进行重排序操作,得到所述排序列表。
具体地,使用待定位图片排序特征向量VP和重排序特征向量VC与特征向量库中向量进行特征匹配以得到排序列表,具体操作如下:
(1)使用待定位图片的多尺度排序特征向量VP与排序特征向量库P进行特征匹配,得到初始排序列表TLIST,排序列表是按照待定位图片特征向量与特征向量库的欧式距离进行排序的,列表前方的图片与定位图片相似度高,列表后方的图片与定位图片的相似度低;
(2)连接待定位图片的排序特征向量VP与待定位图片的重排序特征向量VC得到联合特征向量V,V为3072维的向量;
(3)将初始排序列表TLIST中的前K项候选图片对应的排序特征向量和重排序特征向量进行连接,得到联合特征向量库T={Ti|0<i≤K},T中的每一个元素Ti都是3072维的向量;
(4)使用待定位图片的联合向量V与联合特征向量库T进行特征匹配,对初始排序列表中的前K项候选图片进行重排序操作,得到最终的排序列表LIST。
在上述实施例基础上,所述使用排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标,图4为本发明实施例提供的地理坐标预估流程图,如图4所示,具体包括:
201,将所述排序列表中的前K项候选图片作为集合I;
202,在所述集合I中计算每张图片范围d内的图片数量,其中所述范围d为以每张图片拍摄位置为圆心,半径d米的区域;
203,在所述集合I中选取所述范围d内图片数量最多的图片为候选图片;
204,根据所述候选图片的地理坐标得到所述预估地理坐标。
其中,所述根据所述候选图片的地理坐标的得到所述预估地理坐标,具体包括:
若所述候选图片为一张,则使用所述候选图片拍摄的地理坐标作为所述预估地理坐标;
若所述候选图片为若干张,则选择在所述排序列表中排序靠前的所述候选图片,或者与所述待定位图片相似度最高的所述候选图片拍摄的地理坐标作为所述预估地理坐标。
具体地,图5为本发明实施例提供的地理坐标预估的算法示意图,如图5所示,具体包括:
(1)取出排序列表LIST中的前K张候选图片作为一个集合I;
(2)在集合I中计算每张图片d领域内的图片数量,也就是为集合I中的每一张图片计算以该图片拍摄位置为圆心,d米为半径的区域内有多少张集合I中的图片;
(3)在集合I中选取d领域内图片数量最多的图片为候选图片;
(4)如果只有一张候选图片,直接使用该候选图片拍摄的地理坐标作为待定位图片的预估地理坐标;
(5)如果有多张候选图片,选择在排序列表LIST中靠前的或者说与待定位图片相似度最高的候选图片拍摄地理坐标作为待定位图片的预估地理坐标。
综合上述实施例,图6为本发明实施例提供的街景图片的地理定位整体流程图,如图6所示,包括:
301,进行任意区域的不同时间、不同遮挡情况的训练图片采集;
302,进行多尺度特征模型的训练;
303,对定位区域内不同时间、不同遮挡情况下的图片采集;
304,建立特征向量库;
305,使用多尺度特征模型对待定位的特征向量进行抽取;
306,使用特征向量与特征向量库中向量进行特征匹配得到排序列表;
307,使用排序列表和对应的图片地理坐标计算待定位图片的预估地理坐标位置。
本发明实施例通过街道图片集进行多尺度卷积神经网络的训练得到多尺度特征模型,对进一步采集的定位区域图片集进行特征向量提取,与待定位图片匹配得到排序列表,最后计算得到待定位图片的预估地理坐标,实现了大区域街景下图片的精准地理定位,有效克服了噪声干扰。
图7为本发明实施例提供的一种街景图片的地理定位系统结构图,如图7所示,包括:获取模块71、向量提取模块72、向量匹配模块73和坐标定位模块74;其中:
获取模块71用于获取一张待定位图片;向量提取模块72用于使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;向量匹配模块73使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;坐标定位模块74使用排序列表与图片地理坐标进行匹配得到所述待定位图片的预估地理坐标。
具体地,首先由获取模块71提取出待定位的一张图片,将该待定位的图片输入至排序特征模型和重排序特征模型,向量提取模块72输出待定位图片的排序特征向量和重排序特征向量,再由向量匹配模块73将得到的排序特征向量和重排序特征向量分别与建立好的图片特征向量库进行特征匹配,得到排序列表,最后由坐标定位模块74进一步将排序列表与图片的地理坐标进行匹配,得到待定位图片的预估地理坐标。
本发明实施例提供的系统用于执行上述对应的方法,其具体的实施方式与方法的实施方式一致,涉及的算法流程与对应的方法算法流程相同,此处不再赘述。
本发明实施例通过对采集的定位区域图片集进行特征向量提取,与待定位图片匹配得到排序列表,最后计算得到待定位图片的预估地理坐标,实现了大区域街景下图片的精准地理定位,有效克服了噪声干扰。
图8示例了一种电子设备的实体结构示意图,如图8所示,该电子设备可以包括:处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行如下方法:获取一张待定位图片;使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;使用所述排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法,例如包括:获取一张待定位图片;使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;使用所述排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种街景图片的地理定位方法,其特征在于,包括:
获取一张待定位图片;
使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;
使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;
使用所述排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标。
2.根据权利要求1所述的一种街景图片的地理定位方法,其特征在于,所述图片特征向量库,通过以下步骤获得:
获取待定位区域的定位区域图片集;
使用排序特征模型和重排序特征模型分别对所述定位区域图片集进行图像特征向量提取,建立所述图片特征向量库。
3.根据权利要求1所述的一种街景图片的地理定位方法,其特征在于,所述排序特征模型和所述重排序特征模型,通过以下步骤获得:
获取街道图片集;
使用所述街道图片集对多尺度卷积神经网络进行训练,得到所述排序特征模型和所述重排序特征模型。
4.根据权利要求2所述的一种街景图片的地理定位方法,其特征在于,所述图片特征向量库包括排序特征向量库和重排序特征向量库。
5.根据权利要求4所述的一种街景图片的地理定位方法,其特征在于,所述使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表,具体包括:
使用所述排序特征向量与所述排序特征向量库进行匹配,得到初始排序列表;
将所述排序特征向量与所述重排序特征向量进行连接,得到联合特征向量;
将所述初始排序列表中的前K项候选图片对应的排序特征向量与所述重排序特征向量进行连接,得到联合特征向量库;
将所述联合特征向量和所述联合特征向量库进行特征匹配,并对所述前K项候选图片进行重排序操作,得到所述排序列表。
6.根据权利要求1至5中任一项权利要求所述的一种街景图片的地理定位方法,其特征在于,所述使用排序列表与图片地理坐标进行匹配,得到所述待定位图片的预估地理坐标,具体包括:
将所述排序列表中的前K项候选图片作为集合I;
在所述集合I中计算每张图片范围d内的图片数量,其中所述范围d为以每张图片拍摄位置为圆心,半径d米的区域;
在所述集合I中选取所述范围d内图片数量最多的图片为候选图片;
根据所述候选图片的地理坐标得到所述预估地理坐标。
7.根据权利要求6所述的一种街景图片的地理定位方法,其特征在于,所述根据所述候选图片的地理坐标的得到所述预估地理坐标,具体包括:
若所述候选图片为一张,则使用所述候选图片拍摄的地理坐标作为所述预估地理坐标;
若所述候选图片为若干张,则选择在所述排序列表中排序靠前的所述候选图片,或者与所述待定位图片相似度最高的所述候选图片拍摄的地理坐标作为所述预估地理坐标。
8.一种街景图片的地理定位系统,其特征在于,包括:
获取模块,用于获取一张待定位图片;
向量提取模块,用于使用排序特征模型和重排序特征模型对所述待定位图片进行图像特征向量提取,得到所述待定位图片的排序特征向量和重排序特征向量;
向量匹配模块,使用所述排序特征向量和所述重排序特征向量与图片特征向量库进行特征匹配,得到排序列表;
坐标定位模块,使用排序列表与图片地理坐标进行匹配得到所述待定位图片的预估地理坐标。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述一种街景图片的地理定位方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述一种街景图片的地理定位方法的步骤。
CN201910635135.8A 2019-07-15 2019-07-15 一种街景图片的地理定位方法及系统 Active CN110472092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910635135.8A CN110472092B (zh) 2019-07-15 2019-07-15 一种街景图片的地理定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910635135.8A CN110472092B (zh) 2019-07-15 2019-07-15 一种街景图片的地理定位方法及系统

Publications (2)

Publication Number Publication Date
CN110472092A CN110472092A (zh) 2019-11-19
CN110472092B true CN110472092B (zh) 2021-11-16

Family

ID=68508691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910635135.8A Active CN110472092B (zh) 2019-07-15 2019-07-15 一种街景图片的地理定位方法及系统

Country Status (1)

Country Link
CN (1) CN110472092B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522988B (zh) * 2020-05-29 2022-07-15 深圳市商汤科技有限公司 图像定位模型获取方法及相关装置
CN112100521B (zh) * 2020-09-11 2023-12-22 广州宸祺出行科技有限公司 一种街景识别定位并获取全景图片的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201701190A (zh) * 2015-06-17 2017-01-01 元智大學 街景影像之文字區域偵測系統及裝置
CN106407315A (zh) * 2016-08-30 2017-02-15 长安大学 一种基于街景图像数据库的车辆自主定位方法
CN107133325A (zh) * 2017-05-05 2017-09-05 南京大学 一种基于街景地图的互联网照片地理空间定位方法
CN108399413A (zh) * 2017-02-04 2018-08-14 清华大学 一种图片拍摄区域识别及地理定位方法及装置
CN109255042A (zh) * 2018-08-29 2019-01-22 清华大学深圳研究生院 基于大规模街景数据的实时图片匹配地理定位方法和系统
CN109284409A (zh) * 2018-08-29 2019-01-29 清华大学深圳研究生院 基于大规模街景数据的图片组地理定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201701190A (zh) * 2015-06-17 2017-01-01 元智大學 街景影像之文字區域偵測系統及裝置
CN106407315A (zh) * 2016-08-30 2017-02-15 长安大学 一种基于街景图像数据库的车辆自主定位方法
CN108399413A (zh) * 2017-02-04 2018-08-14 清华大学 一种图片拍摄区域识别及地理定位方法及装置
CN107133325A (zh) * 2017-05-05 2017-09-05 南京大学 一种基于街景地图的互联网照片地理空间定位方法
CN109255042A (zh) * 2018-08-29 2019-01-22 清华大学深圳研究生院 基于大规模街景数据的实时图片匹配地理定位方法和系统
CN109284409A (zh) * 2018-08-29 2019-01-29 清华大学深圳研究生院 基于大规模街景数据的图片组地理定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A Novel Convolutional Neural Network Based Localization System for Monocular Images";Chen Sun等;《International Journal of Software and Computational Intelligence》;20190630;第11卷(第2期);1-13 *
"DeepGeo:Photo Localization with Deep Neural Network";Sudharshan Suresh等;《arxiv.org》;20181007;1-7 *
"基于城市街景影像的视觉定位研究";谢润桦;《中国优秀硕士学位论文全文数据库 (基础科学辑)》;20190115(第2019年01期);A008-389 *

Also Published As

Publication number Publication date
CN110472092A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN109960742B (zh) 局部信息的搜索方法及装置
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN112750140B (zh) 基于信息挖掘的伪装目标图像分割方法
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
US9129191B2 (en) Semantic object selection
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Xia et al. Loop closure detection for visual SLAM using PCANet features
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN108229347B (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110796057A (zh) 行人重识别方法、装置及计算机设备
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN111666855B (zh) 基于无人机的动物三维参数提取方法、系统及电子设备
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN110472092B (zh) 一种街景图片的地理定位方法及系统
Bampis et al. High order visual words for structure-aware and viewpoint-invariant loop closure detection
KR102210404B1 (ko) 위치 정보 추출 장치 및 방법
CN110992404B (zh) 目标跟踪方法、装置和系统及存储介质
CN114743139A (zh) 视频场景检索方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant