CN113361508A - 一种基于无人机-卫星的跨视角地理定位方法 - Google Patents

一种基于无人机-卫星的跨视角地理定位方法 Download PDF

Info

Publication number
CN113361508A
CN113361508A CN202110916258.6A CN202110916258A CN113361508A CN 113361508 A CN113361508 A CN 113361508A CN 202110916258 A CN202110916258 A CN 202110916258A CN 113361508 A CN113361508 A CN 113361508A
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
satellite
top view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110916258.6A
Other languages
English (en)
Other versions
CN113361508B (zh
Inventor
田晓阳
邵杰
蒋春林
商烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Artificial Intelligence Research Institute Yibin
Original Assignee
Sichuan Artificial Intelligence Research Institute Yibin
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Artificial Intelligence Research Institute Yibin filed Critical Sichuan Artificial Intelligence Research Institute Yibin
Priority to CN202110916258.6A priority Critical patent/CN113361508B/zh
Publication of CN113361508A publication Critical patent/CN113361508A/zh
Application granted granted Critical
Publication of CN113361508B publication Critical patent/CN113361508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于无人机‑卫星的跨视角地理定位方法，其包括获取地理定位的无人机图像斜视图和卫星图像，并建立训练集；对训练集中的无人机图像斜视图进行逆透视投影变换，并与卫星图像调整为相同大小，将变换调整的图像和卫星图像输入条件生成对抗网络，合成与卫星图像相似的无人机图像俯视图；将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络进行匹配，完成网络训练；实时获取地理定位的无人机图像斜视图和卫星图像，并送入训练后的局部模式网络进行图像匹配，完成无人机‑卫星的跨视角地理定位。本发明充分考虑了无人机‑卫星图像的几何空间对应关系以及目标建筑周围区域信息进行跨视角匹配，实现了精确的地理定位。

Description

一种基于无人机-卫星的跨视角地理定位方法
技术领域
本发明涉及地理定位领域，具体涉及一种基于无人机-卫星的跨视角地理定位方法。
背景技术
跨视图图像匹配是指从不同平台上检索最相关的图像，基于地理定位的跨视图图像匹配的目标是通过将给定的地面视图图像（正视图）与一组带有地理标签的卫星图像（俯视图）进行匹配来确定其位置。早期的跨视角地理定位研究主要基于地面图像和卫星图像。但是，两者的视点和成像方法有很大的不同：地面图像是正视图且垂直于地平面，而卫星图像是俯视图且平行于地平面。因此，跨视角的地理定位仍然是一个非常具有挑战性的任务。
无人机unmanned aerial vehicle（UAV）技术已广泛应用于诸多领域，它提供了一个接近45度的斜视图视角，以弥合视点之间的视觉域间隙。现有技术将无人机视图引入到基于无人机图像与卫星图像匹配的跨视图地理定位问题中。可以促进两种新的应用：（1）无人机定位：给定无人机图像，在候选卫星图像中搜索相同的位置图像；（2）无人机导航：给定卫星图像，在无人机图像中寻找最相关的经过位置。
然而，无人机视图（斜视图）与卫星视图（俯视图）的匹配算法仍处于起步阶段，现有的方法忽略了无人机-卫星视图的直接几何空间对应，只使用蛮力进行特征匹配，导致性能较差。如现有技术：一、将跨视图图像检索作为分类任务，引入第三个平台数据集，采用基线方法处理；二、提出了局部模式网络local pattern network（LPN）方法，利用特征级别划分策略实现对上下文信息的端到端学习；三、提出了一种位置分类匹配locationclassification matching（LCM）方法，解决了无人机和卫星图像输入样本不平衡的问题。基线方法来自于Zhedong Zheng, Yunchao Wei, and Yi Yang. 2020. University-1652:A Multi-view Multi-source Benchmark for Drone-based Geo-localization. In MM ’20: The 28th ACM International Conference on Multimedia, Virtual Event /Seattle, W A, USA,October 12-16, 2020. 1395–1403； LPN方法来自于Lirong Ding,Ji Zhou, Lingxuan Meng, and Zhiyong Long. 2021. A Practical Cross-View ImageMatching Method between UAV and Satellite for UAV-BasedGeo-Localization.Remote. Sens. 13, 1 (2021), 47； LCM方法来自于Tingyu Wang, Zhedong Zheng,Chenggang Yan, and Yi Yang. 2020. Each Part Matters: Local PatternsFacilitate Cross-view Geo-localization. CoRR abs/2008.11646 (2020)。
无人机-卫星地理定位任务中现有的三种方法都是直接提取视图不变特征，并没有对输入图像应用显式的视图转换方法，它们仅基于图像内容学习特征表示，没有考虑无人机与卫星图像的空间对应关系。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于无人机-卫星的跨视角地理定位方法解决了现有技术计算复杂且跨视角地理定位性能差的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于无人机-卫星的跨视角地理定位方法，其包括以下步骤：
S1、获取地理定位的无人机图像斜视图和卫星图像，并建立训练集；
S2、对训练集中的无人机图像斜视图进行逆透视投影变换，并将无人机图像与卫星图像调整为相同大小，得到逆透视投影变换后的无人机图像俯视图；
S3、将逆透视投影变换后的无人机图像俯视图和卫星图像输入条件生成对抗网络，合成与卫星图像相似的无人机图像俯视图；
S4、将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络进行匹配，完成网络训练；
S5、实时获取地理定位的无人机图像斜视图和卫星图像，并送入训练后的局部模式网络进行图像匹配，完成无人机-卫星的跨视角地理定位。
进一步地，步骤S3的具体方法包括以下子步骤：
S3-1、将逆透视投影变换后的无人机图像俯视图和卫星图像输入条件生成对抗网络；
S3-2、利用条件生成对抗网络中的生成器将逆透视投影变换后的无人机图像俯视图合成为新的无人机图像俯视图；
S3-3、利用条件生成对抗网络中的判别器，判断合成的新的无人机图像俯视图与卫星图像是否存在差异，若是则返回步骤S3-2；否则进入步骤S3-4；
S3-4、计算对应的损失函数并进行反向传播，得到与卫星图像相似的无人机图像俯视图。
进一步地，步骤S3-2中的生成器采用U-Net结构，且采用下采样编码的编码器结构和上采样解码的解码器结构，利用跳跃式连接方式连接生成器的上采样块和下采样块。
进一步地，步骤S3-3中的判别器采用PatchGAN分类器，并通过判断合成的新的无人机图像俯视图与卫星图像的patch大小来判断图像差异；经判别器判别之后将合成新的无人机图像俯视图的过程中产生的残差进行实例归一化，并将合成新的无人机图像俯视图的每个卷积层进行频谱归一化。
进一步地，步骤S3-4中计算对应的损失函数的具体方法为：
根据公式：
Figure 548470DEST_PATH_IMAGE001
得到损失函数L；其中
Figure 560289DEST_PATH_IMAGE002
为中间损失参数
Figure 118309DEST_PATH_IMAGE003
的权重参数，
Figure 991718DEST_PATH_IMAGE004
为损失参数
Figure 951584DEST_PATH_IMAGE005
的权重参数；
Figure 868724DEST_PATH_IMAGE006
为卫星图像，
Figure 179620DEST_PATH_IMAGE007
为逆透视投影变换后的无人机图像俯视图，
Figure 840409DEST_PATH_IMAGE008
为逆透视投影变换后的无人机图像俯视图和卫星图像的期望值，
Figure 654781DEST_PATH_IMAGE009
为逆透视投影变换后的无人机图像俯视图和卫星图像的方差函数，
Figure 8402DEST_PATH_IMAGE010
为逆透视投影变换后的无人机图像俯视图的期望函数，
Figure 541014DEST_PATH_IMAGE011
为与卫星图像相似的无人机图像俯视图，
Figure 739914DEST_PATH_IMAGE012
为逆透视投影变换后的无人机图像俯视图和与卫星图像相似的无人机图像俯视图的方差函数，
Figure 658061DEST_PATH_IMAGE013
为对数函数；
Figure 182583DEST_PATH_IMAGE014
为卫星图像与逆透视投影变换后的无人机图像俯视图的期望函数，
Figure 202492DEST_PATH_IMAGE015
为1范数，即卫星图像和与卫星图像相似的无人机图像俯视图的逐像素差。
进一步地，步骤S4的具体方法包括：
S4-1、将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络；
S4-2、利用局部模式网络分别提取与卫星图像相似的无人机图像俯视图和卫星图像的全局特征映射；
S4-3、采用方环划分策略分别将与卫星图像相似的无人机图像俯视图的全局特征映射和卫星图像的全局特征映射分割成四个特征部分；
S4-4、利用平均池化层分别将与卫星图像相似的无人机图像俯视图的全局特征映射的四个特征部分和卫星图像的四个特征部分，进行局部特征提取；
S4-5、将所有局部特征映射到一个共享的特征空间；
S4-6、在共享的特征空间中利用局部特征预测每幅图像的地理标记，并计算一个交叉熵损失；
S4-7、通过返回交叉熵损失的方式，进行网络训练。
进一步地，步骤S4-2的局部模式网络采用ResNet-50网络支架，其包含第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；与卫星图像相似的无人机图像俯视图和卫星图像共享权值。
进一步地，步骤S4-6的具体方法包括：
根据公式：
Figure 205083DEST_PATH_IMAGE016
得到交叉熵损失
Figure 994047DEST_PATH_IMAGE017
；其中i为方环划分策略下距离图像中心的第i个特征部分，
Figure 689471DEST_PATH_IMAGE018
时代表卫星图像的第h张图，
Figure 931096DEST_PATH_IMAGE019
时代表与卫星图像相似的无人机图像俯视图第h张图，
Figure 737378DEST_PATH_IMAGE020
为对数函数，
Figure 397161DEST_PATH_IMAGE021
为softmax函数归一化概率，
Figure 997906DEST_PATH_IMAGE022
为图像j的第i个特征部分，y为图像j对应的标签，
Figure 992407DEST_PATH_IMAGE023
为标签对应的对数得分，
Figure 336801DEST_PATH_IMAGE024
为自然对数，
Figure 834778DEST_PATH_IMAGE025
为标签c的对数得分，C为地理标签类别的数量。
本发明的有益效果为：
1、将视点转换方法即逆透视投影变换（PPT）应用于无人机-卫星的跨视角地理定位中，通过对输入图像进行显式坐标转化来缩小域间隙，局部模式网络采用简化后的ResNet-50网络支架，减轻了网络学习的负担，提高了网络学习的召回率和平均精度；
2、从真实的卫星图像学习创建生成的无人机图像，并以端到端的方式同时定位和查询相应视图，在单个架构中集成了一个跨视图合成模块，即生成对抗网络（CGAN），以及一个地理定位模块，即局部模式网络（LPN），两者结合增强了训练学习的效果，能够得到更准确的地理定位结果。
附图说明
图1为本发明的流程图；
图2为不同视图的图像；
图3为与卫星图像相似的无人机图像俯视图的合成示意图；
图4为方环划分策略示意图；
图5为本发明的整体框架图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于无人机-卫星的跨视角地理定位方法包括以下步骤：
S1、获取地理定位的无人机图像斜视图和卫星图像，并建立训练集；
S2、对训练集中的无人机图像斜视图进行逆透视投影变换，并将无人机图像与卫星图像调整为相同大小，得到逆透视投影变换后的无人机图像俯视图；
S3、将逆透视投影变换后的无人机图像俯视图和卫星图像输入条件生成对抗网络，合成与卫星图像相似的无人机图像俯视图；
S4、将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络进行匹配，完成网络训练；
S5、实时获取地理定位的无人机图像斜视图和卫星图像，并送入训练后的局部模式网络进行图像匹配，完成无人机-卫星的跨视角地理定位。
步骤S2中利用透视投影变换perspective projection transformation（PPT）产生效益的具体过程为：虽然深度神经网络在理论上可以学习任何函数变换，但学习过程会产生很大的负担，本发明明确地根据几何对应对齐两个域，来促进网络的收敛和减少学习的负担。无人机图像中构建轮廓像素大致相当于卫星视图图像中的透视投影。本发明不强迫学习隐式映射的神经网络，而是显式地转化无人机图像，将无人机透视图像斜视图的三维坐标转换为俯视图二维坐标，对无人机图像（斜视图）进行透视投影变换，使其与卫星图像近似对齐，这样建立了更好的空间对应关系，以便大致弥合两个域之间几何空间对应的差距。经过透视投影变换后的无人机图像（俯视图）与真实卫星图像相似，该变换生成的图像遵循垂直视图和斜视图的几何空间对应关系。
步骤S3中利用条件生成对抗网络conditional generative adversarial nets（CGAN）产生效益的具体过程为：步骤S2中的透视投影变换没有考虑场景内容，两个不同领域之间真实的对应关系要比简单的透视变换复杂得多，变换后的图像的外观失真仍然很明显，仅凭这一点还不足以完全消除两种视图之间的领域差距。为了解决这个问题，本发明从相应的无人机视图合成具有真实外观和内容保存的卫星图像，以解决这两个领域在地理定位方面存在的巨大视角差异。本发明采用最新的条件生成对抗网络CGAN方法，目标是在复制参考卫星图像内容的同时合成无人机图像，即使用条件生成对抗网作为图像合成模型，以经过透视变换的无人机图像（俯视图）为条件，以真实卫星图像为标签，合成新的无人机图像俯视图。
步骤S3的具体方法包括以下子步骤：
S3-1、将逆透视投影变换后的无人机图像俯视图和卫星图像输入条件生成对抗网络；
S3-2、利用条件生成对抗网络中的生成器将逆透视投影变换后的无人机图像俯视图合成为新的无人机图像俯视图；
S3-3、利用条件生成对抗网络中的判别器，判断合成的新的无人机图像俯视图与卫星图像是否存在差异，若是则返回步骤S3-2；否则进入步骤S3-4；
S3-4、计算对应的损失函数并进行反向传播，得到与卫星图像相似的无人机图像俯视图。
步骤S3-2中的生成器采用U-Net结构，且采用下采样编码的编码器结构和上采样解码的解码器结构，利用跳跃式连接方式连接生成器的上采样块和下采样块。
步骤S3-3中的判别器采用PatchGAN分类器，并通过判断合成的新的无人机图像俯视图与卫星图像的patch大小来判断图像差异；经判别器判别之后将合成新的无人机图像俯视图的过程中产生的残差进行实例归一化，并将合成新的无人机图像俯视图的每个卷积层进行频谱归一化。
步骤S3-4中计算对应的损失函数的具体方法为：
根据公式：
Figure 606425DEST_PATH_IMAGE001
得到损失函数L；其中
Figure 88222DEST_PATH_IMAGE002
为中间损失参数
Figure 236307DEST_PATH_IMAGE003
的权重参数，
Figure 854370DEST_PATH_IMAGE004
为损失参数
Figure 311765DEST_PATH_IMAGE005
的权重参数；
Figure 15279DEST_PATH_IMAGE006
为卫星图像，
Figure 701475DEST_PATH_IMAGE007
为逆透视投影变换后的无人机图像俯视图，
Figure 439624DEST_PATH_IMAGE008
为逆透视投影变换后的无人机图像俯视图和卫星图像的期望值，
Figure 553073DEST_PATH_IMAGE009
为逆透视投影变换后的无人机图像俯视图和卫星图像的方差函数，
Figure 743883DEST_PATH_IMAGE010
为逆透视投影变换后的无人机图像俯视图的期望函数，
Figure 233770DEST_PATH_IMAGE011
为与卫星图像相似的无人机图像俯视图，
Figure 826426DEST_PATH_IMAGE012
为逆透视投影变换后的无人机图像俯视图和与卫星图像相似的无人机图像俯视图的方差函数，
Figure 110777DEST_PATH_IMAGE013
为对数函数；
Figure 539615DEST_PATH_IMAGE014
为卫星图像与逆透视投影变换后的无人机图像俯视图的期望函数，
Figure 567614DEST_PATH_IMAGE015
为1范数，即卫星图像和与卫星图像相似的无人机图像俯视图的逐像素差。
步骤S4中利用局部模式网络local pattern network（LPN）产生效益的具体过程为：当平台获得地理目标时，围绕目标的上下文信息也作为副产品被捕获。现有技术往往忽略了这些信息，LPN认为语境信息可以为跨视图地理定位提供关键线索。例如，当两条直线道路等两个地理目标之间没有明显差异时，人类视觉系统很难识别出真正匹配的目标；而当有了上下文信息的帮助，比如邻居的房子时，任务将变容易。现有的方法通常集中挖掘图像中心地理目标的细粒度特征，而忽略了相邻区域的上下文信息。LPN可以利用邻近区域作为辅助信息，丰富地理定位的判别线索，即LPN明确地考虑到局部环境模式，并利用目标建筑周围的环境信息。整体来说，该模型部署了方环划分策略，并以端到端方式学习上下文信息。
步骤S4的具体方法包括：
S4-1、将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络；
S4-2、利用局部模式网络分别提取与卫星图像相似的无人机图像俯视图和卫星图像的全局特征映射；
S4-3、采用方环划分策略分别将与卫星图像相似的无人机图像俯视图的全局特征映射和卫星图像的全局特征映射分割成四个特征部分；
S4-4、利用平均池化层分别将与卫星图像相似的无人机图像俯视图的全局特征映射的四个特征部分和卫星图像的四个特征部分，进行局部特征提取；
S4-5、将所有局部特征映射到一个共享的特征空间；
S4-6、在共享的特征空间中利用局部特征预测每幅图像的地理标记，并计算一个交叉熵损失；
S4-7、通过返回交叉熵损失的方式，进行网络训练。
步骤S4-2的局部模式网络采用ResNet-50网络支架，其包含第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；与卫星图像相似的无人机图像俯视图和卫星图像共享权值。
步骤S4-6的具体方法包括：
根据公式：
Figure 14776DEST_PATH_IMAGE016
得到交叉熵损失
Figure 735607DEST_PATH_IMAGE017
；其中i为方环划分策略下距离图像中心的第i个特征部分，
Figure 901009DEST_PATH_IMAGE018
时代表卫星图像的第h张图，
Figure 732699DEST_PATH_IMAGE019
时代表与卫星图像相似的无人机图像俯视图第h张图，
Figure 34367DEST_PATH_IMAGE020
为对数函数，
Figure 926100DEST_PATH_IMAGE021
为softmax函数归一化概率，
Figure 828066DEST_PATH_IMAGE022
为图像j的第i个特征部分，y为图像j对应的标签，
Figure 197867DEST_PATH_IMAGE023
为标签对应的对数得分，
Figure 619621DEST_PATH_IMAGE024
为自然对数，
Figure 682255DEST_PATH_IMAGE025
为标签c的对数得分，C为地理标签类别的数量。
本发明将视点转换方法应用于输入图像，为无人机导航和定位提供了一种新的思路：跨视角图像匹配中也曾出现过视点转换方法，但是只适用于卫星视图到地面视图的极坐标变换，无法用于无人机-卫星地理定位任务，因此本发明提出了一种新的从无人机视图到卫星视图的透视投影变换。现有的方法要么只使用坐标变换（可以弥合不同视觉域之间的差异，但生成的图像与对应的真实图像相差甚远），要么只使用CGAN（可用于生成更逼真的图像，但缺乏生成图像的强大动力，无法保留输入图像的内容）。本发明对二者进行了结合，使用坐标变换后的图像作为GAN的条件，以产生更好的匹配性能。
如图2所示，无人机图像为无人机图像斜视图，无人机图像（PPT）为逆透视投影变换后的无人机图像俯视图；不难发现，目标建筑在每个卫星图像中的位置与其在无人机图像中的对应位置有很强的空间关系，本发明的方法着重于建立这两个域之间的空间对应关系。可以明显看出转换后的结果，即无人机图像(PPT)在视觉上比无人机图像更接近卫星视图。
逆透视投影变换结果即把University-1652数据集的无人机图像斜视图替换成逆透视投影变换后的无人机图像俯视图。其透视点的选取方式为：将无人机的飞行轨迹设置为螺旋曲线，其相机围绕目标飞行三轮，飞行高度从256米降到121.5米，并以每30帧的速度录制飞行视频，以每15帧从无人机视频中截取图像，生成54张无人机图像，得到的相同编号的无人机图像斜视图在不同目标建筑位置的角度和高度几乎相同，选择相同位置的四个点即可作为透视点。
在进行逆透视投影变换之前，对其中一个建筑物的无人机图像斜视图与相应的卫星图像进行SIFT关键点匹配预处理，以确认相应的四个透视点靠近卫星图像边缘的位置；对于其他建筑物的无人机图像斜视图，同一序列号选取与第一个建筑物相同的四个对应点。
如图3所示，无人机图像（PPT+CGAN）为生成的与卫星图像相似的无人机图像俯视图。
如图4所示，方环划分策略将对应图像处理成四个块。
如图5所示，首先通过逆透视投影变换（PPT）将无人机图像斜视图
Figure 556670DEST_PATH_IMAGE026
转换为无人机图像俯视图
Figure 995742DEST_PATH_IMAGE027
；然后将转换后的无人机图像俯视图
Figure 272002DEST_PATH_IMAGE027
作为输入，真实卫星图像
Figure 505538DEST_PATH_IMAGE028
作为标签，并利用条件生成对抗网络（CGAN）合成与卫星图像相似的无人机图像俯视图
Figure 601670DEST_PATH_IMAGE029
；最后使用局部模式网络（LPN）来部署方环划分策略。其中D为逆透视投影变换后的无人机图像俯视图和与卫星图像相似的无人机图像俯视图的方差函数，
Figure 64006DEST_PATH_IMAGE030
为中间损失参数，AvgPooling为平均池化层简写，3x3Conv为3x3的卷积层，ReLU为线性整流激活函数，1x1Conv为1x1的卷积层，IN为实例规范化，Unsample为上采样。
对于CGAN，生成器G 设计为U-Net架构，且采用下采样“编码”和上采样“解码”的编解码器结构，包括剩余下采样块（A.框）、剩余块（B.框）和剩余上采样块（C.框）；其中剩余下采样块和剩余块合称为图像编码器。具体来说，图像编码器工作时，三个剩余下采样块的每个块将图像空间大小减少4倍，且在分辨率降低的情况下，六个剩余块进一步细化了图像潜在特征。生成器的剩余上采样块即图像解码器，本发明使用三个剩余上采样块来获得与卫星图像相似的无人机图像俯视图
Figure 460352DEST_PATH_IMAGE029
，它与输入图像
Figure 864789DEST_PATH_IMAGE027
有相同的空间大小。
对于LPN，给定一幅输入图像，并提取其特征图，其中包含两个分支分别用于处理不同类型输入的无人机视角分支和卫星视角分支；选择ResNet-50作为每个分支的网络架构，两者共享权重；根据方环划分对每个分支的输出特征图进行切片；通过平均池化层将每个局部级特征映射转换为列特征描述符；将列特征描述符送到分类器模块以获得预测向量。在训练期间，利用分类器模块来预测每个部分的地理标签，通过最小化所有部分的交叉熵损失的总和来优化网络。测试时（D.框），在分类器模块中的分类层之前获得局部级图像表示，然后连接局部级特征作为输入图像的最终视觉描述符。
如表1和表2所示，本发明（PCL）为透视投影变换perspective projectiontransformation （PPT）+条件生成对抗网络conditional generative adversarial nets（CGAN）+局部模式网络local pattern network（LPN）的简称，无人机-卫星为使用无人机图像作为查询图像时，在候选卫星图像中搜索相同位置图像的结果，卫星-无人机为使用卫星图像作为查询图像时，在候选无人机图像中搜索相同位置图像的结果；由表格可知，本发明方法的网络学习的召回率和平均精度都得到了提高。
表1无人机图像查询结果
Figure 713796DEST_PATH_IMAGE031
表2卫星图像查询结果
Figure 229091DEST_PATH_IMAGE032
本发明将视点转换方法即逆透视投影变换（PPT）应用于无人机-卫星的跨视角地理定位中，通过对输入图像进行显式坐标转化来缩小域间隙，局部模式网络采用简化后的ResNet-50网络支架，减轻了网络学习的负担；从真实的卫星图像学习创建生成的无人机图像，并以端到端的方式同时定位和查询相应视图，在单个架构中集成了一个跨视图合成模块，即生成对抗网络（CGAN），以及一个地理定位模块，即局部模式网络（LPN），两者结合增强了训练学习的效果，能够得到更准确的地理定位结果。

Claims (8)

1.一种基于无人机-卫星的跨视角地理定位方法，其特征在于，包括以下步骤：
S1、获取地理定位的无人机图像斜视图和卫星图像，并建立训练集；
S2、对训练集中的无人机图像斜视图进行逆透视投影变换，并将无人机图像与卫星图像调整为相同大小，得到逆透视投影变换后的无人机图像俯视图；
S3、将逆透视投影变换后的无人机图像俯视图和卫星图像输入条件生成对抗网络，合成与卫星图像相似的无人机图像俯视图；
S4、将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络进行匹配，完成网络训练；
S5、实时获取地理定位的无人机图像斜视图和卫星图像，并送入训练后的局部模式网络进行图像匹配，完成无人机-卫星的跨视角地理定位。
2.根据权利要求1所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S3的具体方法包括以下子步骤：
S3-1、将逆透视投影变换后的无人机图像俯视图和卫星图像输入条件生成对抗网络；
S3-2、利用条件生成对抗网络中的生成器将逆透视投影变换后的无人机图像俯视图合成为新的无人机图像俯视图；
S3-3、利用条件生成对抗网络中的判别器，判断合成的新的无人机图像俯视图与卫星图像是否存在差异，若是则返回步骤S3-2；否则进入步骤S3-4；
S3-4、计算对应的损失函数并进行反向传播，得到与卫星图像相似的无人机图像俯视图。
3.根据权利要求2所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S3-2中的生成器采用U-Net结构，且采用下采样编码的编码器结构和上采样解码的解码器结构，利用跳跃式连接方式连接生成器的上采样块和下采样块。
4.根据权利要求2所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S3-3中的判别器采用PatchGAN分类器，并通过判断合成的新的无人机图像俯视图与卫星图像的patch大小来判断图像差异；经判别器判别之后将合成新的无人机图像俯视图的过程中产生的残差进行实例归一化，并将合成新的无人机图像俯视图的每个卷积层进行频谱归一化。
5.根据权利要求2所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S3-4中计算对应的损失函数的具体方法为：
根据公式：
Figure 933448DEST_PATH_IMAGE001
得到损失函数L；其中
Figure 372519DEST_PATH_IMAGE002
为中间损失参数
Figure 648780DEST_PATH_IMAGE003
的权重参数，
Figure 882315DEST_PATH_IMAGE004
为损失参数
Figure 244026DEST_PATH_IMAGE005
的权重参数；
Figure 985324DEST_PATH_IMAGE006
为卫星图像，
Figure 116091DEST_PATH_IMAGE007
为逆透视投影变换后的无人机图像俯视图，
Figure 520528DEST_PATH_IMAGE008
为逆透视投影变换后的无人机图像俯视图和卫星图像的期望值，
Figure 635114DEST_PATH_IMAGE009
为逆透视投影变换后的无人机图像俯视图和卫星图像的方差函数，
Figure 415988DEST_PATH_IMAGE010
为逆透视投影变换后的无人机图像俯视图的期望函数，
Figure 401262DEST_PATH_IMAGE011
为与卫星图像相似的无人机图像俯视图，
Figure 976600DEST_PATH_IMAGE012
为逆透视投影变换后的无人机图像俯视图和与卫星图像相似的无人机图像俯视图的方差函数，
Figure 578482DEST_PATH_IMAGE013
为对数函数；
Figure 897468DEST_PATH_IMAGE014
为卫星图像与逆透视投影变换后的无人机图像俯视图的期望函数，
Figure 2828DEST_PATH_IMAGE015
为1范数，即卫星图像和与卫星图像相似的无人机图像俯视图的逐像素差。
6.根据权利要求1所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S4的具体方法包括：
S4-1、将与卫星图像相似的无人机图像俯视图和卫星图像输入局部模式网络；
S4-2、利用局部模式网络分别提取与卫星图像相似的无人机图像俯视图和卫星图像的全局特征映射；
S4-3、采用方环划分策略分别将与卫星图像相似的无人机图像俯视图的全局特征映射和卫星图像的全局特征映射分割成四个特征部分；
S4-4、利用平均池化层分别将与卫星图像相似的无人机图像俯视图的全局特征映射的四个特征部分和卫星图像的四个特征部分，进行局部特征提取；
S4-5、将所有局部特征映射到一个共享的特征空间；
S4-6、在共享的特征空间中利用局部特征预测每幅图像的地理标记，并计算一个交叉熵损失；
S4-7、通过返回交叉熵损失的方式，进行网络训练。
7.根据权利要求6所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S4-2的局部模式网络采用ResNet-50网络支架，其包含第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；与卫星图像相似的无人机图像俯视图和卫星图像共享权值。
8.根据权利要求6所述的基于无人机-卫星的跨视角地理定位方法，其特征在于，步骤S4-6的具体方法包括：
根据公式：
Figure 14646DEST_PATH_IMAGE016
得到交叉熵损失
Figure 838245DEST_PATH_IMAGE017
；其中i为方环划分策略下距离图像中心的第i个特征部分，
Figure 196808DEST_PATH_IMAGE018
时代表卫星图像的第h张图，
Figure 156674DEST_PATH_IMAGE019
时代表与卫星图像相似的无人机图像俯视图第h张图，
Figure 604972DEST_PATH_IMAGE020
为对数函数，
Figure 650289DEST_PATH_IMAGE021
为softmax函数归一化概率，
Figure 311077DEST_PATH_IMAGE022
为图像j的第i个特征部分，y为图像j对应的标签，
Figure 391029DEST_PATH_IMAGE023
为标签对应的对数得分，
Figure 744650DEST_PATH_IMAGE024
为自然对数，
Figure 277262DEST_PATH_IMAGE025
为标签c的对数得分，C为地理标签类别的数量。
CN202110916258.6A 2021-08-11 2021-08-11 一种基于无人机-卫星的跨视角地理定位方法 Active CN113361508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110916258.6A CN113361508B (zh) 2021-08-11 2021-08-11 一种基于无人机-卫星的跨视角地理定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110916258.6A CN113361508B (zh) 2021-08-11 2021-08-11 一种基于无人机-卫星的跨视角地理定位方法

Publications (2)

Publication Number Publication Date
CN113361508A true CN113361508A (zh) 2021-09-07
CN113361508B CN113361508B (zh) 2021-10-22

Family

ID=77522890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110916258.6A Active CN113361508B (zh) 2021-08-11 2021-08-11 一种基于无人机-卫星的跨视角地理定位方法

Country Status (1)

Country Link
CN (1) CN113361508B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491135A (zh) * 2022-04-06 2022-05-13 成都考拉悠然科技有限公司 一种基于变分信息瓶颈的跨视角地理图像检索方法
CN114842220A (zh) * 2022-03-24 2022-08-02 西北工业大学 基于多源影像匹配的无人机视觉定位方法
CN115861591A (zh) * 2022-12-09 2023-03-28 南京航空航天大学 基于transformer关键纹理编码匹配的无人机定位方法
CN117078985A (zh) * 2023-10-17 2023-11-17 之江实验室 一种景象匹配方法、装置、存储介质及电子设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013085627A2 (en) * 2011-10-21 2013-06-13 Conocophillips Company Ice data collection, processing and visualization system
CN106845491A (zh) * 2017-01-18 2017-06-13 浙江大学 一种停车场场景下基于无人机的自动纠偏方法
CN107466385A (zh) * 2016-08-03 2017-12-12 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统
US20180009549A1 (en) * 2016-07-05 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Systems for transporting, deploying, and docking unmanned aerial vehicles mountable on a ground vehicle
US20180046176A1 (en) * 2015-02-23 2018-02-15 Young Kwon Kim Mobile communication terminal having unmanned air vehicle
CN109035142A (zh) * 2018-07-16 2018-12-18 西安交通大学 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109344778A (zh) * 2018-10-10 2019-02-15 成都信息工程大学 基于生成对抗网络的无人机影像道路信息提取方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN109765462A (zh) * 2019-03-05 2019-05-17 国家电网有限公司 输电线路的故障检测方法、装置和终端设备
US20190249992A1 (en) * 2017-06-06 2019-08-15 Clearpath Robotics Inc. Systems and methods for electronic mapping and localization within a facility
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
US10853931B2 (en) * 2016-01-20 2020-12-01 Ez3D Technologies, Inc. System and method for structural inspection and construction estimation using an unmanned aerial vehicle
CN112395985A (zh) * 2020-11-17 2021-02-23 南京理工大学 基于无人飞行器图像的地面无人车辆视觉道路检测方法
CN112580546A (zh) * 2020-12-24 2021-03-30 电子科技大学 一种用于无人机图像和卫星图像跨视角图像匹配方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013085627A2 (en) * 2011-10-21 2013-06-13 Conocophillips Company Ice data collection, processing and visualization system
US20180046176A1 (en) * 2015-02-23 2018-02-15 Young Kwon Kim Mobile communication terminal having unmanned air vehicle
US10853931B2 (en) * 2016-01-20 2020-12-01 Ez3D Technologies, Inc. System and method for structural inspection and construction estimation using an unmanned aerial vehicle
US20180009549A1 (en) * 2016-07-05 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Systems for transporting, deploying, and docking unmanned aerial vehicles mountable on a ground vehicle
CN107466385A (zh) * 2016-08-03 2017-12-12 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统
CN106845491A (zh) * 2017-01-18 2017-06-13 浙江大学 一种停车场场景下基于无人机的自动纠偏方法
US20200292319A1 (en) * 2017-06-06 2020-09-17 Clearpath Robotics Inc. Systems and methods for electronic mapping and localization within a facility
US20190249992A1 (en) * 2017-06-06 2019-08-15 Clearpath Robotics Inc. Systems and methods for electronic mapping and localization within a facility
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109035142A (zh) * 2018-07-16 2018-12-18 西安交通大学 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN109344778A (zh) * 2018-10-10 2019-02-15 成都信息工程大学 基于生成对抗网络的无人机影像道路信息提取方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN109765462A (zh) * 2019-03-05 2019-05-17 国家电网有限公司 输电线路的故障检测方法、装置和终端设备
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
CN112395985A (zh) * 2020-11-17 2021-02-23 南京理工大学 基于无人飞行器图像的地面无人车辆视觉道路检测方法
CN112580546A (zh) * 2020-12-24 2021-03-30 电子科技大学 一种用于无人机图像和卫星图像跨视角图像匹配方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AKSHAY SHETTY等: ""UAV Pose Estimation using Cross-view Geolocalization with Satellite Imagery"", 《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
LIRONG DING等: ""A Practical Cross-View Image Matching Method between UAV and Satellite for UAV-Based Geo-Localization"", 《REMOTE SENSING》 *
王铖等: ""基于 AI 芯片和机器视觉的协同控制实现"", 《航空兵器》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842220A (zh) * 2022-03-24 2022-08-02 西北工业大学 基于多源影像匹配的无人机视觉定位方法
CN114842220B (zh) * 2022-03-24 2024-02-27 西北工业大学 基于多源影像匹配的无人机视觉定位方法
CN114491135A (zh) * 2022-04-06 2022-05-13 成都考拉悠然科技有限公司 一种基于变分信息瓶颈的跨视角地理图像检索方法
CN115861591A (zh) * 2022-12-09 2023-03-28 南京航空航天大学 基于transformer关键纹理编码匹配的无人机定位方法
CN115861591B (zh) * 2022-12-09 2024-02-02 南京航空航天大学 基于transformer关键纹理编码匹配的无人机定位方法
CN117078985A (zh) * 2023-10-17 2023-11-17 之江实验室 一种景象匹配方法、装置、存储介质及电子设备
CN117078985B (zh) * 2023-10-17 2024-01-30 之江实验室 一种景象匹配方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113361508B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113361508B (zh) 一种基于无人机-卫星的跨视角地理定位方法
US11361470B2 (en) Semantically-aware image-based visual localization
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
US9424373B2 (en) Site modeling using image data fusion
CN110322511B (zh) 一种基于物体和平面特征的语义slam方法和系统
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
CN101939991A (zh) 用于处理图像数据的计算机方法和装置
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN110009675B (zh) 生成视差图的方法、装置、介质及设备
Ai et al. Deep learning for omnidirectional vision: A survey and new perspectives
CN113284173B (zh) 一种基于伪激光雷达的端到端的场景流、位姿联合学习方法
Bai et al. Curveformer: 3d lane detection by curve propagation with curve queries and attention
CN113326763A (zh) 一种基于边界框一致性的遥感目标检测方法
CN113838064A (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
US20200167650A1 (en) Hinted neural network
Qi et al. Underwater small target detection based on deformable convolutional pyramid
CN115049794A (zh) 通过深度补全生成稠密的全局点云图方法及系统
Tian et al. Smdt: Cross-view geo-localization with image alignment and transformer
Zhang et al. An automatic three-dimensional scene reconstruction system using crowdsourced Geo-tagged videos
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
Wang et al. Oriented object detection in optical remote sensing images using deep learning: A survey
Schroth et al. Exploiting prior knowledge in mobile visual location recognition
CN114757999A (zh) 一种基于地-空的交叉视图地理定位方法
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant