CN113239952B - 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法 - Google Patents

Abstract

本发明公开一种无人机航空图像的地理定位方法，为了解决航空图像与矢量地图外观、模态等差异，用卷积神经网络提取特征后，设计了空间尺度注意力模块来编码场景的空间布局信息，使得获得的特征更具辨别性。首先，特征选择模块选择重要且有意义的特征，然后使用空间尺度重要性生成模块来关注不同尺度的特征，进一步增强重要物体的特征，抑制场景中干扰物体的特征，同时物体特征的有无也在一定程度上表示场景的空间布局信息，从而也将场景的布局信息嵌入到特征向量中，获得更加鲁棒的特征表示，提高了图像匹配的准确度，进而提高了定位的准确率。本发明在仅检索一幅图像的情况下获得的定位准确率是所参考文献的地理定位方法的2～7倍。

Description

一种基于空间尺度注意力机制和矢量地图的航空图像地理定 位方法

技术领域

本发明涉及无人机航空图像的地理定位方法，具体是一种基于空间尺度注意力机制和矢量地图的地理定位方法。

背景技术

目前，常用的定位系统如GPS、北斗、伽利略定位系统，都高度依赖卫星的导航。典型的商用定位系统在空旷的地区定位的精度为5米，而在高楼周围的精度则大大降低。虽然全球导航卫星系统(GNSS)的实时运动差分测距技术，利用基站和巡视器对载波信号和传输误差修正，可以提供1cm+1ppm的精度，然而，GNSS信号在设计上很弱，很容易面临干扰和欺骗的问题。许多情况下，价格低廉的干扰器已被证明会扰乱民用定位服务，而用错误的位置欺骗接收器是另一种威胁。因此迫切需要通过开发替代或者辅助方式进行精准定位，以减轻GPS信号在定位场景中的不可靠性。基于图像的地理定位是一种很好的替代方案，已经在计算机视觉社区引起广泛关注，逐步成为重要的视觉任务。基于深度学习的图像的地理定位是在地理标记图像的参考数据集中找到一个或一组与查询图像相似的图像来预测该图像的位置(如经纬度)的任务。随着遥感及无人机技术的不断发展，近年来跨平台地理定位技术逐渐成为研究热点。它有重要的计算机视觉应用，像机器人导航、自动驾驶以及AR\VR中的寻路系统。

文献“CVM-Net:Cross-View Matching Network for Image-Based Ground-to-Aerial Geo-Localization”提出了一种基于NetVLAD的跨视角图像匹配方法，该算法首先采用VGG16深度卷积神经网络提取图像对的局部特征，经过全连接层得到相同维度的局部特征向量，然后将局部特征向量送入NetVLAD层，该层将局部特征向量的残差聚集到各自的簇中心点，进而生成全局描述符，以此来克服由于视点变换引起的外观差异，进而提取图像对的视角不变的全局特征描述符。该方法有效地过克服了由于视点变化引起的图像外观的巨大差异，提取到了更具有辨别的图像特征，进而提高了图像匹配的准确率。该方法将地理定位任务当做纯粹的图像检索问题，在解决基于矢量地图的航空图像跨模态地理定位问题时，忽略了图像间的模态差异和场景的空间布局等重要信息，导致定位结果不准确。

发明内容

为克服现有的方法没考虑图像对的模态差异，忽略场景的空间布局等重要信息，导致定位结果不准确的问题，针对航空图像与矢量地图不同的模态、外观，以及物体存在多种尺度的问题，本发明提出一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法。首先采集航空图像和矢量地图数据集并对矢量地图进行GPS位置信息标注，将数据集划分为训练数据集、验证数据集和测试数据集。然后构建图像匹配网络，整个网络是一个包含相同结构的权重不共享的双分支结构，每个分支网络包括特征提取层和空间尺度注意力模块。特征提取层能够提取高维抽象的图像特征。为了克服模态间的差异，将场景的空间布局信息编码到特征向量；同时为了关注多尺度物体，提取到更加具有辨别性的特征向量，加入了空间尺度注意力模块。用欧氏距离计算空间尺度注意力模块输出的特征间的相似性进行匹配。其次，将训练集中航空图像与矢量地图数据分批次放入网络中，并采用软间隔三元组损失函数和Adam优化器对构建的神经网络进行训练。接着，输入待测试的航空图像，使用训练好的模型通过欧氏距离计算相似性得分进行测试。最后，根据匹配到的最相似的K幅矢量地图，查找对应的GPS位置坐标，得到航空图像的准确位置。利用本发明的方法，可以关注不同尺度的物体，并且基于注意力机制捕捉上下文信息，获得重要且有意义的特征，进而得到场景的空间布局信息，得到更好的定位精度。

本发明解决其技术问题所采用的技术方案：基于空间尺度注意力机制和矢量地图的航空图像地理定位方法，其特点是包含以下步骤：

步骤一、数据集采集，所述数据集为航空图像和矢量地图数据，每幅矢量地图对应唯一的GPS坐标信息，特别地，用卫星图像来模拟航空图像。根据地形特点，选择常用的缩放级别，然后像无重叠地截取航空图像和矢量地图图像对，得到最终的数据集。然后根据城市级别，划分为训练集、验证集和测试集。

步骤二、构建图像匹配网络结构，整个网络是一个包含相同结构的权重不共享双分支的结构，每个分支包含特征提取层和空间尺度注意力模块，空间尺度注意力模块在特征提取层之后。

具体方法如下：

步骤1、构造特征提取层。

将航空图像与矢量地图分别输入不同的分支网络，每个分支的输入图像分别依次经过卷积模块1，池化层1，卷积模块2，池化层2，卷积模块3，池化层3，卷积模块4，池化层4，卷积模块5，池化层5。其中卷积模块1由若干卷积层组成，每个卷积层用3×3卷积核，卷积的步长均为1。池化层1是步长为2，卷积核的大小为

3×3的最大池化操作。卷积模块2也由卷积层组成，每个卷积层中的卷积核大小为3×3，卷积的步长均为1。池化层2是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块3由卷积层组成，每个卷积层中的卷积核尺寸为3×3，卷积的步长均为1。池化层3是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块4也由卷积核大小为3×3卷积层组成，卷积的步长为1。池化层4是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块5由若干3×3卷积核的卷积层组成，卷积的步长均为1。池化层5是步长为2，卷积核的大小为3×3的最大池化操作。

步骤2、在每个分支特征提取层后面接上空间尺度注意力模块：步骤1中提取到的特征图依次经过特征选择模块和空间尺度重要性生成模块：

1)将特征图依次经过1×1卷积降低特征数量，沿通道维的最大池化，得到通道注意力向量，注意力向量表示特征图之间的相关性。

2)将注意力向量分别经过3×3、5×5和7×7的卷积，然后沿着通道维堆叠得到的特征图，再经过1×1的卷积学习不同尺度下物体的权重，经过Sigmoid函数归一化到0～1之间，最后将权重向量与输入的特征图相成便得到嵌入了多尺度空间布局位置的特征图。

步骤3、计算特征相似性。

使用欧氏距离计算特征间的相似性，利用步骤2得到的特征向量构造软间隔三元组目标函数，以此拉近匹配的图像对间的距离，使得不匹配的图像对间的距离尽可能的远。

这里，d_pos和d_neg分别表示锚点到正样本与负样本间的欧氏距离，α是超参数，在训练阶段加速网络收敛。

步骤三、对构建的网络进行训练，将训练集中数据分批次放入网络中，生成每幅航空图像最相似的前K幅矢量地图，利用预测的标签和真实匹配的标签计算损失，具体采用软间隔三元组损失函数，使用Adam优化器进行优化，直至目标函数的值不下降时结束训练。

步骤四、测试图像集输入步骤三训练的图像匹配网络，通过使用欧氏距离计算航空图像和矢量地图间的相似度得分，得到最相近的前K幅矢量地图查询结果，并使用召回率指标Recall@K进行评价。

步骤五、定位航空图像，通过查询最相近的前K幅矢量地图对应的GPS经纬度位置信息，完成对航空图像的定位任务。

本发明的有益效果是：由于使用空间尺度注意力模块，能够选择对匹配有帮助的重要特征，抑制一些无关的特征，特征的有无在一定程度上表示场景的空间布局信息，因此也就同时嵌入位置信息到特征向量；再者考虑到关键物体存在多尺度，在注意力模块使用了多种感受野的卷积来捕捉不同尺度物体的上下文信息，从而获得重要且有意义的特征，进而得到场景的空间布局信息，得到更好的匹配结果，进一步提高定位准确度，提高了算法的鲁棒性和准确性。

下面结合具体实施方案对本发明作详细说明。

附图说明

图1是本发明的网络结构图。

图2是本发明卷积模块1，2，3，4，5的结构图。

图3是空间尺度注意力模块结构图。

具体实施方式

本方法主要包含以下步骤，具体如下：

1、准备和构建数据集

本发明的数据集由从谷歌地图上的中国和美国8个城市的卫星和矢量地图图像组成，包括北京、西安、纽约、西雅图、洛杉矶、新奥尔良、丹佛和奥兰多。特别地，用卫星图像来模拟航空图像。根据地形特点，选择常用的18、19、20三种缩放级别，然后无重叠地截取600×600分辨率大小的图像对，并且记录矢量地图的GPS位置坐标，得到最终的数据集。根据城市级别，西安、纽约、洛杉矶、丹佛和奥兰多五个城市的数据混合起来以4∶1比例划分为训练集、验证集，北京、西雅图和新奥尔良为3个测试集。训练集包含64665对图像，验证集包含16166对图像，测试集分别包含8971、21310和5922对图像

2、构建图像匹配网络

网络主要有2个相同结构的分支，每个分支包含特征提取层和空间尺度注意力模块，空间尺度注意力模块在特征提取层之后。具体的步骤如下：

1)构造特征提取层。

将航空图像与矢量地图分别输入不同的分支网络，每个分支的输入图像分别依次经过卷积模块1，池化层1，卷积模块2，池化层2，卷积模块3，池化层3，卷积模块4，池化层4，卷积模块5，池化层5。其中卷积模块1由2个卷积层组成，每个卷积层中包含64个3×3卷积核，卷积的步长均为1。池化层1是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块2也由2个卷积层组成，每个卷积层中包含128个3×3卷积核，卷积的步长均为1。池化层2是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块3由3个卷积层组成，每个卷积层中包含256个

3×3卷积核，卷积的步长均为1。池化层3是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块4也由3个卷积层组成，每个卷积层中包含512个

3×3卷积核，卷积的步长均为1。池化层4是步长为2，卷积核的大小为3×3的最大池化操作。卷积模块5由3个包含512个3×3卷积核的卷积层组成，卷积的步长均为1。池化层5是步长为2，卷积核的大小为3×3的最大池化操作。

2)在每个分支特征提取层后面接上空间尺度注意力模块：步骤1)中提取到的特征图依次经过特征选择模块和空间尺度重要性生成模块：

①将特征图依次经过1×1卷积降低特征数量，沿通道维的最大池化，得到通道注意力向量，注意力向量表示特征图之间的相关性。

②将注意力向量分别经过3×3、5×5和7×7的卷积，然后沿着通道维堆叠得到的特征图，再经过1×1的卷积学习不同尺度下物体的权重，经过Sigmoid函数归一化到0～1之间，最后将权重向量与输入的特征图相乘便得到嵌入了多尺度空间布局位置的特征图。

3)计算特征相似性。

使用欧氏距离计算特征间的相似性，利用步骤2得到的特征向量构造软间隔三元组目标函数，以此拉近匹配的图像对间的距离，使得不匹配的图像对间的距离尽可能的远。

这里，d_pos和d_neg分别表示锚点到正样本与负样本间的欧氏距离，α是超参数，一般取10，在训练阶段加速网络收敛。

3、网络训练

对构建的网络进行训练，将训练集中航空图像与矢量地图分批次放入网络中，生成每幅航空图像最相似的前K幅矢量地图，利用预测的标签和真实匹配的标签计算损失，具体采用软间隔三元组损失函数，使用Adam优化器进行优化，直至目标函数的值不下降时结束训练。

4、测试图像

测试集航空图像与矢量地图输入步骤3训练的图像匹配网络，通过使用欧氏距离计算航空图像和矢量地图间的相似度得分，得到最相近的前K幅矢量地图查询结果，并使用召回率指标Recall@K进行评价。

5、定位航空图像

通过查询与该航空图像最相近的前K幅矢量地图对应的GPS经纬度位置信息，完成对航空图像的正确定位。在北京、西雅图和新奥尔良三个城市测试集上，Recall@1准确率结果分别为83.88％、86.11％、97.48％，相对于所参考文献“CVMNet”11.93％、19.56％、35.63％的结果，准确率提升2-7倍。

Claims (1)

1.基于空间尺度注意力机制和矢量地图的航空图像地理定位方法，其特征在于，包含以下步骤：

步骤一、数据集采集，所述数据集为航空图像和矢量地图数据，每幅矢量地图对应唯一的GPS坐标信息，用卫星图像来模拟航空图像；根据地形特点，选择常用的缩放级别，然后无重叠地截取航空图像和矢量地图图像对，得到最终的数据集；然后根据城市级别，划分为训练集、验证集和测试集；

步骤二、构建图像匹配网络结构，整个网络是一个包含相同结构的权重不共享双分支的结构，每个分支包含特征提取层和空间尺度注意力模块，空间尺度注意力模块在特征提取层之后；

具体方法如下：

步骤1、构造特征提取层；

将航空图像与矢量地图分别输入不同的分支网络，每个分支的输入图像分别依次经过卷积模块1，池化层1，卷积模块2，池化层2，卷积模块3，池化层3，卷积模块4，池化层4，卷积模块5，池化层5；其中卷积模块1由若干卷积层组成，每个卷积层用3×3卷积核，卷积的步长均为1；池化层1是步长为2，卷积核的大小为3×3的最大池化操作；卷积模块2也由卷积层组成，每个卷积层中的卷积核大小为3×3，卷积的步长均为1；池化层2是步长为2，卷积核的大小为3×3的最大池化操作；卷积模块3由卷积层组成，每个卷积层中的卷积核尺寸为3×3，卷积的步长均为1；池化层3是步长为2，卷积核的大小为3×3的最大池化操作；卷积模块4也由卷积核大小为3×3卷积层组成，卷积的步长为1；池化层4是步长为2，卷积核的大小为3×3的最大池化操作；卷积模块5由若干3×3卷积核的卷积层组成，卷积的步长均为1；池化层5是步长为2，卷积核的大小为3×3的最大池化操作；

步骤2、在每个分支特征提取层后面接上空间尺度注意力模块：步骤1中提取到的特征图依次经过特征选择模块和空间尺度重要性生成模块：

1)将特征图依次经过1×1卷积降低特征数量，沿通道维的最大池化，得到通道注意力向量，注意力向量表示特征图之间的相关性；

2)将注意力向量分别经过3×3、5×5和7×7的卷积，然后沿着通道维堆叠得到的特征图，再经过1×1的卷积学习不同尺度下物体的权重，经过Sigmoid函数归一化到0～1之间，最后将权重向量与输入的特征图相乘便得到嵌入了多尺度空间布局位置的特征图；

步骤3、计算特征相似性；

使用欧氏距离计算特征间的相似性，利用步骤2得到的特征向量构造软间隔三元组目标函数，以此拉近匹配的图像对间的距离，使得不匹配的图像对间的距离尽可能的远；

这里，d_pos和d_neg分别表示锚点到正样本与负样本间的欧氏距离，α是超参数，在训练阶段加速网络收敛；

步骤三、对构建的网络进行训练，将训练集中数据分批次放入网络中，生成每幅航空图像最相似的前K幅矢量地图，利用预测的标签和真实匹配的标签计算损失，具体采用软间隔三元组损失函数，使用Adam优化器进行优化，直至目标函数的值不下降时结束训练；

步骤四、测试图像集输入步骤三训练的图像匹配网络，通过使用欧氏距离计算航空图像和矢量地图间的相似度得分，得到最相近的前K幅矢量地图查询结果，并使用召回率指标Recall@K进行评价；

步骤五、定位航空图像，通过查询最相近的前K幅矢量地图对应的GPS经纬度位置信息，完成对航空图像的定位任务。

Images