CN111680176A - 基于注意力与双向特征融合的遥感图像检索方法及系统 - Google Patents

Abstract

本发明提供一种基于注意力与双向特征融合的遥感图像检索方法及系统，包括输入训练数据，包括不同类别的遥感图像；构建并训练融合注意力机制与高低阶双向特征的深度哈希网络；所述深度哈希网络中，输入随机采样的成对的遥感图像，分别经过卷积层处理，得到卷积特征，对不同层次的卷积特征进行注意力机制处理，得到注意力特征，对低层与高层的注意力特征进行双向特征融合，将融合之后的特征经过全连接降维得到哈希特征，再通过量化得到图像的哈希码；训练网络时根据哈希特征计算带权交叉熵损失与分类损失，更新网络参数；引入类别信息作为海明距离度量的权重，基于训练所得网络实现遥感图像检索。本发明应用在遥感图像检索中可以取得很好的效果。

Description

基于注意力与双向特征融合的遥感图像检索方法及系统

技术领域

本发明属于图像处理领域，涉及一种遥感图像检索技术，尤其涉及一种基于注意力与双向特征融合的遥感图像检索方案。

背景技术

随着遥感影像技术的快速发展，高分辨率遥感图像变得越来越容易获取，这为地质勘探、城市规划、自然灾害管控等相关实际问题的分析提供视觉信息辅助的同时，也促使遥感图像的数量在近年来得到爆炸式增长，面对海量的遥感图像数据，如何进行合理高效的组织管理成为数字地球建设中的瓶颈性难题。而遥感图像检索技术可以根据用户输入的遥感图像，在检索库中自动匹配所需数量的相似图像，大大减少人工查找比对的麻烦，并广泛应用于地理信息分析系统与遥感搜索引擎等实用场景。

遥感图像是一种内容丰富、覆盖面广、经济适用的空间数据载体，具有特征维度高，目标地物不突出的特点。在检索任务中，需要根据遥感图像的内容进行相似性检索，具体的检索流程包括遥感图像特征提取与相似性距离度量，特别是在特征提取的过程中，需要在遥感图像复杂的视觉信息中找到与目标地物有关的有用信息，过滤掉冗余的背景信息，使遥感图像在检索任务中的显著性信息得到充分的特征表达。

遥感图像检索经历了从使用传统方法到使用深度学习方法的过程，在早期基于传统方法的遥感图像研究中，多是针对图像的纹理、形状与颜色提取特征，比如使用Canny算子与小波变换提取遥感图像的边缘与形状特征，根据特征之间的欧氏距离来衡量遥感图像之间的相似性。尺度不变特征变换(Scale-invariant feature transform,SIFT)和词袋模型(Bag of Word model,BOW)也是遥感图像检索任务中常用的特征提取方法，基于传统方法提取的遥感图像特征称作手工特征，但是手工特征只能反映出遥感图像的低级语义信息，所取得的检索精度也不高。随着深度卷积神经网络的兴起，越来越多的遥感图像检索方法开始使用卷积神经网络提取遥感图像的高阶语义特征，相较于传统手工特征，基于卷积特征的检索方法在遥感图像检索精度上有着大幅度的提升。然而经典的卷积神经网络如AlexNet、VGG、ResNet等仅使用最后一层的卷积特征作为图像表征，丢失了许多低层卷积特征中体现类别差异性的信息，如果仅简单的将不同层次的卷积特征进行拼接，有可能带来冗余的信息干扰，影响最后的特征表达，进而降低检索效果。

为了解决上述遥感图像检索任务中特征表达不充分的问题，本发明提出了一种基于注意力与双向特征融合的遥感图像检索方法。对不同层次的卷积块特征进行注意力提取，减少遥感图像中无关背景信息带来的干扰；对经过注意力机制处理的不同层次的卷积特征进行“由低到高”和“由高到低”的双向特征融合，将高层语义特征与低层语义特征进行有效的信息互补。该方法增强了遥感图像在检索任务中的特征表达能力，并取得更高的检索精度。

为证明本专利的独创性，对已有类似的遥感图像检索工作展开调研，迄今为止发明名称内含有遥感图像检索的已有专利41项，其中基于遥感图像特征表达的相关专利14项，但没有与本项发明中的使用注意力与双向特征融合提取遥感图像特征的相关专利，该14项专利如下表所示：

其中前8项是基于手工特征的遥感图像检索的有关专利，后6项是基于深度特征的遥感图像检索的有关专利，下面列出其中与本发明最为相关的5项公开专利的分析。

中国专利文献号CN109815357A，公开(公告)日2019.05.28，公开了一种基于非线性降维及稀疏表示的遥感图像检索方法，该发明通过线性以及非线性降维方式结合，对高维特征进行有效降维，并利用结合最近零空间域像素的稀疏分类实现遥感图像检索。该发明没有对预训练的深度卷积网络进行在遥感图像域上的迁移学习，导致不能针对遥感图像的特点提取出有效卷积特征，另外，该发明使用传统方法对卷积特征进行降维，会有较大的信息损失，使遥感图像提取的特征表达不充分，因此该发明在类别复杂的遥感图像库中检索效果不佳。

中国专利文献号CN109766467A，公开(公告)日2019.05.17，公开了一种基于图像分割和改进VLAD的遥感图像方法及系统，该发明结合图像分割和改进的VLAD，同时考虑不同区域的特征信息，在卷积层特征上进一步提取特征表示，根据特征之间的相似性度量实现遥感图像检索。该发明在使用卷积网络提取遥感图像特征的过程中，没有考虑卷积网络层级之间的联系，丢失了部分低阶有效的特征信息，且使用传统方法对卷积特征进行降维，降低了检索效率，因此该算法仍然具有优化的空间。

中国专利文献号CN109657082A，公开(公告)日2019.04.19，公开了一种基于全卷积神经网络的遥感图像多标签检索方法及系统，该发明利用全卷积神经网络学习遥感图像的多尺度局部特征，挖掘图像隐含的多标签信息，由粗到细的进行相似遥感图像渐进式检索。该发明适用于多标签遥感图像检索，但对于单标签的遥感图像，不能很好的聚焦遥感图像中单一物体的信息，引入了冗余背景信息的干扰，因此该算法在单标签遥感图像检索任务上的效果不佳。

中国专利文献号CN109086405A，公开(公告)日2018.12.25，公开了一种基于显著性和卷积神经网络的遥感图像检索方法及系统，该发明结合显著图和卷积神经网络，同时考虑了显著区域和背景区域的信息，在卷积特征上进一步提取有效特征表示。该发明在使用深度卷积网络提取特征时丢失了大量的低阶特征信息，缺乏对遥感图像颜色纹理信息的关注，因此该算法在类别较多的遥感图像库中检索效果不佳。

中国专利文献号CN108446312A，公开(公告)日2018.08.24，公开了一种基于深度卷积语义网的光学遥感图像检索方法，该发明构建深度卷积语义网络，提取图形的浅层特征、过渡特征以及深度特征，加权融合三个特征，实现不同层级特征优势互补。该发明在特征融合的过程中没有过滤干扰信息，易受到遥感影像中冗余的背景信息影响，该发明仍然具有优化的空间。

发明内容

本发明的目的是提出一种基于注意力与双向特征融合的遥感图像检索方案，解决现有的同类方法中图像特征表达不充分、目标地物信息不易聚焦问题，通过结合注意力与双向特征融合的深度哈希网络来得到最优的检索效果。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于注意力与双向特征融合的遥感图像检索方法，包括输入训练数据，所述训练数据中的样本图片包括不同类别的遥感图像；构建并训练融合注意力机制与高低阶双向特征的深度哈希网络；所述深度哈希网络中，输入随机采样的成对的遥感图像，分别经过卷积层处理，得到卷积特征，对不同层次的卷积特征进行注意力机制处理，得到注意力特征，对低层与高层的注意力特征进行双向特征融合，将融合之后的特征经过全连接降维得到哈希特征，再通过量化得到图像的哈希码；训练网络时根据哈希特征计算带权交叉熵损失与分类损失，反馈损失信息，更新网络参数；引入类别信息作为海明距离度量的权重，基于训练所得网络实现遥感图像检索。

而且，所述深度哈希网络中，包括主干结构、分支模块和融合模块，其中主干结构依次为输入层→卷积块1→卷积块2→卷积块3→卷积块4→卷积块5，分支模块包括三个分支，分别为卷积块3→池化层→注意力机制→低层特征，卷积块4→注意力机制→中层特征，卷积块5→注意力机制→高层特征；融合模块包括信息双向传递结构、融合分支和量化分支，信息双向传递结构包括低层向高层传递的分支和高层向低层传递的分支，低层向高层传递的分支包括低层特征→门函数→中层特征→门函数→高层特征，高层向低层传递的分支包括高层特征→门函数→中层特征→门函数→低层特征，融合分支为经过信息双向传递后的低层特征、高层特征→池化→融合特征，量化分支为融合特征→全连接层降维→哈希特征→量化→哈希码。

或者，所述深度哈希网络中，包括主干结构、分支模块和融合模块，其中主干结构依次为输入层→卷积块1→卷积块2→卷积块3→卷积块4→卷积块5→卷积块6→卷积块7，分支模块包括三个分支，分别为卷积块5→池化层→注意力机制→低层特征，卷积块6→注意力机制→中层特征，卷积块7→注意力机制→高层特征；融合模块包括信息双向传递结构、融合分支和量化分支，信息双向传递结构包括低层向高层传递的分支和高层向低层传递的分支，低层向高层传递的分支包括低层特征→门函数→中层特征→门函数→高层特征，高层向低层传递的分支包括高层特征→门函数→中层特征→门函数→低层特征，融合分支为经过信息双向传递后的低层特征、高层特征→池化→融合特征，量化分支为融合特征→全连接层降维→哈希特征→量化→哈希码。

而且，注意力机制的处理方式为，对卷积特征先进行通道注意力处理，接着对得到的通道注意力特征进行空间注意力处理；

进行通道注意力处理的实现方式为，首先利用通道域的最大值池化对输入的卷积特征进行处理，接着使用多层感知机进行通道维度的缩放，得到通道域的掩膜特征，与输入的卷积特征进行通道维度上的点乘，得到通道域加权的中间特征；

进行空间注意力处理的实现方式为，对通道域加权的中间特征进行每个空间位置上的最大值池化，再进行通道维度上的卷积放缩操作，得到通道数目为1的空间域掩膜特征，将空间域掩膜特征与输入的通道域加权中间特征进行点乘，得到最后的注意力加权特征。

而且，信息双向传递结构中，低层特征通过门函数传递有用的特征信息到中层特征，得到信息增益的中层特征通过门函数将低层特征与中层特征中的有用信息传递给高层特征；类似地，将高层特征与中层特征中的有用信息传递给低层特征。

而且，根据哈希特征计算带权交叉熵损失与分类损失时，将通过深度哈希网络得到的哈希特征与哈希特征存储矩阵中的其他遥感图像的哈希特征计算带权交叉熵损失损失，来度量不同遥感图像之间的相似性。

而且，所述测试阶段中，对测试遥感图像计算相应哈希码，与检索库中遥感图像的哈希码计算海明距离，并在海明距离的基础上加入类别概率权重，根据最后得到的带权海明距离的数值，按照从小到大的顺序对检索库中遥感图像进行排序，得到所需数目的相似遥感图像。

本发明提供一种基于注意力与双向特征融合的遥感图像检索系统，用于如上所述基于注意力与双向特征融合的遥感图像检索方法。

本发明探索了深度特征提取对遥感图像检索的影响规律，发现了注意力机制与高低阶双向特征融合对遥感图像检索效果带来的积极作用，提出了基于注意力与双向特征融合的遥感图像检索方法。本发明应用于遥感图像检索中可以取得很好的效果。

附图说明

图1是本发明实施例的流程原理图。

图2是本发明实施例注意力机制子网络图。

图3是本发明实施例双向特征信息互补子网络图。

图4是本发明实施例的检索阶段相似性距离度量示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案进一步详细说明。

参见图1，本发明实施例提供的一种基于注意力与双向特征融合的遥感图像检索方法，构建并训练融合注意力机制与高低阶双向特征的深度哈希网络；所述深度哈希网络中，输入随机采样的成对的遥感图像，分别经过卷积层处理，得到卷积特征，对不同层次的卷积特征进行注意力机制处理，得到注意力特征，对低层与高层的注意力特征进行双向特征融合，将融合之后的特征经过全连接降维得到哈希特征，再通过量化得到图像的哈希码。训练网络时根据哈希特征计算带权交叉熵损失与分类损失，反馈损失信息，更新网络参数。并且，引入类别信息作为海明距离度量的权重，基于训练所得网络实现遥感图像检索。

实施例运行环境为在显卡型号为GeForce GTX TITAN X，CPU型号为Intel Corei7-5930K，16G内存的计算机上运行。具体实施时可根据需要设置环境。

本发明实施例提供的一种基于注意力与双向特征融合的遥感图像检索方法，分为训练阶段和检索阶段，在训练阶段实现兼顾遥感图像通道与空间信息的注意力机制，提取遥感图像中更具有区分度的视觉信息；在低层与高层特征之间进行双向的融合，通过门函数的过滤功能，有选择的进行信息互补，增强特征的表达能力；在检索阶段，引入类别信息作为海明距离度量的权重，进一步提升检索精度。

实施例方法具体实现如下：

所述训练阶段，包括输入训练数据，所述训练数据中的样本图片包括不同类别的遥感图像；根据训练数据中各样本图片提取哈希码；

具体实施时，可以预先搜集不同内容的遥感图像，按照类别进行分类，构成数据集。建议归一化遥感图像为预设尺寸，例如将单张图像的尺寸归一化为256×256的方形图。

实施例的具体训练过程参见图1，包括以下步骤：

步骤1，划分遥感图像的训练集与测试集，将遥感图像数据集的每个类别按照8:2的比例随机划分训练集与测试集，其中训练集同时作为遥感图像的检索库，测试集同时作为查询图像。

步骤2，深度哈希网络构建及参数初始化，优选地，使用恺明均匀分布方法初始化卷积层与全连接层的权重参数，学习率设置为0.01，动量参数设置为0.9，权重衰减参数设置为0.0005，使用nesterov方法来优化梯度下降过程，使用随机梯度下降法(SGD)更新权重参数，训练轮数设置为200。

实施例中具体实现包括步骤2.1、2.2、2.3。

步骤2.1，构建深度哈希网络，搭建一个包括主干结构、分支模块和融合模块的深度哈希网络，其中主干结构依次为：输入层→卷积块1→卷积块2→卷积块3→卷积块4→卷积块5。分支模块包括三个分支，分别为：卷积块3→池化层→注意力机制→低层特征，卷积块4→注意力机制→中层特征，卷积块5→注意力机制→高层特征。融合模块包括融合模块包括信息双向传递结构、融合分支和量化分支，信息双向传递结构包括低层向高层传递的分支和高层向低层传递的分支：低层向高层传递的分支为低层特征→门函数→中层特征→门函数→高层特征，高层向低层传递的分支为高层特征→门函数→中层特征→门函数→低层特征，融合分支为经过信息双向传递后的低层特征、高层特征→池化→融合特征，量化分支为融合特征→全连接层降维→哈希特征→量化→哈希码。“→”表示数据的传递，本领域技术人员能够理解。其中的量化过程是指利用sign()函数将哈希特征里的所有正数映射为+1，所有负数映射为-1。模型中卷积块1包含两个3×3的卷积层，输出维度64，以及池化核大小及步长均为2的池化层。卷积块2包含两个3×3的卷积层，输出维度128，以及池化核大小及步长均为2的池化层。卷积块3包含两个3×3的卷积层以及一个1×1的卷积层，输出维度256，以及池化核大小及步长均为2的池化层。卷积块4包含两个3×3的卷积层以及一个1×1的卷积层，输出维度512，以及池化核大小及步长均为2的池化层。卷积块5包含两个3×3的卷积层以及一个1×1的卷积层，输出维度512。池化层均使用最大值池化。注意力机制模块包含一个1×1的卷积层，输出维度512，通道域最大值池化层，空间域最大值池化层，一个多层感知机，以及两个进行通道维度放缩的1×1的卷积层。门函数包含一个通道域最大值池化层，以及一个进行维度缩放的多层感知机，起到信息过滤的功能。

具体实施时，所构建深度哈希网络的卷积块数量可以进行增加或缩减，并不局限于特定的卷积块数，例如主干结构的设计还可以为：输入层→卷积块1→卷积块2→卷积块3→卷积块4→卷积块5→卷积块6→卷积块7，分支模块包括三个分支，分别为：卷积块5→池化层→注意力机制→低层特征，卷积块6→注意力机制→中层特征，卷积块7→注意力机制→高层特征。融合模块包括：低层特征→门函数→中层特征→门函数→高层特征，高层特征→门函数→中层特征→门函数→低层特征，经过信息双向传递后的低层特征、高层特征→池化→融合特征，融合特征→全连接层降维→哈希特征→量化→哈希码。

步骤2.2，初始化深度哈希网络的训练参数，使用恺明均匀分布方法初始化卷积层与全连接层的权重参数，权重参数初始化的过程可以参考文献(“Delving Deep intoRectifiers:Surpassing Human-Level Performance on ImageNet Classification”，inthe proceedings of the IEEE international conference on computer vision.2015:1026-1034.)，学习率设置为0.01，动量参数设置为0.9，权重衰减参数设置为0.0005，使用nesterov方法来优化梯度下降过程，使用随机梯度下降法(SGD)更新权重参数，训练轮数设置为200。

步骤2.3，构造一个初始值为0的深度哈希特征存储矩阵，该矩阵的行数与训练集的样本数一致，列数与所需的哈希码的长度一致。

步骤3，根据输入的遥感图像样本进行低层、中层、高层卷积特征的提取。实施例中具体实现包含步骤3.1、3.2。

步骤3.1，训练样本的输入，在训练集中随机采样成对的遥感图像，在原有的256×256大小的图像中，从中心区域裁剪224×224大小的区域，并经过随机水平和竖直翻转操作，达到数据增强的目的。将经过裁剪翻转之后的图像输入到步骤2所构建的深度哈希网络中。

步骤3.2，卷积特征提取，根据步骤2构造的深度哈希网络，对输入的遥感图像进行卷积特征提取，对卷积块3输出的特征进行池化核为2×2的最大值池化，将池化后的特征保留作为低层特征，接着保留卷积块4、卷积块5输出的特征，分别叫做中层特征与高层特征。

步骤4，注意力特征提取，分别对低层特征、中层特征、高层特征进行注意力机制的处理，具体处理过程参见图2，处理流程包括通道域注意力特征提取与空间域注意力特征提取。这样设计的优点是可以针对遥感图像目标地物不突出，特征提取易受到无关背景信息干扰的问题，过滤掉无关的背景信息的影响，使深度特征提取的过程更专注于遥感图像中目标地物的信息。

本发明提出对卷积特征先进行通道注意力处理，接着对得到的通道注意力特征进行空间注意力处理；首先利用通道域的最大值池化对输入的卷积特征进行处理，接着使用多层感知机进行通道维度的缩放，得到通道域的掩膜特征，与输入的卷积特征进行通道维度上的点乘，得到通道域加权的中间特征；接着对通道域加权的中间特征进行每个空间位置上的最大值池化，再进行通道维度上的卷积放缩操作，得到通道数目为1的空间域掩膜特征，将空间域掩膜特征与输入的通道域加权中间特征进行点乘，得到最后的注意力加权特征；

实施例中具体实现包含步骤4.1、4.2。

步骤4.1，通道域注意力特征提取，对输入的卷积特征

在每个通道上面进行最大值池化，得到通道数不变的通道向量

接着使用多层感知机对F_channel进行缩放处理，使用sigmoid()函数进行激活输出，得到通道域的掩膜特征

接着将A_channel与输入的特征F进行点乘，得到在通道域加权的中间特征

计算过程依次为F_channel＝Max_channel(F)，A_channel＝σ(W₂(W₁(F_channel))，F_m＝A_channel·F。其中Max_channel()表示每个通道上面的最大值池化，σ()表示sigmoid()函数，

与

表示多层感知机中的权重参数，r表示压缩因子，

表示实数空间，H表示高，W表示宽，C表示通道数，在本发明中设置r＝6。

步骤4.2，空间域注意力特征提取，对通道域加权的中间特征

进行每个空间位置上的最大值池化，得到1通道的特征

对F_p进行通道维度上的卷积放缩操作，通道放大卷积核的大小为1×1×1，数量为M，通道缩小卷积核的大小为1×1×N，数量为1，本发明中将M设置为遥感图像的类别数。经过卷积放缩之后得到空间域的掩膜特征，将空间域掩膜特征与输入的通道域中间特征进行点乘，得到最后的注意力加权特征

整体的计算过程依次为：F_p＝Max_p(F_m)，A_p＝σ(Conv(F_p))，F_W＝A_p·F_m，其中Max_p()表示每个空间位置的最大值池化操作，A_p表示空间域掩膜特征，Conv()表示卷积放缩操作，

表示实数空间，H表示高，W表示宽，C表示通道数。

步骤5，双向特征信息融合，对提取的低层特征与高层特征进行信息互补与融合。低层特征通过门函数传递有用的特征信息到中层特征，得到信息增益的中层特征通过门函数将低层特征与中层特征中的有用信息传递给高层特征；同样的，也采用类似的方法，将高层特征与中层特征中的有用信息传递给低层特征

实施例中具体实现包含步骤5.1、5.2。

步骤5.1，双向特征信息互补，具体处理过程参见图3。对经过注意力机制处理的低层特征和高层特征之间进行双向的信息互补。在从低到高进行信息传递的过程中，首先将低层的信息传递给中层特征，计算过程为

其中g₁＝σ(fc(relu(fc(Max_C(f₁))))，表示门函数的处理过程，用来过滤干扰信息，

表示已经得到低层信息传递的中层特征，f₁表示低层特征信息，f₂表示中层特征，fc()表示全连接，relu()表示Relu激活函数。接着，信息流从中层往高层传递，计算过程为

其中f₃表示高层特征，f₃ ^B表示融合了低层与高层特征信息的高层特征，g₂表示中层特征与高层特征之间的门函数处理。类似地，也采用同样的方法将高层特征信息层次性地融入到低层特征中去。

步骤5.2，对得到的信息互补的低层与高层特征进行融合，具体地操作为对经过双向信息互补的低层特征与高层特征在每个通道上进行最大值池化，得到两个维度与通道数数量一致的特征向量，将这两个特征向量拼接成一个融合向量，作为融合特征。

步骤6，哈希特征的生成与存储，包含步骤6.1，6.2。

步骤6.1，哈希特征生成，对根据步骤5获得的融合特征进行降维，利用全连接层将融合特征降维到需要的哈希码长度，得到哈希特征。

步骤6.2，哈希特征存储，将得到的哈希特征存储到步骤2构建的哈希特征存储矩阵中，存储的行索引要与输入样本在训练集中的索引保持一致。

步骤7，训练损失的计算，包含步骤7.1，7.2，7.3。

步骤7.1，相似性损失计算，根据步骤6中得到的哈希特征，与从步骤2构建的哈希特征存储矩阵中的其它遥感图像的哈希特征计算带权交叉熵损失，促使相似图像之间的哈希特征距离更相近。带权交叉熵损失计算为

其中s_ij表示成对遥感图像的相似性标签，w_ij表示正负样本平衡权重，I_ij表示不同哈希特征之间的内积，Ω表示相似性标签的集合，i与j表示不同遥感图像在训练集中的索引序号。

本步骤将通过深度哈希网络得到的哈希特征与哈希特征存储矩阵中的其他遥感图像的哈希特征计算带权交叉熵损失损失，来度量不同遥感图像之间的相似性。

步骤7.2，分类损失计算，根据步骤6中得到的哈希特征计算分类损失，并得到类别概率分布。分类损失为

其中G表示遥感图像的类别数目，g和z表示类别的索引号，N表示训练集中遥感图像数目，n表示遥感图像在训练集中的索引号，θ_g表示与第g个类别相关的线性分类器权重参数，θ_z表示与第z个类别相关的线性分类器权重参数，yⁿ表示第n个遥感图像的类别标签，T表示转置操作，h_n表示第n个遥感图像的哈希特征。当yⁿ与g的值相等时，1{yⁿ＝g}的值为1，否则为0，。每个类别的概率值计算为

p_g表示遥感图像在第g个类别上面的预测概率。

步骤7.3，量化损失计算，对步骤6中得到的哈希特征进行离散量化，并计算量化损失，生成哈希码。使用sign()函数对连续的哈希特征进行离散量化，得到哈希码b∈{-1,+1}^K，其中K表示哈希码的长度。量化损失为

N表示训练集中遥感图像的数目，n表示遥感图像在训练集中的索引号，h_n表示第n个遥感图像的哈希特征，b_n表示第n个遥感图像的哈希码。

所述测试阶段，对测试遥感图像计算相应哈希码，与检索库中遥感图像的哈希码计算海明距离，并在海明距离的基础上加入类别概率权重，根据最后得到的带权海明距离的数值，按照从小到大的顺序对检索库中遥感图像进行排序，得到所需数目的相似遥感图像；

具体实施时，可按照步骤3到步骤7对查询图像与检索库中的图像提取相应哈希码，并获得相应的类别概率分布；计算查询图像哈希码与检索库中所有图像哈希码之间的海明距离；在海明距离的基础上加入类别概率权重，即找出查询图像分类概率中最大的类别，与检索库中图像对应类别位置上的概率进行对比，若检索图像也在此类别位置上拥有较大概率，则对图像之间的海明距离乘上一个比较小的权重，否则对海明距离乘上比较大的权重；根据权重扩增之后的海明距离来度量查询图像与检索图像之间的相似性程度，按照距离度量数值的大小从小到大对检索库图像进行排序。

实施例检索阶段中图像之间相似距离计算的方式如图4所示：

检索阶段包括将查询图像输入到本发明中深度哈希网络提取相应哈希码以及类别概率分布，与检索库中遥感图像逐一计算哈希码之间的海明距离，海明距离的计算方式为

表示第v个查询图像的哈希码，b_u表示第u个在检索库中的图像，K表示哈希码的长度，<>表示计算向量内积的操作，D_h()表示海明距离的计算函数。接下来根据步骤7.2计算出查询图像预测类别概率分布中概率值最大的类别，与检索库中图像对应类别位置上的概率进行对比，若检索图像也在此类别位置上拥有较大概率，则对图像之间的海明距离乘上一个比较小的权重，否则对海明距离乘上比较大的权重，根据权重扩增之后的海明距离来度量查询图像与检索图像之间的相似性程度，相似性距离计算为

其中p_o表示检索库中图像在查询图像最可能所属类别上的预测概率，o表示查询图像预测概率最大的类别索引号，图4中EXP与e对应，D()表示相似性距离计算函数。根据相似性距离度量数值从小到大对检索库中图像进行排序，按照顺序输出所需数量的内容相似的遥感图像。

具体实施时，以上过程可采用计算机软件技术实现自动运行，运行本发明方法流程的系统装置也应当在本发明的保护范围内。

本文中所描述的具体实施例仅是对本发明精神做举例说明。本发明技术领域的技术人员可以对所描述的具体实施例做各样的修改补充或者采用类似的方式替代，但并不会偏离本发明精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于注意力与双向特征融合的遥感图像检索方法，其特征在于：包括输入训练数据，所述训练数据中的样本图片包括不同类别的遥感图像；构建并训练融合注意力机制与高低阶双向特征的深度哈希网络；所述深度哈希网络中，输入随机采样的成对的遥感图像，分别经过卷积层处理，得到卷积特征，对不同层次的卷积特征进行注意力机制处理，得到注意力特征，对低层与高层的注意力特征进行双向特征融合，将融合之后的特征经过全连接降维得到哈希特征，再通过量化得到图像的哈希码；训练网络时根据哈希特征计算带权交叉熵损失与分类损失，反馈损失信息，更新网络参数；引入类别信息作为海明距离度量的权重，基于训练所得网络实现遥感图像检索。

2.根据权利要求1所述基于注意力与双向特征融合的遥感图像检索方法，其特征在于：所述深度哈希网络中，包括主干结构、分支模块和融合模块，其中主干结构依次为输入层→卷积块1→卷积块2→卷积块3→卷积块4→卷积块5，分支模块包括三个分支，分别为卷积块3→池化层→注意力机制→低层特征，卷积块4→注意力机制→中层特征，卷积块5→注意力机制→高层特征；融合模块包括信息双向传递结构、融合分支和量化分支，信息双向传递结构包括低层向高层传递的分支和高层向低层传递的分支，低层向高层传递的分支包括低层特征→门函数→中层特征→门函数→高层特征，高层向低层传递的分支包括高层特征→门函数→中层特征→门函数→低层特征，融合分支为经过信息双向传递后的低层特征、高层特征→池化→融合特征，量化分支为融合特征→全连接层降维→哈希特征→量化→哈希码。

3.根据权利要求1所述基于注意力与双向特征融合的遥感图像检索方法，其特征在于：所述深度哈希网络中，包括主干结构、分支模块和融合模块，其中主干结构依次为输入层→卷积块1→卷积块2→卷积块3→卷积块4→卷积块5→卷积块6→卷积块7，分支模块包括三个分支，分别为卷积块5→池化层→注意力机制→低层特征，卷积块6→注意力机制→中层特征，卷积块7→注意力机制→高层特征；融合模块包括信息双向传递结构、融合分支和量化分支，信息双向传递结构包括低层向高层传递的分支和高层向低层传递的分支，低层向高层传递的分支包括低层特征→门函数→中层特征→门函数→高层特征，高层向低层传递的分支包括高层特征→门函数→中层特征→门函数→低层特征，融合分支为经过信息双向传递后的低层特征、高层特征→池化→融合特征，量化分支为融合特征→全连接层降维→哈希特征→量化→哈希码。

4.根据权利要求2或3所述基于注意力与双向特征融合的遥感图像检索方法，其特征在于：注意力机制的处理方式为，对卷积特征先进行通道注意力处理，接着对得到的通道注意力特征进行空间注意力处理；

进行通道注意力处理的实现方式为，首先利用通道域的最大值池化对输入的卷积特征进行处理，接着使用多层感知机进行通道维度的缩放，得到通道域的掩膜特征，与输入的卷积特征进行通道维度上的点乘，得到通道域加权的中间特征；

进行空间注意力处理的实现方式为，对通道域加权的中间特征进行每个空间位置上的最大值池化，再进行通道维度上的卷积放缩操作，得到通道数目为1的空间域掩膜特征，将空间域掩膜特征与输入的通道域加权中间特征进行点乘，得到最后的注意力加权特征。

5.根据权利要求2或3所述基于注意力与双向特征融合的遥感图像检索方法，其特征在于：信息双向传递结构中，低层特征通过门函数传递有用的特征信息到中层特征，得到信息增益的中层特征通过门函数将低层特征与中层特征中的有用信息传递给高层特征；类似地，将高层特征与中层特征中的有用信息传递给低层特征。

6.根据权利要求1所述基于注意力与双向特征融合的遥感图像检索方法，其特征在于：根据哈希特征计算带权交叉熵损失与分类损失时，将通过深度哈希网络得到的哈希特征与哈希特征存储矩阵中的其他遥感图像的哈希特征计算带权交叉熵损失损失，来度量不同遥感图像之间的相似性。

7.根据权利要求1所述基于注意力与双向特征融合的遥感图像检索方法，其特征在于：测试阶段中，对测试遥感图像计算相应哈希码，与检索库中遥感图像的哈希码计算海明距离，并在海明距离的基础上加入类别概率权重，根据最后得到的带权海明距离的数值，按照从小到大的顺序对检索库中遥感图像进行排序，得到所需数目的相似遥感图像。

8.一种基于注意力与双向特征融合的遥感图像检索系统，其特征在于：用于如权利要求1至7所述基于注意力与双向特征融合的遥感图像检索方法。

Images