CN109902192A - 基于无监督深度回归的遥感图像检索方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种基于无监督深度回归的遥感图像检索方法、系统、设备及介质，所述方法包括：搭建基于相似性的孪生卷积神经网络；构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；进行图像检索。本发明利用无监督深度回归方法，训练一个轻便灵活的卷积神经网络，为当前人工智能学界和业界面临的有监督训练难题提供了一个解决思路。

Description

基于无监督深度回归的遥感图像检索方法、系统、设备及介质

技术领域

本发明涉及一种遥感图像检索方法，尤其是一种基于无监督深度回归的遥感图像检索方法、系统、设备及介质，属于深度学习和遥感图像检索技术领域。

背景技术

随着传感器技术及航空航天技术的发展，现在每天都有大量的遥感图像产生。对海量的遥感图像进行有效组织和智能管理，势在必行而且刻不容缓。而基于内容的遥感图像检索是实现图像智能管理的重要环节。

基于内容的遥感图像检索技术包括两个主要步骤：第一是特征提取，第二是特征的相似性度量。其中，特征提取是决定检索质量的关键因素。

特征可以粗略地分为两类：手工设计的传统特征和深度特征(即用深度神经网络学习出的特征)。大量事实证明，深度特征能更好地刻画遥感图像的本质，具有更好的判别能力和表达能力，其性能往往比传统特征好得多。近年来，在包括遥感图像检索在内的诸多领域中，深度特征大有一枝独秀、所向披靡的势头。

卷积神经网络(Convolutional Neural Networks，简称CNN)特征是深度特征的典型代表，也是深度特征中表现最突出者。基于卷积神经网络的遥感图像检索技术，可以分成以下四类：

(1)直接使用预训练的卷积神经网络

有些研究者将在日常图像库上预训练过的卷积神经网络当作现成的特征提取器，直接从全连接层提取特征。然而，预训练的卷积神经网络结构庞大，体态臃肿，需占用较多的存储空间。再者，全连接层特征通常维数都很高(几千维)，因而增加了后续比对步骤的计算开销。

(2)从预训练的CNN中提取信息进行后处理

有些研究者从预训练的卷积神经网络的卷积层提取信息，再利用BoVW(Bag ofVisual Words，词袋)、VLAD(Vector of Locally Aggregated Descriptors，局部聚合描绘子向量)等技术进行编码。也有些研究者融合了多个卷积神经网络的特征。该方法的缺点与第一类相同，其特征向量甚至更长，有时高达几万维。

上述两类方法均无需使用带标签样本。然而，遥感图像和日常图像毕竟有诸多不同，预训练的卷积神经网络完全没有考虑遥感图像的特质，所以，这两类方法的性能较低。

(3)微调预训练的卷积神经网络

有些研究者利用遥感图像库微调预训练的卷积神经网络，他们获得的检索效果通常优于前两类方法。然而，微调是一个有监督学习过程，需要带标签的训练样本。而且，这类方法依然有网络庞大、特征高维等缺点。

(4)对预训练的卷积神经网络进行结构改造，再进行微调

有些研究者在原网络后面接上一个浅层网络，旨在降低特征维数。然而，这类方法也是利用有监督方法训练一个庞大笨重的网络。

综上所述，现有方法的主要缺点是：网络体态臃肿、特征维数高、训练过程是有监督的。其中，第三个缺点最为棘手，因为有监督的学习过程需要大量带标签图像。而为图像打标签是一项繁重的任务，需消耗大量的人力成本；对于海量的遥感图像，这个问题显得尤为严重(实际上，标签匮乏是遥感领域普遍存在的问题)，如何实现深度神经网络的无监督训练，是近年来人工智能学界和业界的研究焦点和主要难题。

发明内容

本发明的第一个目的在于提供一种基于无监督深度回归的遥感图像检索方法，该方法性能好，网络小，特征维数低，利用无监督深度回归方法，从头开始训练一个轻便灵活的卷积神经网络，生成紧凑简短的特征，为当前人工智能学界和业界面临的有监督训练难题提供了一个解决思路，并获得较优的检索效果。

本发明的第二个目的在于提供一种基于无监督深度回归的遥感图像检索系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于无监督深度回归的遥感图像检索方法，所述方法包括：

搭建基于相似性的孪生卷积神经网络；

利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

进一步的，所述基于相似性的孪生卷积神经网络的前半部分包括两个分支网络，两个分支网络为特征学习分支网络，两个分支网络的结构和参数相同；

所述基于相似性的孪生卷积神经网络的后半部分是相似性学习网络，包括两个全连接层和一个输出层，输出层只有一个神经元，输出两幅输入图像的相似性预测值。

进一步的，所述生成遥感图像检索特征库，具体包括：

将第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络和相似性学习网络拆卸出来，并利用特征学习分支网络提取遥感图像检索库中所有图像的深度特征，将该深度特征存储在遥感图像检索特征库中。

进一步的，所述提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，具体包括：

利用第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络提取该查询图像的特征，将该查询图像的特征和遥感图像检索特征库中的特征逐一比对，输入第二次微调后的基于相似性的孪生卷积神经网络中的相似性学习网络以预测遥感图像与查询图像的相似性得分。

进一步的，五个所述卷积神经网络，分别如下：

CaffeNet：提取第二个全连接层的特征；

VGG-S：提取第二个全连接层的特征；

NetVLAD：提取第二个NetVLAD层的特征；

GoogLeNet：提取最后一个池化层的特征；

ResNet50：提取第五个池化层的特征。

进一步的，所述每对图像的相似性得分和重要性权值的计算包括：

构成图像样本集D，通过每个所述卷积神经网络计算图像样本集D中图像两两之间的欧氏距离，并作标准化处理，使得最大距离为1，最小距离为0；

对于图像对(a,b)，假设第i个卷积神经网络计算出的标准化欧氏距离为d_i，令

K＝argmin_{k∈{1,2,…,5}}θ_k；

s_a,b＝1-m_K；

其中，T为一个常数，s_a,b为图像对(a,b)的相似性得分，w_a,b为图像对(a,b)的重要性权值。

进一步的，所述构造小批量损失函数，包括：

设小批量输入图像对集合为则该小批量的损失函数如下：

其中，是基于相似性的孪生卷积神经网络的输出，即图像对(a,b)相似性得分的预测值。

本发明的第二个目的可以通过采取如下技术方案达到：

一种基于无监督深度回归的遥感图像检索系统，所述系统包括：

搭建模块，用于搭建基于相似性的孪生卷积神经网络；

预训练模块，用于利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

第一微调模块，用于利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

第二微调模块，用于利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

检索模块，用于获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

进一步的，所述基于相似性的孪生卷积神经网络的前半部分包括两个分支网络，两个分支网络为特征学习分支网络，两个分支网络的结构和参数相同；

所述基于相似性的孪生卷积神经网络的后半部分是相似性学习网络，包括两个全连接层和一个输出层，输出层只有一个神经元，输出两幅输入图像的相似性预测值。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的遥感图像检索方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的遥感图像检索方法。

本发明相对于现有技术具有如下的有益效果：

本发明不需要使用任何标签，利用无监督深度回归方法，对基于相似性的孪生卷积神经网络依次进行预训练、第一次微调和第二次微调，为遥感图像检索库生成紧凑简短的深度特征，使用训练后的基于相似性的孪生卷积神经网络生成遥感图像检索特征库，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，可以获得较优的检索效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的基于无监督深度回归的遥感图像检索方法的流程图。

图2为本发明实施例1的基于相似性的孪生卷积神经网络的结构示意图。

图3为本发明实施例1的基于相似性的孪生卷积神经网络中特征学习分支网络的结构示意图。

图4为为本发明实施例1的基于相似性的孪生卷积神经网络中相似性学习网络的结构示意图。

图5为本发明实施例1的对基于相似性的孪生卷积神经网络进行预训练的原理图。

图6为本发明实施例1的对预训练后的基于相似性的孪生卷积神经网络进行第一次微调的原理图。

图7为本发明实施例1的对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调的原理图。

图8为本发明实施例1的检索原理图。

图9为本发明实施例1的查询图像示意图。

图10(a)～图10(j)为本发明实施例1的前十个检索结果示意图。

图11(a)～图11(j)为双重微调的VGG-M的前十个检索结果示意图。

图12(a)～图12(j)为双重微调的GoogLeNet的前十个检索结果示意图。

图13为本发明实施例2的基于无监督深度回归的遥感图像检索系统的结构框图。

图14为本发明实施例3的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本实施例提供了一种基于无监督深度回归的遥感图像检索方法，该方法包括以下步骤：

S101、搭建基于相似性的孪生卷积神经网络。

本实施例搭建的基于相似性的孪生卷积神经网络(Similarity Based SiameseConvolutional Neural Networks，简称SBS-CNN)，其结构如图2所示。

基于相似性的孪生卷积神经网络的前半部分包括两个分支网络，两个分支网络为特征学习分支网络，它们的结构和参数相同，因此叫“孪生”；基于相似性的孪生卷积神经网络的后半部分是相似性学习网络，包括两个全连接层(Fully connected，简称FC)和一个输出层，输出层只有一个神经元，输出两幅输入图像的相似性的预测值；而两幅图像之间的相似性真实值，通过五个卷积神经网络专家共同决定。

特征学习分支网络的结构如图3所示，输入层的大小为224×224×3，共有七个卷积层，第一个卷积层的“(感受野大小)：特征图数量”为“3×3：64”，第二个卷积层的“(感受野大小)：特征图数量”为“3×3：128”，第二个卷积层的“(感受野大小)：特征图数量”为“3×3：256”，第三个卷积层的“(感受野大小)：特征图数量”为“3×3：512”，第四、五、六、七个卷积层的“(感受野大小)：特征图数量”均为“3×3：512”；最大池化层均为2×2最大池化层；相似性学习网络的结构如图4所示，两个特征学习分支网络作为相似性学习网络的输入，包括两个全连接层和一个输出层。

接下来需要通过步骤S102～S104对基于相似性的孪生卷积神经网络进行训练，在训练之前获取日常图像库、第一遥感图像微调集、第二遥感图像微调集和遥感图像检索库，日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

目前公开可用的遥感图像库都太小，所以使用了日常图像库ImageNet，从该库中随机取出40万幅图像用于预训练。此外，分别使用航拍遥感图像库NWPU-RESISC45、PatternNet和UC-Merced作为第一遥感图像微调集、第二遥感图像微调集和遥感图像检索库，即分别用于第一次微调、第二次微调和测试。

对NWPU-RESISC45和PatternNet进行数据增强，扩大微调样本的数量。对NWPU-RESISC45的每幅图像，以50％的覆盖率截出左上、右上、左下、右下和中央5个部分，再以75％的覆盖率截出4个非中央部分，接着，以0.5的概率对10幅(子)图像(1+5+4＝10；其中“1”指原图像)进行水平或垂直方向的翻转。通过这种方式，将NWPU-RESISC45扩充到原来的20倍。因为PatternNet的图像分辨率高、目标大，50％的覆盖率可能只截出一个目标的局部，所以，只以75％的覆盖率取出左上、右上、左下、右下和中央5个部分；翻转方式与NWPU-RESISC45相同；这样就把PatternNet扩充至原来的12倍。

将每个图像库(除了UC-Merced)按照9：1的比例划分，前者作为预训练集或微调集，后者作为验证集，验证集用于判断何时需调整学习率，各图像库的详细信息见表1，其中“原”是指“原来”，“扩”是指“扩充以后”。

表1图像库的详细信息

S102、利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练，该步骤为预训练，其原理如图5所示。

S103、利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调，该步骤为第一次微调，其原理如图6所示；

S104、利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库，该步骤为第二次微调，其原理如图7所示。

在上述步骤S102～S104中计算每对图像的真实相似性得分时，五个已有的卷积神经网络(以下称为专家)，将其当作现成的特征提取器，分别如下：

CaffeNet：提取第二个全连接层的特征，特征维数为4096维；

VGG-S：提取第二个全连接层的特征，特征维数为4096维；

NetVLAD：提取NetVLAD层的特征，特征维数为4096维；

GoogLeNet：提取最后一个池化层的特征，特征维数为1024维；

ResNet50：提取第五个池化层的特征，特征维数为2048维。

大量实践经验表明，多个卷积神经网络能互补互促，提供更强大有力的信息，这是选择多个卷积神经网络的理由。需要强调的是：这五个专家只在离线的训练和微调阶段使用，它们“助产”了一个轻便灵巧的新卷积神经网络，之后的联机检索阶段并不需要它们，这是与上述提到的第一类现有技术(检索过程完全依赖于预训练的卷积神经网络)的区别。

基于相似性的孪生卷积神经网络的特殊网络架构能够实现无监督学习的理由是：两幅图像之间的相似性真实值，通过五个专家共同决定，而计算相似性无需使用标签，所以基于相似性的孪生卷积神经网络通过孪生网络和相似性实现了无监督学习。

在上述步骤S102～S104中，超参数的设置如下：

1)小批量大小：256；

2)动量：0.9；

3)权衰减：0.0005；

4)学习率：预训练和微调的初始学习率分别为0.1和0.01；当目标函数在验证集上的平均值不再下降时，学习率除以5。

上述步骤S102、S103和S104中的每对图像的相似性得分和重要性权值的计算如下：

构成图像样本集D(D为预训练集、微调集或验证集)，通过每个所述卷积神经网络计算图像样本集D中图像两两之间的欧氏距离，并作标准化处理，使得最大距离为1，最小距离为0。

对于图像对(a,b)，假设第i个卷积神经网络计算出的标准化欧氏距离为d_i，令

K＝argmin_{k∈{1,2,…,5}}θ_k； (3)

s_a,b＝1-m_K； (4)

其中，T为一个常数，通过试验，取T＝0.4，s_a,b为每个图像对(a,b)的相似性得分，w_a,b为每个图像对(a,b)的重要性权值。

具体地，从五个卷积神经网络专家中剔除观点与其余卷积神经网络专家差别最大的那一个，再将剩下四个卷积神经网络专家的“评分”取平均(注意：距离越大，相似性越小，所以，第i个专家的评分是1-d_i)，就得到图像对(a,b)的相似性得分。w决定了在训练过程中图像对(a,b)对网络参数更新的影响程度：θ_K越小，四个卷积神经网络专家的观点越一致，对s_a,b的估计越可靠，该图像对对参数更新所起的作用越大，因而w_a,b就越大。

上述步骤S102、S103和S104中的小批量损失函数的构造如下：

利用公式(4)和(5)中的s_a,b和w_a,b构造损失函数。使用小批量随机梯度下降法训练基于相似性的孪生卷积神经网络，设小批量输入图像对集合为则该小批量的损失函数如下：

其中，是基于相似性的孪生卷积神经网络的输出，即图像对(a,b)相似性得分的预测值。

上述图像对的生成方法如下：

由于基于相似性的孪生卷积神经网络的输入是图像对，因此需要利用图像样本集生成图像对。考虑所有可能的组合是不现实的(因为配对方式很多)，所以只取出部分图像对构成图像样本集D(D为预训练集、微调集或验证集)。

设图像样本集D有n幅图像，分别记图像样本集D对应的图像对集合和相似性得分矩阵为D′和S＝(s_a,b)_n×n，则构造D′的算法如下：

该算法保证D′中的图像对不重复且其相似性得分基本均匀地分布在[0,1]之间。

按照上述算法，用预训练和两次微调的图像对数量分别约为3.6M、5.7M和3.3M。

步骤S104中，第二次微调后的基于相似性的孪生卷积神经网络即已训练完成，使用第二次微调后的基于相似性的孪生卷积神经网络生成遥感图像检索特征库，具体如下：

将第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络和相似性学习网络拆卸出来，并利用特征学习分支网络提取遥感图像检索库中所有图像的深度特征，将该深度特征存储在遥感图像检索特征库中，以备后用，旨在加速以后步骤S105的联机检索速度。

通过简单的计算可知，基于相似性的孪生卷积神经网络的网络参数量大约为10M，与VGG-VD-16(138M)、VGG-m(100M)、CaffeRef(60M)、ResNet101(45M)等经典CNN相比，基于相似性的孪生卷积神经网络模型轻便小巧，特征维数少(256维)，检索速度快，内存消耗低。所以，较之现有的遥感图像检索技术，优势非常明显。

上述步骤S101～S104为离线阶段，即训练和微调阶段，接下来的步骤S103～S104为检索阶段。可以理解，上述步骤S101～S104在一台计算机设备(如服务器、计算机等)完成，可以在该计算机设备上进入步骤S105的联机检索阶段，也可以将该台计算机设备训练得到的基于相似性的孪生卷积神经网络模型分享给其他的计算机设备，在其他的计算机设备上进入步骤S105的联机检索阶段。

本实施例的步骤S101～S105在一台AMAX工作站上完成，该工作站也属于计算机设备，其配备两个GPU(NVIDIA Titan X)和128G的内存，开发框架是MatConvNet。

S105、获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序。

具体地，当用户向工作站提供一幅查询图像时，工作站获取该用户提供的查询图像，利用第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络提取该查询图像的特征，工作站将该查询图像的特征和遥感图像检索特征库中的特征逐一比对，输入第二次微调后的基于相似性的孪生卷积神经网络中的相似性学习网络以预测遥感图像与查询图像的相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序，将排序结果反馈给用户进行输出显示，本实施例将相似性得分满足预设阈值的若干遥感图像进行排序，因此用户得到的检索结果是相似性得分靠前的若干遥感图像，可以满足用户的检索要求。

基于相似性的孪生卷积神经网络的深度特征只有256维，而且相似性学习网络很小巧，预测每对图像的相似性得分大概耗时1.25毫秒。

上述步骤S105的原理如图8所示，本实施例的查询图像如图9所示。

本实施例在航拍遥感图像库UC-Merced上测试上述遥感图像检索方法，该图像库有21个类，每类有100幅图像，每幅图像轮流充当查询图像，余者充当被检索对象，检索正确与否的判断依据是检索到的图像与查询图像是否属于同一类：若是，则检索正确；若否，则检索错误。

近年来提出的检索算法在UC-Merced上的ANMRR(Average Normalized ModifiedRetrieval Rank，平均规范化修正检索次序)值如下表2所示(ANMRR值越小，算法性能越好)。从下表2可以看到，基于卷积神经网络的方法明显优于传统方法；本实施例利用无监督深度回归的性能明显优于现有其它方法。

表2检索性能对比

为了进一步对比，使用NWPU-RESISC45和PatternNet对VGG-M和GooLeNet进行双重微调。本实施例的前十个检索结果如图10(a)～图10(j)所示，双重微调后的VGG-M的前十个检索结果如图11(a)～图11(j)所示，双重微调后的GooLeNet的前十个检索结果如图12(a)～图12(j)所示，其中带边框的图像表示检索错误。可以看到，在前十个检索结果中，本实施例的方法没有错误检索，而双重微调后的VGG-M和GoogLeNet各有一个错误，双重微调后的VGG-M的错误是图11(e)，双重微调后的GoogLeNet错误是图12(h)。这从另一个角度证明，庞大笨重的VGG-M和GooLeNet的性能不如本实施例轻巧的SBS-CNN模型。而且如前所述，双重微调后的VGG-M和GoogLeNet需要带标签的遥感图像。此外，这两个卷积神经网络还有特征维数高的弊端。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图13所示，本实施例提供了一种基于无监督深度回归的遥感图像检索系统，该系统包括搭建模块1301、预训练模块1302、第一微调模块1303、第二微调模块1304和检索模块1305，各个模块的具体功能如下：

所述搭建模块1301，用于搭建基于相似性的孪生卷积神经网络；

所述预训练模块1302，用于利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

所述第一微调模块1303，用于利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

所述第二微调模块1304，用于利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

所述检索模块1305，用于获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配给不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

可以理解，上述系统所使用的术语“第一”、“第二”等可用于描述各种单元，但这些单元不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。

实施例3：

如图14所示，本实施例提供了一种计算机设备，该计算机设备可以是服务器、计算机等，包括通过系统总线1401连接的处理器1402、存储器、输入装置1403、显示器1404和网络接口1405。其中，处理器1402用于提供计算和控制能力，存储器包括非易失性存储介质1406和内存储器1407，该非易失性存储介质1406存储有操作系统、计算机程序和数据库，该内存储器1407为非易失性存储介质1406中的操作系统和计算机程序的运行提供环境，计算机程序被处理器1402执行时，实现上述实施例1的遥感图像检索方法，如下：

搭建基于相似性的孪生卷积神经网络；

利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

实施例4：

本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的遥感图像检索方法，如下：

搭建基于相似性的孪生卷积神经网络；

利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

本实施例所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

综上所述，本发明不需要使用任何标签，利用无监督深度回归方法，对基于相似性的孪生卷积神经网络依次进行预训练、第一次微调和第二次微调，为遥感图像检索库生成紧凑简短的深度特征，使用训练后的基于相似性的孪生卷积神经网络生成遥感图像检索特征库，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，可以获得较优的检索效果。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种基于无监督深度回归的遥感图像检索方法，其特征在于，所述方法包括：

搭建基于相似性的孪生卷积神经网络；

利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

2.根据权利要求1所述的遥感图像检索方法，其特征在于，所述基于相似性的孪生卷积神经网络的前半部分包括两个分支网络，两个分支网络为特征学习分支网络，两个分支网络的结构和参数均相同；

所述基于相似性的孪生卷积神经网络的后半部分是相似性学习网络，包括两个全连接层和一个输出层，输出层只有一个神经元，输出两幅输入图像的相似性预测值。

3.根据权利要求2所述的遥感图像检索方法，其特征在于，所述生成遥感图像检索特征库，具体包括：

将第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络和相似性学习网络拆卸出来，并利用特征学习分支网络提取遥感图像检索库中所有图像的深度特征，将该深度特征存储在遥感图像检索特征库中。

4.根据权利要求2所述的遥感图像检索方法，其特征在于，所述提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，具体包括：

利用第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络提取该查询图像的特征，将该查询图像的特征和遥感图像检索特征库中的特征逐一比对，输入第二次微调后的基于相似性的孪生卷积神经网络中的相似性学习网络以预测遥感图像与查询图像的相似性得分。

5.根据权利要求1所述的遥感图像检索方法，其特征在于，五个所述卷积神经网络，分别如下：

CaffeNet：提取第二个全连接层的特征；

VGG-S：提取第二个全连接层的特征；

NetVLAD：提取NetVLAD层的特征；

GoogLeNet：提取最后一个池化层的特征；

ResNet50：提取第五个池化层的特征。

6.根据权利要求1-5任一项所述的遥感图像检索方法，其特征在于，所述每对图像的相似性得分和重要性权值的计算包括：

构成图像样本集D，通过每个所述卷积神经网络计算图像样本集D中图像两两之间的欧氏距离，并作标准化处理，使得最大距离为1，最小距离为0；

对于图像对(a，b)，假设第i个卷积神经网络计算出的标准化欧氏距离为d_i，令

K＝arg min_{k∈{1，2，…，5}}θ_k；

S_a，b＝1-m_K；

其中，T为一个常数，s_a，b为图像对(a，b)的相似性得分，w_a，b为图像对(a，b)的重要性权值。

7.根据权利要求6所述的遥感图像检索方法，其特征在于，所述构造小批量损失函数，包括：

设小批量输入图像对集合为则该小批量的损失函数如下：

其中，是基于相似性的孪生卷积神经网络的输出，即图像对(a，b)相似性得分的预测值。

8.一种基于无监督深度回归的遥感图像检索系统，其特征在于，所述系统包括：

搭建模块，用于搭建基于相似性的孪生卷积神经网络；

预训练模块，用于利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；

第一微调模块，用于利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；

第二微调模块，用于利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；

检索模块，用于获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；

其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的遥感图像检索方法。

10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的遥感图像检索方法。