CN109960738A - 基于深度对抗哈希学习的大规模遥感影像内容检索方法 - Google Patents

Abstract

本发明公开了一种基于深度对抗哈希学习的大规模遥感影像内容检索方法，首先建立遥感图像库，并挑选若干遥感图像；用构造的训练样本，训练深度对抗哈希学习模型；用训练好的对抗哈希编码模型，对整个遥感图像库进行哈希编码，得到哈希数据库；对用户输入的查询图像，进行归一化处理之后，用训练好的对抗哈希编码模型进行哈希编码，得到查询图像的哈希编码；计算查询图像的哈希编码与哈希数据库中的所有样本的相似匹配距离，并依照该匹配距离按照从小到大的顺序，返回用户需要数量的图像索引，依据索引找到遥感图像库中对应的图像，完成图像检索。本发明具有检索精度高，并且有较小的量化损失，哈希编码更加高效的优点。

Description

基于深度对抗哈希学习的大规模遥感影像内容检索方法

技术领域

本发明属于遥感影像内容检索技术领域，具体涉及一种基于深度对抗哈希学习的大规模遥感影像内容检索方法，可应用于大规模的遥感图像检索。

背景技术

随着遥感技术的快速发展，遥感图像的数据量快速增长。日益增长的数据量给人们的生活带来便利，但同时，如何有效地进行遥感数据管理也成为了一项挑战。而遥感图像检索是指从海量数据库中能够快速检索出感兴趣的遥感图像，是解决数据管理问题的有效方法之一。如何实现高效快速的图像检索具有重要研究意义。

哈希检索，是指提取图像中的基本特征(包括颜色、形状和纹理等)或深度学习特征(包括无监督学习特征和卷积神经网络学习特征等)构成特征向量，再将特征向量转化为二值的哈希编码，用哈希编码去检索。如今已经有很多较成熟的、著名的哈希学习方法被提出。如Yue Cao,Mingsheng Long,Jianmin Wang,Han Zhu,and Qingfu Wen,“Deepquantization network for efficient image retrieval,”in AAAI,2016,pp.3457–3463.简称DQN。又如Han Zhu,Mingsheng Long,Jianmin Wang,and Yue Cao,“Deephashing network for efficient similarity retrieval,”in AAAI,2016,pp.2415–2421，简称DHN。然而这些方法在从图像的特征向二值哈希空间映射时都会存在量化损失的问题，即特征向量向二值哈希转化的过程中，检索的精度会降低。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度对抗哈希学习的大规模遥感影像内容检索方法，以减少量化损失和保持编码平衡。使得检索精度得到进一步提升。

本发明采用以下技术方案：

基于深度对抗哈希学习的大规模遥感影像内容检索方法，首先建立遥感图像库{I₁,I₂,…,I_N}，并挑选若干遥感图像；用构造的训练样本，训练深度对抗哈希学习模型；用训练好的对抗哈希编码模型，对整个遥感图像库{I₁,I₂,…,I_N}进行哈希编码，得到哈希数据库{B₁,B₂,…,B_N}；对用户输入的查询图像I'，进行归一化处理之后，用训练好的对抗哈希编码模型进行哈希编码，得到查询图像的哈希编码H'；计算查询图像的哈希编码B'与哈希数据库{B₁,B₂,…,B_N}中的所有样本的相似匹配距离，并依照该匹配距离按照从小到大的顺序，返回用户需要数量的图像索引，依据索引找到遥感图像库{I₁,I₂,…,I_N}中对应的图像，完成图像检索。

具体的，挑选遥感图像具体为：

S101、建立遥感图像库{I₁,I₂,…,I_N}，图像对应的类别为{Y₁,Y₂,…,Y_N}，Y_i∈{c₁,c₂,…,c_M}，M为遥感图像特征库的总类别个数。每个类别中挑选80％的图像，构建训练图像库{I₁,I₂,…,I_l}，l＜N，N表示图库中的遥感图像个数，l表示训练图像个数；

S102、将训练图像库中所有图像归一化到[0,1]之间。

具体的，训练深度对抗哈希学习模型的步骤如下：

S201、深度对抗哈希学习模型包括生成器和判别器。生成器为预训练的alexnet网络的{conv1,conv2,conv3,conv4,conv5,fc6,fc7}和哈希层构成，判别器为三层全连接的神经网络，哈希层的激活函数为sigmoid()激活函数如下：

S202、生成器的输入为训练样本{I₁,I₂,…,I_l}，输出为图像的特征向量{b₁,b₂,…,b_l}。生成器的目标函数分为三部分，包括哈希过程中的相似度保持，类标信息的利用与比特位的交叉熵，确定生成器的总目标函数；

S203、针对哈希学习过程中的相似度保持，确定其优化目标函数；

S204、针对类标信息的使用，确定其优化目标函数；

S205、针对比特位的交叉熵，确定其优化目标函数；

S206、判别器的输入包括真实数据和假数据，假数据为生成器输出的图像特征向量{b₁,b₂,…,b_l}，真实数据为随机噪声{Z₁,Z₂,…,Z_l}，其值为0或1且服从均匀分布；

S207、训练模型参数，设置批处理大小为128，学习率为0.0001，λ＝0.01，ε＝0.5，η＝0.0005，判别器的优化只在前两次的迭代，生成器的优化在每一次的批处理优化。

进一步的，步骤S202中，生成器的总目标函数为：

其中，为生成器的权重向量的L2范数，λ、ε、η为超参数。

进一步的，步骤S203中，针对哈希学习过程中相似度保持的优化目标函数为：

其中，训练样本I_i和I_j，若是同一类标，则R_ij＝1，若不是同一类标，则R_ij＝0，m为模型中的超参数。

进一步的，步骤S204中，针对类标信息使用的优化目标函数为：

其中，为预测样本I_i的类标概率。

进一步的，步骤S205中，针对比特位的交叉熵的优化目标函数为：

其中，代表样本I_i的哈希编码，K为哈希编码的位数。

具体的，对抗哈希编码模型训练完成后，固定其网络参数，输入遥感图像库{I₁,I₂,…,I_N}，得到对应的特征向量库{b₁,b₂,…,b_N}；对于哈希编码，要求每位编码的值为0或1；对{b₁,b₂,…,b_N}进一步处理，若大于0.5则否则为0；将特征向量库{b₁,b₂,…,b_N}转化为二值化的哈希数据库{B₁,B₂,…,B_N}。

具体的，处理用户输入的查询图像I'具体为：

S401、对用户输入的查询图像I'，本发明要求其大小与图库中遥感图像大小相同，利用训练好的对抗哈希编码模型提取图像的特征向量b'；

S402、对特征向量b'中的每一位进行二值化，即若大于0.5则对应位置为1，否则为0。得到查询图像I'的哈希编码B'。

具体的，计算查询图像I'与图库中所有图像的相似距离具体为：

S501、对于图像I'，计算其对应的哈希编码B'与哈希数据库{B₁,B₂,…,B_N}每一个样本的相似距离d(B',B_i)，相似距离d(B',B_i)的定义如下：

其中，K表示哈希编码的位数，B_i表示哈希数据库的第i个样本；

S502、根据用户要求的检索结果数量，按照相似距离从小到大的顺序返回索引，根据索引在遥感图像库{I₁,I₂,…,I_N}中返回对应的图像。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于深度对抗哈希学习的大规模遥感影像内容检索方法，基于生成对抗网络模型，使得生成的数据符合指定的分布，使哈希编码具有平衡性；利用类标信息和相似度保持，使得生成的哈希编码相似性保持更好，提高了检索精度；采用了比特位的交叉熵，减小了哈希编码的量化损失，提高了检索精度。

进一步的，每个类别挑选80％的样本作为训练样本，可以使网络得到充分的训练，提升检索精度。

进一步的，本发明的深度对抗哈希学习模型设置的目的在于，用生成对抗网络模型使得生成的哈希编码服从指定的分布，即服从均匀分布，从而哈希编码更高效；比特位的交叉熵使得未二值化的哈希特征的值更趋近0或1，最终减小二值化哈希编码带来的检索精度的损失；类标信息的使用使得哈希编码不仅在编码空间上保持相似，而且使得哈希编码具有类标信息，进一步提升检索精度。

进一步的，本发明在对整个遥感图像库进行哈希编码得到哈希数据库时，将未二值化的哈希编码转化为二值化的哈希编码，使得计算图像之间相似度，转化为计算图像对应哈希编码的汉明距离，汉明距离在计算机中的计算非常快，从而增加检索效率。

进一步的，本发明在得到查询图像的哈希编码的目的在于使得查询图像的哈希编码也是二值化的哈希编码，从而与哈希数据库的数据形式保持一致。

进一步的，本发明计算查询图像与图库中所有图像的相似距离设置采用的是欧式距离，目的在于在二值化的哈希编码下，欧式距离可以转化为汉明距离，从而使得计算机计算相似度更高效。

综上所述，本发明具有检索精度高，并且有较小的量化损失，哈希编码更加高效的优点。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程示意图；

图2为本发明在遥感图像库中挑选出训练样本样例图；

图3为本发明所使用的深度对抗哈希学习模型的网络架构图；

图4为查询图像示例；

图5为本发明的模拟结果图；

图6为本发明与现有DQN和DHN检索系统的性能比较图，其中，(a)为哈希编码为32位的检索性能比较图，(b)为哈希编码为64位的检索性能比较图，(c)为哈希编码为128位的检索性能比较图，(d)为哈希编码为256位的检索性能比较图。

具体实施方式

本发明提供了一种基于深度对抗哈希学习的大规模遥感影像内容检索方法，建立遥感图像库{I₁,I₂,…,I_N}，图像对应的类别为{Y₁,Y₂,…,Y_N}；从每个类别中挑选80％样本，建立训练样本库{I₁,I₂,…,I_l}；训练深度对抗哈希学习模型；用训练好的深度对抗哈希学习模型，对整个图库{I₁,I₂,…,I_N}进行哈希编码，得到图像的哈希数据库{B₁,B₂,…,B_N}；对用户输入的查问图像I'，用训练好的深度对抗哈希学习模型进行编码B'；计算查询图像B'与哈希数据库中所有图像的哈希编码的相似距离，并依照该距离从小到大的顺序返回用户需要数量的图像。本发明具有检索速度快检索精度高的优点，可用于大量遥感图像的检索。

请参阅图1，本发明一种基于深度对抗哈希学习的大规模遥感影像内容检索方法，包括以下步骤：

S1、建立遥感图像库{I₁,I₂,…,I_N}，并挑选若干遥感图像；

S101、建立遥感图像库{I₁,I₂,…,I_N}，图像对应的类别为{Y₁,Y₂,…,Y_N}，Y_i∈{c₁,c₂,…,c_M}，M为遥感图像特征库的总类别个数。每个类别中挑选80％的图像，构建训练图像库{I₁,I₂,…,I_l}，其中l＜N，N表示图库中的遥感图像个数，l表示训练图像个数，如图2所示；

S102、将训练图像库中所有图像归一化到[0,1]之间；

S2、用构造的训练样本，训练深度对抗哈希学习模型；

S201、深度对抗哈希学习模型包括生成器和判别器。生成器为预训练的alexnet网络的{conv1,conv2,conv3,conv4,conv5,fc6,fc7}和哈希层构成，其中哈希层的激活函数为sigmoid()激活函数如下：

判别器为三层全连接的神经网络，如图3所示；

S202、生成器的输入为训练样本{I₁,I₂,…,I_l}，输出为图像的特征向量{b₁,b₂,…,b_l}。生成器的目标函数分为三部分。包括哈希过程中的相似度保持，类标信息的利用与比特位的交叉熵，因此生成器的总目标函数可概括为：

其中，为生成器的权重向量的L2范数，防止网络过拟合，λ、ε、η为超参数；

S203、针对哈希学习过程中的相似度保持，其优化目标函数为：

其中，训练样本I_i和I_j，若是同一类标，则R_ij＝1，若不是同一类标，则R_ij＝0。m为模型中的超参数，本发明中m＝K/2，其中K为哈希编码的位数；

S204、针对类标信息的使用，其优化目标函数为：

其中，为预测样本I_i的类标概率；

S205、针对比特位的交叉熵，其优化目标函数为：

其中，代表样本I_i的哈希编码，K为哈希编码的位数；

S206、判别器的输入包括真实数据和假数据。其中假数据为生成器输出的图像特征向量{b₁,b₂,…,b_l}，真实数据为随机噪声{Z₁,Z₂,…,Z_l}，其值为0或1且服从均匀分布；

S207、训练模型参数采用的是TensorFlow中的Adam优化算法，设置批处理大小为128，学习率为0.0001，λ＝0.01，ε＝0.5，η＝0.0005。判别器的优化只在前两次的迭代，生成器的优化在每一次的批处理优化。

S3、用训练好的对抗哈希编码模型，对整个遥感图像库{I₁,I₂,…,I_N}进行哈希编码，得到哈希数据库；

对抗哈希编码模型训练完成后，固定其网络参数，输入遥感图像库{I₁,I₂,…,I_N}，得到对应的特征向量库{b₁,b₂,…,b_N}；

对于哈希编码，要求每位编码的值为0或1；对{b₁,b₂,…,b_N}进一步处理，若大于0.5则否则为0；将特征向量库{b₁,b₂,…,b_N}转化为二值化的哈希数据库{B₁,B₂,…,B_N}；

S4、处理用户输入的查询图像I'；

S401、对用户输入的查询图像I'，本发明要求其大小与图库中遥感图像大小相同，利用训练好的对抗哈希编码模型提取图像的特征向量b'；

S402、对特征向量b'中的每一位进行二值化，即若大于0.5则对应位置为1，否则为0。得到查询图像I'的哈希编码B'；

S5、计算查询图像I'与图库中所有图像的相似距离，并依照该距离从小到大的顺序返回用户需要数量的图像。

S501、对于图像I'，计算其对应的哈希编码B'与哈希数据库{B₁,B₂,…,B_N}每一个样本的相似距离d(B',B_i)。相似距离d(B',B_i)的定义如下：

其中，K表示哈希编码的位数，B_i表示哈希数据库的第i个样本；

S502、根据用户要求的检索结果数量，按照相似距离从小到大的顺序返回索引，根据索引在遥感图像库{I₁,I₂,…,I_N}中返回对应的图像。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件及仿真内容：

本实例在HP-Z840-Workstation with Xeon(R)CPU E5-2630,GeForce GTX1080,64G RAM，Ubuntu系统下，TensorFlow运行平台上，完成本发明以及DQN和DHN检索系统的遥感图像检索仿真。

2.仿真实验结果

本发明与现有模型的仿真实验中使用的数据集为UC Merced(UCMD)数据集，数据集中的图像共有21个种类，分别为agricultural、airplane、baseball diamond、beach、buildings，chaparral、dense residential、forest、freeway、golf course、harbor、intersection、medium residential、mobile homepark、overpass、parking lot、river、runway、sparse residential、storage tanks、tennis court。

A.本发明的对抗哈希编码模型及遥感图像检索方法

将本发明应用在如图4所示的5幅查询遥感图像上，其检索结果如图5所示。由于展示空间有限，图4只展示5幅查询图像，图5中只显示10幅检索结果，从上至下依次是agricultural、airplane、baseball diamond、river、tennis court，由左至右依次是查询图像以及检索结果。

从图5可以看出，本发明得到的检索结果有较好准确度，没有错误结果出现，同时本实例选用平均均值查准率mAP(mean average precision)作为检索精度的性能指标，平均均值查准率mAP的定义如下：

其中，AP表示查询图像I'的平均准确率，S_i表示第i个检索结果，若其与查询图像I'相似则S_i＝1，不相关则S_i＝0,n_t为返回的检索结果个数，Q为查询图像的总个数。mAP表示一组查询图像的平均均值查准率。本发明详细的mAP可参考表1，其中n_t＝80，哈希编码位数K＝32，mAP用百分比表示。从表1可以看出，本发明的检索平均查准率保持较高的水平。

B.现有哈希学习模型

将现有的哈希学习模型与本发明应用在同一组查询图像上，得到不同哈希编码位数下的表现性能。详细mAP可参考表1，其中mAP统计结果为返回前80张查询结果计算所得，用百分比表示。

表1本发明及现有哈希学习及检索系统的性能评价

并从表1可以看出，在哈希编码位数K＝32、K＝64、K＝128、K＝256时，现本发明的mAP都要比现有哈希学习及检索系统要高，并且在特征向量在二值化与非二值化时的mAP差异也小，表明本发明在克服哈希编码量化损失，存在一定的优势。本发明与现有哈希编码学习及检索系统得性能比较如图6所示。其中，图6(a)表示哈希编码位数K＝32的性能比较，图6(b)表示哈希编码位数K＝64的性能比较，图6(c)表示哈希编码位数K＝128的性能比较，图6(d)表示哈希编码位数K＝256的性能比较。

在图6中，横坐标表示返回图像的个数，纵坐标表示检索结果的mAP。由图6可以明显看出，本发明对编码位数从32位到256位的遥感图像的检索精度均高于现有哈希编码学习及检索系统，并且，随着返回图像数量的增多，本发明的查准率下降的速度也比现有哈希编码学习及检索系统慢。

综上所述，本发明针对遥感图像的检索效果明显优于现有的哈希编码学习及检索系统对遥感图像的检索效果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，首先建立遥感图像库{I₁,I₂,…,I_N}，并挑选若干遥感图像；用构造的训练样本，训练深度对抗哈希学习模型；用训练好的对抗哈希编码模型，对整个遥感图像库{I₁,I₂,…,I_N}进行哈希编码，得到哈希数据库{B₁,B₂,…,B_N}；对用户输入的查询图像I'，进行归一化处理之后，用训练好的对抗哈希编码模型进行哈希编码，得到查询图像的哈希编码H'；计算查询图像的哈希编码B'与哈希数据库{B₁,B₂,…,B_N}中的所有样本的相似匹配距离，并依照该匹配距离按照从小到大的顺序，返回用户需要数量的图像索引，依据索引找到遥感图像库{I₁,I₂,…,I_N}中对应的图像，完成图像检索。

2.根据权利要求1所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，挑选遥感图像具体为：

S101、建立遥感图像库{I₁,I₂,…,I_N}，图像对应的类别为{Y₁,Y₂,…,Y_N}，Y_i∈{c₁,c₂,…,c_M}，M为遥感图像特征库的总类别个数，每个类别中挑选80％的图像，构建训练图像库{I₁,I₂,…,I_l}，l＜N，N表示图库中的遥感图像个数，l表示训练图像个数；

S102、将训练图像库中所有图像归一化到[0,1]之间。

3.根据权利要求1所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，训练深度对抗哈希学习模型的步骤如下：

S201、深度对抗哈希学习模型包括生成器和判别器，生成器为预训练的alexnet网络的{conv1,conv2,conv3,conv4,conv5,fc6,fc7}和哈希层构成，判别器为三层全连接的神经网络，哈希层的激活函数为sigmoid()激活函数如下：

；

S202、生成器的输入为训练样本{I₁,I₂,…,I_l}，输出为图像的特征向量{b₁,b₂,…,b_l}，生成器的目标函数分为三部分，包括哈希过程中的相似度保持，类标信息的利用与比特位的交叉熵，确定生成器的总目标函数；

S203、针对哈希学习过程中的相似度保持，确定其优化目标函数；

S204、针对类标信息的使用，确定其优化目标函数；

S205、针对比特位的交叉熵，确定其优化目标函数；

S206、判别器的输入包括真实数据和假数据，假数据为生成器输出的图像特征向量{b₁,b₂,…,b_l}，真实数据为随机噪声{Z₁,Z₂,…,Z_l}，其值为0或1且服从均匀分布；

S207、训练模型参数，设置批处理大小为128，学习率为0.0001，λ＝0.01，ε＝0.5，η＝0.0005，判别器的优化只在前两次的迭代，生成器的优化在每一次的批处理优化。

4.根据权利要求3所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，步骤S202中，生成器的总目标函数为：

其中，为生成器的权重向量的L2范数，λ、ε、η为超参数。

5.根据权利要求3所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，步骤S203中，针对哈希学习过程中相似度保持的优化目标函数为：

其中，训练样本I_i和I_j，若是同一类标，则R_ij＝1，若不是同一类标，则R_ij＝0，m为模型中的超参数。

6.根据权利要求3所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，步骤S204中，针对类标信息使用的优化目标函数为：

其中，为预测样本I_i的类标概率。

7.根据权利要求3所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，步骤S205中，针对比特位的交叉熵的优化目标函数为：

其中，代表样本I_i的哈希编码，K为哈希编码的位数。

8.根据权利要求1所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，对抗哈希编码模型训练完成后，固定其网络参数，输入遥感图像库{I₁,I₂,…,I_N}，得到对应的特征向量库{b₁,b₂,…,b_N}；对于哈希编码，要求每位编码的值为0或1；对{b₁,b₂,…,b_N}进一步处理，若大于0.5则否则为0；将特征向量库{b₁,b₂,…,b_N}转化为二值化的哈希数据库{B₁,B₂,…,B_N}。

9.根据权利要求1所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，处理用户输入的查询图像I'具体为：

S401、对用户输入的查询图像I'，本发明要求其大小与图库中遥感图像大小相同，利用训练好的对抗哈希编码模型提取图像的特征向量b'；

S402、对特征向量b'中的每一位进行二值化，即若大于0.5则对应位置为1，否则为0；得到查询图像I'的哈希编码B'。

10.根据权利要求1所述的基于深度对抗哈希学习的大规模遥感影像内容检索方法，其特征在于，计算查询图像I'与图库中所有图像的相似距离具体为：

S501、对于图像I'，计算其对应的哈希编码B'与哈希数据库{B₁,B₂,…,B_N}每一个样本的相似距离d(B',B_i)，相似距离d(B',B_i)的定义如下：

其中，K表示哈希编码的位数，B_i表示哈希数据库的第i个样本；

S502、根据用户要求的检索结果数量，按照相似距离从小到大的顺序返回索引，根据索引在遥感图像库{I₁,I₂,…,I_N}中返回对应的图像。