CN109960737B - 半监督深度对抗自编码哈希学习的遥感影像内容检索方法 - Google Patents
半监督深度对抗自编码哈希学习的遥感影像内容检索方法 Download PDFInfo
- Publication number
- CN109960737B CN109960737B CN201910198880.0A CN201910198880A CN109960737B CN 109960737 B CN109960737 B CN 109960737B CN 201910198880 A CN201910198880 A CN 201910198880A CN 109960737 B CN109960737 B CN 109960737B
- Authority
- CN
- China
- Prior art keywords
- hash
- coding
- image
- remote sensing
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 32
- 238000005457 optimization Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 238000013139 quantization Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229930182470 glycoside Natural products 0.000 description 1
- 150000002338 glycosides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种半监督深度对抗自编码哈希学习的遥感影像内容检索方法，建立遥感图像特征库并挑选若干样本作为训练样本；用训练样本训练对抗自编码哈希学习模型；再用对抗自编码哈希编码模型对整个遥感图像特征库进行哈希编码，得到哈希数据库；处理用户输入的查询图像，经过同样的预训练网络，得到查询图像对应的特征向量，用对抗自编码哈希学习模型进行哈希编码，得到对应的哈希编码；最后计算查询图像与图库中所有图像的相似距离，并依照该距离按从小到大的顺序返回用户需要数量的图像，依据索引找到遥感图像库中对应的图像完成图像检索。本发明在半监督学习下可以保持较高的检索精度，哈希编码更高效，更小的量化损失，进一步提高检索精度。
Description
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种半监督深度对抗自编码哈希学习的遥感影像内容检索方法，可应用于大规模的遥感图像检索。
背景技术
随着遥感技术的快速发展，遥感图像的数据量快速增长。日益增长的数据量给人们的生活带来便利，但同时，如何有效地进行遥感数据管理也成为了一项挑战。而遥感影像内容检索是指从海量数据库中能够快速检索出感兴趣的遥感图像，是解决数据管理问题的有效方法之一。如何实现高效快速的图像检索具有重要研究意义。
哈希检索，是指提取图像中的基本特征(包括颜色、形状和纹理等)或深度学习特征(包括无监督学习特征和卷积神经网络学习特征等)构成特征向量，再将特征向量转化为二值的哈希编码，用哈希编码去检索。如今已经有很多较成熟的、著名的哈希学习方法被提出。iterative quantization hashing(IQH)然而这些方法在学习图像的哈希编码时都需要大量的类标信息，类标信息需要耗费很多人力去标注。而利用少量类标信息的去学习哈希编码，使用传统的方法，会损失检索精度。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种半监督深度对抗自编码哈希学习的遥感影像内容检索方法，使用少量的类标信息，采用半监督的方式学习哈希编码。使得检索精度保持较好的水平。
本发明采用以下技术方案：
半监督深度对抗自编码哈希学习的遥感影像内容检索方法，首先建立遥感图像特征库{F1,F2,…,FN}，并挑选若干样本作为训练样本；然后用构造的训练样本，训练对抗自编码哈希学习模型；再用训练好的对抗自编码哈希编码模型，对整个遥感图像特征库{F1,F2,…,FN}进行哈希编码，得到哈希数据库{B1,B2,…,BN}；处理用户输入的查询图像I'，经过同样预训练的网络，得到查询图像对应的特征向量F'，用训练好的对抗自编码哈希学习模型进行哈希编码，得到对应的哈希编码B'；最后计算查询图像I'与图库中所有图像的相似距离，并依照该距离按从小到大的顺序返回用户需要数量的图像，依据索引找到遥感图像库{I1,I2,…,IN}中对应的图像，完成图像检索。
具体的，挑选若干样本作为训练样本具体如下：
S101、建立遥感图像库{I1,I2,…,IN}，图像对应的类别为{Y1,Y2,…,YN},Yi∈{C1,C2,…,CM}，M为遥感图像特征库的总类别个数。利用预训练的alexnet网络或者VGG16网络提取每张图像对应的特征向量，构建遥感图像特征库{F1,F2,…,FN}；
S102、在遥感图像特征库{F1,F2,…,FN}，对应类别为{Y1,Y2,…,YN}，从每个类别中随机挑选20％的样本作为训练样本，构成训练样本{F1,F2,…,Fn}，其中n＜N，n为训练样本的总个数。
具体的，训练对抗自编码哈希学习模型具体为：
S201、对抗自编码哈希学习模型包括一个自编码器、一个生成器、两个判别器，自编码器的结构为七层全连接构成；生成器为两层全连接、哈希层、生成类标和生成分布数据层，两个判别器为两层全连接的神经网络，功能分别为判别类标信息与判别分布数据信息，哈希层的激活函数为sigmoid()激活函数如下：
S202、自编码器的输入为训练图像特征库{F1,F2,…,Fn}，输出为重构的图像特征向量{f1,f2,…,fn}，自编码器的目标函数为重构图像特征向量与训练图像特征向量的均方误差；
S203、生成器的输入与自编码器的输入相同，即训练图像特征库{F1,F2,…,Fn}，生成器输出三种数据：哈希数据{b1,b2,…,bn}、类标数据{l1,l2,…,ln}、分布数据{z1,z2,…,zn}；
S204、类标判别器的输入为生成器生成的类标数据{l1,l2,…,ln}与随机类标噪声{L1,L2,…,Ll}；
S205、分布数据判别器的输入为生成器生成的分布数据{z1,z2,…,zn}与随机噪声{Z1,Z2,…,Zl}；
S206、针对比特位的交叉熵，优化目标函数；
S207、确定对抗自编码哈希模型的目标函数。
进一步的，步骤S202中，自编码器的目标函数为重构图像特征向量与训练图像特征向量的均方误差为：
进一步的，步骤S203中，哈希数据的优化目标函数为：
其中，训练样本Fi和Fj，若是同一类标，则Rij＝1，若不是同一类标，则Rij＝0，m为模型中的超参数；类标数据的优化目标函数为：
其中，Yi为第i个训练样本的真实类标信息，li为模型预测的类标信息。
进一步的，步骤S206中，优化目标函数为：
其中，
代表样本Fi的哈希编码，K为哈希编码的位数。
进一步的，步骤S207中，对抗自编码哈希模型的目标函数
其中，
为模型参数的L2范数，学习率为0.00003，λr＝0.2，λs＝0.9，λq＝0.002，η＝0.01，训练顺序为在每一次的迭代训练中，对
类标判别器，分布数据判别器，交替训练。
具体的，对抗自自编码哈希学习模型训练完成后，固定其网络参数，输入遥感图像特征库{F1,F2,…,FN}，得到对应的哈希特征向量库{b1,b2,…,bN}，对于哈希编码，要求每位编码的值为0或1；对{b1,b2,…,bN}进一步处理，若
大于0.5则
否则为0；将特征向量库{b1,b2,…,bN}转化为二值化的哈希编码{B1,B2,…,BN}。
具体的，处理用户输入的查询图像具体为：
对于图像I'，经过与提取图像特征库相同的预训练的网络得到查询图像对应的特征向量F'，经过对抗自编码哈希学习模型得到其对应的非二值化的哈希数据b'，对非二值化的哈希数据b'的每一位进行二值化，即若大于0.5则对应位置为1，否则为0；得到查询图像I'的哈希编码B'。
具体的，计算查询图像I'与图库中所有图像的相似距离具体为：
S501、对于图像I'，计算其对应的哈希编码B'与哈希数据库{B1,B2,…,BN}每一个样本的相似距离d(B',Bi)。相似距离d(B',Bi)的定义如下：
其中，K表示哈希编码的位数，Bi表示哈希数据库的第i个样本；
S502、根据用户要求的检索结果数量，按照相似距离从小到大的顺序返回索引，根据索引在遥感图像库{I1,I2,…,IN}中返回对应的图像。
与现有技术相比，本发明至少具有以下有益效果：
本发明半监督深度对抗自编码哈希学习的遥感影像内容检索方法，由于基于对抗自编码模型，使得可以使用少量的类标信息，仍然可以保持较高的检索精度；利用生成对抗原理，使得生成的哈希编码保持较好的平衡，提高了编码效率；采用了比特位的交叉熵，减小了哈希编码的量化损失，提高了检索精度。
进一步的，本发明在挑选若干样本作为训练样本时采用预训练的网络结构提取图像的特征目的在于预训练的网络已经能很好的表征图像的特征，直接使用图像的特征参与网络的训练，能够提高网络收敛速度。
进一步的，本发明在训练对抗自编码哈希学习模型设置的目的在于，利用自编码网络的特性使得哈希特征更好的表征图像；利用对抗网络提升在具有少量训练样本的条件下，提高检索精度；利用比特位的交叉熵使得哈希特征的值趋近于0或者1，从而减小哈希编码二值化甙类的进度损失。
进一步的，本发明在对整个遥感图像库进行哈希编码得到哈希数据库时，将未二值化的哈希编码转化为二值化的哈希编码，使得计算图像之间相似度，转化为计算图像对应哈希编码的汉明距离，汉明距离在计算机中的计算非常快，从而增加检索效率。
进一步的，本发明在得到查询图像的哈希编码的目的在于使得查询图像的哈希编码也是二值化的哈希编码，从而与哈希数据库的数据形式保持一致。
进一步的，本发明计算查询图像与图库中所有图像的相似距离设置采用的是欧式距离，目的在于在二值化的哈希编码下，欧式距离可以转化为汉明距离，从而使得计算机计算相似度更高效。
综上所述，本发明具有在半监督学习下可以保持较高的检索精度，哈希编码更高效，更小的量化损失，进一步提高检索精度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程示意图；
图2为本发明使用的遥感图像样例；
图3为本发明提取图像特征使用流程示意图；
图4为本发明所使用的对抗自编码哈希学习模型的网络架构图；
图5为查询图像示例；
图6为本发明的模拟结果图。
具体实施方式
本发明提供了一种半监督深度对抗自编码哈希学习的遥感影像内容检索方法，建立遥感图像特征库{F1,F2,…,FN}；从每个类别中挑选20％样本，建立训练特征库{F1,F2,…,Fl}；训练深度对抗自编码哈希学习模型；用训练好的深度对抗自编码哈希学习，对整个图像特征库{F1,F2,…,FN}进行哈希编码，得到图像的哈希数据库{B1,B2,…,BN}；对用户输入的查问图像，采用与提取遥感图像特征库同样的模式，得到查询图像的特征F'，用训练好的深度对抗自编码哈希学习模型进行编码B'；计算查询图像哈希编码B'与哈希数据库中所有图像的哈希编码的相似距离，并依照该距离从小到大的顺序返回用户需要数量的图像。本发明具有在弱监督下检索精度高的优点，可用于大量遥感图像的检索。。
请参阅图1，本发明一种半监督深度对抗自编码哈希学习的遥感影像内容检索方法，包括以下步骤：
S1、建立遥感图像特征库{F1,F2,…,FN}，并挑选若干样本作为训练样本；
S101、建立遥感图像库{I1,I2,…,IN}，图像对应的类别为{Y1,Y2,…,YN},Yi∈{C1,C2,…,CM}，M为遥感图像特征库的总类别个数。利用预训练的alexnet网络或者VGG16网络提取每张图像对应的特征向量，构建遥感图像特征库{F1,F2,…,FN}。alexnet网络和VGG16网络结构如图2所示；
S102、从遥感图像特征库{F1,F2,…,FN}，对应类别为{Y1,Y2,…,YN}，从每个类别中随机挑选20％的样本作为训练样本，构建训练图像特征库{F1,F2,…,Fn}，对应类别为{Y1,Y2,…,Yn}，其中n＜N，n为训练样本的个数；
S2、用构造的训练样本，训练对抗自编码哈希学习模型；
S201、对抗自编码哈希学习模型包括一个自编码器、一个生成器、两个判别器，自编码器的结构为七层全连接构成。
生成器为两层全连接、哈希层、生成类标和生成分布数据层，其中哈希层的激活函数为sigmoid()激活函数如下：
两个判别器为两层全连接的神经网络，功能分别为判别类标信息与判别分布数据信息。如图3所示；
S202、自编码器的输入为训练图像特征库{F1,F2,…,Fn}，输出为重构的图像特征向量{f1,f2,…,fn}，自编码器的目标函数为重构图像特征向量与训练图像特征向量的均方误差：
S203、生成器的输入与自编码器的输入相同，即训练图像特征库{F1,F2,…,Fn}，生成器输出三种数据：哈希数据{b1,b2,…,bn}、类标数据{l1,l2,…,ln}、分布数据{z1,z2,…,zn}。其中哈希数据的优化目标函数为：
其中，训练样本Fi和Fj，若是同一类标，则Rij＝1，若不是同一类标，则Rij＝0。m为模型中的超参数，本发明中m＝3。
哈希数据的目标函数主要功能为图像的特征向量到哈希编码的相似度保持，也就是两张图像是同一个类标的，认为其相似，那么在将图像映射到哈希空间时，也需要保持相似。类标数据的优化目标函数为：
其中，Yi为第i个训练样本的真实类标信息，li为模型预测的类标信息；
S204、类标判别器的输入为生成器生成的类标数据{l1,l2,…,ln}与随机类标噪声{L1,L2,…,Ll}；本发明设定生成的类标数据为假数据，随机类标噪声为真实数据。让类标数据{y1,y2,…,yn}拟合随机类标噪声{L1,L2,…,Ll}；
S205、分布数据判别器的输入为生成器生成的分布数据{z1,z2,…,zn}与随机噪声{Z1,Z2,…,Zl}；本发明设定生成的分布数据为假数据，随机噪声为真实数据，随机噪声为高斯分布。让分布数据{z1,z2,…,zn}拟合随机噪声{Z1,Z2,…,Zl}；
S206、针对比特位的交叉熵，其优化目标函数为：
其中，
代表样本Fi的哈希编码，K为哈希编码的位数；
S207、对抗自编码哈希模型的目标函数
其中，
为模型参数的L2范数，防止过拟合现象。采用的是TensorFlow中的Adam优化算法，学习率为0.00003，λr＝0.2，λs＝0.9，λq＝0.002，η＝0.01。训练顺序为在每一次的迭代训练中，对
类标判别器，分布数据判别器，交替训练；
S3、用训练好的对抗自编码哈希编码模型，对整个遥感图像特征库{F1,F2,…,FN}进行哈希编码，得到哈希数据库；
对抗自自编码哈希学习模型训练完成后，固定其网络参数，输入遥感图像特征库{F1,F2,…,FN}，得到对应的哈希特征向量库{b1,b2,…,bN}。对于哈希编码，要求每位编码的值为0或1。对{b1,b2,…,bN}进一步处理，若
大于0.5则
否则为0。将特征向量库{b1,b2,…,bN}转化为二值化的哈希编码{B1,B2,…,BN}；
S4、处理用户输入的查询图像I'；
S401、对用户输入的查询图像I'，本发明要求其大小与图库中遥感图像大小相同，经过预训练的alexnet或者VGG16，提取图像的特征向量，利用训练好的对抗自编码哈希模型提取图像的特征向量b'；
S402、对特征向量b'中的每一位进行二值化，即若大于0.5则对应位置为1，否则为0；得到查询图像I'的哈希编码B'；
S5、计算查询图像I'与图库中所有图像的相似距离，并依照该距离从小到大的顺序返回用户需要数量的图像；
S501、对于图像I'，计算其对应的哈希编码B'与哈希数据库{B1,B2,…,BN}每一个样本的相似距离d(B',Bi)。相似距离d(B',Bi)的定义如下：
其中，K表示哈希编码的位数，Bi表示哈希数据库的第i个样本；
S502、根据用户要求的检索结果数量，按照相似距离从小到大的顺序返回索引，根据索引在遥感图像库{I1,I2,…,IN}中返回对应的图像。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可通过以下仿真进一步说明：
1.仿真条件及仿真内容：
本实例在HP-Z840-Workstation with Xeon(R)CPU E5-2630,GeForce GTX1080,64G RAM，Ubuntu系统下，TensorFlow运行平台上，完成本发明以及现有检索系统的遥感图像检索仿真。
2.仿真实验结果
本发明与现有模型的数据集均采用UC Merced(UCMD)数据集，数据集中的图像共有21个种类，分别为agricultural、airplane、baseball diamond、beach、buildings，chaparral、dense residential、forest、freeway、golf course、harbor、intersection、medium residential、mobilehomepark、overpass、parking lot、river、runway、sparseresidential、storage tanks、tennis court。
A.本发明的对抗哈希编码模型及遥感图像检索方法
将本发明应用在如图4所示的5幅查询遥感图像上，其检索结果如图5和图6所示。由于展示空间有限，图4只展示5幅查询图像，图5中只显示10幅检索结果，从上至下依次是agricultural、airplane、baseball diamond、river、tennis court，由左至右依次是查询图像以及检索结果。
从图5可以看出，本发明得到的检索结果有较好准确度，没有错误结果出现，同时本实例选用平均均值查准率mAP(mean average precision)作为检索精度的性能指标，平均均值查准率mAP的定义如下：
其中，AP表示查询图像I'的平均准确率，Si表示第i个检索结果，若其与查询图像I'相似则Si＝1，不相关则Si＝0,nt为返回的检索结果个数，Q为查询图像的总个数。mAP表示一组查询图像的平均均值查准率。本发明详细的mAP可参考表1，其中nt＝20，mAP用百分比表示。从表1可以看出，本发明的检索平均查准率保持较高的水平。
B.本发明与现有哈希学习模型性能比较
将本发明和现有的哈希学习模型应用在同一组查询图像上，其检索结果评价指标用返回前20个检索结果的mAP表示。结果如表1所示：
表1本发明及现有哈希学习及检索系统的性能评价
表1中本发明AFC7表示采用预训练的alexnet网络提取遥感图像的特征向量，VFC7表示采用预训练的VGG16网络提取遥感图像的特征向量。并从表1可以看出，在哈希编码位数K＝32位、K＝64位、K＝128位、K＝256位时，现本发明的mAP都要比现有哈希学习及检索系统要高。
综上所述，本发明针对遥感图像的检索效果明显优于现有的哈希编码学习及检索系统对遥感图像的检索效果。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (8)
1.半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，首先建立遥感图像特征库{F1,F2,…,FN}，并挑选若干样本作为训练样本；
然后用构造的训练样本，训练对抗自编码哈希学习模型，训练对抗自编码哈希学习模型具体为：
S201、对抗自编码哈希学习模型包括一个自编码器、一个生成器、两个判别器，自编码器的结构为七层全连接构成；生成器为两层全连接、哈希层、生成类标和生成分布数据层，两个判别器为两层全连接的神经网络，功能分别为判别类标信息与判别分布数据信息，哈希层的激活函数为sigmoid()激活函数如下：
S202、自编码器的输入为训练图像特征库{F1,F2,…,Fn}，输出为重构的图像特征向量{f1,f2,…,fn}，自编码器的目标函数为重构图像特征向量与训练图像特征向量的均方误差；
S203、生成器的输入与自编码器的输入相同，即训练图像特征库{F1,F2,…,Fn}，生成器输出三种数据：哈希数据{b1,b2,…,bn}、类标数据{l1,l2,…,ln}、分布数据{z1,z2,…,zn}，生成哈希数据的优化目标函数
S204、类标判别器的输入为生成器生成的类标数据{l1,l2,…,ln}与随机类标噪声{L1,L2,…,Ll}；
S205、分布数据判别器的输入为生成器生成的分布数据{z1,z2,…,zn}与随机噪声{Z1,Z2,…,Zl}；
S206、针对比特位的交叉熵，优化目标函数
S207、确定对抗自编码哈希模型的目标函数
再用训练好的对抗自编码哈希编码模型，对整个遥感图像特征库{F1,F2,…,FN}进行哈希编码，得到哈希数据库{B1,B2,…,BN}；处理用户输入的查询图像I'，对于图像I'，经过与提取图像特征库相同的预训练的网络得到查询图像对应的特征向量F′，经过对抗自编码哈希学习模型得到其对应的非二值化的哈希数据b'，对非二值化的哈希数据b'的每一位进行二值化，即若大于0.5则对应位置为1，否则为0；得到查询图像I′的哈希编码B′，经过同样预训练的网络，得到查询图像对应的特征向量F′，用训练好的对抗自编码哈希学习模型进行哈希编码，得到对应的哈希编码B′；
最后计算查询图像I′与图库中所有图像的相似距离，并依照该距离按从小到大的顺序返回用户需要数量的图像，依据索引找到遥感图像库{I1,I2,…,IN}中对应的图像，完成图像检索。
2.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，挑选若干样本作为训练样本具体如下：
S101、建立遥感图像库{I1,I2,…,IN}，图像对应的类别为{Y1,Y2,…,YN},Yi∈{C1,C2,…,CM}，M为遥感图像特征库的总类别个数；利用预训练的alexnet网络或者VGG16网络提取每张图像对应的特征向量，构建遥感图像特征库{F1,F2,…,FN}；
S102、在遥感图像特征库{F1,F2,…,FN}，对应类别为{Y1,Y2,…,YN}，从每个类别中随机挑选20％的样本作为训练样本，构成训练样本{F1,F2,…,Fn}，其中n＜N，n为训练样本的总个数。
3.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，步骤S202中，自编码器的目标函数为重构图像特征向量与训练图像特征向量的均方误差为：
4.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，步骤S203中，哈希数据的优化目标函数为：
其中，训练样本Fi和Fj，若是同一类标，则Rij＝1，若不是同一类标，则Rij＝0，m为模型中的超参数；类标数据的优化目标函数为：
其中，Yi为第i个训练样本的真实类标信息，li为模型预测的类标信息。
5.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，步骤S206中，优化目标函数为：
其中，
代表样本Fi的哈希编码，K为哈希编码的位数。
6.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，步骤S207中，对抗自编码哈希模型的目标函数
其中，
为模型参数的L2范数，学习率为0.00003，λr＝0.2，λs＝0.9，λq＝0.002，η＝0.01，训练顺序为在每一次的迭代训练中，对
类标判别器，分布数据判别器，交替训练。
7.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，对抗自自编码哈希学习模型训练完成后，固定其网络参数，输入遥感图像特征库{F1,F2,…,FN}，得到对应的哈希特征向量库{b1,b2,…,bN}，对于哈希编码，要求每位编码的值为0或1；对{b1,b2,…,bN}进一步处理，若
大于0.5则
代表样本Fi的哈希编码，K为哈希编码的位数，否则为0；将特征向量库{b1,b2,…,bN}转化为二值化的哈希编码{B1,B2,…,BN}。
8.根据权利要求1所述的半监督深度对抗自编码哈希学习的遥感影像内容检索方法，其特征在于，计算查询图像I′与图库中所有图像的相似距离具体为：
S501、对于图像I'，计算其对应的哈希编码B'与哈希数据库{B1,B2,…,BN}每一个样本的相似距离d(B',Bi)，相似距离d(B',Bi)的定义如下：
其中，K表示哈希编码的位数，Bi表示哈希数据库的第i个样本；
S502、根据用户要求的检索结果数量，按照相似距离从小到大的顺序返回索引，根据索引在遥感图像库{I1,I2,…,IN}中返回对应的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910198880.0A CN109960737B (zh) | 2019-03-15 | 2019-03-15 | 半监督深度对抗自编码哈希学习的遥感影像内容检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910198880.0A CN109960737B (zh) | 2019-03-15 | 2019-03-15 | 半监督深度对抗自编码哈希学习的遥感影像内容检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109960737A CN109960737A (zh) | 2019-07-02 |
| CN109960737B true CN109960737B (zh) | 2020-12-08 |
Family
ID=67024362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910198880.0A Active CN109960737B (zh) | 2019-03-15 | 2019-03-15 | 半监督深度对抗自编码哈希学习的遥感影像内容检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109960737B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796182A (zh) * | 2019-10-15 | 2020-02-14 | 西安网算数据科技有限公司 | 一种少量样本的票据分类方法及系统 |
| CN111626437A (zh) * | 2020-05-28 | 2020-09-04 | 深圳前海微众银行股份有限公司 | 对抗样本检测方法、装置、设备及计算机刻度存储介质 |
| CN111626367A (zh) * | 2020-05-28 | 2020-09-04 | 深圳前海微众银行股份有限公司 | 对抗样本检测方法、装置、设备及计算机可读存储介质 |
| CN111815631B (zh) * | 2020-09-02 | 2020-12-11 | 北京易真学思教育科技有限公司 | 模型生成方法、装置、设备和可读存储介质 |
| CN112199543B (zh) * | 2020-10-14 | 2022-10-28 | 哈尔滨工程大学 | 一种基于图像检索模型的对抗样本生成方法 |
| CN112651183A (zh) * | 2021-01-19 | 2021-04-13 | 广西大学 | 一种量子分布式对抗统一深度哈希网络的可靠性评估方法 |
| CN113191445B (zh) * | 2021-05-16 | 2022-07-19 | 中国海洋大学 | 基于自监督对抗哈希算法的大规模图像检索方法 |
| CN113449849B (zh) * | 2021-06-29 | 2022-05-27 | 桂林电子科技大学 | 基于自编码器的学习型文本哈希方法 |
| CN113255237B (zh) * | 2021-07-07 | 2021-12-10 | 杭州珞珈数据科技有限公司 | 一种基于自动化建模引擎的服装的检索模型及其方法 |
| CN114170333B (zh) * | 2021-11-24 | 2023-02-03 | 西安理工大学 | 基于直推式半监督深度学习的图像哈希编码方法 |
| CN116467494B (zh) * | 2023-06-20 | 2023-08-29 | 上海爱可生信息技术股份有限公司 | 向量数据的索引方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408001A (zh) * | 2016-08-26 | 2017-02-15 | 西安电子科技大学 | 基于深度核哈希的感兴趣区域快速检测方法 |
| CN106503106A (zh) * | 2016-10-17 | 2017-03-15 | 北京工业大学 | 一种基于深度学习的图像哈希索引构建方法 |
| CN109284741A (zh) * | 2018-10-30 | 2019-01-29 | 武汉大学 | 一种基于深度哈希网络的大规模遥感影像检索方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7475061B2 (en) * | 2004-01-15 | 2009-01-06 | Microsoft Corporation | Image-based document indexing and retrieval |
| JP4310356B2 (ja) * | 2006-11-13 | 2009-08-05 | シャープ株式会社 | 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体 |
| US8121414B2 (en) * | 2007-06-13 | 2012-02-21 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, and image forming apparatus |
| CN104834748B (zh) * | 2015-05-25 | 2018-08-03 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
| CN106952211B (zh) * | 2016-01-06 | 2020-03-31 | 河南理工大学 | 基于特征点投影的紧凑型图像哈希方法 |
-
2019
- 2019-03-15 CN CN201910198880.0A patent/CN109960737B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408001A (zh) * | 2016-08-26 | 2017-02-15 | 西安电子科技大学 | 基于深度核哈希的感兴趣区域快速检测方法 |
| CN106503106A (zh) * | 2016-10-17 | 2017-03-15 | 北京工业大学 | 一种基于深度学习的图像哈希索引构建方法 |
| CN109284741A (zh) * | 2018-10-30 | 2019-01-29 | 武汉大学 | 一种基于深度哈希网络的大规模遥感影像检索方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图像学习表征和重排序的遥感影像内容检索;唐旭;《万方数据》;20180929 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109960737A (zh) | 2019-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109960737B (zh) | 半监督深度对抗自编码哈希学习的遥感影像内容检索方法 | |
| CN109960738B (zh) | 基于深度对抗哈希学习的大规模遥感影像内容检索方法 | |
| CN108920720B (zh) | 基于深度哈希和gpu加速的大规模图像检索方法 | |
| CN105279554B (zh) | 基于哈希编码层的深度神经网络的训练方法及装置 | |
| CN103116766B (zh) | 一种基于增量神经网络和子图编码的图像分类方法 | |
| CN110781406B (zh) | 一种基于变分自动编码器的社交网络用户多属性推断方法 | |
| CN108108657A (zh) | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 | |
| CN107092661A (zh) | 一种基于深度卷积神经网络的图像检索方法 | |
| CN110929080B (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
| CN111931505A (zh) | 一种基于子图嵌入的跨语言实体对齐方法 | |
| CN111950728B (zh) | 图像特征提取模型的构建方法、图像检索方法及存储介质 | |
| CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
| CN110059206A (zh) | 一种基于深度表征学习的大规模哈希图像检索方法 | |
| CN109829065B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN108897791B (zh) | 一种基于深度卷积特征和语义相似度量的图像检索方法 | |
| CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
| CN117746260B (zh) | 遥感数据智能解析方法及系统 | |
| CN108491430A (zh) | 一种基于对特征方向进行聚类的无监督哈希检索方法 | |
| CN106355210B (zh) | 基于深度神经元响应模式的绝缘子红外图像特征表达方法 | |
| CN111681022A (zh) | 一种网络平台数据资源价值评估方法 | |
| CN114757433A (zh) | 一种饮用水源抗生素抗性相对风险快速识别方法 | |
| CN117520954A (zh) | 一种基于孤立森林对抗网络的异常数据重构方法及系统 | |
| CN109886206B (zh) | 一种三维物体识别方法及设备 | |
| CN108647295B (zh) | 一种基于深度协同哈希的图片标注方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |