CN113190699A - 一种基于类别级语义哈希的遥感图像检索方法及装置 - Google Patents

一种基于类别级语义哈希的遥感图像检索方法及装置 Download PDF

Info

Publication number
CN113190699A
CN113190699A CN202110528115.8A CN202110528115A CN113190699A CN 113190699 A CN113190699 A CN 113190699A CN 202110528115 A CN202110528115 A CN 202110528115A CN 113190699 A CN113190699 A CN 113190699A
Authority
CN
China
Prior art keywords
hash
images
image
hash code
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110528115.8A
Other languages
English (en)
Other versions
CN113190699B (zh
Inventor
程起敏
邵丽媛
许圆
李丹
周玉琢
甘德樵
黄海燕
黄小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110528115.8A priority Critical patent/CN113190699B/zh
Publication of CN113190699A publication Critical patent/CN113190699A/zh
Application granted granted Critical
Publication of CN113190699B publication Critical patent/CN113190699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于类别级语义哈希的遥感图像检索方法及装置，属于遥感图像检索领域，方法为：将查询图像输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中，计算查询图像哈希码与哈希码库中各哈希码之间的汉明距离；按照汉明距离从小到大的顺序排序，输出前h个排名的检索结果；h为正整数；训练基于深度度量的类别级语义哈希网络模型的方法为：以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对基于深度度量的类别级语义哈希网络模型进行训练。实现将遥感图像从高维特征空间映射到低维汉明空间过程中的语义相似性保持，在保证高检索效率低存储空间的同时提升检索准确率。

Description

一种基于类别级语义哈希的遥感图像检索方法及装置
技术领域
本发明属于遥感图像检索领域，更具体地，涉及一种基于类别级语义哈希的遥感图像检索方法及装置。
背景技术
随着遥感卫星技术的不断发展，社会进入了遥感大数据时代。高维数据的存储和检索成为利用海量遥感数据的瓶颈因素，如何实现对大规模遥感图像的准确快速检索，在灾害预警、农业检测和城市规划等遥感应用领域具有重要意义。哈希方法作为一种高效的索引方式，将原始图像从高维特征空间映射到低维的汉明空间，为每幅图像生成较短的二进制哈希码表示，大幅度地提高了检索效率，同时减少了内存消耗。然而哈希映射过程中不可避免地会有部分特征信息的丢失，如何生成语义相似性保持的哈希码，在提升检索效率的同时，保证检索精度，对遥感图像哈希检索的研究有着重要的意义。
现有的大规模遥感图像检索系统大多数是基于哈希的近似最近邻搜索技术实现的，哈希码的有效性取决于采用的图像特征描述符和哈希函数的设计。传统的哈希方法依赖人工设计的特征描述符作为哈希编码的输入，由于遥感图像数据的地物类别复杂多样，人工提取的低级特征不能准确地描述遥感图像更抽象的视觉信息，导致生成的哈希码性能不是最优的。随着深度学习的兴起，研究人员将深度学习技术和哈希技术相融合，提出了一种新的检索框架为深度哈希方法，该方法充分利用了深度学习强大的特征表达能力和哈希码简洁有效的优势，在检索任务中取得了良好的表现。然而现有的一些深度哈希方法虽然使用三元组标签信息来指导学习哈希码之间的相似性关系，但没有采用良好的策略选择有效的三元组，导致三元组的信息利用不充分，影响了图像检索的准确性；其次，一些深度哈希方法没有利用图像类别级语义信息，导致哈希码学习过程中语义空间分布不均匀；最后有些深度哈希方法没有考虑到哈希码的均衡性和独立性，影响最终生成的哈希码质量。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于类别级语义哈希的遥感图像检索方法及装置，旨在解决现有的大规模遥感图像检索系统采用的深度哈希方法仅利用三元组损失学习语义度量空间，没有利用图像类别级语义信息指导哈希码的学习过程，导致语义空间的分布不均匀，进而影响图像哈希检索性能的问题。
为实现上述目的，一方面，本发明提供了一种基于类别级语义哈希的遥感图像检索方法，包括以下步骤：
将查询图像输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中，获取查询图像哈希码；
计算查询图像哈希码与哈希码库中各哈希码之间的汉明距离；
按照汉明距离从小到大的顺序进行排序，输出前h个排名的检索结果；其中，h为正整数；
其中，训练基于深度度量的类别级语义哈希网络模型的方法为：以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对哈希码学习子网络进行训练；
哈希码库的获取方法为：将遥感图像数据库输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中获取。
优选地，训练所述基于深度度量的类别级语义哈希网络模型的方法，具体包括以下步骤：
(1)提取带标签的训练样本集数据的深度特征；其中，训练样本集为遥感图像数据库；
(2)从深度特征集合中挑选出有效的三元组特征集合；
(3)在全连接层和输出层之间添加隐藏层，构建哈希学习子网络；且结合三元组度量损失、分类损失、哈希码二值化约束和位均衡约束构建总体目标损失函数；
(4)设置总体目标损失函数的权重系数组合，将有效的三元组特征集合输入至哈希学习子网络，通过交叉验证实验，以检索准确率最高为目标，确定总体目标损失函数的权重系数；
(5)以权重系数确定后的总体目标损失函数最小为目标进行迭代训练哈希学习子网络，当网络收敛或者达到最大迭代次数时，保留基于深度度量的类别级语义哈希网络模型的权重参数。
优选地，挑选有效的三元组特征集合的方法，包括以下步骤：
从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；
从上述批次的图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，再从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；
从上述三元组中挑选出三元组损失大于0的三元组作为有效的三元组特征集合。
优选地，总体目标损失函数为：LOverall＝LMetric+λLCat+γLPush+αLBal；
三元组度量损失函数LMetric为：
Figure BDA0003066818090000031
类别级分类损失函数LCat为：
Figure BDA0003066818090000032
哈希码二值化约束LPush为：
Figure BDA0003066818090000033
位均衡约束LBal为：
Figure BDA0003066818090000041
其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；M表示每个批次中参与训练的三元组的个数；||.||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure BDA00030668180900000412
表示三元组特征集合
Figure BDA0003066818090000042
中的锚点样本，
Figure BDA0003066818090000043
和
Figure BDA0003066818090000044
表示属于同一类别的特征；
Figure BDA0003066818090000045
和
Figure BDA0003066818090000046
表示属于不同类别的特征；m表示最小边界阈值；φ(·)表示交叉熵损失函数；
Figure BDA0003066818090000047
分别代表锚点样本图像
Figure BDA0003066818090000048
正样本图像
Figure BDA0003066818090000049
和负样本图像
Figure BDA00030668180900000410
经网络分类层的softmax输出值，
Figure BDA00030668180900000411
分别为锚点样本图像、正样本图像、负样本图像的类别标签；K表示哈希码的长度；e表示长度为K的全1向量；mean(·)表示对特征向量求平均值；||·||代表向量间逐元素相减。
另一方面，本发明提供了基于深度度量的类别级语义哈希的遥感图像检索装置，包括：基于深度度量的类别级语义哈希网络模型和数据处理系统；
基于深度度量的类别级语义哈希网络模型用于以查询图像和遥感图像数据库为输入，分别输出查询图像哈希码和哈希码库；
数据处理系统用于以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对哈希学习子网络的权重系数进行更新，完成哈希学习子网络的训练；并用于计算查询图像哈希码与哈希码库中各哈希码之间的汉明距离；按照汉明距离从小到大的顺序进行排序，输出前h个排名的检索结果；其中，h为正整数。
优选地，基于深度度量的类别级语义哈希网络模型包括深度特征提取子网络和哈希学习子网络；
深度特征提取子网络用于通过提取查询图像和遥感图像数据库的深度特征；
哈希学习子网络用于挑选有效的三元组特征集合作为输入，学习具有相应特性的紧凑哈希码。
优选地，哈希学习子网络包括顺次相连的两层全连接层、隐藏层和输出层；
全连接层用于将加权组合图像样本某一个或多个深度特征反映至哈希码；
隐藏层用于使用sigmoid激活函数将输出的实值哈希码限制在(0，1)范围之间，并用于对哈希码和图像分类标签之间的关系进行建模；
输出层用于得到每幅输入图像对应的网络softmax输出值，然后计算交叉熵分类损失。
优选地，深度特征提取子网络还包括三元组挑选模块，用于从深度特征中挑选出有效的三元组特征集合，输入至哈希学习子网络。
优选地，挑选有效的三元组特征集合的方法为：
从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；
从上述批次的图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，再从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；
从上述三元组中挑选出三元组损失大于0的三元组作为有效的三元组特征集合。
优选地，总体目标损失函数为：LOverall＝LMetric+λLCat+γLPush+αLBal；
三元组度量损失函数LMetric为：
Figure BDA0003066818090000051
类别级分类损失函数LCat为：
Figure BDA0003066818090000052
哈希码二值化约束LPush为：
Figure BDA0003066818090000053
位均衡约束LBal为：
Figure BDA0003066818090000054
其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；M表示每个批次中参与训练的三元组的个数；||.||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure BDA0003066818090000061
表示三元组特征集合
Figure BDA0003066818090000062
中的锚点样本，
Figure BDA0003066818090000063
和
Figure BDA0003066818090000064
表示属于同一类别的特征；
Figure BDA0003066818090000065
和
Figure BDA0003066818090000066
表示属于不同类别的特征；m表示最小边界阈值；φ(·)表示交叉熵损失函数；
Figure BDA00030668180900000611
分别代表锚点样本图像
Figure BDA0003066818090000067
正样本图像
Figure BDA0003066818090000068
和负样本图像
Figure BDA0003066818090000069
经网络分类层的softmax输出值，
Figure BDA00030668180900000610
分别为锚点样本图像、正样本图像、负样本图像的类别标签；K表示哈希码的长度；e表示长度为K的全1向量；mean(·)表示对特征向量求平均值；||·||代表向量间逐元素相减。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明挑选有效的三元组特征集合作为哈希学习子网络的输入，并在哈希学习子网络中引入一个隐藏层来学习哈希函数；此外，本发明为了学习语义相似性保持的汉明度量空间，使用三元组度量损失函数确保同类图像学习到的哈希码比不同类图像的哈希码更相似；在此基础上，添加类别级分类损失以增强相似哈希码之间的潜在关联性，并使用哈希码二值化约束和位均衡约束学习更有效、判别性更强的二值哈希码，实现将遥感图像从高维特征空间映射到低维汉明空间过程中的语义相似性保持，在保证高检索效率、低存储空间的同时，有效提升检索准确率。
本发明采用小规模数据大批量在线训练的模式挑选有效的三元组集合(从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；从上述批次的图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，再从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；从上述三元组中挑选出三元组损失大于0的三元组作为有效的三元组特征集合)，从而将三元组信息利用得更充分，在加快网络模型收敛速度的同时使得网络学习的特征判别能力更强，提升网络模型的检索性能。
附图说明
图1是本发明实施例提供的基于类别级语义哈希的遥感图像检索方法流程示意图；
图2是本发明实施例提供的基于类别级语义哈希的遥感图像检索装置结构示意图；
图3(a)是本发明实施例提供的飞机场查询图像；
图3(b)是本发明实施例提供的针对图3(a)查询图像示例返回的前20幅检索图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一方面，如图1所示，本发明提供了一种基于类别级语义哈希的遥感图像检索方法，包括以下步骤：
将查询图像输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中，获取查询图像哈希码；
计算查询图像哈希码与哈希码库中各哈希码之间的汉明距离；
按照汉明距离从小到大的顺序进行排序，输出前h个排名的检索结果；其中，h为正整数；
其中，训练基于深度度量的类别级语义哈希网络模型的方法为：以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对哈希码学习子网络进行训练；
哈希码库的获取方法为：将遥感图像数据库输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中获取。
优选地，训练基于深度度量的类别级语义哈希网络模型的方法，具体包括以下步骤：
(1)提取带标签的训练样本集数据的深度特征；其中，训练样本集为遥感图像数据库；
(2)从深度特征集合中挑选出有效的三元组特征集合；
(3)在全连接层和输出层之间添加隐藏层，构建哈希学习子网络；且结合三元组度量损失、分类损失、哈希码二值化约束和位均衡约束构建总体目标损失函数；
(4)设置总体目标损失函数的权重系数组合，将有效的三元组特征集合输入至哈希学习子网络，通过交叉验证实验，以检索准确率最高为目标，确定总体目标损失函数的权重系数；
(5)以权重系数确定后的总体目标损失函数最小为目标进行迭代训练哈希学习子网络，当网络收敛或者达到最大迭代次数时，保留基于深度度量的类别级语义哈希网络模型的权重参数。
优选地，挑选有效的三元组特征集合的方法，包括以下步骤：
从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；
从上述批次的图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，再从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；
从上述三元组中挑选出三元组损失大于0的三元组作为有效的三元组特征集合。
优选地，总体目标损失函数为：LOverall＝LMetric+λLCat+γLPush+αLBal；
三元组度量损失函数LMetric为：
Figure BDA0003066818090000081
类别级分类损失函数LCat为：
Figure BDA0003066818090000091
哈希码二值化约束LPush为：
Figure BDA0003066818090000092
位均衡约束LBal为：
Figure BDA0003066818090000093
其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；M表示每个批次中参与训练的三元组的个数；||.||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure BDA0003066818090000094
表示三元组特征集合
Figure BDA0003066818090000095
中的锚点样本，
Figure BDA0003066818090000096
和
Figure BDA0003066818090000097
表示属于同一类别的特征；
Figure BDA0003066818090000098
和
Figure BDA0003066818090000099
表示属于不同类别的特征；m表示最小边界阈值；φ(·)表示交叉熵损失函数；
Figure BDA00030668180900000910
分别代表锚点样本图像
Figure BDA00030668180900000911
正样本图像
Figure BDA00030668180900000912
和负样本图像
Figure BDA00030668180900000913
经网络分类层的softmax输出值，
Figure BDA00030668180900000914
分别为锚点样本图像、正样本图像、负样本图像的类别标签；K表示哈希码的长度；e表示长度为K的全1向量；mean(·)表示对特征向量求平均值；||·||代表向量间逐元素相减。
另一方面，本发明提供了基于类别级语义哈希的遥感图像检索装置，包括：基于深度度量的类别级语义哈希网络模型和数据处理系统；
基于深度度量的类别级语义哈希网络模型用于以查询图像和遥感图像数据库为输入，分别输出查询图像哈希码和哈希码库；
数据处理系统用于以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对哈希学习子网络的权重系数进行更新，完成哈希学习子网络的训练；并用于计算查询图像哈希码与哈希码库中各哈希码之间的汉明距离；按照汉明距离从小到大的顺序进行排序，输出前h个排名的检索结果；其中，h为正整数。
优选地，如图2所示，基于深度度量的类别级语义哈希网络模型包括深度特征提取子网络和哈希学习子网络；
深度特征提取子网络用于通过提取查询图像和遥感图像数据库的深度特征；
哈希学习子网络用于挑选有效的三元组特征集合作为输入，学习具有相应特性的紧凑哈希码。
优选地，哈希学习子网络包括顺次相连的两层全连接层、隐藏层和输出层；
全连接层用于将加权组合图像样本某一个或多个深度特征反映至哈希码；
隐藏层用于使用sigmoid激活函数将输出的实值哈希码限制在(0，1)范围之间，并用于对哈希码和图像分类标签之间的关系进行建模；
输出层用于得到每幅输入图像对应的网络softmax输出值，然后计算交叉熵分类损失。
优选地，深度特征提取子网络还包括三元组挑选模块，用于从深度特征中挑选出有效的三元组特征集合，输入至哈希学习子网络。
优选地，挑选有效的三元组特征集合的方法为：
从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；
从上述批次的图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，再从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；
从上述三元组中挑选出三元组损失大于0的三元组作为有效的三元组特征集合。
优选地，总体目标损失函数为：LOverall＝LMetric+λLCat+γLPush+αLBal；
三元组度量损失函数LMetric为：
Figure BDA0003066818090000101
类别级分类损失函数LCat为：
Figure BDA0003066818090000102
哈希码二值化约束LPush为：
Figure BDA0003066818090000111
位均衡约束LBal为：
Figure BDA0003066818090000112
其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；M表示每个批次中参与训练的三元组的个数；||.||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure BDA0003066818090000113
表示三元组特征集合
Figure BDA0003066818090000114
中的锚点样本，
Figure BDA0003066818090000115
和
Figure BDA0003066818090000116
表示属于同一类别的特征；
Figure BDA0003066818090000117
和
Figure BDA0003066818090000118
表示属于不同类别的特征；m表示最小边界阈值；φ(·)表示交叉熵损失函数；
Figure BDA0003066818090000119
分别代表锚点样本图像
Figure BDA00030668180900001110
正样本图像
Figure BDA00030668180900001111
和负样本图像
Figure BDA00030668180900001112
经网络分类层的softmax输出值，
Figure BDA00030668180900001113
分别为锚点样本图像、正样本图像、负样本图像的类别标签；K表示哈希码的长度；e表示长度为K的全1向量；mean(·)表示对特征向量求平均值；||·||代表向量间逐元素相减。
实施例
本发明提供了一种基于类别级语义哈希的遥感图像检索方法，如图1所示，包括以下步骤：
(1)将带标签的遥感图像数据集输入至深度特征提取子网络，提取遥感图像的深度特征作为图像的中间表示；
步骤(1)具体包括：利用深度卷积神经网络(Convolutional Neural Network，CNN)提取遥感图像更抽象的深度特征，其特征提取主干网络可以是LeNet网络、AlexNet网络、VGG网络、GoogLeNet网络、ResNet网络和DenseNet网络等其中的任意一种；
在本实施例中，选择在ImageNet数据集上预训练的深度卷积神经网络InceptionV3作为深度特征提取的骨干网络，首先将原始遥感图像的大小剪切为固定的256×256，然后提取网络分类输出层前一层的2048维特征向量作为遥感图像的中间表示；InceptionModule采用了模块化的网络结构，核心思想主要表现在将一个较大的二维卷积分解成几个较小的一维卷积，例如将一个5×5卷积分解成两个3×3卷积；另一种分解形式是将n×n的卷积分解成1×n和n×1卷积，例如将7×7卷积分解成两个一维的卷积1×7和7×1；将3×3分解成1×3和3×1，在保持感受野范围不变的前提下大大减少计算参数量，减轻网络过拟合，可以处理更丰富、更多样的空间特征，相比对称的卷积拆分而言，增加了特征的多样化，因此效果更好。假设
Figure BDA0003066818090000121
表示遥感图像训练样本集的n幅图像，每幅图像Ii对应的类别标签向量为yi∈{0，1}C，C代表数据集类别总数，对于训练样本集经Inception V3网络提取的特征集合可表示为G＝{G1,G2,...,Gn},Gi∈R2048；
(2)从图像提取的深度特征中挑选有效的三元组特征集合，作为哈希学习子网络的输入，用于学习从高维特征向量到低维哈希码序列的映射关系；
具体地，从第一阶段得到的特征集合G＝{G1,G2,...,Gn}中挑选有效的三元组集合
Figure BDA0003066818090000122
M表示每个批次中参与训练的三元组的个数；本实施例采用小规模数据大批量在线训练的模式，首先从训练样本集中随机挑选3个类；接着从每个类中随机挑选30幅图像，组成一个批次的90幅图像；然后从该批次的90幅图像集合中随机挑选一个锚点样本图像，从同类别图像中选取除锚点图像之外的样本图像作为正样本图像；再从不同类别的图像中挑选出负样本图像，共有90×29×60个三元组；最后从中挑选出对训练有意义(三元组损失大于0)的三元组集合，用于学习判别能力更强的哈希码，提升模型检索的准确率；
(3)构建哈希学习子网络，在全连接层和输出层之间增加一个隐藏层，用于对哈希码和图像分类标签之间的关系进行建模，增强相同类别图像哈希码之间的潜在关联性；
步骤(3)中哈希学习子网络的结构具体如下：深度语义哈希学习子网络包括两个全连接层f1-f2、一个隐藏层H和一个分类输出层output，分别有1024、512、K和C个神经元；K是哈希码的长度，C是数据集的类别数；全连接层f1-f2使用Leaky ReLU非线性激活函数加快网络收敛速度，用于加权组合图像样本某一个或多个特征，并将其反映在哈希码上；隐藏层H使用sigmoid激活函数将网络输出限制在(0，1)范围之间，用于对哈希码和图像分类标签之间的关系进行建模，增强相同类别图像哈希码之间的潜在关联性；分类输出层用于得到每幅输入图像对应的网络softmax输出值，然后计算交叉熵分类损失；
(4)组合使用三元组度量损失、分类损失、哈希码二值化约束和位均衡约束对哈希学习子网络进行训练，生成语义相似性保持的有效哈希码，并保留网络收敛时的模型参数；
步骤(4)具体说明如下：
学习一种非线性的哈希映射关系f：R2048→RK，将描述图像的高维特征向量编码成较短的二进制哈希码序列，K表示哈希码的长度，映射函数f应保证生成的二值哈希码能保留原数据空间的语义相似性关系；对于构建的深度语义哈希网络和挑选的三元组特征输入集合
Figure BDA0003066818090000131
对哈希层的权重进行随机初始化并从零开始训练，学习相似性保持的有效哈希码；
构建的语义相似性保持的汉明度量空间使用的损失函数包括：
(41)使用三元组度量损失LMetric保证经哈希学习后同类样本之间哈希码比不同类样本之间的哈希码更接近，即：
Figure BDA0003066818090000132
其中，M表示每个批次中参与训练的三元组的个数；||.||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure BDA0003066818090000133
表示三元组特征集合
Figure BDA0003066818090000134
中的锚点样本，
Figure BDA0003066818090000135
和
Figure BDA0003066818090000136
表示属于同一类别的特征；
Figure BDA0003066818090000137
和
Figure BDA0003066818090000138
表示属于不同类别的特征；m表示最小边界阈值，用于控制正样本和负样本之间的相对距离；
(42)在目标损失函数中添加类别级分类损失LCat，保证语义相同的图像具有相近的哈希码，增强了同类别哈希码之间的潜在关联性；即：
Figure BDA0003066818090000141
(43)在目标损失函数中使用哈希码二值化约束LPush和位均衡约束LBal，一方面使得隐藏层产生的实值哈希码更趋近于0或1，可以更容易地被二值化；另一方面使得生成的哈希码更加分离，离散分布的熵更大，哈希编码性能更好；具体形式为：
Figure BDA0003066818090000142
Figure BDA0003066818090000143
具体地，哈希学习子网络的总体目标损失函数为LOverall＝LMetric+λLCat+γLPush+αLBal，其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；并通过交叉验证实验将三元组损失中的阈值参数m的值设置为0.2，总体目标函数中权重系数的值设置为λ＝1，γ＝0.001，α＝1；W表示哈希学习子网络的权重参数，具体表示如下：
Figure BDA0003066818090000144
对应的实际操作过程为：对于遥感图像训练数据集，使用开源的深度学习框架Tensorflow来搭建基于深度度量的类别级语义哈希检索模型，首先对哈希层的权重进行随机初始化，并选择Adam优化器优化整体目标函数，为其设置一个较小的学习率η＝10-4，另外两个Adam超参数β1和β1分别设置为0.5和0.9。当网络收敛或者达到最大迭代次数时，保留基于深度度量的类别级语义哈希网络模型最优的参数；
(5)将测试集图像输入到基于深度度量的类别级语义哈希网络模型中，保留测试集图像对象的哈希码；当输入查询图像时，获得模型输出的哈希码，并计算查询图像哈希码与测试集图像哈希码之间的汉明距离；
步骤(5)具体包括如下：
(51)从测试集中挑选查询图像Iq输入至基于深度度量的类别级语义哈希网络模型中，利用sign符号函数对隐藏层激活值进行阈值处理，将K位实值哈希码量化处理为K位二值哈希码；即：
bq＝(sign(σ(f(Gq))-0.5)+1)/2，
Figure BDA0003066818090000151
Figure BDA0003066818090000152
其中Iq表示输入的查询图像，Gq对应输入图像的深度特征向量，f(.)表示哈希映射函数，σ(.)表示sigmoid激活函数，sign(.)符号函数表示将实值哈希码每一位量化为1或-1，得到输入图像最终的二值哈希码bq。
(52)根据步骤(51)获取的图像哈希码，计算待检索图像哈希码与测试集图像哈希码之间的汉明距离，K代表哈希码的长度，即：
Figure BDA0003066818090000153
其中，hq为待检索图像哈希码；ht为测试集图像哈希码；D(hq,ht)为待检索图像哈希码与测试集图像哈希码之间的汉明距离；
(6)按照汉明距离从小到大的顺序进行排序，并输出排名位置靠前的检索结果。
综上所述，本发明首先利用深度卷积神经网络提取遥感图像的深度特征作为图像的中间表示；然后挑选有效的三元组集合作为哈希学习子网络的输入，并在哈希学习子网络中引入一个隐藏层以学习哈希函数；此外，为了学习语义相似性保持的汉明度量空间，本发明使用三元度量损失确保同类图像学习到的哈希码比不同类图像的哈希码更相似；在此基础上添加类别级分类损失以增强相似哈希码之间的潜在关联性，并使用哈希码二值化约束和位均衡约束学习更有效、判别性更强的二值哈希码。本发明通过构建基于深度度量的类别级语义哈希网络模型，实现将遥感图像从高维特征空间映射到低维汉明空间过程中的语义相似性保持，在保证高检索效率、低存储空间的同时，有效提升检索准确率。
以下通过实验以证明本发明的有效性：
本实验选取NWPU-RESISC45数据集进行性能测试。该数据集是目前公开的数据量较大、场景较为复杂的遥感图像分类数据集，共有45个不同的场景类别，每个场景类别包含700幅大小为256×256的图像，空间分辨率为30m-0.2m，共计31500幅遥感图像。与其他现有的遥感数据集相比，该数据集包含的数据量更大、场景类别更丰富，图像变化更多样，考虑到了光照、背景、空间分辨率和外观等因素对数据集每一类图像的影响，具有较高的类内多样性和类间相似性；此外，NWPU-RESISC45数据集还包含一些重叠的细粒度语义类别，如网球场和篮球场、圆形农田和矩形农田等，对分类和检索带来了更大的挑战。本实验的遥感图像检索数据集相关属性信息如表1所示。
表1
Figure BDA0003066818090000161
评价指标：平均准确率均值(mAP)；
具体地，在本实验中，mAP表示对所有查询样本的平均准确率取平均值，反映检索结果整体相关图像排名情况，网络模型检索出来的相关图像位置越靠前，mAP的值就越大，该方法的检索性能越好。
Figure BDA0003066818090000171
其中，qi代表某一查询图像，Q代表查询图像总集合，qi∈Q；|Q|代表查询图像的总个数；ni表示第i次查询中图像集返回的与查询图像qi相关的图像数量；precision(Ri j)代表检索返回的前j幅图像的准确率；
首先，在NWPU-RESISC45数据集上进行了消融实验以验证本发明提出的基于深度度量的类别级语义哈希网络模型(记为DMCH模型)中目标损失函数的各个约束项对检索性能的贡献，主要包括：一是没有使用三元组损失的DMCH模型，记为DMCH-nTri；二是挑选三元组时没有使用Batch All策略的DMCH模型，记为DMCH-nBatchAll-Tri；三是没有使用类别级语义信息指导哈希函数学习的DMCH模型，记为DMCH-nCat；四是没有考虑哈希码二值化约束的DMCH模型，记为DMCH-nPush；五是没有考虑哈希码位均衡约束的DMCH模型，记为DMCH-nBal；实验中哈希码的长度分别设置为32、64和96，其中最好的结果用粗体加以标注；实验结果如表2所示；
表2
模型 K＝32 K＝64 K＝96
DMCH-nTri 0.7408 0.7691 0.7964
DMCH-nBatchAll-Tri 0.7939 0.8123 0.8310
DMCH-nCat 0.7411 0.7914 0.8010
DMCH-nPush 0.7904 0.8216 0.8429
DMCH-nBal 0.7468 0.7698 0.7917
DMCH 0.7974 0.8287 0.8437
如表2数据所示，通过分析本发明提出的DMCH模型与各种对比模型在不同长度哈希码时检索的mAP值，可以看出：(1)本发明提出的DMCH模型中目标损失函数的各个约束项对检索性能都有着明显的提升作用；(2)其中三元组度量损失函数LMetric、类别级分类损失函数LCat和哈希码位均衡约束LBal对学习相似性保持的有效哈希码影响相对更大，这说明本发明提出的DMCH模型引入LMetric、LCat和LBal学习哈希码的必要性，LMetric较好地保证了哈希码类内相似性和类间差异性，LCat增强了相似哈希码之间的潜在关联性，LBal使得哈希码离散分布的熵最大，因此学习到的哈希码判别性更好；(3)对比DMCH-nTri模型和DMCH-nBatchAll-Tri模型，本发明提出的DMCH模型不仅学习到基于三元组的汉明度量空间，还使用BatchAll的方式挑选有效的三元组特征集合，为哈希函数的学习提供了更多有用的信息，因此本发明提出的DMCH模型检索准确率相比DMCH-nTri模型和DMCH-nBatchAll-Tri模型检索分别有了进一步的提高；
为了验证本发明提出的DMCH模型的检索性能将其与目前具有代表性的哈希检索模型进行对比，包括：(1)DHN模型，该模型分别使用成对交叉熵损失函数和量化误差损失来学习哈希码之间的相似性关系并保证生成哈希码的质量；(2)DPSH模型，该模型使用全连接层学习哈希函数并设计了一种新的基于成对损失的优化方法；(3)PRH模型，该模型主要思想是采用随机投影将遥感图像从原始空间映射到低维汉明空间，然后通过训练样本数据学习一个变换权重矩阵，以获得性能更优的二值码；(4)KSLSH模型，该模型提出使用人工设计的特征描述符在核空间学习哈希函数；(5)MiLaN模型，该模型在全连接层构建哈希函数，并使用三元组损失和哈希码约束来学习紧凑的哈希码；在NWPU-RESISC45数据集上的哈希检索对比结果如表3所示(表3中mAP@20表示对检索返回的前20幅图像计算平均准确率均值)；
表3
Figure BDA0003066818090000191
从表3中数据可以看出：由于深度卷积神经网络在图像特征表达方面的优势，使用深度特征的哈希方法的性能明显优于使用浅层特征的哈希方法；监督哈希方法由于利用了标签信息，性能也优于无监督哈希方法；且随着哈希码长度的增加，mAP值也有着一定程度的提高；更值得注意的是，本发明提出的DMCH模型在不同哈希码长度下均获得了最高的mAP值。由此可知，本发明提出的DMCH模型学习到的哈希码不仅考虑了基于三元组度量空间的语义相似性保持关系，在此基础上通过在哈希学习子网络中引入一个隐藏层对哈希码和图像类别标签之间的关系进行建模，增强了相似哈希码之间的潜在关联性，最后使用哈希码约束保证了哈希码的有效性和均衡性，有效地提高了生成哈希码的性能，从而在检索中获得较高的准确率。
此外，在测试阶段，本发明通过比较查询图像经DMCH模型输出的哈希码和测试数据集对应的哈希码集合之间的汉明距离大小，返回与查询图像视觉内容更相似的检索结果。假设图像集数目为N，则单次查询的时间复杂度为O(N)，表示检索时线性扫描图像集对应的哈希码集合所消耗的时间。与其他的基于汉明距离排序的哈希方法相比，本发明提出的DMCH模型在不增加额外的时间复杂度的前提下大幅度地提升了哈希检索的准确率，更适用于执行大规模遥感图像哈希检索任务。
对于如图3(a)所示的背景较复杂的遥感查询图像，本发明的方法检索返回的前20幅图像如图3(b)所示，可以直观看出，本发明提出的DMCH模型能够检索出与查询图像视觉或语义上相似的图像，具有良好的检索性能。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于类别级语义哈希的遥感图像检索方法，其特征在于，包括以下步骤：
将查询图像输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中，获取查询图像哈希码；
计算所述查询图像哈希码与哈希码库中各哈希码之间的汉明距离；
按照所述汉明距离从小到大的顺序进行排序，输出前h个排名的检索结果；其中，h为正整数；
其中，训练所述基于深度度量的类别级语义哈希网络模型的方法为：以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对哈希码学习子网络进行训练；
所述哈希码库的获取方法为：将遥感图像数据库输入至已训练完毕的基于深度度量的类别级语义哈希网络模型中获取。
2.根据权利要求1所述的遥感图像检索方法，其特征在于，训练所述基于深度度量的类别级语义哈希网络模型的方法，具体包括以下步骤：
(1)提取带标签的训练样本集数据的深度特征；其中，训练样本集为遥感图像数据库；
(2)从深度特征集合中挑选出有效的三元组特征集合；
(3)在全连接层和输出层之间添加隐藏层，构建哈希学习子网络；且结合三元组度量损失、分类损失、哈希码二值化约束和位均衡约束构建总体目标损失函数；
(4)设置总体目标损失函数的权重系数组合，将有效的三元组特征集合输入至哈希学习子网络，通过交叉验证实验，以检索准确率最高为目标，确定总体目标损失函数的权重系数；
(5)以权重系数确定后的总体目标损失函数最小为目标进行迭代训练哈希学习子网络，当网络收敛或者达到最大迭代次数时，保留基于深度度量的类别级语义哈希网络模型的权重参数。
3.根据权利要求2所述的遥感图像检索方法，其特征在于，挑选所述有效的三元组特征集合的方法，包括以下步骤：
(1)从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；
(2)从步骤(1)获取的批次图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，且从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；
(3)挑选出三元组损失大于0的三元组作为有效的三元组特征集合。
4.根据权利要求1至3任一所述的遥感图像检索方法，其特征在于，
所述总体目标损失函数为：LOverall＝LMetric+λLCat+γLPush+αLBal；
所述三元组度量损失函数LMetric为：
Figure FDA0003066818080000021
所述类别级分类损失函数LCat为：
Figure FDA0003066818080000022
所述哈希码二值化约束LPush为：
Figure FDA0003066818080000023
所述位均衡约束LBal为：
Figure FDA0003066818080000024
其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；M表示每个批次中参与训练的三元组的个数；||.||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure FDA0003066818080000031
表示三元组特征集合
Figure FDA0003066818080000032
中的锚点样本，
Figure FDA0003066818080000033
和
Figure FDA0003066818080000034
表示属于同一类别的特征；
Figure FDA0003066818080000035
和
Figure FDA0003066818080000036
表示属于不同类别的特征；m表示最小边界阈值；φ(·)表示交叉熵损失函数；
Figure FDA0003066818080000037
分别代表锚点样本图像
Figure FDA0003066818080000038
正样本图像
Figure FDA0003066818080000039
和负样本图像
Figure FDA00030668180800000310
经网络分类层的softmax输出值，
Figure FDA00030668180800000311
分别为锚点样本图像、正样本图像、负样本图像的类别标签；K表示哈希码的长度；e表示长度为K的全1向量；mean(·)表示对特征向量求平均值；||·||代表向量间逐元素相减。
5.一种基于类别级语义哈希的遥感图像检索装置，其特征在于，包括基于深度度量的类别级语义哈希网络模型和数据处理系统；
所述基于深度度量的类别级语义哈希网络模型用于以查询图像和遥感图像数据库为输入，分别获取查询图像哈希码和哈希码库；
所述数据处理系统用于以基于三元组度量损失、类别级分类损失、哈希码二值化约束和位均衡约束构建的总体目标损失函数最小为目标对哈希学习子网络的权重系数进行更新，完成哈希学习子网络的训练；并用于计算查询图像哈希码与哈希码库中各哈希码之间的汉明距离；按照汉明距离从小到大的顺序进行排序，输出前h个排名的检索结果；其中，h为正整数。
6.根据权利要求5所述的遥感图像检索装置，其特征在于，所述基于深度度量的类别级语义哈希网络模型包括深度特征提取子网络和哈希学习子网络；
深度特征提取子网络用于通过提取查询图像和遥感图像数据库的深度特征；
哈希学习子网络用于挑选有效的三元组特征集合作为输入，学习具有相应特性的哈希码。
7.根据权利要求6所述的遥感图像检索装置，其特征在于，所述哈希学习子网络包括顺次相连的两层全连接层、隐藏层和输出层；
所述全连接层用于将加权组合图像样本某一个或多个深度特征反映至哈希码；
所述隐藏层用于使用sigmoid激活函数将输出的实值哈希码限制在(0，1)范围之间，并用于对哈希码和图像分类标签之间的关系进行建模；
所述输出层用于得到每幅输入图像对应的网络softmax输出值，然后计算交叉熵分类损失。
8.根据权利要求6或7所述的遥感图像检索装置，其特征在于，所述数据处理系统还包括三元组挑选模块，用于从深度特征中挑选出有效的三元组特征集合，输入至哈希学习子网络。
9.根据权利要求8所述的遥感图像检索装置，其特征在于，挑选所述有效的三元组特征集合的方法为：
(1)从训练样本集中随机挑选P个类，再从每个类中随机挑选K幅图像，组成一个批次的P×K幅图像；
(2)从步骤(1)获取的批次图像中随机挑选一个锚点样本图像，从同类别图像中选取除锚点样本之外的图像作为正样本图像，且从不同类别的图像中随机挑选出负样本图像，构建(P×K)×(K-1)×(P×K-K)个三元组；
(3)挑选出三元组损失大于0的三元组作为有效的三元组特征集合。
10.根据权利要求5所述的遥感图像检索装置，其特征在于，所述总体目标损失函数为：LOverall＝LMetric+λLCat+γLPush+αLBal；
所述三元组度量损失函数LMetric为：
Figure FDA0003066818080000041
所述类别级分类损失函数LCat为：
Figure FDA0003066818080000042
所述哈希码二值化约束LPush为：
Figure FDA0003066818080000051
所述位均衡约束LBal为：
Figure FDA0003066818080000052
其中，λ、γ、α分别表示LCat损失、LPush损失、LBal损失的权重系数；M表示每个批次中参与训练的三元组的个数；||·||2代表向量的L2范数；f(·)代表哈希映射函数；
Figure FDA0003066818080000053
表示三元组特征集合
Figure FDA0003066818080000054
中的锚点样本，
Figure FDA0003066818080000055
和
Figure FDA0003066818080000056
表示属于同一类别的特征；
Figure FDA0003066818080000057
和
Figure FDA0003066818080000058
表示属于不同类别的特征；m表示最小边界阈值；φ(·)表示交叉熵损失函数；
Figure FDA0003066818080000059
分别代表锚点样本图像
Figure FDA00030668180800000510
正样本图像
Figure FDA00030668180800000511
和负样本图像
Figure FDA00030668180800000512
经网络分类层的softmax输出值，
Figure FDA00030668180800000513
分别为锚点样本图像、正样本图像、负样本图像的类别标签；K表示哈希码的长度；e表示长度为K的全1向量；mean(·)表示对特征向量求平均值；||·||代表向量间逐元素相减。
CN202110528115.8A 2021-05-14 2021-05-14 一种基于类别级语义哈希的遥感图像检索方法及装置 Active CN113190699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528115.8A CN113190699B (zh) 2021-05-14 2021-05-14 一种基于类别级语义哈希的遥感图像检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528115.8A CN113190699B (zh) 2021-05-14 2021-05-14 一种基于类别级语义哈希的遥感图像检索方法及装置

Publications (2)

Publication Number Publication Date
CN113190699A true CN113190699A (zh) 2021-07-30
CN113190699B CN113190699B (zh) 2023-04-18

Family

ID=76981914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528115.8A Active CN113190699B (zh) 2021-05-14 2021-05-14 一种基于类别级语义哈希的遥感图像检索方法及装置

Country Status (1)

Country Link
CN (1) CN113190699B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806582A (zh) * 2021-11-17 2021-12-17 腾讯科技（深圳）有限公司 图像检索方法、装置、电子设备和存储介质
CN113836341A (zh) * 2021-09-13 2021-12-24 武汉理工大学 基于无监督转换器平衡哈希的遥感图像检索方法
CN114067385A (zh) * 2021-10-09 2022-02-18 华南理工大学 基于度量学习的跨模态人脸检索哈希方法
CN114168782A (zh) * 2021-11-30 2022-03-11 西安理工大学 一种基于三元组网络的深度哈希图像检索方法
CN114329029A (zh) * 2021-10-28 2022-04-12 腾讯科技（深圳）有限公司 对象检索方法、装置、设备及计算机存储介质
CN114676279A (zh) * 2022-05-25 2022-06-28 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN114911958A (zh) * 2022-06-09 2022-08-16 电子科技大学 一种基于语义偏好的快速图像检索方法
CN115292532A (zh) * 2022-06-24 2022-11-04 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN116051917A (zh) * 2021-10-28 2023-05-02 腾讯科技（深圳）有限公司 一种训练图像量化模型的方法、检索图像的方法及装置
CN116050508A (zh) * 2021-10-28 2023-05-02 腾讯科技（深圳）有限公司 神经网络训练方法以及装置
CN116468960A (zh) * 2023-06-19 2023-07-21 南京朵盛信息技术有限公司 一种视频图像分析检索方法及系统
CN116629272A (zh) * 2023-07-24 2023-08-22 山东大学 自然语言控制的文本生成方法及系统
CN117312325A (zh) * 2023-11-28 2023-12-29 中国科学技术大学 基于知识蒸馏的量化索引构建方法、装置及设备
CN114067385B (zh) * 2021-10-09 2024-05-31 华南理工大学 基于度量学习的跨模态人脸检索哈希方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682233A (zh) * 2017-01-16 2017-05-17 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索系统及方法
CN107423376A (zh) * 2017-07-10 2017-12-01 上海交通大学 一种有监督深度哈希快速图片检索方法及系统
CN109918528A (zh) * 2019-01-14 2019-06-21 北京工商大学 一种基于语义保护的紧凑的哈希码学习方法
CN110134803A (zh) * 2019-05-17 2019-08-16 哈尔滨工程大学 基于哈希学习的图像数据快速检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682233A (zh) * 2017-01-16 2017-05-17 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索系统及方法
CN107423376A (zh) * 2017-07-10 2017-12-01 上海交通大学 一种有监督深度哈希快速图片检索方法及系统
CN109918528A (zh) * 2019-01-14 2019-06-21 北京工商大学 一种基于语义保护的紧凑的哈希码学习方法
CN110134803A (zh) * 2019-05-17 2019-08-16 哈尔滨工程大学 基于哈希学习的图像数据快速检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周佺: "基于深度哈希学习的大规模图像检索技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
彭天强等: "基于深度卷积神经网络和二进制哈希学习的图像检索方法", 《电子与信息学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836341A (zh) * 2021-09-13 2021-12-24 武汉理工大学 基于无监督转换器平衡哈希的遥感图像检索方法
CN113836341B (zh) * 2021-09-13 2023-08-18 武汉理工大学 基于无监督转换器平衡哈希的遥感图像检索方法
CN114067385A (zh) * 2021-10-09 2022-02-18 华南理工大学 基于度量学习的跨模态人脸检索哈希方法
CN114067385B (zh) * 2021-10-09 2024-05-31 华南理工大学 基于度量学习的跨模态人脸检索哈希方法
CN116050508A (zh) * 2021-10-28 2023-05-02 腾讯科技（深圳）有限公司 神经网络训练方法以及装置
CN114329029A (zh) * 2021-10-28 2022-04-12 腾讯科技（深圳）有限公司 对象检索方法、装置、设备及计算机存储介质
CN114329029B (zh) * 2021-10-28 2024-05-14 腾讯科技（深圳）有限公司 对象检索方法、装置、设备及计算机存储介质
CN116051917A (zh) * 2021-10-28 2023-05-02 腾讯科技（深圳）有限公司 一种训练图像量化模型的方法、检索图像的方法及装置
CN113806582B (zh) * 2021-11-17 2022-02-25 腾讯科技（深圳）有限公司 图像检索方法、装置、电子设备和存储介质
CN113806582A (zh) * 2021-11-17 2021-12-17 腾讯科技（深圳）有限公司 图像检索方法、装置、电子设备和存储介质
CN114168782A (zh) * 2021-11-30 2022-03-11 西安理工大学 一种基于三元组网络的深度哈希图像检索方法
CN114168782B (zh) * 2021-11-30 2024-03-15 西安理工大学 一种基于三元组网络的深度哈希图像检索方法
CN114676279A (zh) * 2022-05-25 2022-06-28 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN114676279B (zh) * 2022-05-25 2022-09-02 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN114911958B (zh) * 2022-06-09 2023-04-18 电子科技大学 一种基于语义偏好的快速图像检索方法
CN114911958A (zh) * 2022-06-09 2022-08-16 电子科技大学 一种基于语义偏好的快速图像检索方法
CN115292532B (zh) * 2022-06-24 2024-03-15 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN115292532A (zh) * 2022-06-24 2022-11-04 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN116468960A (zh) * 2023-06-19 2023-07-21 南京朵盛信息技术有限公司 一种视频图像分析检索方法及系统
CN116468960B (zh) * 2023-06-19 2023-08-25 南京朵盛信息技术有限公司 一种视频图像分析检索方法及系统
CN116629272A (zh) * 2023-07-24 2023-08-22 山东大学 自然语言控制的文本生成方法及系统
CN116629272B (zh) * 2023-07-24 2023-10-10 山东大学 自然语言控制的文本生成方法及系统
CN117312325A (zh) * 2023-11-28 2023-12-29 中国科学技术大学 基于知识蒸馏的量化索引构建方法、装置及设备
CN117312325B (zh) * 2023-11-28 2024-03-29 中国科学技术大学 基于知识蒸馏的量化索引构建方法、装置及设备

Also Published As

Publication number Publication date
CN113190699B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113190699B (zh) 一种基于类别级语义哈希的遥感图像检索方法及装置
CN114067160B (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN112115995B (zh) 一种基于半监督学习的图像多标签分类方法
CN107122809B (zh) 基于图像自编码的神经网络特征学习方法
CN110309331B (zh) 一种基于自监督的跨模态深度哈希检索方法
CN112560432B (zh) 基于图注意力网络的文本情感分析方法
CN111125411B (zh) 一种深度强相关哈希学习的大规模图像检索方法
CN112434628B (zh) 基于主动学习和协同表示的小样本图像分类方法
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
Islam et al. InceptB: a CNN based classification approach for recognizing traditional bengali games
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN111325264A (zh) 一种基于熵的多标签数据分类方法
CN113177141A (zh) 基于语义嵌入软相似性的多标签视频哈希检索方法及设备
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN111008224A (zh) 一种基于深度多任务表示学习的时间序列分类和检索方法
Shi et al. Evolutionary multitask ensemble learning model for hyperspectral image classification
CN112800229A (zh) 基于知识图嵌入的涉案领域的半监督方面级情感分析方法
CN115471739A (zh) 基于自监督对比学习的跨域遥感场景分类与检索方法
CN115292532A (zh) 基于伪标签一致性学习的遥感图像域适应检索方法
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN115878757A (zh) 一种基于概念分解的混合超图正则化半监督跨模态哈希方法
Wang et al. A convolutional neural network image classification based on extreme learning machine
CN116226404A (zh) 一种针对肠-脑轴的知识图谱构建方法及知识图谱系统
Chu et al. Social-guided representation learning for images via deep heterogeneous hypergraph embedding
CN114970684A (zh) 一种结合vae的提取网络核心结构的社区检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant