CN114972959B - 深度学习中样本生成和类内排序损失的遥感图像检索方法 - Google Patents

深度学习中样本生成和类内排序损失的遥感图像检索方法 Download PDF

Info

Publication number
CN114972959B
CN114972959B CN202210894362.4A CN202210894362A CN114972959B CN 114972959 B CN114972959 B CN 114972959B CN 202210894362 A CN202210894362 A CN 202210894362A CN 114972959 B CN114972959 B CN 114972959B
Authority
CN
China
Prior art keywords
loss
sample
remote sensing
sensing image
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210894362.4A
Other languages
English (en)
Other versions
CN114972959A (zh
Inventor
刘萍萍
王一帆
周求湛
郎一君
杨晓康
刘泽同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202210894362.4A priority Critical patent/CN114972959B/zh
Publication of CN114972959A publication Critical patent/CN114972959A/zh
Application granted granted Critical
Publication of CN114972959B publication Critical patent/CN114972959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

深度学习中样本生成和类内排序损失的遥感图像检索方法，属于遥感图像检索方法技术领域。搭建卷积神经网络模型，对原始的遥感图像数据集进行预处理和增强处理；将遥感图像数据集输入到数据加载器中，选取优化器；从数据加载器中读取遥感图像数据；对读取的遥感图像数据进行特征提取，将特征输入到损失函数中；对输入的特征进行样本生成和损失计算；对得到的损失计算梯度进行反向传播更新卷积神经网络的参数；判断训练的次数是否达到卷积神经网络参数设置的次数；将需要查询的遥感图像数据输入到训练好的卷积神经网络中得到向量，然后将向量与检索数据集中其他的向量进行比较，选出相似性高的遥感图像数据。

Description

深度学习中样本生成和类内排序损失的遥感图像检索方法
技术领域
本发明涉及遥感图像检索方法技术领域，具体为深度学习中样本生成和类内排序损失的遥感图像检索方法。
背景技术
随着遥感技术的发展，遥感图像的数量和种类显著增加。这方面促使许多研究人员专注于遥感图像的应用，如识别、分类、检索等。在这些应用中，遥感图像检索是最具挑战性的，同时在遥感大数据的高效管理和挖掘中发挥着重要作用。遥感图像检索的目的是在检索数据集中返回与给定查询图像在视觉上相似的所有图像，但庞大的遥感图像数据集使得精确的返回这些图像是很困难的。但随着深度卷积神经网络的出现，为遥感图像检索带来了解决的方案。深度卷积神经网络被认为是最成功和广泛使用的深度学习方法，它极大地改善了许多图像相关应用的最新技术。
在遥感图像检索中，为了提高检索效率，将通过深度卷积神经网络获得的更具代表性的高级特征进行度量学习，这些高级特征通过学习后能够很好的满足检索的需求。深度度量学习用于学习嵌入空间，其中来自同一类别的相似样本彼此靠近，同时，来自不同类别的不同样本保持分开。一般来说，深度度量学习的主要是通过设计有效的损失函数来达到学习的目的，损失函数大致可以分为两种，一种是基于样本对的损失函数，一种是基于代理的损失函数。
基于样本对的损失函数主要是通过利用样本间的关系信息，由于样本间的关系信息十分丰富，但是并不是所有的信息都是有用的，如果选择使用样本间全部的信息不仅会使训练复杂性增加，同时一些没有意义的信息可能会导致收敛速度的变慢，甚至会导致模型崩塌。所有我们需要在训练期间选择合适的样本对，这些样本在深度度量学习中被称为信息样本，信息样本往往对损失函数的计算有更高的贡献，也能使模型快速收敛。
基于代理的损失函数主要是通过利用代理和样本之间的关系信息，因为基于样本对的损失函数即使通过选择信息样本的训练复杂性也会很高，所有出现了基于代理的损失函数，通过为每个类分配一个代理，然后将样本与每个类的代理进行联系，能够显著的减少训练复杂性。
在深度度量学习中，现有技术仅仅关注于类间的差异，也即尝试将正样本和负样本尽可能区分开来，但是没有考虑到类内的差异，对于所有正样本都一样对待，导致生成的嵌入空间对同类样本的区分性不够。
发明内容
本发明解决了现有技术由于没有考虑到类内的差异，导致生成的嵌入空间对同类样本的区分性不够的问题。
本发明所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，包括以下步骤：
步骤S1，搭建卷积神经网络模型，对原始的遥感图像数据集进行预处理和增强处理；
步骤S2，将遥感图像数据集输入到数据加载器中，选取优化器；
步骤S3，从数据加载器中读取遥感图像数据；
步骤S4，对步骤S3输出的遥感图像数据输入到卷积神经网络模型中进行特征提取，然后将特征输入到损失函数中；
步骤S5，对步骤S4输入的特征进行样本生成和损失计算；
步骤S6，对步骤S5得到的损失计算梯度进行反向传播更新卷积神经网络的参数；
步骤S7，判断训练的次数是否达到卷积神经网络参数设置的次数，若没有达到，则重复步骤S3～S6，若已达到，则结束训练，将训练好的卷积神经网络用于检索；
步骤S8，将需要查询的遥感图像数据输入到训练好的卷积神经网络中得到向量，然后将向量与检索数据集中向量进行比较，选出相似性高的遥感图像数据。
进一步地，在本发明的一个实施例中，所述的步骤S1中，所述的遥感图像数据集包括训练集和测试集。
进一步地，在本发明的一个实施例中，所述的步骤S1中，所述的原始的遥感图像数据的分辨率为224*224。
进一步地，在本发明的一个实施例中，所述的步骤S1中，所述的对遥感图像数据进行增强处理包括水平翻转、中心裁剪和正则化。
进一步地，在本发明的一个实施例中，所述的步骤S4中，所述的损失函数为：
Figure DEST_PATH_IMAGE001
，式中，
Figure DEST_PATH_IMAGE002
为总的损失函数，
Figure DEST_PATH_IMAGE003
为代理与正样本之间的损失，
Figure DEST_PATH_IMAGE004
为代理与负样本之间的损失，
Figure DEST_PATH_IMAGE005
为生成样本所产生的类内排序损失，λ为
Figure DEST_PATH_IMAGE006
的比例因子，取值为0-1。
进一步地，在本发明的一个实施例中，所述的步骤S5中，所述的对步骤S4输入的特征进行样本生成和损失计算，包括以下步骤：
步骤S501，对于每个样本，判断其与对应的代理之间是否满足样本生成的条件，若满足样本生成的条件，则生成N个样本，并输入到损失函数中计算N个样本之间是否满足类内排序关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失，同时还需要判断每个生成样本与对应的代理之间满足是否相似性关系，若满足，则不会产生损失，若不满足，则会产生损失，若不满足样本生成的条件，则跳过步骤S501直接执行步骤S502；
步骤S502，对于每个代理与所有同类的正样本进行联系，同时还需要将其输入到损失函数中计算每个代理与对应的正样本之间是否满足相似性关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失；
步骤S503，对于每个代理与所有不同类的负样本进行联系，同时还需要将其输入到损失函数中计算每个代理与对应的负样本之间是否满足相似性关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失，结束损失的计算。
进一步地，在本发明的一个实施例中，所述的步骤S501中，所述的样本生成的条件为：
将从卷积神经网络中得到样本嵌入特征与代理进行余弦相似性计算，若该余弦相似性样本大于δ，则对该样本进行样本生成；
δ是一个固定参数，将生成样本与代理之间满足一定的相似性。
进一步地，在本发明的一个实施例中，所述的步骤S501中，所述的损失函数为：
Figure DEST_PATH_IMAGE007
，式中，
Figure DEST_PATH_IMAGE008
表示正代理集合，则
Figure DEST_PATH_IMAGE009
为正代理集合的数目，
Figure DEST_PATH_IMAGE010
表示对于代理P而言，正样本中与P之间余弦相似性大于δ的样本集合，即能够进行样本生成的样本集合，N表示生成样本的数目，
Figure DEST_PATH_IMAGE011
表示生成样本i与原始样本x之间的余弦相似性，同理
Figure DEST_PATH_IMAGE012
就是生成样本j和原始样本x之间的余弦相似性，而
Figure DEST_PATH_IMAGE013
表示生成样本i与代理P之间的余弦相似性，α是一个固定参数，是为了将生成样本之间保持一定的类内排序，即如果i<j，则需要满足
Figure DEST_PATH_IMAGE014
，δ也是一个固定参数，将生成样本与代理之间满足一定的相似性，
Figure DEST_PATH_IMAGE015
为生成样本所产生的类内排序损失。
进一步地，在本发明的一个实施例中，所述的步骤S502中，所述的损失函数为：
Figure DEST_PATH_IMAGE016
，式中，
Figure DEST_PATH_IMAGE017
表示对于代理P而言，所有的正样本，
Figure DEST_PATH_IMAGE018
表示样本x与代理P之间的余弦相似性，δ是一个固定参数，将样本与代理之间满足一定的相似性，
Figure DEST_PATH_IMAGE019
为代理与正样本之间的损失，
Figure DEST_PATH_IMAGE020
表示正代理集合，则
Figure DEST_PATH_IMAGE021
为正代理集合的数目。
进一步地，在本发明的一个实施例中，所述的步骤S503中，所述的损失函数为：
Figure DEST_PATH_IMAGE022
，式中，
Figure DEST_PATH_IMAGE023
为代理与负样本之间的损失，P为所有代理组成的集合，|P|则为所有代理的数目，
Figure DEST_PATH_IMAGE024
表示对于代理P而言，所有的负样本，
Figure DEST_PATH_IMAGE025
表示样本x与代理P之间的余弦相似性，δ是一个固定参数，将样本与代理之间满足一定的相似性。
本发明解决了现有技术由于没有考虑到类内的差异，导致生成的嵌入空间对同类样本的区分性不够的问题。具体有益效果包括：
1、本发明所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，利用自监督学习的方法做训练样本增广，基于代理的度量损失做约束条件使得样本与代理之间以及样本与生成样本之间满足指定的优化目标，以此实现生成的嵌入式空间描述性和区分性更为优异；
2、本发明所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，该样品生成方法基于嵌入向量的，十分易于实现；
3、本发明所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，通过样本生成和损失函数的设计，将生成的样本用到了训练中，增加了对样本信息的利用，解决了现有的方法由于基于代理的损失函数，对样本间丰富的信息利用不够的问题。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是具体实施方式所述的深度学习中样本生成和类内排序损失的遥感图像检索方法流程图；
图2是具体实施方式所述的样本生成的示意图；
图3是具体实施方式所述的训练中样本梯度大小及样本变化的示意图。
具体实施方式
下面结合附图将对本发明的多种实施方式进行清楚、完整地描述。通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施方式所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，包括以下步骤：
步骤S1，搭建卷积神经网络模型，对原始的遥感图像数据集进行预处理和增强处理；
步骤S2，将遥感图像数据集输入到数据加载器中，选取优化器；
步骤S3，从数据加载器中读取遥感图像数据；
步骤S4，对步骤S3输出的遥感图像数据输入到卷积神经网络模型中进行特征提取，然后将特征输入到损失函数中；
步骤S5，对步骤S4输入的特征进行样本生成和损失计算；
步骤S6，对步骤S5得到的损失计算梯度进行反向传播更新卷积神经网络的参数；
步骤S7，判断训练的次数是否达到卷积神经网络参数设置的次数，若没有达到，则重复步骤S3～S6，若已达到，则结束训练，将训练好的卷积神经网络用于检索；
步骤S8，将需要查询的遥感图像数据输入到训练好的卷积神经网络中得到向量，然后将向量与检索数据集中向量进行比较，选出相似性高的遥感图像数据。
本实施方式中，所述的步骤S1中，所述的遥感图像数据集包括训练集和测试集。
本实施方式中，所述的步骤S1中，所述的原始的遥感图像数据的分辨率为224*224。
本实施方式中，所述的步骤S1中，所述的对遥感图像数据进行增强处理包括水平翻转、中心裁剪和正则化。
本实施方式中，所述的步骤S4中，所述的损失函数为：
Figure DEST_PATH_IMAGE026
，式中，
Figure DEST_PATH_IMAGE027
为总的损失函数，
Figure DEST_PATH_IMAGE028
为代理与正样本之间的损失，
Figure DEST_PATH_IMAGE029
为代理与负样本之间的损失，
Figure DEST_PATH_IMAGE030
为生成样本所产生的类内排序损失，λ为
Figure DEST_PATH_IMAGE031
的比例因子，取值为0-1。
本实施方式中，所述的步骤S5中，所述的对步骤S4输入的特征进行样本生成和损失计算，包括以下步骤：
步骤S501，对于每个样本，判断其与对应的代理之间是否满足样本生成的条件，若满足样本生成的条件，则生成N个样本，并输入到损失函数中计算N个样本之间是否满足类内排序关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失，同时还需要判断每个生成样本与对应的代理之间满足是否相似性关系，若满足，则不会产生损失，若不满足，则会产生损失，若不满足样本生成的条件，则跳过步骤S501直接执行步骤S502；
步骤S502，对于每个代理与所有同类的正样本进行联系，同时还需要将其输入到损失函数中计算每个代理与对应的正样本之间是否满足相似性关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失；
步骤S503，对于每个代理与所有不同类的负样本进行联系，同时还需要将其输入到损失函数中计算每个代理与对应的负样本之间是否满足相似性关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失，结束损失的计算。
本实施方式中，所述的步骤S501中，所述的样本生成的条件为：
将从卷积神经网络中得到样本嵌入特征与代理进行余弦相似性计算，若该余弦相似性样本大于δ，则对该样本进行样本生成；
δ是一个固定参数，将生成样本与代理之间满足一定的相似性。
本实施方式中，所述的步骤S501中，所述的损失函数为：
Figure DEST_PATH_IMAGE032
，式中，一个训练中的所有样本对应类别的代理为正代理集合，
Figure DEST_PATH_IMAGE033
表示正代理集合，则
Figure DEST_PATH_IMAGE034
为正代理集合的数目，
Figure DEST_PATH_IMAGE035
表示对于代理P而言，正样本中与P之间余弦相似性大于δ的样本集合，即能够进行样本生成的样本集合，N表示生成样本的数目，
Figure DEST_PATH_IMAGE036
表示生成样本i与原始样本x之间的余弦相似性，同理
Figure DEST_PATH_IMAGE037
是生成样本j和原始样本x之间的余弦相似性，而
Figure DEST_PATH_IMAGE038
表示生成样本i与代理P之间的余弦相似性，α是一个固定参数，是为了将生成样本之间保持一定的类内排序，即如果i<j，则需要满足
Figure DEST_PATH_IMAGE039
，δ也是一个固定参数，是为了将生成样本与代理之间满足一定的相似性，
Figure DEST_PATH_IMAGE040
为生成样本所产生的类内排序损失。
本实施方式中，所述的步骤S502中，所述的损失函数为：
Figure DEST_PATH_IMAGE041
，式中，
Figure DEST_PATH_IMAGE042
表示对于代理P而言，所有的正样本；
Figure DEST_PATH_IMAGE043
表示样本x与代理P之间的余弦相似性；δ是一个固定参数，是为了将样本与代理之间满足一定的相似性，
Figure DEST_PATH_IMAGE044
为代理与正样本之间的损失，
Figure DEST_PATH_IMAGE045
表示正代理集合，则
Figure DEST_PATH_IMAGE046
为正代理集合的数目。
本实施方式中，所述的步骤S503中，所述的损失函数为：
Figure DEST_PATH_IMAGE047
，式中，
Figure DEST_PATH_IMAGE048
为代理与负样本之间的损失，P为所有代理组成的集合，|P|则为所有代理的数目，
Figure DEST_PATH_IMAGE049
表示对于代理P而言，所有的负样本，
Figure DEST_PATH_IMAGE050
表示样本x与代理P之间的余弦相似性，δ是一个固定参数，是为了将样本与代理之间满足一定的相似性。
本实施方式基于本发明所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，结合图1能更好的理解本实施方式，提供一种实际的实施方式：
深度学习中样本生成和类内排序损失的遥感图像检索方法，样本生成和损失函数的设计，经过训练得到的嵌入网络可以用于图像检索；由于使用的是基于代理的损失函数，所以对样本间丰富的信息利用不够，所以设计了一种样本生成的方法，同时将生成的样本用到了训练中。训练步骤如下：
1) 搭建网络模型，选取主干网络；
2) 对遥感图像数据集进行预处理和增强处理；预处理遥感图像数据为224*224大小，同时使用了水平翻转、中心裁剪、正则化等数据增强；
3) 将遥感图像数据集输入到数据加载器中，设置训练参数，选取优化器；
4) 从数据加载器中读取遥感图像数据；读取遥感图像前需要采样，如果选择随机采样，则需要设置随机种子；如果是平均采样则不需要；遥感图像数据集分为训练集和测试集，且在训练时只读取训练集中的图像，而检索的时候才读取测试集中的图像；
5) 提取遥感图像数据特征；对经步骤4)输出的数据进行特征提取，然后将特征输入到损失函数中；
6) 计算损失；对经步骤5)得到的特征进行损失的计算，这里损失的计算分成三个步骤：
a) 对于每个样本，判断它与对应的代理之间是否满足样本生成的条件即它们之间的余弦相似性是否大于δ，如果满足，则生成N个样本，并计算这N个样本之间是否满足层次关系来得到损失，同时还需要判断每个生成样本与对应的代理之间满足是否相似性关系生成损失；如果不满足，则直接跳过这一步；
b) 对于每个代理，将其输入到损失函数中计算每个代理与对应的正样本之间是否满足相似性关系来得到损失，即要满足＞δ，若满足，则不会产生损失，若不满足，则会产生损失，与代理离得越远的正样本被拉近的程度会越大，则产生的损失也会越大；相反，与代理离得越近的正样本则被拉近的程度会很小，则产生的损失很小；
c) 对于每个代理，将其输入到损失函数中计算每个代理与对应的负样本之间是否满足相似性关系来得到损失，即满足＜-δ，若满足，则不会产生损失，若不满足，则会产生损失，与代理离得越近的负样本被推远的程度会越大，则产生的损失也会越大；相反，与代理离得越远的负样本则被推远的程度会很小，则产生的损失很小；
7）更新网络；对经步骤6)得到的损失计算梯度，如图3所示，
Figure DEST_PATH_IMAGE051
表示神经网络的参数，
Figure DEST_PATH_IMAGE052
表示没有经过神经网络前的样本，
Figure DEST_PATH_IMAGE053
表示经过神经网络后的样本的嵌入向量，星状表示负样本，正方形表示正样本，样本与代理之间的连线表示梯度，连线越粗则梯度越大，反之同理。然后，反向传播更新网络参数；
8) 重复训练；当训练的次数没有达到指定的次数则会重复步骤4)-7)，当训练次数达到指定次数后则结束训练，将训练后得到的网络用于检索；
9) 检索；将查询图像输入到训练好的嵌入网络中得到嵌入向量，然后将这个向量与检索数据集中其他的嵌入向量进行比较，选出相似性高的图像；
如上所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，在步骤6.a)中，如图2所示，首先，将从网络中得到样本嵌入特征与代理进行余弦相似性计算，如果该样本满足指定的相似性即大于δ，则对该样本进行样本生成；如果对一次训练中每个样本都生成额外的样本的话，会使得产生的样本过于冗余，而且携带的信息也不足，所以只对满足相似性要求的样本进行样本生成。在训练前随机生成N个单位向量
Figure DEST_PATH_IMAGE054
，这些单位向量满足正态分布，则对于某个正样本m，可以生成N个样本，
Figure DEST_PATH_IMAGE055
，当i越大则生成样本与正样本之间的相似性会越小,其中，r表示生成样本时的权重，r越大则生成样本与原始样本的差异就越大，反之就越小。
如上所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，在步骤6.a)中，使用了如下的损失函数：
Figure DEST_PATH_IMAGE056
Figure DEST_PATH_IMAGE057
是对于每个正代理中满足要求的正样本x所产生的所有样本
Figure DEST_PATH_IMAGE058
进行度量，
Figure DEST_PATH_IMAGE059
表示生成样本
Figure DEST_PATH_IMAGE060
与
Figure DEST_PATH_IMAGE061
的相似性,
Figure 671398DEST_PATH_IMAGE061
为原始样本的嵌入向量,
Figure 119697DEST_PATH_IMAGE060
为生成样本的嵌入向量，
Figure DEST_PATH_IMAGE062
表示生成样本
Figure 243642DEST_PATH_IMAGE060
与正样本x所对应代理P的相似性。按照前面的样本生成说明，生成样本应该满足序列相似性：即对于所有x的生成样本，当i越大，则
Figure 435589DEST_PATH_IMAGE059
应该越小。具体的，我们给出这样的约束：对于生成样本i，则我们约定
Figure DEST_PATH_IMAGE063
，都有
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
表示相邻层次之间需要分开的程度，通过这种设置可以将生成样本i与所有的生成样本联系起来，并且使它们保持一定的层次关系，如当i > j时，此时
Figure DEST_PATH_IMAGE066
为正值，则
Figure DEST_PATH_IMAGE067
需要大于这个正值；当i < j时，此时
Figure DEST_PATH_IMAGE068
为负值，则
Figure DEST_PATH_IMAGE069
需要大于这个负值，也即则
Figure DEST_PATH_IMAGE070
需要小于
Figure DEST_PATH_IMAGE071
。同时我们约定所有生成样本需要满足代理P的约束即
Figure DEST_PATH_IMAGE072
。我们将这些约束在
Figure DEST_PATH_IMAGE073
中所体现，这样可以使得生成的样本保持一定的层次性。
如上所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，在步骤6.b)中，使用了如下的损失函数：
Figure DEST_PATH_IMAGE074
；
Figure DEST_PATH_IMAGE075
与代理锚损失（Proxy-Anchor）中一致，对于每个正代理中的正样本与其对应的代理之间的相似性需要大于δ。这种设置最开始由Proxy-Anchor提出，因为之前基于代理的损失函数都是以样本为Anchor，然后与其他类的proxy进行相似性计算。但是这样没有利用到样本间丰富的信息，所以Proxy-Anchor使用了proxy作为anchor，这样每个anchor都与所有样本联系起来，并且同一类的样本之间的信息能够被利用，且不同类的所有负样本信息也可以被利用，这样最大化利用了样本带来的信息。
如上所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，在步骤6.c)中，使用了如下的损失函数：
Figure DEST_PATH_IMAGE076
；
Figure DEST_PATH_IMAGE077
与Proxy-Anchor中一致，对于每个代理中的负样本与其对应的代理之间的相似性需要小于-δ；
如上所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于在步骤6)中，使用了如下的损失函数：
Figure DEST_PATH_IMAGE078
；
Figure DEST_PATH_IMAGE079
为总的损失函数，其中设计的
Figure DEST_PATH_IMAGE080
加了一个比例参数，用于控制生成样本产生损失占总损失的比例。
以上对本发明所提出的深度学习中样本生成和类内排序损失的遥感图像检索方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，包括以下步骤：
步骤S1，搭建卷积神经网络模型，对原始的遥感图像数据集进行预处理和增强处理；
步骤S2，将遥感图像数据集输入到数据加载器中，选取优化器；
步骤S3，从数据加载器中读取遥感图像数据；
步骤S4，对步骤S3输出的遥感图像数据输入到卷积神经网络模型中进行特征提取，然后将特征输入到损失函数中；
步骤S5，对步骤S4输入的特征进行样本生成和损失计算；
步骤S6，对步骤S5得到的损失计算梯度进行反向传播更新卷积神经网络的参数；
步骤S7，判断训练的次数是否达到卷积神经网络参数设置的次数，若没有达到，则重复步骤S3～S6，若已达到，则结束训练，将训练好的卷积神经网络用于检索；
步骤S8，将需要查询的遥感图像数据输入到训练好的卷积神经网络中得到向量，然后将向量与检索数据集中向量进行比较，选出相似性高的遥感图像数据；
所述的步骤S5中，所述的对步骤S4输入的特征进行样本生成和损失计算，包括以下步骤：
步骤S501，对于每个样本，判断其与对应的代理之间是否满足样本生成的条件，若满足样本生成的条件，则生成N个样本，并输入到损失函数中计算N个样本之间是否满足类内排序关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失，同时还需要判断每个生成样本与对应的代理之间满足是否相似性关系，若满足，则不会产生损失，若不满足，则会产生损失，若不满足样本生成的条件，则跳过步骤S501直接执行步骤S502；
步骤S502，对于每个代理与所有同类的正样本进行联系，同时还需要将其输入到损失函数中计算每个代理与对应的正样本之间是否满足相似性关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失；
步骤S503，对于每个代理与所有不同类的负样本进行联系，同时还需要将其输入到损失函数中计算每个代理与对应的负样本之间是否满足相似性关系来得到损失，若满足，则不会产生损失，若不满足，则会产生损失，结束损失的计算。
2.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S1中，所述的遥感图像数据集包括训练集和测试集。
3.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S1中，所述的原始的遥感图像数据的分辨率为224*224。
4.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S1中，所述的对遥感图像数据进行增强处理包括水平翻转、中心裁剪和正则化。
5.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S4中，所述的损失函数为：
Figure 976610DEST_PATH_IMAGE001
，式中，
Figure 101036DEST_PATH_IMAGE002
为总的损失函数，
Figure 672963DEST_PATH_IMAGE003
为代理与正样本之间的损失，
Figure 176756DEST_PATH_IMAGE004
为代理与负样本之间的损失，
Figure 150529DEST_PATH_IMAGE005
为生成样本所产生的类内排序损失，λ为
Figure 448786DEST_PATH_IMAGE006
的比例因子，取值为0-1。
6.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S501中，所述的样本生成的条件为：
将从卷积神经网络中得到样本嵌入特征与代理进行余弦相似性计算，若该余弦相似性样本大于δ，则对该样本进行样本生成；
δ是一个固定参数，将生成样本与代理之间满足一定的相似性。
7.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S501中，所述的损失函数为：
Figure 508009DEST_PATH_IMAGE007
式中，
Figure 815493DEST_PATH_IMAGE008
表示正代理集合，则
Figure 502827DEST_PATH_IMAGE009
为正代理集合的数目，
Figure 971985DEST_PATH_IMAGE010
表示对于代理P而言，正样本中与P之间余弦相似性大于δ的样本集合，即能够进行样本生成的样本集合，N表示生成样本的数目，
Figure 249995DEST_PATH_IMAGE011
表示生成样本i与原始样本x之间的余弦相似性，同理
Figure 95592DEST_PATH_IMAGE012
就是生成样本j和原始样本x之间的余弦相似性，而
Figure 637431DEST_PATH_IMAGE013
表示生成样本i与代理P之间的余弦相似性，α是一个固定参数，是为了将生成样本之间保持一定的类内排序，即如果i<j，则需要满足
Figure 277491DEST_PATH_IMAGE014
，δ也是一个固定参数，将生成样本与代理之间满足一定的相似性，
Figure 45727DEST_PATH_IMAGE005
为生成样本所产生的类内排序损失。
8.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S502中，所述的损失函数为：
Figure 554069DEST_PATH_IMAGE015
，式中，
Figure 825781DEST_PATH_IMAGE016
表示对于代理P而言，所有的正样本，
Figure 636742DEST_PATH_IMAGE017
表示样本x与代理P之间的余弦相似性，δ是一个固定参数，将样本与代理之间满足一定的相似性，
Figure 16908DEST_PATH_IMAGE018
为代理与正样本之间的损失，
Figure 673149DEST_PATH_IMAGE008
表示正代理集合，则
Figure 330526DEST_PATH_IMAGE009
为正代理集合的数目。
9.根据权利要求1所述的深度学习中样本生成和类内排序损失的遥感图像检索方法，其特征在于，所述的步骤S503中，所述的损失函数为：
Figure 171443DEST_PATH_IMAGE019
，式中，
Figure 911341DEST_PATH_IMAGE021
为代理与负样本之间的损失，P为所有代理组成的集合，|P|则为所有代理的数目，
Figure 636852DEST_PATH_IMAGE022
表示对于代理P而言，所有的负样本，
Figure 7791DEST_PATH_IMAGE024
表示样本x与代理P之间的余弦相似性，δ是一个固定参数，将样本与代理之间满足一定的相似性。
CN202210894362.4A 2022-07-28 2022-07-28 深度学习中样本生成和类内排序损失的遥感图像检索方法 Active CN114972959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210894362.4A CN114972959B (zh) 2022-07-28 2022-07-28 深度学习中样本生成和类内排序损失的遥感图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210894362.4A CN114972959B (zh) 2022-07-28 2022-07-28 深度学习中样本生成和类内排序损失的遥感图像检索方法

Publications (2)

Publication Number Publication Date
CN114972959A CN114972959A (zh) 2022-08-30
CN114972959B true CN114972959B (zh) 2022-11-01

Family

ID=82969929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210894362.4A Active CN114972959B (zh) 2022-07-28 2022-07-28 深度学习中样本生成和类内排序损失的遥感图像检索方法

Country Status (1)

Country Link
CN (1) CN114972959B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401396A (zh) * 2023-06-09 2023-07-07 吉林大学 一种类内排序辅助的深度度量学习图像检索方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329930A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN114637881A (zh) * 2022-03-21 2022-06-17 华南理工大学 基于多代理度量学习的图像检索方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287800B (zh) * 2019-05-29 2022-08-16 河海大学 一种基于sgse-gan的遥感图像场景分类方法
CN111723675B (zh) * 2020-05-26 2022-08-16 河海大学 基于多重相似性度量深度学习的遥感图像场景分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329930A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN114637881A (zh) * 2022-03-21 2022-06-17 华南理工大学 基于多代理度量学习的图像检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Hashing using Proxy Loss on Remote Sensing Image Retrieval;Xue Shan 等;《remote sensing》;20211231;正文第3节，图3 *
基于TWSVM的SAR任务适应性评估方法研究与实现;陶倩;《中国优秀硕士学位论文全文数据库信息科技辑》;20220115;正文第27、46页 *
基于深度卷积神经网络的图像检索算法研究;刘海龙等;《计算机应用研究》(第12期);第3816-3819页 *

Also Published As

Publication number Publication date
CN114972959A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN105701502A (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN109492075B (zh) 一种基于循环生成对抗网络的迁移学习排序方法
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN112800292B (zh) 一种基于模态特定和共享特征学习的跨模态检索方法
CN111400494B (zh) 一种基于GCN-Attention的情感分析方法
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
CN110826609B (zh) 一种基于强化学习的双流特征融合图像识别方法
Luo et al. Boosting few-shot classification with view-learnable contrastive learning
CN112527993B (zh) 一种跨媒体层次化深度视频问答推理框架
CN110674326A (zh) 一种基于多项式分布学习的神经网络结构检索方法
CN114972959B (zh) 深度学习中样本生成和类内排序损失的遥感图像检索方法
CN113656700A (zh) 基于多相似度一致矩阵分解的哈希检索方法
CN114780723B (zh) 基于向导网络文本分类的画像生成方法、系统和介质
CN108647295B (zh) 一种基于深度协同哈希的图片标注方法
CN114579794A (zh) 特征一致性建议的多尺度融合地标图像检索方法及系统
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN113722439A (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
CN117494051A (zh) 一种分类处理的方法、模型训练的方法以及相关装置
CN115758159B (zh) 基于混合对比学习和生成式数据增强的零样本文本立场检测方法
CN117315090A (zh) 基于跨模态风格学习的图像生成方法及装置
CN111506760A (zh) 一种基于困难感知的深度集成度量图像检索方法
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN113239219B (zh) 一种基于多模态查询的图像检索方法、系统、介质及设备
CN116340569A (zh) 一种基于语义一致性的半监督短视频分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant