CN115994239A - 一种基于原型对比学习的半监督遥感图像检索方法及系统 - Google Patents

一种基于原型对比学习的半监督遥感图像检索方法及系统 Download PDF

Info

Publication number
CN115994239A
CN115994239A CN202310080390.7A CN202310080390A CN115994239A CN 115994239 A CN115994239 A CN 115994239A CN 202310080390 A CN202310080390 A CN 202310080390A CN 115994239 A CN115994239 A CN 115994239A
Authority
CN
China
Prior art keywords
supervised
semi
prototype
image
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310080390.7A
Other languages
English (en)
Inventor
胡恒超
史晓峰
仵可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinfeng Chusai Xi'an Technology Co ltd
Original Assignee
Qinfeng Chusai Xi'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinfeng Chusai Xi'an Technology Co ltd filed Critical Qinfeng Chusai Xi'an Technology Co ltd
Priority to CN202310080390.7A priority Critical patent/CN115994239A/zh
Publication of CN115994239A publication Critical patent/CN115994239A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于原型对比学习的半监督遥感图像检索方法及系统，在不额外引入margin超参数的前提下，在学习过程中最大化类间方差同时最小化类内方差。接着，提出基于原型的无监督对比学习损失利用未标记数据优化半监督模型，将双分支改进为单分支，不依赖于数据增强构造正样本对，而是根据标记数据的原型为未标记数据分配伪标签，然后利用伪标签构建正负对来进行对比学习，从而充分挖掘未标记数据中隐藏的语义信息来增强模型的特征提取能力。最后，提出了多分支注意力模块，在不同尺度的图像信息上提取注意力权重，可以有效捕获遥感图像的多尺度信息并突出与场景相关的特征，同时可以捕获主干网络无法提取到的遥感图像长距离依赖关系。

Description

一种基于原型对比学习的半监督遥感图像检索方法及系统
技术领域
本发明属于图像处理技术领域，涉及一种基于原型对比学习的半监督遥感图像检索方法及系统。
背景技术
随着地球观测技术的快速发展，遥感图像的数量急剧增加，管理好这些大量的遥感图像是一项艰巨的任务。
研究人员已经开发出许多遥感图像检索的方法。特别是当深度学习方法出现之后，有大量的研究描述了深度学习方法在遥感图像检索领域的成功应用。然而训练深度神经网络通常需要大量的标记样本，这对于遥感图像来说尤其繁琐，因为它们的内容复杂，人工完成遥感图像标注需要专业知识和大量的时间成本。因此有大量的研究在无监督学习范式下开发深度模型来解决上述问题，但是这些无监督深度模型由于没有先验知识，在遥感图像检索上的性能无法满足需求。
缓解上面提到的这些问题的一种方法是应用半监督学习方法。半监督学习旨在同时使用标记样本和未标记样本训练模型，目前最新进展有望节省人工标记所需的大量时间和成本，这在遥感领域引起了很多关注，有许多半监督学习方法被提出应用于遥感图像检索。虽然这些方法的性能表现优异，但仍有一定的提升空间。首先，对于大多数半监督模型来说，在标记数据的数量极其稀缺(例如每类只有5、8、10个)的情况下会出现严重的过拟合问题。其次，大多数遥感图像检索方法的损失函数都会利用一个或多个margin超参数在特征空间上拉远不同图像对的距离，由于每个数据集规模或分辨率不同，当标记数据极其稀缺时，大多数半监督模型在每个数据集上margin超参数的最优值可能会不同，不利于泛化到新的数据集。最后，很多半监督学习方法中使用对比学习来挖掘未标记数据中隐藏的语义信息，但是对比学习中使用不同的数据增强构造正样本对的方式无法模拟遥感图像的类内差异，因此在学习过程中无法充分挖掘无标记数据隐藏的语义信息，这限制了半监督模型的性能。
发明内容
本发明的目的在于解决现有技术中在学习过程中无法充分挖掘无标记数据隐藏的语义信息，导致了半监督模型性能低的问题，提供一种基于原型对比学习的半监督遥感图像检索方法及系统。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明提出的一种基于原型对比学习的半监督遥感图像检索方法，包括如下步骤：
获取标记图像的特征向量和无标记图像的特征向量；
将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；
将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；
根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；
根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；
根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。
优选地，获取标记图像的有监督特征向量fij；
根据标记图像的有监督特征向量fij获取minibatch内每个类的原型pi方法如下：
Figure BDA0004067302550000021
根据标记图像的有监督特征向量fij和每个类的原型pi获取有监督损失值Lss方法如下：
Figure BDA0004067302550000031
其中，fij为标记图像的第i类的第j个有监督特征向量；k为类别个数；τ为一个温度参数；Ik≠j∈{0,1}是一个指示函数，当k≠j时值为1，否则为0；exp()函数表示点积操作。
优选地，获取无标记图像的无监督特征向量fi；
Figure BDA0004067302550000032
Figure BDA0004067302550000033
其中，Lun为无监督分支损失值，psei表示第i个无标记图片的伪标签，
Figure BDA0004067302550000034
表示求特征空间中离第i个无标记图片的无监督特征向量fi最近的类原型，index()函数表示根据得到的类原型求所对应的类标签。
优选地，所述多分支注意力模块如下：
对输入特征图并行使用三个空洞卷积提取不同尺度下的图像信息，三个空洞卷积的核大小都是3×3，空洞率分别为1、2、3；
三个空洞卷积的感受大小为3×3、5×5和7×7，三个空洞卷积提取到输入特征图的多尺度信息，每一个空洞卷积后接一个1×1卷积，即为一个注意力分支；
三个注意力分支提取到遥感图像不同尺度的注意力权重，通过沿通道方向级联得到包含多个尺度的注意力权重，再通过一个1×1卷积自适应地融合多个尺度的注意力权重得到注意力图M。
优选地，将标记图像的特征向量输入至多分支注意力模块，获取第一判别特征图F1的方法如下：
F1＝(M+1)×fl
将无标记图像的特征向量输入至多分支注意力模块，获取第二判别特征图F2的方法如下：
F2＝(M+1)×fu。
优选地，获取有监督分支损失值Lsu的方法如下：
Lsu＝Lss+LCE
Figure BDA0004067302550000041
其中，
Figure BDA0004067302550000042
是第i个图像的类别预测概率，yi是第i个图像的真实场景标签，Lss为有监督损失值。
优选地，获取半监督目标函数L的方法如下：
L＝Lsu+λLun
其中，λ是用于平衡有监督分支上的损失函数和无监督分支上的损失函数的超参数，Lun为无监督分支损失值。
本发明提出的一种基于原型对比学习的半监督遥感图像检索系统，包括如下步骤：
图像特征信息获取模块，所述图像特征信息获取模块用于获取标记图像的特征向量和无标记图像的特征向量；
特征图信息获取模块，所述特征图信息获取模块用于将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；
特征向量信息获取模块，所述特征向量信息获取模块用于将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；
损失值信息获取模块，所述损失值信息获取模块用于根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；
半监督目标函数获取模块，所述半监督目标函数获取模块用于根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；
遥感图像检索模块，所述遥感图像检索模块用于根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于原型对比学习的半监督遥感图像检索方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于原型对比学习的半监督遥感图像检索方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明提出的一种基于原型对比学习的半监督遥感图像检索方法，利用标记数据优化半监督模型，在不额外引入margin超参数的前提下，可以通过最大化类间方差同时最小化类内方差来有效解决稀缺样本条件下遥感图像类内多样性和类间相似性的问题。利用未标记数据优化半监督模型，通过利用标记数据的原型分配的伪标签来进行对比学习，可以充分挖掘为标记数据中隐藏的语义信息来增强模型的特征提取能力。提出的多分支注意力模块，在不同尺度的图像信息上提取注意力权重，可以有效捕获遥感图像的多尺度信息并突出与场景相关的特征，同时可以捕获主干网络无法提取到的遥感图像长距离依赖关系。
本发明提出一种基于原型对比学习的半监督遥感图像检索系统，通过将系统划分为图像特征信息获取模块、特征图信息获取模块、特征向量信息获取模块、损失值信息获取模块、半监督目标函数获取模块和遥感图像检索模块，采用模块化思想使各个模块之间相互独立，方便对各模块进行统一管理。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的基于原型对比学习的半监督遥感图像检索方法流程图。
图2为本发明的基于原型对比学习的半监督遥感图像检索框架图。
图3为本发明的多分支注意力模块框架图。
图4为本发明的基于原型对比学习的半监督遥感图像检索系统图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
本发明提出的一种基于原型对比学习的半监督遥感图像检索方法，如图1所示，包括如下步骤：
S1、获取标记图像的特征向量和无标记图像的特征向量；
获取标记图像的有监督特征向量fij；
根据标记图像的有监督特征向量fij获取minibatch内每个类的原型pi方法如下：
Figure BDA0004067302550000071
根据标记图像的有监督特征向量fij和每个类的原型pi获取有监督损失值Lss方法如下：
Figure BDA0004067302550000072
其中，fij为标记图像的第i类的第j个有监督特征向量；k为类别个数；τ为一个温度参数；Ik≠j∈{0,1}是一个指示函数，当k≠j时值为1，否则为0；exp()函数表示点积操作。
获取无标记图像的无监督特征向量fi；
Figure BDA0004067302550000081
Figure BDA0004067302550000082
其中，Lun为无监督分支损失值，psei表示第i个无标记图片的伪标签，
Figure BDA0004067302550000083
表示求特征空间中离第i个无标记图片的特征fi最近的类原型，index()函数表示根据得到的类原型求所对应的类标签。
S2、将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；
所述多分支注意力模块如下：
对输入特征图并行使用三个空洞卷积提取不同尺度下的图像信息，三个空洞卷积的核大小都是3×3，空洞率分别为1、2、3；
三个空洞卷积的感受大小为3×3、5×5和7×7，三个空洞卷积提取到输入特征图的多尺度信息，每一个空洞卷积后接一个1×1卷积，即为一个注意力分支；
三个注意力分支提取到遥感图像不同尺度的注意力权重，通过沿通道方向级联得到包含多个尺度的注意力权重，再通过一个1×1卷积自适应地融合多个尺度的注意力权重得到注意力图M。
将标记图像的特征向量输入至多分支注意力模块，获取第一判别特征图F1的方法如下：
F1＝(M+1)×fl
将无标记图像的特征向量均输入至多分支注意力模块，获取第二判别特征图F2的方法如下：
F2＝(M+1)×fu
S3、将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；
S4、根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；
S5、根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；
获取有监督分支损失值Lsu的方法如下：
Lsu＝Lss+LCE
Figure BDA0004067302550000091
其中，
Figure BDA0004067302550000092
是第i个图像的类别预测概率，yi是第i个图像的真实场景标签，Lss为监督损失值。
获取半监督目标函数L的方法如下：
L＝Lsu+λLun
其中，λ是用于平衡有监督分支上的损失函数和无监督分支上的损失函数的超参数，Lun为无监督分支损失值。
S6、根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。
如图2所示，基于原型对比学习的半监督遥感图像检索框架图，包含三个模块：基于原型的有监督对比学习模块、基于原型的无监督对比学习模块和多分支注意力模块(MMAblock)。下面将对上述三个模块进行具体的介绍。
基于原型的有监督对比学习模块：利用标记数据优化半监督模型，在不额外引入margin超参数的前提下，可以通过最大化类间方差同时最小化类内方差来有效解决稀缺样本条件下遥感图像类内多样性和类间相似性的问题。
具体的：考虑遥感图像类内多样性和类间相似性的问题，本模块作为半监督模型的有监督分支需要利用标记数据在学习过程中最大化类间方差同时最小化类内方差。遥感图像检索方法中的损失函数会利用一个或多个margin超参数在特征空间上拉远不同图像对的距离，由于每个数据集的规模或分别率不同，当标记数据极其稀缺时，现有方法在每个数据集上的margin超参数值可能不同，不利于泛化到新的数据集上。因此本发明提出基于原型的有监督对比学习模块来利用标记数据来优化半监督模型。
在实施基于原型的有监督对比学习之前，本模块需要先对有标记的数据进行采样。在每次迭代过程中，首先从C个类中选取N个类，其中C是数据集图像的总类别数并且N<C。然后为N个类中每个类选k个图片。由于标记样本稀缺，传统方法基于语义信息选择正负样本对的方法会产生严重的过拟合问题，因此本模块在学习过程中用每个类的原型来表示每个类。按照上述采样方式给定一个minibatch的图片，包含N×k个图片，将这些图片输入半监督模型，提取模型有监督分支的第一个全连接层输出的特征用来进行有监督对比学习。首先根据提取到的这些特征计算minibatch内每个类的特征，计算过程如下：
Figure BDA0004067302550000101
其中，pi表示第i个类的原型，fij表示第i类的第j个特征向量。在获得给定minibatch中的每个类的原型之后，本模块根据语义标签将每个类的原型与其他类的原型视为负对，在模型学习过程中需要减小所有负对之间的余弦距离，同时将每个类的原型与该类的所有特征视为正对，在模型学习过程中需要增大所有正对之间的余弦距离，因此提出的基于原型的有监督对比学习loss定义如下：
Figure BDA0004067302550000111
其中，τ表示一个温度参数，Ik≠j∈{0,1}是一个指示函数，当k≠j时值为1，否则为0。所有特征在计算损失函数之前都进行了L2归一化，exp()函数表示点积操作，其结果同时也表示正对或负对的余弦距离。
基于原型的无监督对比学习模块：利用未标记数据优化半监督模型，通过利用标记数据的原型分配的伪标签来进行对比学习，可以充分挖掘为标记数据中隐藏的语义信息来增强模型的特征提取能力。
具体的：考虑遥感图像的类内多样性，传统的对比学习使用不同数据增强构造正负样本对的方式无法模拟遥感图像的类内差异，导致无法充分挖掘无标记数据中隐藏的语义信息，因此本发明提出基于原型的无监督对比学习模块。
在每次迭代过程中，首先把所有标记数据输入到模型提取有监督分支的第一个全连接层输出的特征用来计算每个类的原型。然后从无标记训练集中随机采样n个无标记图片，根据得到的每个类的原型为这n个无标记图片分配伪标签，分配伪标签的依据是在特征空间中无标记图片的特征离那个类的原型最近，这个无标记图片分配到的伪标签就是这一类别，计算过程如下：
Figure BDA0004067302550000112
其中，psei表示第i个无标记图片的伪标签，
Figure BDA0004067302550000113
表示求特征空间中离第i个无标记图片的特征fi最近的类原型，index()函数表示根据得到的类原型求所对应的类标签。最后根据得到的伪标签进行对比学习，伪标签相同的样本视为正对，伪标签不同的样本视为负对，在学习过程中增大正对之间的余弦距离同时减小负对之间的余弦距离，因此提出的基于原型的无监督对比学习损失函数如下：
Figure BDA0004067302550000121
其中，posi表示第i个样本的正样本集合，negi表示第i个样本的负样本集合，τ表示一个温度参数。由于log函数的取值不能为0，损失函数分子上的1是为防止minibatch中可能没有第i个样本的正样本而出现分子为0的情况，分母上的1则是为了与分子保持一致。
多分支注意力模块：通过提取不同尺度下的注意力权重，可以有效捕捉遥感图像的多尺度信息并突出与场景相关的特征，同时还可以捕获主干网络无法提取到的遥感图像长距离依赖关系。
具体的：考虑到遥感图像的多尺度和图像内容复杂的特点以及主干网络无法提取到的遥感图像长距离依赖关系，本发明提出多分支注意力模块用来捕获遥感图像的多尺度信息和长距离依赖关系，并从复杂图像背景中突出场景相关的特征。
如图3所示，本发明提出的多分支注意力模块，首先对输入特征图并行使用三个空洞卷积提取不同尺度下的图像信息，三个空洞卷积的核大小都是3×3，空洞率分别为1、2、3。根据空洞卷积中感受野的定义，三个空洞卷积的感受大小为3×3、5×5和7×7，由卷积神经网络感受定义，三个空洞卷积可提取到输入特征图的多尺度信息，而每一个空洞卷积后接一个1×1卷积可视为一个注意力分支，三个注意力分支可以提取到遥感图像不同尺度的注意力权重，因此通过沿通道方向级联得到包含多个尺度的注意力权重，然后通过一个1×1卷积自适应地融合多个尺度的注意力权重得到最后的注意力图M。则最后遥感图像的判别特征图F的计算过程如下：
F＝(M+1)×Fin
其中，Fin表示输入特征图。由于有个空洞卷积的感受野为7×7，而主干网络输出给多尺度注意力模块的输入特征图Fin的大小刚好为7×7，因此这个空洞卷积可以提取到遥感图像长距离依赖关系的信息，并融合到最后的注意力图M中，进而增强了最后遥感图像的特征图F的判别性。
损失函数：本发明在有监督分支中使用交叉熵损失函数来进一步学习标记样本中的语义信息，进而增强对遥感图像检索的特征向量的判别性。监督分支的第二个全连接层是Softmax层，用于生成遥感图像的类别预测概率。交叉熵损失函数的定义如下。
Figure BDA0004067302550000131
其中，
Figure BDA0004067302550000132
是第i个图像的类别预测概率，yi是第i个图像的真实场景标签，则有监督分支的定义如下。
Lsu＝Lss+LCE
因此，本发明提出的基于原型的半监督遥感图像检索的目标函数定义如下：
L＝Lsu+λLun
其中，λ是用于平衡有监督分支上的损失函数和无监督分支上的损失函数的超参数，本发明通过最小化上述目标函数来优化每次迭代中的半监督遥感图像检索模型。
本发明提出的一种基于原型对比学习的半监督遥感图像检索方法，基于原型的有监督对比学习损失，可以在不引入margin超参数的情况下，利用标记数据的语义信息在学习过程中最大化类间方差同时最小化类内方差，从而有效解决稀缺样本条件下遥感图像类内多样性和类间相似性的问题。提出的基于原型的无监督对比学习损失函数，根据标记数据的原型分配的伪标签直接从原始图像中选取正负对进行对比学习，可以在学习过后才能中充分挖掘未标记数据中隐藏的语义信息，从而增强半监督遥感图像检索模型的特征表示能力。提出的多分支注意力模块，通过提取不同尺度的注意力权重，可以有效地捕获遥感图像的多尺度信息并突出与场景相关的特征，同时还可以捕捉主干网络无法提取到的遥感图像长距离依赖关系，将其嵌入到主干网络中可以进一步增强半监督模型的特征表示能力。
在UCM、AID、NWPU三个公开的高分辨率遥感数据集上证明了我们方法的有效性。其中UCM-5的意思是训练集中每类只有5个标注样本，其他训练集也是如此。对比方法有：SSCL、HR-S2DML、FixMatch、MixMatch和ReMixMatch，实验结果如下：
表1UCM数据集结果
Figure BDA0004067302550000141
表2AID数据集结果
Figure BDA0004067302550000142
表3NWPU数据集结果
Figure BDA0004067302550000143
本发明提出的一种基于原型对比学习的半监督遥感图像检索系统，如图4所示，包括图像特征信息获取模块、特征图信息获取模块、特征向量信息获取模块、损失值信息获取模块、半监督目标函数获取模块和遥感图像检索模块；
所述图像特征信息获取模块用于获取标记图像的特征向量和无标记图像的特征向量；
所述特征图信息获取模块用于将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；
所述特征向量信息获取模块用于将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；
所述损失值信息获取模块用于根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；
所述半监督目标函数获取模块用于根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；
所述遥感图像检索模块用于根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。
本发明一实施例提供的终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明提供一种基于原型对比学习的半监督遥感图像检索方法，首先，提出基于原型的有监督对比学习损失利用标记数据优化半监督模型，在不额外引入margin超参数的前提下，可以在学习过程中最大化类间方差同时最小化类内方差。接着，提出基于原型的无监督对比学习损失利用未标记数据优化半监督模型，将双分支改进为单分支，不依赖于数据增强构造正样本对，而是根据标记数据的原型为未标记数据分配伪标签，然后利用伪标签构建正负对来进行对比学习，从而充分挖掘未标记数据中隐藏的语义信息来增强模型的特征提取能力。最后，提出了多分支注意力模块，在不同尺度的图像信息上提取注意力权重，可以有效捕获遥感图像的多尺度信息并突出与场景相关的特征，同时可以捕获主干网络无法提取到的遥感图像长距离依赖关系。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于原型对比学习的半监督遥感图像检索方法，其特征在于，包括如下步骤：
获取标记图像的特征向量和无标记图像的特征向量；
将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；
将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；
根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；
根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；
根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。
2.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取标记图像的有监督特征向量fij；
根据标记图像的有监督特征向量fij获取minibatch内每个类的原型pi方法如下：
Figure FDA0004067302510000011
根据标记图像的有监督特征向量fij和每个类的原型pi获取有监督损失值Lss方法如下：
Figure FDA0004067302510000012
其中，fij为标记图像的第i类的第j个有监督特征向量；k为类别个数；τ为一个温度参数；Ik≠j∈{0,1}是一个指示函数，当k≠j时值为1，否则为0；exp()函数表示点积操作。
3.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取无标记图像的无监督特征向量fi；
Figure FDA0004067302510000021
Figure FDA0004067302510000022
其中，Lun为无监督分支损失值，psei表示第i个无标记图片的伪标签，
Figure FDA0004067302510000023
表示求特征空间中离第i个无标记图片的无监督特征向量fi最近的类原型，index()函数表示根据得到的类原型求所对应的类标签。
4.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，所述多分支注意力模块如下：
对输入特征图并行使用三个空洞卷积提取不同尺度下的图像信息，三个空洞卷积的核大小都是3×3，空洞率分别为1、2、3；
三个空洞卷积的感受大小为3×3、5×5和7×7，三个空洞卷积提取到输入特征图的多尺度信息，每一个空洞卷积后接一个1×1卷积，即为一个注意力分支；
三个注意力分支提取到遥感图像不同尺度的注意力权重，通过沿通道方向级联得到包含多个尺度的注意力权重，再通过一个1×1卷积自适应地融合多个尺度的注意力权重得到注意力图M。
5.根据权利要求4所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，将标记图像的特征向量输入至多分支注意力模块，获取第一判别特征图F1的方法如下：
F1＝(M+1)×fl
将无标记图像的特征向量输入至多分支注意力模块，获取第二判别特征图F2的方法如下：
F2＝(M+1)×fu。
6.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取有监督分支损失值Lsu的方法如下：
Lsu＝Lss+LCE
Figure FDA0004067302510000031
其中，
Figure FDA0004067302510000032
是第i个图像的类别预测概率，yi是第i个图像的真实场景标签，Lss为有监督损失值。
7.根据权利要求6所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取半监督目标函数L的方法如下：
L＝Lsu+λLun
其中，λ是用于平衡有监督分支上的损失函数和无监督分支上的损失函数的超参数，Lun为无监督分支损失值。
8.一种基于原型对比学习的半监督遥感图像检索系统，其特征在于，包括如下步骤：
图像特征信息获取模块，所述图像特征信息获取模块用于获取标记图像的特征向量和无标记图像的特征向量；
特征图信息获取模块，所述特征图信息获取模块用于将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；
特征向量信息获取模块，所述特征向量信息获取模块用于将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；
损失值信息获取模块，所述损失值信息获取模块用于根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；
半监督目标函数获取模块，所述半监督目标函数获取模块用于根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；
遥感图像检索模块，所述遥感图像检索模块用于根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1至7中任意一项所述的基于原型对比学习的半监督遥感图像检索方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的基于原型对比学习的半监督遥感图像检索方法的步骤。
CN202310080390.7A 2023-01-31 2023-01-31 一种基于原型对比学习的半监督遥感图像检索方法及系统 Withdrawn CN115994239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310080390.7A CN115994239A (zh) 2023-01-31 2023-01-31 一种基于原型对比学习的半监督遥感图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310080390.7A CN115994239A (zh) 2023-01-31 2023-01-31 一种基于原型对比学习的半监督遥感图像检索方法及系统

Publications (1)

Publication Number Publication Date
CN115994239A true CN115994239A (zh) 2023-04-21

Family

ID=85991821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310080390.7A Withdrawn CN115994239A (zh) 2023-01-31 2023-01-31 一种基于原型对比学习的半监督遥感图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN115994239A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117910539A (zh) * 2024-03-19 2024-04-19 电子科技大学 一种基于异构半监督联邦学习的家庭特征识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117910539A (zh) * 2024-03-19 2024-04-19 电子科技大学 一种基于异构半监督联邦学习的家庭特征识别方法
CN117910539B (zh) * 2024-03-19 2024-05-31 电子科技大学 一种基于异构半监督联邦学习的家庭特征识别方法

Similar Documents

Publication Publication Date Title
CN111985369B (zh) 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN114419351B (zh) 图文预训练模型训练、图文预测模型训练方法和装置
CN114693624B (zh) 一种图像检测方法、装置、设备及可读存储介质
CN112507912B (zh) 一种识别违规图片的方法及装置
CN114332568A (zh) 域适应图像分类网络的训练方法、系统、设备及存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN113806580B (zh) 基于层次语义结构的跨模态哈希检索方法
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN112786160A (zh) 基于图神经网络的多图片输入的多标签胃镜图片分类方法
CN115953621A (zh) 一种基于不可靠伪标签学习的半监督高光谱图像分类方法
CN115994239A (zh) 一种基于原型对比学习的半监督遥感图像检索方法及系统
CN115238888A (zh) 图像分类模型的训练方法、使用方法、装置、设备及介质
CN115909036A (zh) 局部-全局自适应引导增强的车辆重识别方法及系统
CN112883216B (zh) 基于扰动一致性自集成的半监督图像检索方法及装置
CN114511733A (zh) 基于弱监督学习的细粒度图像识别方法、装置及可读介质
Zhou et al. Deep global semantic structure-preserving hashing via corrective triplet loss for remote sensing image retrieval
Arulmozhi et al. DSHPoolF: deep supervised hashing based on selective pool feature map for image retrieval
CN116108836B (zh) 文本情感识别方法、装置、计算机设备及可读存储介质
CN115797795B (zh) 基于强化学习的遥感影像问答式检索系统及方法
CN116363460A (zh) 基于主题模型的高分辨率遥感样本标注方法
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
Song et al. Text Siamese network for video textual keyframe detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230421