CN115292532A - 基于伪标签一致性学习的遥感图像域适应检索方法 - Google Patents

基于伪标签一致性学习的遥感图像域适应检索方法 Download PDF

Info

Publication number
CN115292532A
CN115292532A CN202210729817.7A CN202210729817A CN115292532A CN 115292532 A CN115292532 A CN 115292532A CN 202210729817 A CN202210729817 A CN 202210729817A CN 115292532 A CN115292532 A CN 115292532A
Authority
CN
China
Prior art keywords
remote sensing
samples
target domain
sensing image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210729817.7A
Other languages
English (en)
Other versions
CN115292532B (zh
Inventor
侯东阳
王思远
田雪晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210729817.7A priority Critical patent/CN115292532B/zh
Publication of CN115292532A publication Critical patent/CN115292532A/zh
Application granted granted Critical
Publication of CN115292532B publication Critical patent/CN115292532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于伪标签一致性学习的遥感图像域适应检索方法，包括如下步骤：A)获取遥感图像；B)构建输入数据、三元组卷积神经网络和损失函数；C)利用输入数据并结合所述损失函数对三元组卷积神经网络进行优化训练，利用训练好的三元组卷积神经网络提取目标域内的遥感图像的遥感图像特征向量，形成特征库向量，提取用户查询的查询特征向量，并将查询特征向量与特征库向量中的遥感图像特征向量进行比较，得到设定的相似度排名内的所述遥感图像特征向量。本发明的基于伪标签一致性学习的遥感图像域适应检索方法受目标域与源域的分布差异的影响小，检索效果好。

Description

基于伪标签一致性学习的遥感图像域适应检索方法
技术领域
本发明涉及光学遥感图像检索技术领域，具体地，涉及一种基于伪标签一致性学习的遥感图像域适应检索方法。
背景技术
近年来，对地观测技术的发展使得遥感图像的获取变得越来越容易，海量的遥感图像数据为地表覆盖分类、灾害评估、环境监测和城市规划等领域的应用创造了有利的条件。
然而，在日益增长的遥感图像数据中，如何高效的找到感兴趣的目标或场景成为了一个难题。因此，遥感图像检索作为一种从大规模的遥感数据中挖掘有效信息的关键技术，受到了越来越多的关注。
目前，基于深度神经网络的检索模型在遥感图像检索中取得了最具竞争力的检索效果。由于深度学习是一种数据驱动的算法，这些模型为了得到较好的检索效果，使用大量的标注数据进行训练。然而，爆发式增长的遥感图像为数据标注工作带来了严峻的挑战，其不仅需要消耗大量的人力物力，而且为所有图像贴标签是不现实的。因此如何利用已有的有标注遥感图像，提高模型在无标注数据上的检索精度是需要解决的关键问题。然而，不同数据集之间由于传感器、拍摄角度、拍摄天气和季节等因素的差异，导致直接将训练好的检索模型迁移至无标注数据集的检索效果并不理想，现有技术中，一般是利用有标注的源域数据学习一个分类器，通过特征对齐将源域学习的分类器用于目标域。然而，受限于目标域与源域的分布差异，源域的先验类别信息对目标域决策边界的作用是有限的，这可能导致源域学习的决策边界不能区分目标域。
有鉴于此，需要设计一种基于伪标签一致性学习的遥感图像域适应检索方法。
发明内容
本发明所要解决的技术问题是提供一种基于伪标签一致性学习的遥感图像域适应检索方法，其受目标域与源域的分布差异的影响小，检索效果好。
为了解决上述技术问题，本发明提供一种基于伪标签一致性学习的遥感图像域适应检索方法，包括如下步骤：
A)获取遥感图像；
B)构建输入数据、三元组卷积神经网络和损失函数；
C)利用所述输入数据并结合所述损失函数对所述三元组卷积神经网络进行优化训练，利用训练好的所述三元组卷积神经网络提取所述目标域内的所述遥感图像的遥感图像特征向量，形成特征库向量，提取用户查询的查询特征向量，并将所述查询特征向量与所述特征库向量中的所述遥感图像特征向量进行比较，得到设定的相似度排名内的所述遥感图像特征向量。
进一步地，所述输入数据的构建步骤包括：
B11)构建包含ns个样本的源域数据
Figure BDA0003712713300000021
和包含nt个样本的目标域数据
Figure BDA0003712713300000022
其中，
Figure BDA0003712713300000023
表示源域数据有标注样本，
Figure BDA0003712713300000024
表示目标域数据无标注样本，
Figure BDA0003712713300000025
表示与所述源域数据有标注样本
Figure BDA0003712713300000026
相对应的标签，且
Figure BDA0003712713300000027
C为图像类别数；
B12)对于所述目标域数据无标注样本
Figure BDA0003712713300000028
利用翻转和移位数据增强变换得到目标域弱增强样本
Figure BDA0003712713300000029
并对所述目标域数据无标注样本
Figure BDA00037127133000000210
利用随机增强方法产生严重失真的目标域强增强样本
Figure BDA00037127133000000211
B13)对所述源域数据有标注样本
Figure BDA00037127133000000212
使用所述翻转和移位数据增强变换得到源域弱增强样本。
进一步地，所述三元组卷积神经网络包括特征提取部分和分类部分，其中，所述特征提取部分包括多个特征提取网络，多个所述特征提取网络的结构和参数均相同，所述分类部分包括多个分类器，多个所述分类器的结构和参数均相同。
进一步地，所述特征提取网络由ImageNet(图像网络)数据集预训练的卷积神经网络构成。
进一步地，所述分类器为一层全连接网络，用于预测所述输入数据属于不同类别的可能性。
进一步地，所述分类器的输出维度与所述输入数据的类别数量一致。
进一步地，所述损失函数的构建步骤包括：
B31)构建分类损失，对所述源域数据进行有监督学习，并基于交叉熵损失构建所述源域数据的分类损失：
Figure BDA0003712713300000031
其中，LCE为分类损失函数，p(xs)表示所述源域数据有标注样本
Figure BDA0003712713300000032
的真实概率分布，函数p(|)表示所述分类器预测的概率分布，xs为所述源域数据有标注样本
Figure BDA0003712713300000033
的合集，
Figure BDA0003712713300000034
表示所述源域数据有标注样本
Figure BDA0003712713300000035
的预测为不同类别的概率；
B32)构建迁移损失，基于最大均值差异度量不同特征分布的相似性构建迁移损失LMMD：
Figure BDA0003712713300000036
其中，i表示第i个所述源域数据有标注样本
Figure BDA0003712713300000037
ns表示所述源域数据有标注样本
Figure BDA0003712713300000038
的总数，fi s表示第i个所述源域数据有标注样本
Figure BDA0003712713300000039
的特征，nt表示所述目标域数据的样本总数，j表示第j个所述目标域强增强样本，φ为映射函数，将所述源域数据的样本投影到高维的希尔伯特空间
Figure BDA0003712713300000041
中，并在所述希尔伯特空间
Figure BDA0003712713300000042
中计算所述源域数据的样本均值作以及所述目标域的样本均值以作为领域差异的度量；
B33)构建伪标签一致性损失，得到一致性正则增强的伪标签分类损失LPCE：
Figure BDA0003712713300000043
其中，B表示一次训练所选取的样本数，μ为一次训练所选取的样本中满足设定阈值选取要求的样本比例，H函数表示两个概率分布的交叉熵损失，xw表示所述目标域弱增强样本
Figure BDA0003712713300000044
的合集，
Figure BDA0003712713300000045
为伪标签筛选后xw预测为不同类别的概率；
B34)构建最小类混淆损失，利用所述目标域数据的类别概率分布熵的值确定样本的权重，并依据加权后的所述目标域数据的样本，计算类混淆矩阵，并结合最小化类混淆损失以最大化所述目标域数据的类间差异；所述概率分布熵
Figure BDA0003712713300000046
为：
Figure BDA0003712713300000047
其中，
Figure BDA0003712713300000048
表示所述目标域数据中的第j个样本，
Figure BDA0003712713300000049
表示所述目标域数据中第j个样本属于第c个类的概率，所述目标域数据的样本的权重定义为：
Figure BDA00037127133000000410
其中，Wj表示所述目标域数据中第j个样本的权重，用于对权重进行缩放，Wj对应的对角矩阵为W，基于所述对角矩阵W定义的所述类混淆矩阵Mcc′为：
Figure BDA0003712713300000051
其中，
Figure BDA0003712713300000052
表示一次训练所选取的样本内所有样本属于第c个类别的概率，所述最小化类混淆损失LMCC定义为：
Figure BDA0003712713300000053
B35)构建的所述损失函数为：
L＝LCE+LMMD+αLPCE+βLMCC
其中，α,β为权衡三元组卷积神经网络优化目标的参数。
进一步地，所述输入数据训练所述三元组卷积神经网络的步骤包括：
C11)将所述目标域弱增强样本
Figure BDA0003712713300000054
所述目标域强增强样本
Figure BDA0003712713300000055
和所述源域数据有标注样本
Figure BDA0003712713300000056
分别输入至相对应的所述特征提取网络中，以得到目标域弱增强样本特征
Figure BDA0003712713300000057
目标域强增强样本特征
Figure BDA0003712713300000058
和源域数据有标注样本特征
Figure BDA0003712713300000059
C12)利用所述目标域强增强样本特征
Figure BDA00037127133000000510
和源域数据有标注样本特征
Figure BDA00037127133000000511
进行分布差异度量，计算所述迁移损失LMMD；
C13)将所述目标域弱增强样本特征
Figure BDA00037127133000000512
所述目标域强增强样本特征
Figure BDA00037127133000000513
和所述源域有标注样本特征
Figure BDA00037127133000000514
输入所述分类器，以对应转换为目标域弱增强样本条件概率分布
Figure BDA00037127133000000515
目标域强增强样本条件概率分布
Figure BDA00037127133000000516
和源域数据有标注样本条件概率分布
Figure BDA00037127133000000517
C14)对所述源域数据有标注样本条件概率分布
Figure BDA00037127133000000518
基于所述分类损失函数LCE，计算所述源域数据的分类损失；
C15)对所述目标域弱增强样本条件概率分布
Figure BDA00037127133000000519
保留最大类别概率高于设定的概率分布阈值τ的类别标签作为伪标签：
Figure BDA00037127133000000520
其中，
Figure BDA0003712713300000061
表示所述目标域强增强样本条件概率分布
Figure BDA0003712713300000062
中满足设定的阈值筛选条件的最大概率所在的类别；
C16)利用所述目标域弱增强样本产生的伪标签
Figure BDA0003712713300000063
作为对应目标域强增强样本的监督信息，采用所述伪标签分类损失LPCE计算伪标签一致性损失；
C17)对于所述目标域弱增强样本条件概率分布，利用所述最小化类混淆损失LMCC计算类混淆损失；
C18)计算训练总损失，使用梯度下降算法对所述特征提取网络的网络参数进行调整。
进一步地，所述遥感图像特征向量经由训练好的所述特征提取网络获取。
进一步地，获取所述目标域遥感图像的步骤为：
C21)基于训练好的所述特征提取网络提取所述查询特征向量图像；
C22)逐一计算所述查询特征向量图像与每幅所述遥感图像特征向量的欧式距离；
C23)依据所述欧式距离从小到大的顺序，将所述遥感图像特征向量进行排序，取排名处于设定次序内的所述遥感图像特征向量为高相似度图像。
通过上述技术方案，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法中，其先是要构建输入数据，包括源域数据和目标域数据，其中，源域数据是有标注的数据，目标域数据是无标注的，并对构建的输入数据进行相对应的增强，随后，将增强后的源域数据和目标域数据输入到相应的特征提取网络和分类器中，将输出的结果与输入的数据进行对比，并建立伪标签一致性损失，从而基于伪标签一致性损失得到损失函数，以能够基于损失函数，对特征提取网络的网络参数进行调整，从而能够减小特征提取网络受目标域与源域的分布差异的影响，以使得训练后的三元组卷积神经网络在对未标注的样本进行检索时具有更好的检索精度，检索效果更好。
有关本发明的其它优点以及优选实施方式的技术效果，将在下文的具体实施方式中进一步说明。
附图说明
图1是本发明基于伪标签一致性学习的遥感图像域适应检索方法的流程图；
图2是本发明基于伪标签一致性学习的遥感图像域适应检索方法的原理示意图；
图3是本发明基于伪标签一致性学习的遥感图像域适应检索方法中对三元组卷积神经网络的训练过程示意图；
图4是本发明基于伪标签一致性学习的遥感图像域适应检索方法中的检索过程示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1和图2所示，作为本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例，该方法包括如下步骤：
A)获取遥感图像；
B)构建输入数据、三元组卷积神经网络和损失函数；
C)利用输入数据并结合损失函数对三元组卷积神经网络进行优化训练，利用训练好的三元组卷积神经网络提取目标域内的遥感图像的遥感图像特征向量，形成特征库向量，提取用户查询的查询特征向量，并将查询特征向量与特征库向量中的遥感图像特征向量进行比较，得到设定的相似度排名内的遥感图像特征向量。
具体地，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中，输入数据的构建步骤包括：
B11)构建包含ns个样本的源域数据
Figure BDA0003712713300000081
和包含nt个样本的目标域数据
Figure BDA0003712713300000082
其中，
Figure BDA0003712713300000083
表示源域数据有标注样本，
Figure BDA0003712713300000084
表示目标域数据无标注样本，
Figure BDA0003712713300000085
表示与源域数据有标注样本
Figure BDA0003712713300000086
相对应的标签，且
Figure BDA0003712713300000087
C为图像类别数；
B12)对于目标域数据无标注样本
Figure BDA0003712713300000088
利用翻转和移位数据增强变换得到目标域弱增强样本
Figure BDA0003712713300000089
并对目标域数据无标注样本
Figure BDA00037127133000000810
利用随机增强方法产生严重失真的目标域强增强样本
Figure BDA00037127133000000811
B13)对源域数据有标注样本
Figure BDA00037127133000000812
使用翻转和移位数据增强变换得到源域弱样本。
进一步地，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中，如图3所示，三元组卷积神经网络包括特征提取部分和分类部分，其中，特征提取部分包括多个特征提取网络(例如根据需要进行提取的数据样本包括目标域弱增强样本
Figure BDA00037127133000000813
目标域数据无标注样本
Figure BDA00037127133000000814
和源域数据有标注样本
Figure BDA00037127133000000815
三种，将特征提取网络设置为三个，以实现各特征提取网络对应不同的数据样本)，且各个特征提取网络的结构和参数均相同；分类部分包括多个分类器(例如根据需要进行分类的数据样本包括目标域弱增强样本
Figure BDA00037127133000000816
目标域数据无标注样本
Figure BDA00037127133000000817
和源域数据有标注样本
Figure BDA00037127133000000818
三种，将分类器设置为三个，以实现各分类器对应不同的数据样本)，且各个分类器的结构和参数均相同，其中，特征提取网络包括由ImageNet(图像网络)数据集预训练的卷积神经网络({conv1,conv2_x,conv3_x,conv4_x,conv_5x})，以及瓶颈层，因此，特征提取网络的结构为：{conv1,conv2_x,conv3_x,conv4_x,conv_5x,bottleneck layer}，其输出的特征的尺寸为256维；分类器为一层全连接网络，用于预测输入数据属于不同类别的可能性，分类器的输出维度与输入数据的类别数量一致。
进一步地，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中，损失函数的构建步骤包括：
B31)构建分类损失，对于源域数据，由于源域数据存在对应的标注信息，因此，可对其进行有监督学习，以保证源域数据有标注样本
Figure BDA0003712713300000091
能够被准确识别，具体地，可基于交叉熵损失构建源域数据的分类损失：
Figure BDA0003712713300000092
其中，LCE为分类损失函数，p(xs)表示源域数据有标注样本
Figure BDA0003712713300000093
的真实概率分布，xs为源域数据有标注样本
Figure BDA0003712713300000094
的合集，
Figure BDA0003712713300000095
表示源域数据有标注样本
Figure BDA0003712713300000096
的预测为不同类别的概率；
B32)构建迁移损失，基于最大均值差异度量不同特征分布的相似性构建迁移损失LMMD：
Figure BDA0003712713300000097
其中，i表示第i个源域数据有标注样本
Figure BDA0003712713300000098
ns表示源域数据有标注样本
Figure BDA0003712713300000099
的总数，fi s表示第i个源域数据有标注样本
Figure BDA00037127133000000910
的特征，nt表示目标域数据的样本总数，j表示第j个目标域强增强样本，φ为映射函数，将源域数据的样本投影到高维的希尔伯特空间
Figure BDA00037127133000000911
中，并在希尔伯特空间
Figure BDA00037127133000000912
中计算源域数据的样本均值作以及目标域的样本均值以作为领域差异的度量；
B33)构建伪标签一致性损失，以用于约束目标域样本的伪标签一致性学习，使用目标域弱增强样本
Figure BDA00037127133000000913
产生的伪标签作为对应的目标域强增强样本
Figure BDA00037127133000000914
的监督信息计算交叉熵损失，得到一致性正则增强的伪标签分类损失LPCE：
Figure BDA00037127133000000915
其中，B表示一次训练所选取的样本数，μ为一次训练所选取的样本中满足设定阈值选取要求的样本比例，H函数表示两个概率分布的交叉熵损失，xw表示目标域弱增强样本
Figure BDA0003712713300000101
的合集，
Figure BDA0003712713300000102
为伪标签筛选后xw预测为不同类别的概率；
B34)构建最小类混淆损失，利用目标域数据的类别概率分布熵的值确定目标域数据的样本的权重，并依据加权后的目标域数据的样本，计算类混淆矩阵，并结合最小化类混淆损失以最大化目标域数据的类间差异；具体地，概率分布熵
Figure BDA0003712713300000103
为：
Figure BDA0003712713300000104
其中，
Figure BDA0003712713300000105
表示目标域数据中的第j个样本，
Figure BDA0003712713300000106
表示目标域数据中第j个样本属于第c个类的概率，目标域数据的样本的权重定义为：
Figure BDA0003712713300000107
其中，Wj表示目标域数据中第j个样本的权重，用于对权重进行缩放，Wj对应的对角矩阵为W，基于对角矩阵W定义的类混淆矩阵Mcc′为：
Figure BDA0003712713300000108
其中，
Figure BDA0003712713300000109
表示一次训练所选取的样本内所有样本属于第c个类别的概率，最小化类混淆损失LMCC定义为：
Figure BDA00037127133000001010
B35)构建的损失函数为：
L＝LCE+LMMD+αLPCE+βLMCC
其中，α,β为权衡三元组卷积神经网络优化目标的参数。
进一步地，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中，输入数据训练三元组卷积神经网络的步骤包括：
C11)将目标域弱增强样本
Figure BDA0003712713300000111
目标域强增强样本
Figure BDA0003712713300000112
和源域数据有标注样本
Figure BDA0003712713300000113
分别输入至相对应的特征提取网络中，以得到目标域弱增强样本特征
Figure BDA0003712713300000114
目标域强增强样本特征
Figure BDA0003712713300000115
和源域数据有标注样本特征
Figure BDA0003712713300000116
C12)利用目标域强增强样本特征
Figure BDA0003712713300000117
和源域数据有标注样本特征
Figure BDA0003712713300000118
进行分布差异度量，计算迁移损失LMMD；
C13)将目标域弱增强样本特征
Figure BDA0003712713300000119
目标域强增强样本特征
Figure BDA00037127133000001110
和源域数据有标注样本特征
Figure BDA00037127133000001111
输入对应的分类器，以对应转换为目标域弱增强样本条件概率分布
Figure BDA00037127133000001112
目标域强增强样本条件概率分布
Figure BDA00037127133000001113
和源域数据有标注样本条件概率分布
Figure BDA00037127133000001114
C14)对源域数据有标注样本条件概率分布
Figure BDA00037127133000001115
基于分类损失函数LCE，计算源域数据的分类损失；
C15)对目标域弱增强样本条件概率分布
Figure BDA00037127133000001116
保留最大类别概率高于设定的概率分布阈值τ的类别标签作为伪标签：
Figure BDA00037127133000001117
其中，
Figure BDA00037127133000001118
表示目标域强增强样本条件概率分布
Figure BDA00037127133000001119
中满足设定的阈值筛选条件的最大概率所在的类别；
C16)利用目标域弱增强样本产生的伪标签
Figure BDA00037127133000001120
作为对应目标域强增强样本的监督信息，采用伪标签分类损失LPCE计算伪标签一致性损失；
C17)对于目标域弱增强样本条件概率分布，利用最小化类混淆损失LMCC计算类混淆损失；
C18)计算训练总损失，使用梯度下降算法对特征提取网络的网络参数进行调整。
已完成对于特征提取网络的训练，随后遥感图像特征向量则由经上述步骤训练好的特征提取网络提取获得。
进一步地，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中，如图4所示，获取目标域遥感图像的步骤为：
C21)基于训练好的特征提取网络提取查询特征向量图像；
C22)逐一计算查询特征向量图像与每幅遥感图像特征向量的欧式距离；
C23)依据欧式距离从小到大的顺序，将遥感图像特征向量进行排序，取排名处于设定次序内(如前K名，K的具体取值可以进行人为规定，例如前4名)的遥感图像特征向量为高相似度图像。
进一步地，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中，对于输入数据的构建以及三元组卷积神经网络的训练是基于Python语言的PyTorch库实现的，此外，还进行了ADDA(Adversarial Discriminative DomainAdaptation对抗鉴别域适应)、AFN(Adaptive Feature Norm自适应特征范数)、BSP(BatchSpectral Penalization批量奇异值约束)、CDAN(Conditional Adversarial DomainAdaptation条件对抗域适应)和DAN(Deep Adaptation Network深度域适应网络)等检索系统的仿真实验，以用于同本发明的基于伪标签一致性学习的遥感图像域适应检索方法进行对比；本发明采用平均归一化修正检索秩(ANMRR)、平均检索精度(mAP)和PK(K为前K张图像的检索精度)来评价结果，其中，平均检索精度(mAP)和前K张图像的检索精度PK值越高检索性能越好，而平均归一化修正检索秩ANMRR值越小越好，对比结果如表1所示：
Figure BDA0003712713300000121
Figure BDA0003712713300000131
表1
由表1的结果表明，本发明的基于伪标签一致性学习的遥感图像域适应检索方法取得了最高的检索精度，相较对比的方法，本发明方法的平均检索精度mAP提高了20.04％-28.96％，平均归一化修正检索秩ANMRR也取得了提高。并且本发明方法的P5-P100的检索精度均优于对比方法，综上所述，本发明所提出的基于伪标签一致性学习的遥感图像域适应检索方法在目标域无标注的情况下能够提高对目标域查询图像的检索能力。
通过上述技术方案，在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法中，其先是要构建输入数据，包括源域数据和目标域数据，其中，源域数据是有标注的数据，目标域数据是无标注的，并对构建的输入数据进行相对应的增强，随后，将增强后的源域数据和目标域数据输入到相应的特征提取网络和分类器中，将输出的结果与输入的数据进行对比，并建立伪标签一致性损失，从而基于伪标签一致性损失得到损失函数，以能够基于损失函数，对特征提取网络的网络参数进行调整，从而能够减小特征提取网络受目标域与源域的分布差异的影响，以使得训练后的三元组卷积神经网络在对未标注的样本进行检索时具有更好的检索精度，检索效果更好。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个具体技术特征以任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

Claims (10)

1.基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，包括如下步骤：
A)获取遥感图像；
B)构建输入数据、三元组卷积神经网络和损失函数；
C)利用所述输入数据并结合所述损失函数对所述三元组卷积神经网络进行优化训练，利用训练好的所述三元组卷积神经网络提取所述目标域内的所述遥感图像的遥感图像特征向量，形成特征库向量，提取用户查询的查询特征向量，并将所述查询特征向量与所述特征库向量中的所述遥感图像特征向量进行比较，得到设定的相似度排名内的所述遥感图像特征向量。
2.根据权利要求1所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述输入数据的构建步骤包括：
B11)构建包含ns个样本的源域数据
Figure FDA0003712713290000011
和包含nt个样本的目标域数据
Figure FDA0003712713290000012
其中，
Figure FDA0003712713290000013
表示源域数据有标注样本，
Figure FDA0003712713290000014
表示目标域数据无标注样本，
Figure FDA0003712713290000015
表示与所述源域数据有标注样本
Figure FDA0003712713290000016
相对应的标签，且
Figure FDA0003712713290000017
C为图像类别数；
B12)对于所述目标域数据无标注样本
Figure FDA0003712713290000018
利用翻转和移位数据增强变换得到目标域弱增强样本
Figure FDA0003712713290000019
并对所述目标域数据无标注样本
Figure FDA00037127132900000110
利用随机增强方法产生严重失真的目标域强增强样本
Figure FDA00037127132900000111
B13)对所述源域数据有标注样本
Figure FDA00037127132900000112
使用所述翻转和移位数据增强变换得到源域弱增强样本。
3.根据权利要求2所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述三元组卷积神经网络包括特征提取部分和分类部分，其中，所述特征提取部分包括多个特征提取网络，多个所述特征提取网络的结构和参数均相同，所述分类部分包括多个分类器，多个所述分类器的结构和参数均相同。
4.根据权利要求3所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述特征提取网络由ImageNet数据集预训练的卷积神经网络构成。
5.根据权利要求3所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述分类器为一层全连接网络，以用于预测所述输入数据属于不同类别的可能性。
6.根据权利要求5所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述分类器的输出维度与所述输入数据的类别数量一致。
7.根据权利要求6所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述损失函数的构建步骤包括：
B31)构建分类损失，对所述源域数据进行有监督学习，并基于交叉熵损失构建所述源域数据的分类损失：
Figure FDA0003712713290000021
其中，LCE为分类损失函数，p(xs)表示所述源域数据有标注样本
Figure FDA0003712713290000022
的真实概率分布，函数p(|)表示所述分类器预测的概率分布，xs为所述源域数据有标注样本
Figure FDA0003712713290000023
的合集，
Figure FDA0003712713290000024
表示所述源域数据有标注样本
Figure FDA0003712713290000025
的预测为不同类别的概率；
B32)构建迁移损失，基于最大均值差异度量不同特征分布的相似性构建迁移损失LMMD：
Figure FDA0003712713290000031
其中，i表示第i个所述源域数据有标注样本
Figure FDA0003712713290000032
ns表示所述源域数据有标注样本
Figure FDA0003712713290000033
的总数，fi s表示第i个所述源域数据有标注样本
Figure FDA0003712713290000034
的特征，nt表示所述目标域数据的样本总数，j表示第j个所述目标域强增强样本，φ为映射函数，将所述源域数据的样本投影到高维的希尔伯特空间
Figure FDA0003712713290000035
中，并在所述希尔伯特空间
Figure FDA0003712713290000036
中计算所述源域数据的样本均值作以及所述目标域的样本均值以作为领域差异的度量；
B33)构建伪标签一致性损失，得到一致性正则增强的伪标签分类损失LPCE：
Figure FDA0003712713290000037
其中，B表示一次训练所选取的样本数，μ为一次训练所选取的样本中满足设定阈值选取要求的样本比例，H函数表示两个概率分布的交叉熵损失，xw表示所述目标域弱增强样本
Figure FDA0003712713290000038
的合集，
Figure FDA0003712713290000039
为伪标签筛选后xw预测为不同类别的概率；
B34)构建最小类混淆损失，利用所述目标域数据的类别概率分布熵的值确定样本的权重，并依据加权后的所述目标域数据的样本，计算类混淆矩阵，并结合最小化类混淆损失以最大化所述目标域数据的类间差异；所述概率分布熵
Figure FDA00037127132900000310
为：
Figure FDA00037127132900000311
其中，
Figure FDA00037127132900000312
表示所述目标域数据中的第j个样本，
Figure FDA00037127132900000313
表示所述目标域数据中第j个样本属于第c个类的概率，所述目标域数据的样本的权重定义为：
Figure FDA0003712713290000041
其中，Wj表示所述目标域数据中第j个样本的权重，用于对权重进行缩放，Wj对应的对角矩阵为W，基于所述对角矩阵W定义的所述类混淆矩阵Mcc′为：
Figure FDA0003712713290000042
其中，
Figure FDA0003712713290000043
表示一次训练所选取的样本内所有样本属于第c个类别的概率，所述最小化类混淆损失LMCC定义为：
Figure FDA0003712713290000044
B35)构建的所述损失函数为：
L＝LCE+LMMD+αLPCE+βLMCC
其中，α,β为权衡三元组卷积神经网络优化目标的参数。
8.根据权利要求7所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述输入数据训练所述三元组卷积神经网络的步骤包括：
C11)将所述目标域弱增强样本
Figure FDA0003712713290000045
所述目标域强增强样本
Figure FDA0003712713290000046
和所述源域数据有标注样本
Figure FDA0003712713290000047
分别输入至相对应的所述特征提取网络中，以得到目标域弱增强样本特征
Figure FDA0003712713290000048
目标域强增强样本特征
Figure FDA0003712713290000049
和源域数据有标注样本特征
Figure FDA00037127132900000410
C12)利用所述目标域强增强样本特征
Figure FDA00037127132900000411
和源域数据有标注样本特征
Figure FDA00037127132900000412
进行分布差异度量，计算所述迁移损失LMMD；
C13)将所述目标域弱增强样本特征
Figure FDA0003712713290000051
所述目标域强增强样本特征
Figure FDA0003712713290000052
和所述源域数据有标注样本特征
Figure FDA0003712713290000053
输入所述分类器，以对应转换为目标域弱增强样本条件概率分布
Figure FDA0003712713290000054
目标域强增强样本条件概率分布
Figure FDA0003712713290000055
和源域数据有标注样本条件概率分布
Figure FDA0003712713290000056
C14)对所述源域数据有标注样本条件概率分布
Figure FDA0003712713290000057
基于所述分类损失函数LCE，计算所述源域数据的分类损失；
C15)对所述目标域弱增强样本条件概率分布
Figure FDA0003712713290000058
保留最大类别概率高于设定的概率分布阈值τ的类别标签作为伪标签：
Figure FDA0003712713290000059
其中，
Figure FDA00037127132900000510
表示所述目标域强增强样本条件概率分布
Figure FDA00037127132900000511
中满足设定的阈值筛选条件的最大概率所在的类别；
C16)利用所述目标域弱增强样本产生的伪标签
Figure FDA00037127132900000512
作为对应目标域强增强样本的监督信息，采用所述伪标签分类损失LPCE计算伪标签一致性损失；
C17)对于所述目标域弱增强样本条件概率分布，利用所述最小化类混淆损失LMCC计算类混淆损失；
C18)计算训练总损失，使用梯度下降算法对所述特征提取网络的网络参数进行调整。
9.根据权利要求8所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，所述遥感图像特征向量经由训练好的所述特征提取网络获取。
10.根据权利要求9所述的基于伪标签一致性学习的遥感图像域适应检索方法，其特征在于，获取所述目标域遥感图像的步骤为：
C21)基于训练好的所述特征提取网络提取所述查询特征向量图像；
C22)逐一计算所述查询特征向量图像与每幅所述遥感图像特征向量的欧式距离；
C23)依据所述欧式距离从小到大的顺序，将所述遥感图像特征向量进行排序，取排名处于设定次序内的所述遥感图像特征向量为高相似度图像。
CN202210729817.7A 2022-06-24 2022-06-24 基于伪标签一致性学习的遥感图像域适应检索方法 Active CN115292532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210729817.7A CN115292532B (zh) 2022-06-24 2022-06-24 基于伪标签一致性学习的遥感图像域适应检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210729817.7A CN115292532B (zh) 2022-06-24 2022-06-24 基于伪标签一致性学习的遥感图像域适应检索方法

Publications (2)

Publication Number Publication Date
CN115292532A true CN115292532A (zh) 2022-11-04
CN115292532B CN115292532B (zh) 2024-03-15

Family

ID=83821188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210729817.7A Active CN115292532B (zh) 2022-06-24 2022-06-24 基于伪标签一致性学习的遥感图像域适应检索方法

Country Status (1)

Country Link
CN (1) CN115292532B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188995A (zh) * 2023-04-13 2023-05-30 国家基础地理信息中心 一种遥感图像特征提取模型训练方法、检索方法及装置
CN117456312A (zh) * 2023-12-22 2024-01-26 华侨大学 一种面向无监督图像检索的模拟抗污伪标签增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索系统及方法
CN112131967A (zh) * 2020-09-01 2020-12-25 河海大学 基于多分类器对抗迁移学习的遥感场景分类方法
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法
CN113190699A (zh) * 2021-05-14 2021-07-30 华中科技大学 一种基于类别级语义哈希的遥感图像检索方法及装置
US20210390686A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Unsupervised content-preserved domain adaptation method for multiple ct lung texture recognition
CN113889228A (zh) * 2021-09-22 2022-01-04 武汉理工大学 基于混合注意的语义增强哈希医学图像检索方法
CN114549909A (zh) * 2022-03-03 2022-05-27 重庆邮电大学 一种基于自适应阈值的伪标签遥感图像场景分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索系统及方法
US20210390686A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Unsupervised content-preserved domain adaptation method for multiple ct lung texture recognition
CN112131967A (zh) * 2020-09-01 2020-12-25 河海大学 基于多分类器对抗迁移学习的遥感场景分类方法
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法
CN113190699A (zh) * 2021-05-14 2021-07-30 华中科技大学 一种基于类别级语义哈希的遥感图像检索方法及装置
CN113889228A (zh) * 2021-09-22 2022-01-04 武汉理工大学 基于混合注意的语义增强哈希医学图像检索方法
CN114549909A (zh) * 2022-03-03 2022-05-27 重庆邮电大学 一种基于自适应阈值的伪标签遥感图像场景分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188995A (zh) * 2023-04-13 2023-05-30 国家基础地理信息中心 一种遥感图像特征提取模型训练方法、检索方法及装置
CN116188995B (zh) * 2023-04-13 2023-08-15 国家基础地理信息中心 一种遥感图像特征提取模型训练方法、检索方法及装置
CN117456312A (zh) * 2023-12-22 2024-01-26 华侨大学 一种面向无监督图像检索的模拟抗污伪标签增强方法
CN117456312B (zh) * 2023-12-22 2024-03-12 华侨大学 一种面向无监督图像检索的模拟抗污伪标签增强方法

Also Published As

Publication number Publication date
CN115292532B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111191732B (zh) 一种基于全自动学习的目标检测方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN113190699B (zh) 一种基于类别级语义哈希的遥感图像检索方法及装置
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN110909820A (zh) 基于自监督学习的图像分类方法及系统
CN115292532A (zh) 基于伪标签一致性学习的遥感图像域适应检索方法
CN112668579A (zh) 基于自适应亲和力和类别分配的弱监督语义分割方法
CN109948742A (zh) 基于量子神经网络的手写体图片分类方法
CN115471739A (zh) 基于自监督对比学习的跨域遥感场景分类与检索方法
CN112434628A (zh) 基于主动学习和协同表示的小样本极化sar图像分类方法
CN113806580B (zh) 基于层次语义结构的跨模态哈希检索方法
CN112597324A (zh) 一种基于相关滤波的图像哈希索引构建方法、系统及设备
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法
CN114579794A (zh) 特征一致性建议的多尺度融合地标图像检索方法及系统
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN114357221A (zh) 一种基于图像分类的自监督主动学习方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN113065520A (zh) 一种面向多模态数据的遥感图像分类方法
WO2024082374A1 (zh) 一种基于层级化元迁移的小样本雷达目标识别方法
CN111079840A (zh) 基于卷积神经网络和概念格的图像语义完备标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant