CN115292532B - 基于伪标签一致性学习的遥感图像域适应检索方法 - Google Patents
基于伪标签一致性学习的遥感图像域适应检索方法 Download PDFInfo
- Publication number
- CN115292532B CN115292532B CN202210729817.7A CN202210729817A CN115292532B CN 115292532 B CN115292532 B CN 115292532B CN 202210729817 A CN202210729817 A CN 202210729817A CN 115292532 B CN115292532 B CN 115292532B
- Authority
- CN
- China
- Prior art keywords
- sample
- remote sensing
- sensing image
- domain data
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 49
- 238000009826 distribution Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 37
- 238000002372 labelling Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006978 adaptation Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于伪标签一致性学习的遥感图像域适应检索方法,包括如下步骤:A)获取遥感图像;B)构建输入数据、三元组卷积神经网络和损失函数;C)利用输入数据并结合所述损失函数对三元组卷积神经网络进行优化训练,利用训练好的三元组卷积神经网络提取目标域内的遥感图像的遥感图像特征向量,形成特征库向量,提取用户查询的查询特征向量,并将查询特征向量与特征库向量中的遥感图像特征向量进行比较,得到设定的相似度排名内的所述遥感图像特征向量。本发明的基于伪标签一致性学习的遥感图像域适应检索方法受目标域与源域的分布差异的影响小,检索效果好。
Description
技术领域
本发明涉及光学遥感图像检索技术领域,具体地,涉及一种基于伪标签一致性学习的遥感图像域适应检索方法。
背景技术
近年来,对地观测技术的发展使得遥感图像的获取变得越来越容易,海量的遥感图像数据为地表覆盖分类、灾害评估、环境监测和城市规划等领域的应用创造了有利的条件。
然而,在日益增长的遥感图像数据中,如何高效的找到感兴趣的目标或场景成为了一个难题。因此,遥感图像检索作为一种从大规模的遥感数据中挖掘有效信息的关键技术,受到了越来越多的关注。
目前,基于深度神经网络的检索模型在遥感图像检索中取得了最具竞争力的检索效果。由于深度学习是一种数据驱动的算法,这些模型为了得到较好的检索效果,使用大量的标注数据进行训练。然而,爆发式增长的遥感图像为数据标注工作带来了严峻的挑战,其不仅需要消耗大量的人力物力,而且为所有图像贴标签是不现实的。因此如何利用已有的有标注遥感图像,提高模型在无标注数据上的检索精度是需要解决的关键问题。然而,不同数据集之间由于传感器、拍摄角度、拍摄天气和季节等因素的差异,导致直接将训练好的检索模型迁移至无标注数据集的检索效果并不理想,现有技术中,一般是利用有标注的源域数据学习一个分类器,通过特征对齐将源域学习的分类器用于目标域。然而,受限于目标域与源域的分布差异,源域的先验类别信息对目标域决策边界的作用是有限的,这可能导致源域学习的决策边界不能区分目标域。
有鉴于此,需要设计一种基于伪标签一致性学习的遥感图像域适应检索方法。
发明内容
本发明所要解决的技术问题是提供一种基于伪标签一致性学习的遥感图像域适应检索方法,其受目标域与源域的分布差异的影响小,检索效果好。
为了解决上述技术问题,本发明提供一种基于伪标签一致性学习的遥感图像域适应检索方法,包括如下步骤:
A)获取遥感图像;
B)构建输入数据、三元组卷积神经网络和损失函数;
C)利用所述输入数据并结合所述损失函数对所述三元组卷积神经网络进行优化训练,利用训练好的所述三元组卷积神经网络提取所述目标域内的所述遥感图像的遥感图像特征向量,形成特征库向量,提取用户查询的查询特征向量,并将所述查询特征向量与所述特征库向量中的所述遥感图像特征向量进行比较,得到设定的相似度排名内的所述遥感图像特征向量。
进一步地,所述输入数据的构建步骤包括:
B11)构建包含ns个样本的源域数据和包含nt个样本的目标域数据/>其中,/>表示源域数据有标注样本,/>表示目标域数据无标注样本,/>表示与所述源域数据有标注样本/>相对应的标签,且/>C为图像类别数;
B12)对于所述目标域数据无标注样本利用翻转和移位数据增强变换得到目标域弱增强样本/>并对所述目标域数据无标注样本/>利用随机增强方法产生严重失真的目标域强增强样本/>
B13)对所述源域数据有标注样本使用所述翻转和移位数据增强变换得到源域弱增强样本。
进一步地,所述三元组卷积神经网络包括特征提取部分和分类部分,其中,所述特征提取部分包括多个特征提取网络,多个所述特征提取网络的结构和参数均相同,所述分类部分包括多个分类器,多个所述分类器的结构和参数均相同。
进一步地,所述特征提取网络由ImageNet(图像网络)数据集预训练的卷积神经网络构成。
进一步地,所述分类器为一层全连接网络,用于预测所述输入数据属于不同类别的可能性。
进一步地,所述分类器的输出维度与所述输入数据的类别数量一致。
进一步地,所述损失函数的构建步骤包括:
B31)构建分类损失,对所述源域数据进行有监督学习,并基于交叉熵损失构建所述源域数据的分类损失:
其中,LCE为分类损失函数,p(xs)表示所述源域数据有标注样本的真实概率分布,函数p(|)表示所述分类器预测的概率分布,xs为所述源域数据有标注样本/>的合集,表示所述源域数据有标注样本/>的预测为不同类别的概率;
B32)构建迁移损失,基于最大均值差异度量不同特征分布的相似性构建迁移损失LMMD:
其中,i表示第i个所述源域数据有标注样本ns表示所述源域数据有标注样本的总数,fi s表示第i个所述源域数据有标注样本/>的特征,nt表示所述目标域数据的样本总数,j表示第j个所述目标域强增强样本,φ为映射函数,将所述源域数据的样本投影到高维的希尔伯特空间/>中,并在所述希尔伯特空间/>中计算所述源域数据的样本均值作以及所述目标域的样本均值以作为领域差异的度量;
B33)构建伪标签一致性损失,得到一致性正则增强的伪标签分类损失LPCE:
其中,B表示一次训练所选取的样本数,μ为一次训练所选取的样本中满足设定阈值选取要求的样本比例,H函数表示两个概率分布的交叉熵损失,xw表示所述目标域弱增强样本的合集,/>为伪标签筛选后xw预测为不同类别的概率;
B34)构建最小类混淆损失,利用所述目标域数据的类别概率分布熵的值确定样本的权重,并依据加权后的所述目标域数据的样本,计算类混淆矩阵,并结合最小化类混淆损失以最大化所述目标域数据的类间差异;所述概率分布熵为:
其中,表示所述目标域数据中的第j个样本,/>表示所述目标域数据中第j个样本属于第c个类的概率,所述目标域数据的样本的权重定义为:
其中,Wj表示所述目标域数据中第j个样本的权重,用于对权重进行缩放,Wj对应的对角矩阵为W,基于所述对角矩阵W定义的所述类混淆矩阵Mcc′为:
其中,表示一次训练所选取的样本内所有样本属于第c个类别的概率,所述最小化类混淆损失LMCC定义为:
B35)构建的所述损失函数为:
L=LCE+LMMD+αLPCE+βLMCC
其中,α,β为权衡三元组卷积神经网络优化目标的参数。
进一步地,所述输入数据训练所述三元组卷积神经网络的步骤包括:
C11)将所述目标域弱增强样本所述目标域强增强样本/>和所述源域数据有标注样本/>分别输入至相对应的所述特征提取网络中,以得到目标域弱增强样本特征目标域强增强样本特征/>和源域数据有标注样本特征/>
C12)利用所述目标域强增强样本特征和源域数据有标注样本特征/>进行分布差异度量,计算所述迁移损失LMMD;
C13)将所述目标域弱增强样本特征所述目标域强增强样本特征/>和所述源域有标注样本特征/>输入所述分类器,以对应转换为目标域弱增强样本条件概率分布/>目标域强增强样本条件概率分布/>和源域数据有标注样本条件概率分布/>
C14)对所述源域数据有标注样本条件概率分布基于所述分类损失函数LCE,计算所述源域数据的分类损失;
C15)对所述目标域弱增强样本条件概率分布保留最大类别概率高于设定的概率分布阈值τ的类别标签作为伪标签:
其中,表示所述目标域强增强样本条件概率分布中满足设定的阈值筛选条件的最大概率所在的类别;
C16)利用所述目标域弱增强样本产生的伪标签作为对应目标域强增强样本的监督信息,采用所述伪标签分类损失LPCE计算伪标签一致性损失;
C17)对于所述目标域弱增强样本条件概率分布,利用所述最小化类混淆损失LMCC计算类混淆损失;
C18)计算训练总损失,使用梯度下降算法对所述特征提取网络的网络参数进行调整。
进一步地,所述遥感图像特征向量经由训练好的所述特征提取网络获取。
进一步地,获取所述目标域遥感图像的步骤为:
C21)基于训练好的所述特征提取网络提取所述查询特征向量图像;
C22)逐一计算所述查询特征向量图像与每幅所述遥感图像特征向量的欧式距离;
C23)依据所述欧式距离从小到大的顺序,将所述遥感图像特征向量进行排序,取排名处于设定次序内的所述遥感图像特征向量为高相似度图像。
通过上述技术方案,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法中,其先是要构建输入数据,包括源域数据和目标域数据,其中,源域数据是有标注的数据,目标域数据是无标注的,并对构建的输入数据进行相对应的增强,随后,将增强后的源域数据和目标域数据输入到相应的特征提取网络和分类器中,将输出的结果与输入的数据进行对比,并建立伪标签一致性损失,从而基于伪标签一致性损失得到损失函数,以能够基于损失函数,对特征提取网络的网络参数进行调整,从而能够减小特征提取网络受目标域与源域的分布差异的影响,以使得训练后的三元组卷积神经网络在对未标注的样本进行检索时具有更好的检索精度,检索效果更好。
有关本发明的其它优点以及优选实施方式的技术效果,将在下文的具体实施方式中进一步说明。
附图说明
图1是本发明基于伪标签一致性学习的遥感图像域适应检索方法的流程图;
图2是本发明基于伪标签一致性学习的遥感图像域适应检索方法的原理示意图;
图3是本发明基于伪标签一致性学习的遥感图像域适应检索方法中对三元组卷积神经网络的训练过程示意图;
图4是本发明基于伪标签一致性学习的遥感图像域适应检索方法中的检索过程示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1和图2所示,作为本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例,该方法包括如下步骤:
A)获取遥感图像;
B)构建输入数据、三元组卷积神经网络和损失函数;
C)利用输入数据并结合损失函数对三元组卷积神经网络进行优化训练,利用训练好的三元组卷积神经网络提取目标域内的遥感图像的遥感图像特征向量,形成特征库向量,提取用户查询的查询特征向量,并将查询特征向量与特征库向量中的遥感图像特征向量进行比较,得到设定的相似度排名内的遥感图像特征向量。
具体地,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中,输入数据的构建步骤包括:
B11)构建包含ns个样本的源域数据和包含nt个样本的目标域数据/>其中,/>表示源域数据有标注样本,/>表示目标域数据无标注样本,/>表示与源域数据有标注样本/>相对应的标签,且/>C为图像类别数;
B12)对于目标域数据无标注样本利用翻转和移位数据增强变换得到目标域弱增强样本/>并对目标域数据无标注样本/>利用随机增强方法产生严重失真的目标域强增强样本/>
B13)对源域数据有标注样本使用翻转和移位数据增强变换得到源域弱样本。
进一步地,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中,如图3所示,三元组卷积神经网络包括特征提取部分和分类部分,其中,特征提取部分包括多个特征提取网络(例如根据需要进行提取的数据样本包括目标域弱增强样本目标域数据无标注样本/>和源域数据有标注样本/>三种,将特征提取网络设置为三个,以实现各特征提取网络对应不同的数据样本),且各个特征提取网络的结构和参数均相同;分类部分包括多个分类器(例如根据需要进行分类的数据样本包括目标域弱增强样本/>目标域数据无标注样本/>和源域数据有标注样本/>三种,将分类器设置为三个,以实现各分类器对应不同的数据样本),且各个分类器的结构和参数均相同,其中,特征提取网络包括由ImageNet(图像网络)数据集预训练的卷积神经网络({conv1,conv2_x,conv3_x,conv4_x,conv_5x}),以及瓶颈层,因此,特征提取网络的结构为:{conv1,conv2_x,conv3_x,conv4_x,conv_5x,bottleneck layer},其输出的特征的尺寸为256维;分类器为一层全连接网络,用于预测输入数据属于不同类别的可能性,分类器的输出维度与输入数据的类别数量一致。
进一步地,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中,损失函数的构建步骤包括:
B31)构建分类损失,对于源域数据,由于源域数据存在对应的标注信息,因此,可对其进行有监督学习,以保证源域数据有标注样本能够被准确识别,具体地,可基于交叉熵损失构建源域数据的分类损失:
其中,LCE为分类损失函数,p(xs)表示源域数据有标注样本的真实概率分布,xs为源域数据有标注样本/>的合集,/>表示源域数据有标注样本/>的预测为不同类别的概率;
B32)构建迁移损失,基于最大均值差异度量不同特征分布的相似性构建迁移损失LMMD:
其中,i表示第i个源域数据有标注样本ns表示源域数据有标注样本/>的总数,fi s表示第i个源域数据有标注样本/>的特征,nt表示目标域数据的样本总数,j表示第j个目标域强增强样本,φ为映射函数,将源域数据的样本投影到高维的希尔伯特空间/>中,并在希尔伯特空间/>中计算源域数据的样本均值作以及目标域的样本均值以作为领域差异的度量;
B33)构建伪标签一致性损失,以用于约束目标域样本的伪标签一致性学习,使用目标域弱增强样本产生的伪标签作为对应的目标域强增强样本/>的监督信息计算交叉熵损失,得到一致性正则增强的伪标签分类损失LPCE:
其中,B表示一次训练所选取的样本数,μ为一次训练所选取的样本中满足设定阈值选取要求的样本比例,H函数表示两个概率分布的交叉熵损失,xw表示目标域弱增强样本的合集,/>为伪标签筛选后xw预测为不同类别的概率;
B34)构建最小类混淆损失,利用目标域数据的类别概率分布熵的值确定目标域数据的样本的权重,并依据加权后的目标域数据的样本,计算类混淆矩阵,并结合最小化类混淆损失以最大化目标域数据的类间差异;具体地,概率分布熵为:
其中,表示目标域数据中的第j个样本,/>表示目标域数据中第j个样本属于第c个类的概率,目标域数据的样本的权重定义为:
其中,Wj表示目标域数据中第j个样本的权重,用于对权重进行缩放,Wj对应的对角矩阵为W,基于对角矩阵W定义的类混淆矩阵Mcc′为:
其中,表示一次训练所选取的样本内所有样本属于第c个类别的概率,最小化类混淆损失LMCC定义为:
B35)构建的损失函数为:
L=LCE+LMMD+αLPCE+βLMCC
其中,α,β为权衡三元组卷积神经网络优化目标的参数。
进一步地,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中,输入数据训练三元组卷积神经网络的步骤包括:
C11)将目标域弱增强样本目标域强增强样本/>和源域数据有标注样本/>分别输入至相对应的特征提取网络中,以得到目标域弱增强样本特征/>目标域强增强样本特征/>和源域数据有标注样本特征/>
C12)利用目标域强增强样本特征和源域数据有标注样本特征/>进行分布差异度量,计算迁移损失LMMD;
C13)将目标域弱增强样本特征目标域强增强样本特征/>和源域数据有标注样本特征/>输入对应的分类器,以对应转换为目标域弱增强样本条件概率分布/>目标域强增强样本条件概率分布/>和源域数据有标注样本条件概率分布/>
C14)对源域数据有标注样本条件概率分布基于分类损失函数LCE,计算源域数据的分类损失;
C15)对目标域弱增强样本条件概率分布保留最大类别概率高于设定的概率分布阈值τ的类别标签作为伪标签:
其中,表示目标域强增强样本条件概率分布中满足设定的阈值筛选条件的最大概率所在的类别;
C16)利用目标域弱增强样本产生的伪标签作为对应目标域强增强样本的监督信息,采用伪标签分类损失LPCE计算伪标签一致性损失;
C17)对于目标域弱增强样本条件概率分布,利用最小化类混淆损失LMCC计算类混淆损失;
C18)计算训练总损失,使用梯度下降算法对特征提取网络的网络参数进行调整。
已完成对于特征提取网络的训练,随后遥感图像特征向量则由经上述步骤训练好的特征提取网络提取获得。
进一步地,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中,如图4所示,获取目标域遥感图像的步骤为:
C21)基于训练好的特征提取网络提取查询特征向量图像;
C22)逐一计算查询特征向量图像与每幅遥感图像特征向量的欧式距离;
C23)依据欧式距离从小到大的顺序,将遥感图像特征向量进行排序,取排名处于设定次序内(如前K名,K的具体取值可以进行人为规定,例如前4名)的遥感图像特征向量为高相似度图像。
进一步地,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法的一种实施例中,对于输入数据的构建以及三元组卷积神经网络的训练是基于Python语言的PyTorch库实现的,此外,还进行了ADDA(Adversarial Discriminative DomainAdaptation对抗鉴别域适应)、AFN(Adaptive Feature Norm自适应特征范数)、BSP(BatchSpectral Penalization批量奇异值约束)、CDAN(Conditional Adversarial DomainAdaptation条件对抗域适应)和DAN(Deep Adaptation Network深度域适应网络)等检索系统的仿真实验,以用于同本发明的基于伪标签一致性学习的遥感图像域适应检索方法进行对比;本发明采用平均归一化修正检索秩(ANMRR)、平均检索精度(mAP)和PK(K为前K张图像的检索精度)来评价结果,其中,平均检索精度(mAP)和前K张图像的检索精度PK值越高检索性能越好,而平均归一化修正检索秩ANMRR值越小越好,对比结果如表1所示:
表1
由表1的结果表明,本发明的基于伪标签一致性学习的遥感图像域适应检索方法取得了最高的检索精度,相较对比的方法,本发明方法的平均检索精度mAP提高了20.04%-28.96%,平均归一化修正检索秩ANMRR也取得了提高。并且本发明方法的P5-P100的检索精度均优于对比方法,综上所述,本发明所提出的基于伪标签一致性学习的遥感图像域适应检索方法在目标域无标注的情况下能够提高对目标域查询图像的检索能力。
通过上述技术方案,在本发明所提供的基于伪标签一致性学习的遥感图像域适应检索方法中,其先是要构建输入数据,包括源域数据和目标域数据,其中,源域数据是有标注的数据,目标域数据是无标注的,并对构建的输入数据进行相对应的增强,随后,将增强后的源域数据和目标域数据输入到相应的特征提取网络和分类器中,将输出的结果与输入的数据进行对比,并建立伪标签一致性损失,从而基于伪标签一致性损失得到损失函数,以能够基于损失函数,对特征提取网络的网络参数进行调整,从而能够减小特征提取网络受目标域与源域的分布差异的影响,以使得训练后的三元组卷积神经网络在对未标注的样本进行检索时具有更好的检索精度,检索效果更好。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于此。在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,包括各个具体技术特征以任何合适的方式进行组合,为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容,均属于本发明的保护范围。
Claims (5)
1.基于伪标签一致性学习的遥感图像域适应检索方法,其特征在于,包括如下步骤:
A)获取遥感图像;
B)构建输入数据、三元组卷积神经网络和损失函数;
其中,所述输入数据的构建步骤包括:
B11)构建包含ns个样本的源域数据和包含nt个样本的目标域数据其中,/>表示源域数据有标注样本,/>表示目标域数据无标注样本,/>表示与所述源域数据有标注样本/>相对应的标签,且/>C为图像类别数;
B12)对于所述目标域数据无标注样本利用翻转和移位数据增强变换得到目标域弱增强样本/>并对所述目标域数据无标注样本/>利用随机增强方法产生严重失真的目标域强增强样本/>
B13)对所述源域数据有标注样本使用所述翻转和移位数据增强变换得到源域弱增强样本;
其中,所述三元组卷积神经网络包括特征提取部分和分类部分,所述特征提取部分包括多个特征提取网络,多个所述特征提取网络的结构和参数均相同,所述分类部分包括多个分类器,多个所述分类器的结构和参数均相同,所述分类器为一层全连接网络,以用于预测所述输入数据属于不同类别的可能性,所述分类器的输出维度与所述输入数据的类别数量一致,所述损失函数的构建步骤包括:
B31)构建分类损失,对所述源域数据进行有监督学习,并基于交叉熵损失构建所述源域数据的分类损失:
其中,LCE为分类损失函数,p(xs)表示所述源域数据有标注样本的真实概率分布,函数p(∣)表示所述分类器预测的概率分布,xs为所述源域数据有标注样本/>的合集,/>表示所述源域数据有标注样本/>的预测为不同类别的概率;
B32)构建迁移损失,基于最大均值差异度量不同特征分布的相似性构建迁移损失LMMD:
其中,i表示第i个所述源域数据有标注样本ns表示所述源域数据有标注样本/>的总数,fi S表示第i个所述源域数据有标注样本/>的特征,nt表示所述目标域数据的样本总数,j表示第j个所述目标域强增强样本,φ为映射函数,将所述源域数据的样本投影到高维的希尔伯特空间/>中,并在所述希尔伯特空间/>中计算所述源域数据的样本均值作以及所述目标域的样本均值以作为领域差异的度量;
B33)构建伪标签一致性损失,得到一致性正则增强的伪标签分类损失LPCE:
其中,B表示一次训练所选取的样本数,μ为一次训练所选取的样本中满足设定阈值选取要求的样本比例,H函数表示两个概率分布的交叉熵损失,xw表示所述目标域弱增强样本的合集,/>为伪标签筛选后xw预测为不同类别的概率;
B34)构建最小类混淆损失,利用所述目标域数据的类别概率分布熵的值确定样本的权重,并依据加权后的所述目标域数据的样本,计算类混淆矩阵,并结合最小化类混淆损失以最大化所述目标域数据的类间差异;所述概率分布熵为:
其中,表示所述目标域数据中的第j个样本,/>表示所述目标域数据中第j个样本属于第c个类的概率,所述目标域数据的样本的权重定义为:
其中,Wj表示所述目标域数据中第j个样本的权重,用于对权重进行缩放,Wj对应的对角矩阵为W,基于所述对角矩阵W定义的所述类混淆矩阵Mcc′为:
其中,表示一次训练所选取的样本内所有样本属于第c个类别的概率,所述最小化类混淆损失LMCC定义为:
B35)构建的所述损失函数为:
L=LCE+LMMD+αLPCE+βLMCC
其中,α,β为权衡三元组卷积神经网络优化目标的参数;
C)利用所述输入数据并结合所述损失函数对所述三元组卷积神经网络进行优化训练,利用训练好的所述三元组卷积神经网络提取所述目标域内的所述遥感图像的遥感图像特征向量,形成特征库向量,提取用户查询的查询特征向量,并将所述查询特征向量与所述特征库向量中的所述遥感图像特征向量进行比较,得到设定的相似度排名内的所述遥感图像特征向量。
2.根据权利要求1所述的基于伪标签一致性学习的遥感图像域适应检索方法,其特征在于,所述特征提取网络由ImageNet数据集预训练的卷积神经网络构成。
3.根据权利要求1所述的基于伪标签一致性学习的遥感图像域适应检索方法,其特征在于,所述输入数据训练所述三元组卷积神经网络的步骤包括:
C11)将所述目标域弱增强样本所述目标域强增强样本/>和所述源域数据有标注样本/>分别输入至相对应的所述特征提取网络中,以得到目标域弱增强样本特征目标域强增强样本特征/>和源域数据有标注样本特征/>
C12)利用所述目标域强增强样本特征和源域数据有标注样本特征/>进行分布差异度量,计算所述迁移损失LMMD;
C13)将所述目标域弱增强样本特征所述目标域强增强样本特征/>和所述源域数据有标注样本特征/>输入所述分类器,以对应转换为目标域弱增强样本条件概率分布/>目标域强增强样本条件概率分布/>和源域数据有标注样本条件概率分布/>
C14)对所述源域数据有标注样本条件概率分布基于所述分类损失函数LCE,计算所述源域数据的分类损失;
C15)对所述目标域弱增强样本条件概率分布保留最大类别概率高于设定的概率分布阈值τ的类别标签作为伪标签:
其中,表示所述目标域强增强样本条件概率分布中满足设定的阈值筛选条件的最大概率所在的类别;
C16)利用所述目标域弱增强样本产生的伪标签作为对应目标域强增强样本的监督信息,采用所述伪标签分类损失LPCE计算伪标签一致性损失;
C17)对于所述目标域弱增强样本条件概率分布,利用所述最小化类混淆损失LMCC计算类混淆损失;
C18)计算训练总损失,使用梯度下降算法对所述特征提取网络的网络参数进行调整。
4.根据权利要求3所述的基于伪标签一致性学习的遥感图像域适应检索方法,其特征在于,所述遥感图像特征向量经由训练好的所述特征提取网络获取。
5.根据权利要求4所述的基于伪标签一致性学习的遥感图像域适应检索方法,其特征在于,获取所述目标域遥感图像的步骤为:
C21)基于训练好的所述特征提取网络提取所述查询特征向量图像;
C22)逐一计算所述查询特征向量图像与每幅所述遥感图像特征向量的欧式距离;
C23)依据所述欧式距离从小到大的顺序,将所述遥感图像特征向量进行排序,取排名处于设定次序内的所述遥感图像特征向量为高相似度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210729817.7A CN115292532B (zh) | 2022-06-24 | 2022-06-24 | 基于伪标签一致性学习的遥感图像域适应检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210729817.7A CN115292532B (zh) | 2022-06-24 | 2022-06-24 | 基于伪标签一致性学习的遥感图像域适应检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115292532A CN115292532A (zh) | 2022-11-04 |
CN115292532B true CN115292532B (zh) | 2024-03-15 |
Family
ID=83821188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210729817.7A Active CN115292532B (zh) | 2022-06-24 | 2022-06-24 | 基于伪标签一致性学习的遥感图像域适应检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115292532B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188995B (zh) * | 2023-04-13 | 2023-08-15 | 国家基础地理信息中心 | 一种遥感图像特征提取模型训练方法、检索方法及装置 |
CN117456312B (zh) * | 2023-12-22 | 2024-03-12 | 华侨大学 | 一种面向无监督图像检索的模拟抗污伪标签增强方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106980641A (zh) * | 2017-02-09 | 2017-07-25 | 上海交通大学 | 基于卷积神经网络的无监督哈希快速图片检索系统及方法 |
CN112131967A (zh) * | 2020-09-01 | 2020-12-25 | 河海大学 | 基于多分类器对抗迁移学习的遥感场景分类方法 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN113190699A (zh) * | 2021-05-14 | 2021-07-30 | 华中科技大学 | 一种基于类别级语义哈希的遥感图像检索方法及装置 |
CN113889228A (zh) * | 2021-09-22 | 2022-01-04 | 武汉理工大学 | 基于混合注意的语义增强哈希医学图像检索方法 |
CN114549909A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种基于自适应阈值的伪标签遥感图像场景分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739076B (zh) * | 2020-06-15 | 2022-09-30 | 大连理工大学 | 面向多种ct肺部纹理识别的非监督保内容域适应方法 |
-
2022
- 2022-06-24 CN CN202210729817.7A patent/CN115292532B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106980641A (zh) * | 2017-02-09 | 2017-07-25 | 上海交通大学 | 基于卷积神经网络的无监督哈希快速图片检索系统及方法 |
CN112131967A (zh) * | 2020-09-01 | 2020-12-25 | 河海大学 | 基于多分类器对抗迁移学习的遥感场景分类方法 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN113190699A (zh) * | 2021-05-14 | 2021-07-30 | 华中科技大学 | 一种基于类别级语义哈希的遥感图像检索方法及装置 |
CN113889228A (zh) * | 2021-09-22 | 2022-01-04 | 武汉理工大学 | 基于混合注意的语义增强哈希医学图像检索方法 |
CN114549909A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种基于自适应阈值的伪标签遥感图像场景分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115292532A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114067160B (zh) | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 | |
CN111191732B (zh) | 一种基于全自动学习的目标检测方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN110598029B (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
CN111881714B (zh) | 一种无监督跨域行人再识别方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN110909820B (zh) | 基于自监督学习的图像分类方法及系统 | |
Lin et al. | RSCM: Region selection and concurrency model for multi-class weather recognition | |
CN115292532B (zh) | 基于伪标签一致性学习的遥感图像域适应检索方法 | |
US6922489B2 (en) | Image interpretation method and apparatus | |
CN108830312B (zh) | 一种基于样本自适应扩充的集成学习方法 | |
CN109033944B (zh) | 一种全天空极光图像分类与关键局部结构定位方法及系统 | |
CN110598564B (zh) | 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法 | |
CN106874862B (zh) | 基于子模技术和半监督学习的人群计数方法 | |
CN115471739A (zh) | 基于自监督对比学习的跨域遥感场景分类与检索方法 | |
CN112434628A (zh) | 基于主动学习和协同表示的小样本极化sar图像分类方法 | |
CN114863091A (zh) | 一种基于伪标签的目标检测训练方法 | |
CN115546553A (zh) | 一种基于动态特征抽取和属性修正的零样本分类方法 | |
CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及系统 | |
CN114329031A (zh) | 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法 | |
CN114328942A (zh) | 关系抽取方法、装置、设备、存储介质和计算机程序产品 | |
CN117011714A (zh) | 基于伪标签辅助的高光谱图像分类方法 | |
WO2024082374A1 (zh) | 一种基于层级化元迁移的小样本雷达目标识别方法 | |
CN116108217B (zh) | 一种基于深度哈希编码和多任务预测的逃费车辆相似图片检索方法 | |
CN116229510A (zh) | 一种无监督跨模态行人重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |