CN115953621A - 一种基于不可靠伪标签学习的半监督高光谱图像分类方法 - Google Patents

一种基于不可靠伪标签学习的半监督高光谱图像分类方法 Download PDF

Info

Publication number
CN115953621A
CN115953621A CN202211571102.XA CN202211571102A CN115953621A CN 115953621 A CN115953621 A CN 115953621A CN 202211571102 A CN202211571102 A CN 202211571102A CN 115953621 A CN115953621 A CN 115953621A
Authority
CN
China
Prior art keywords
sample
samples
label
unreliable
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211571102.XA
Other languages
English (en)
Inventor
孙昊
姚华雄
陈仁义
谢伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202211571102.XA priority Critical patent/CN115953621A/zh
Publication of CN115953621A publication Critical patent/CN115953621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不可靠伪标签学习的半监督高光谱图像分类方法，包括：(1)搭建两个具有相同结构的教师和学生神经网络模型用于提取样本特征；(2)使用少量标记样本预先训练教师网络模型；(3)根据类别概率将无标记样本划分成可靠和不可靠样本；(4)将可靠的预测值作为正确的伪标签，同少量标记样本计算监督损失；(5)通过采样的策略构造锚点像素、正样本和负样本，使用对比学习重新利用不可靠预测值的样本特征；(6)计算目标函数，优化神经网络模型参数；(7)预测高光谱图像分类性能。本发明采取对比学习方式将不可靠伪标签作为对应类别的负样本，为模型补充大量的互补信息，提高了模型的分类性能。

Description

一种基于不可靠伪标签学习的半监督高光谱图像分类方法
技术领域
本发明属于遥感图像处理技术领域，特别涉及少训练样本场景下的半监督学习方法，可用于高光谱图像分类等任务。
背景技术
搭载于航空、航天遥感平台的高光谱成像仪采集的高光谱图像同时包含了观测场景中丰富的空间位置和光谱信息。高光谱图像分类旨在利用光谱和空间信息推断图像中各像素对应的地物类别，可为精准农业、环境治理、能源开发等领域提供技术支撑。归功于深度学习强大的特征表示能力，目前基于深度学习的高光谱图像分类方法已经取得了优异分类性能。这些方法通常需要充足的有标记样本，以进行模型的监督训练，然而标记大量的高光谱图像需要投入大量人力、财力和时间，限制了其应用灵活性。
基于半监督学习的高光谱图像分类方法旨在利用少量有标记样本和大量无标记样本学习判别性特征，以缓解有标记训练样本数量不足的问题。Jia等人在文献“Asemisupervised siamese network for hyperspectral image classification,”IEEETransactions on Geoscience and Remote Sensing,vol.60,art no.5516417,2022.提出利用自动编码器从高光谱图像中捕获数据间潜在的相关性，预先训练初始分类器，然后在少量标记样本上借助孪生网络微调模型。Wu等人在文献“Semi-supervised deep learningusing pseudo labels for hyperspectral image classification,”IEEE Transactionson Image Processing,vol.27,no.3,pp.1259–1270,2018.中提出在标记样本上预先训练初始分类器，然后使用该分类器对无标记样本预测，得到无标记样本的类别置信度，并选取高置信度的预测值作为正确的伪标签加入到有标记样本中迭代更新整个网络的权重参数。现有基于伪标签的半监督高光谱图像分类方法通常关注利用高置信度的无标记样本，用于模型训练。
在基于伪标签的半监督高光谱图像分类方法中，一般经由初始分类器获得各无标记样本的类别置信度，然后通过预先设定的置信度阈值将无标记样本划分成可靠样本和不可靠样本。接着，将可靠样本的预测类别作为正确的伪标签，将其加入到有标记样本训练集中用于模型训练，不可靠样本则被丢弃。然而，这类方法忽略了低置信度无标记样本所包含的潜在信息，导致无标记样本未能被充分用于提高分类精度。
发明内容
本发明针对现有方法未能有效利用无标记样本的问题，提出一种通过使用不可靠样本特征提高分类性能的方法。本发明基于利用可靠伪标签来扩大训练样本容量的思想，进一步提出充分利用不可靠伪标签的样本来提高特征判别性。
实现本发明目的的技术方案包括如下步骤：
(1)基于知识蒸馏模型搭建神经网络，构建两个具有相同结构的学生网络和教师网络结构用于样本的特征提取；
(2)采取监督学习方式在标记样本集上预先训练教师网络模型，得到初始的分类器；
(3)无标记样本经过学生网络后得到样本的类别概率，通过无标记样本类别概率计算得到的熵，将无标记样本划分成可靠样本和不可靠样本；
(4)将可靠的无标记样本作为正确的伪标签加入到标记样本中，计算标记样本和无标记样本的监督损失，优化教师神经网络；
(5)对于不可靠的无标记样本部分，使用对比学习方式充分利用不可靠像素点的样本特征，通过采样的方式在对应集合中构造锚点像素、正样本和负样本，用于计算对比损失，优化教师网络；
(6)构建模型的目标函数，通过反向传播策略更新教师网络参数，使用教师网络模型参数更新学生网络参数；
(7)加载训练好的网络模型，在测试集上预测像素点对应的类别信息，通过与真实标签进行对比来计算分类精度。
进一步的，所述学生网络和教师网络均为基于视觉transformer模型，包括线性转换器，编码器和分类器；
教师网络在前N次迭代过程中，首先，带有标签的高光谱图像块Xi经过线性转换器后结合可训练的类别嵌入作为编码器h的输入信息；其次，通过多层的编码器获取样本的输出特征，借助分类器f得到样本的类别概率；最后，利用交叉熵函数计算预测值和真实标签之间的误差，来优化教师网络参数。
进一步的，步骤(3)的具体实现方式如下；
(3a)获取无标记样本类别概率：无标记样本
Figure BDA0003987827150000021
经过学生网络编码器和分类器后得到样本的类别概率pj∈RC；
(3b)计算无标记样本的熵：通过无标记样本的类别概率计算得到的熵，来反应样本预测值的可靠性，使用步骤(3a)生成的类别概率计算无标记样本
Figure BDA0003987827150000022
的熵H(pj)；
Figure BDA0003987827150000023
其中，C表示类别数目；
(3c)根据动态阈值将无标记样本划分可靠和不可靠样本：将熵低于阈值γt的无标记样本作为可靠标记样本，反之，作为不可靠样本；
Figure BDA0003987827150000031
Figure BDA0003987827150000032
其中，percentile()表示分位数，flatten()表示线性展平操作，
Figure BDA0003987827150000033
是初始的比例，
Figure BDA0003987827150000034
是第t次迭代的比例，epochs表示模型总的迭代次数，t是当前训练次数。
进一步的，步骤(4)的具体实现方式如下；
(4a)标记样本监督损失：标记样本经过教师网络特征提取后得到样本的预测值，通过交叉熵函数计算标记样本预测值和真实标签
Figure BDA0003987827150000035
的监督损失Ls：
Figure BDA0003987827150000036
其中，lce是交叉熵损失函数，θ表示教师网络总的训练参数，|Dl|是标记样本数目，h和f分别表示编码器和分类器；
(4b)无标记样本的监督损失：首先，将步骤(3)获得样本部分可靠的预测值，选取像素j类别概率的熵低于阈值γt的预测值作为无标记样本正确的伪标签
Figure BDA0003987827150000037
扩大模型标记训练样本的数目：
Figure BDA0003987827150000038
其中，γt表示判断无标记样本为可靠伪标签的阈值；
然后，对应无标记样本经过教师神经网络的输出结果作为无标记样本的预测值，通过交叉熵损失函数计算无标记样本的监督损失Lu：
Figure BDA0003987827150000039
其中，
Figure BDA00039878271500000310
是无标记样本经过教师网络后得到的预测标签，|Du|是可靠伪标签的数目。
进一步的，步骤(5)中锚点像素的构造方法如下；
首先，对于标记样本，类别c候选锚点像素集
Figure BDA00039878271500000311
定义为：
Figure BDA0003987827150000041
其中，
Figure BDA0003987827150000042
表示有标记样本的标签，zi是像素点i的特征表示，δp表示可靠正样本的阈值；
其次，对于无标记数据，对应候选锚点像素集
Figure BDA0003987827150000043
计算如下：
Figure BDA0003987827150000044
与
Figure BDA0003987827150000045
相似，计算
Figure BDA0003987827150000046
主要的差异是通过教师网络生成像素j的伪标签
Figure BDA0003987827150000047
来代替手工标记样本的标签，降低数据标注成本；
最后，类别c可靠锚点像素的集合Ac定义为：
Figure BDA0003987827150000048
进一步的，步骤(5)正样本的构造方法如下；
类别c的正样本
Figure BDA0003987827150000049
定义为对应类别锚点像素的中心表示：
Figure BDA00039878271500000410
其中，|Ac|表示属于类别c锚点像素的数目。
进一步的，步骤(5)负样本的构造方法如下；
定义二值变量ni(c)判断样本i是否为类别c的负样本：
Figure BDA00039878271500000411
其中，
Figure BDA00039878271500000412
和
Figure BDA00039878271500000413
分别是标记和无标记样本中第i个样本是否被判定为类别c负样本的二值变量指标；
首先，定义像素类别概率预测顺序Oi＝argsort(pi)，显然，Oi(argmax pi)＝0和Oi(argmin pi)＝C-1；对于第i个标记样本，属于类别c负样本的类别预测概率需要满足：(a)不属于类别c；(b)难以区分类别c和样本i的真实标签；
Figure BDA00039878271500000414
其中，rl表示阈值下界；
其次，对于第i个无标记样本，属于类别c负样本的类别预测概率满足：(a)不可靠；(b)可能不属于类别c；(c)不属于最不可能的类别；
Figure BDA0003987827150000051
其中，rh是表示阈值上界；
最后，类别c负样本集合Nc定义为：
Nc＝{zi|ni(c)＝1}。
进一步的，步骤(5)中对比损失函数Lc定义为：
Figure BDA0003987827150000052
其中，C表示类别数目，M为锚点像素的数量，zci类别c的第i个锚点像素的特征表示，每个锚点像素对应一个正样本和N个负样本，分别用
Figure BDA0003987827150000053
和
Figure BDA0003987827150000054
表示。
进一步的，步骤(6)中的目标函数L由标记样本的监督损失Ls，无标记样本的监督损失Lu和对比损失Lc三个部分组成，通过使用反向传播算法优化教师网络模型参数：
L＝Ls+λuLu+λcLc
其中，λu和λc分别是目标函数中无标记样本监督损失和对比损失的权重。
进一步的，步骤(3c)中
Figure BDA0003987827150000055
的取值为10。
本发明设计了一种基于不可靠伪标签学习的半监督高光谱图像分类方法。搭建基于注意力机制的神经网络模型动态提取中心像素点丰富的谱信息和复杂的空间信息。本发明充分使用不可靠伪标签数据的样本特征，缓解训练样本不足的问题，来提高高光谱图像分类的准确率。
附图说明
为了更清楚地说明本发明实施的技术方案，下面将对实施例描述中所需要的各个模块作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的模型结构图，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这个附图进行扩展。
图1为本发明的网络流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
在本发明中用X∈RH×W×D表示3D高光谱图像，xi∈RD是高光谱像素点，其中H和W分别表示高光谱图像的高度和宽度，D表示谱段数目。原始的高光谱数据集中包含少量标记样本和大量无标记样本。我们用
Figure BDA0003987827150000061
和
Figure BDA0003987827150000062
分别表示标记样本和无标记样本，Nl和Nu分别表示标记和未标记样本数目。在高光谱图像中，由于相邻像素点可能属于相同的类别，用Xi∈Rh×w×D表示以像素点i为中心的高光谱图像块，h×w为图像块的空间大小。
参照图1，本发明实现的步骤如下：
步骤1，预训练教师神经网络。
(1a)构建教师神经网络：基于视觉transformer模型搭建样本特征提取网络。
标准视觉transform主要包括线性转换器，编码器和分类器。transform将输入的图像切割成一系列固定大小、不重叠的图像块，图像块经过线性转换器后，结合类别嵌入和位置编码作为编码器的输入信息。多头注意力机制作为视觉transformer的核心组成部分，使得模型关注重要的数据信息，获取不同子空间的特征表示，实现对输入样本信息的动态建模，并采用残差结构缓解梯度消失，最后通过softmax分类器得到样本的类别概率。此外，由于遥感卫星在成像过程中易发生旋转变换，与标准的视觉transformer相比，本发明去除了位置嵌入降低地物分布变化对分类性能的影响。
(1b)预训练教师神经网络：模型在前N次迭代过程中，首先，带有标签的高光谱图像块Xi经过线性转换器后结合可训练的类别嵌入作为编码器h的输入信息。其次，通过多层的编码器获取样本的输出特征，借助分类器f得到样本的类别概率。最后，利用交叉熵函数计算预测值和真实标签之间的误差，来优化教师网络参数。
步骤2，构建学生神经网络。
基于知识蒸馏架构搭建具有相同结构的学生和教师神经网络，学生网络和教师网络主要是模型参数更新策略不同。在步骤1预训练教师网络后，使用教师网络参数初始化学生网络模型。
步骤3，利用学生网络将无标记样本划分为可靠样本和不可靠样本。
(3a)获取无标记样本类别概率：无标记样本
Figure BDA0003987827150000063
经过学生网络编码器和分类器后得到样本的类别概率pj∈RC；
(3b)计算无标记样本的熵：本发明通过无标记样本的类别概率计算得到的熵，来反应样本预测值的可靠性，使用步骤(3a)生成的类别概率计算无标记样本
Figure BDA0003987827150000064
的熵H(pj)；
Figure BDA0003987827150000071
其中，C表示类别数目。
(3c)根据动态阈值将无标记样本划分可靠和不可靠样本：将熵低于阈值γt的无标记样本作为可靠标记样本，反之，作为不可靠样本。随着模型迭代训练，样本的可靠性也随之不断提升。为了判别样本的可靠性，本发明设计了一种线性阈值调整策略动态划分可靠样本和不可靠样本的比例。
Figure BDA0003987827150000072
Figure BDA0003987827150000073
其中，percentile()表示分位数，flatten()表示线性展平操作，
Figure BDA0003987827150000074
是初始的比例，取值为10，
Figure BDA0003987827150000075
是第t次迭代的比例，epochs表示模型总的迭代次数，t是当前训练次数。
步骤4，将可靠样本加入到有标记样本中，构建监督损失函数。
(4a)标记样本监督损失：标记样本经过教师网络特征提取后得到样本的预测值，通过交叉熵函数计算标记样本预测值和真实标签
Figure BDA0003987827150000076
的监督损失Ls：
Figure BDA0003987827150000077
其中，lce是交叉熵损失函数，θ表示教师网络总的训练参数，|Dl|是标记样本数目，h和f分别表示编码器和分类器。
(4b)无标记样本的监督损失：首先，将步骤3获得样本部分可靠的预测值，选取像素j类别概率的熵低于阈值γt的预测值作为无标记样本正确的伪标签
Figure BDA0003987827150000078
扩大模型标记训练样本的数目：
Figure BDA0003987827150000079
其中，γt表示判断无标记样本为可靠伪标签的阈值。
然后，对应无标记样本经过教师神经网络的输出结果作为无标记样本的预测值，通过交叉熵损失函数计算无标记样本的监督损失Lu：
Figure BDA00039878271500000710
其中，
Figure BDA00039878271500000711
是无标记样本经过教师网络后得到的预测标签，|Du|是可靠伪标签的数目。
步骤5，利用不可靠样本优化，构建对比损失函数。
直接使用不可靠伪标签会降低高光谱图像分类性能。本发明采取对比学习方式重新利用这些不可靠预测值的样本特征来更好的区分类别信息。本发明提出的对比学习方法主要包括3个组成部分：锚点像素、正样本和负样本。这些组件以采样的方式从对应的集合中获得，降低模型的计算成本。
(5a)锚点像素：首先，对于标记样本，类别c候选锚点像素集
Figure BDA0003987827150000081
定义为：
Figure BDA0003987827150000082
其中，
Figure BDA0003987827150000083
表示有标记样本的标签，zi是像素点i的特征表示，δp表示可靠正样本的阈值。
其次，对于无标记数据，对应候选锚点像素集
Figure BDA0003987827150000084
计算如下：
Figure BDA0003987827150000085
与
Figure BDA0003987827150000086
相似，计算
Figure BDA0003987827150000087
主要的差异是通过教师网络生成像素j的伪标签
Figure BDA0003987827150000088
来代替手工标记样本的标签，降低数据标注成本。
最后，类别c可靠锚点像素的集合Ac定义为：
Figure BDA0003987827150000089
(5b)正样本：对比学习旨在使得相同类别的样本在特征空间内尽可能靠近，不同类别的样本尽可能远离来提高分类准确率。在本发明中，类别c的正样本
Figure BDA00039878271500000810
定义为对应类别锚点像素的中心表示：
Figure BDA00039878271500000811
其中，|Ac|表示属于类别c锚点像素的数目。
(5c)负样本：本发明定义二值变量ni(c)判断样本i是否为类别c的负样本：
Figure BDA00039878271500000812
其中，
Figure BDA00039878271500000813
和
Figure BDA00039878271500000814
分别是标记和无标记样本中第i个样本是否被判定为类别c负样本的二值变量指标。
首先，本发明定义像素类别概率预测顺序Oi＝argsort(pi)，显然，Oi(argmax pi)＝0和Oi(argmin pi)＝C-1。对于第i个标记样本，属于类别c负样本的类别预测概率需要满足：(a)不属于类别c；(b)难以区分类别c和样本i的真实标签：
Figure BDA0003987827150000091
其中，rl表示阈值下界。
其次，对于第i个无标记样本，属于类别c负样本的类别预测概率满足：(a)不可靠；(b)可能不属于类别c；(c)不属于最不可能的类别。
Figure BDA0003987827150000092
其中，rh是表示阈值上界。
最后，类别c负样本集合Nc定义为：
Nc＝{zi|ni(c)＝1}
由于数据集的长尾现象，某些特定类别的负样本候选集数目较少，可能存在不同类别负样本数目不均衡。为了保持稳定的类别c负样本数量，本发明为每个类别构建类别存储队列存储对应类别负样本的候选集来提高模型的有效性。
(5d)构建对比损失函数。
通过生成的锚点像素、正样本和负样本，对比损失函数Lc定义为：
Figure BDA0003987827150000093
其中，M为锚点像素的数量，zci类别c的第i个锚点像素的特征表示，每个锚点像素对应一个正样本和N个负样本，分别用
Figure BDA0003987827150000094
和
Figure BDA0003987827150000095
表示。
步骤6，构建目标函数，优化神经网络模型。
(6a)构建目标函数
本发明提出的模型损失函数L由标记样本的监督损失Ls，无标记样本的监督损失Lu和对比损失Lc三个部分组成，通过使用反向传播算法优化教师网络模型参数：
L＝Ls+λuLu+λcLc
其中，λu和λc分别是目标函数中无标记样本监督损失和对比损失的权重。
(6b)模型参数更新
本发明采取的是基于知识蒸馏模型架构，选取基于注意力机制作为模型的主干网络，构建两个具有相同结构的学生网络和教师网络，借助目标函数使用反向传播算法更新教师网络的参数，通过教师网络更新学生网络参数。
步骤7，预测高光谱图像分类性能。
加载训练好的模型，在测试集上预测高光谱像素点的类别信息，通过与真实标签进行对比，计算分类精度。
本发明的效果可以通过以下实验做进一步的说明。
1.实验条件
本发明在中央处理器Intel(R)Xeon(R)Gold 6240R CPU@2.40GHz，GeForce RTX3090显卡、Ubuntu 20.04操作系统上，利用PyTorch等相关工具包进行仿真。
2.实验内容
本发明在两个公共的高光谱图像数据库Houston2013和Kennedy Space Center(KSC)中验证本发明的有效性。从两个数据库中每个类别随机选取10个作为有标记样本，剩余的作为无标记样本。在实验中使用准确率(OA)、平均准确率(AA)和kappa系数评价不同方法的性能。按照本发明实现的具体步骤，计算出相关指标的分数并记录，同其他方法的对比结果如表1和表2所示。
对比算法分别出自以下文献：
[1]B.Liu,X.Yu,P.Zhang,X.Tan,A.Yu,and Z.Xue,“A semi-supervisedconvolutional neural network for hyperspectral image classification,”RemoteSensing Letters,vol.8,no.9,pp.839–848,2017.
[2]Y.Chen,Z.Lin,X.Zhao,G.Wang,and Y.Gu,“Deep learning-basedclassification of hyperspectral data,”IEEE Journal of Selected topics inapplied earth observations and remote sensing,vol.7,no.6,pp.2094–2107,2014.
[3]S.Liu,Q.Shi,and L.Zhang,“Few-shot hyperspectral imageclassification with unknown classes using multitask deep learning,”IEEETransactions on Geoscience and Remote Sensing,vol.59,no.6,pp.5085–5102,2020.
[4]S.Jia,S.Jiang,Z.Lin,M.Xu,W.Sun,Q.Huang,J.Zhu,and X.Jia,“Asemisupervised siamese network for hyperspectral image classification,”IEEETransactions on Geoscience and Remote Sensing,vol.60,pp.1–17,2022.
表1为在Houston2013数据集中不同方法的性能比较
Figure BDA0003987827150000111
表2为在KSC数据集中不同方法的性能比较
Figure BDA0003987827150000112
从表1和表2可见，相比与其它基于半监督对比方法，本发明在少量标记样本情况下可以显著提升高光谱图像分类性能。这是因为所提出的方法充分利用了大量无标记样本可靠的预测值作为正确的伪标签，扩大训练样本的数目，同时使用对比学习方法利用了不可靠预测值的样本特征，提高类别特征的判别力。因此本发明方法性能更好，通过在公共数据库上的实验进一步证明了本发明方法的先进性。

Claims (10)

1.一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于，包括如下步骤：
(1)基于知识蒸馏模型搭建神经网络，构建两个具有相同结构的学生网络和教师网络结构用于样本的特征提取；
(2)采取监督学习方式在标记样本集上预先训练教师网络模型，得到初始的分类器；
(3)无标记样本经过学生网络后得到样本的类别概率，通过无标记样本类别概率计算得到的熵，将无标记样本划分成可靠样本和不可靠样本；
(4)将可靠的无标记样本作为正确的伪标签加入到标记样本中，计算标记样本和无标记样本的监督损失，优化教师神经网络；
(5)对于不可靠的无标记样本部分，使用对比学习方式充分利用不可靠像素点的样本特征，通过采样的方式在对应集合中构造锚点像素、正样本和负样本，用于计算对比损失，优化教师网络；
(6)构建模型的目标函数，通过反向传播策略更新教师网络参数，使用教师网络模型参数更新学生网络参数；
(7)加载训练好的网络模型，在测试集上预测像素点对应的类别信息，通过与真实标签进行对比来计算分类精度。
2.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：所述学生网络和教师网络均为基于视觉transformer模型，包括线性转换器，编码器和分类器；
教师网络在前N次迭代过程中，首先，带有标签的高光谱图像块Xi经过线性转换器后结合可训练的类别嵌入作为编码器h的输入信息；其次，通过多层的编码器获取样本的输出特征，借助分类器f得到样本的类别概率；最后，利用交叉熵函数计算预测值和真实标签之间的误差，来优化教师网络参数。
3.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(3)的具体实现方式如下；
(3a)获取无标记样本类别概率：无标记样本
Figure FDA0003987827140000011
经过学生网络编码器和分类器后得到样本的类别概率pj∈RC；
(3b)计算无标记样本的熵：通过无标记样本的类别概率计算得到的熵，来反应样本预测值的可靠性，使用步骤(3a)生成的类别概率计算无标记样本
Figure FDA0003987827140000021
的熵H(pj)；
Figure FDA0003987827140000022
其中，C表示类别数目；
(3c)根据动态阈值将无标记样本划分可靠和不可靠样本：将熵低于阈值γt的无标记样本作为可靠标记样本，反之，作为不可靠样本；
Figure FDA0003987827140000023
Figure FDA0003987827140000024
其中，percentile()表示分位数，flatten()表示线性展平操作，
Figure FDA0003987827140000025
是初始的比例，
Figure FDA0003987827140000026
是第t次迭代的比例，epochs表示模型总的迭代次数，t是当前训练次数。
4.如权利要求3所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(4)的具体实现方式如下；
(4a)标记样本监督损失：标记样本经过教师网络特征提取后得到样本的预测值，通过交叉熵函数计算标记样本预测值和真实标签
Figure FDA0003987827140000027
的监督损失Ls：
Figure FDA0003987827140000028
其中，lce是交叉熵损失函数，θ表示教师网络总的训练参数，|Dl|是标记样本数目，h和f分别表示编码器和分类器；
(4b)无标记样本的监督损失：首先，将步骤(3)获得样本部分可靠的预测值，选取像素j类别概率的熵低于阈值γt的预测值作为无标记样本正确的伪标签
Figure FDA0003987827140000029
扩大模型标记训练样本的数目：
Figure FDA00039878271400000210
其中，γt表示判断无标记样本为可靠伪标签的阈值；
然后，对应无标记样本经过教师神经网络的输出结果作为无标记样本的预测值，通过交叉熵损失函数计算无标记样本的监督损失Lu：
Figure FDA00039878271400000211
其中，
Figure FDA0003987827140000031
是无标记样本经过教师网络后得到的预测标签，|Du|是可靠伪标签的数目。
5.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(5)中锚点像素的构造方法如下；
首先，对于标记样本，类别c候选锚点像素集
Figure FDA0003987827140000032
定义为：
Figure FDA0003987827140000033
其中，
Figure FDA0003987827140000034
表示有标记样本的标签，zi是像素点i的特征表示，δp表示可靠正样本的阈值；
其次，对于无标记数据，对应候选锚点像素集
Figure FDA0003987827140000035
计算如下：
Figure FDA0003987827140000036
与
Figure FDA0003987827140000037
相似，计算
Figure FDA0003987827140000038
主要的差异是通过教师网络生成像素j的伪标签
Figure FDA0003987827140000039
来代替手工标记样本的标签，降低数据标注成本；
最后，类别c可靠锚点像素的集合Ac定义为：
Figure FDA00039878271400000310
6.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(5)正样本的构造方法如下；
类别c的正样本
Figure FDA00039878271400000311
定义为对应类别锚点像素的中心表示：
Figure FDA00039878271400000312
其中，|Ac|表示属于类别c锚点像素的数目。
7.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(5)负样本的构造方法如下；
定义二值变量ni(c)判断样本i是否为类别c的负样本：
Figure FDA00039878271400000313
其中，
Figure FDA00039878271400000314
和
Figure FDA00039878271400000315
分别是标记和无标记样本中第i个样本是否被判定为类别c负样本的二值变量指标；
首先，定义像素类别概率预测顺序Oi＝argsort(pi)，显然，Oi(argmax pi)＝0和Oi(argmin pi)＝C-1；对于第i个标记样本，属于类别c负样本的类别预测概率需要满足：(a)不属于类别c；(b)难以区分类别c和样本i的真实标签；
Figure FDA0003987827140000041
其中，rl表示阈值下界；
其次，对于第i个无标记样本，属于类别c负样本的类别预测概率满足：(a)不可靠；(b)可能不属于类别c；(c)不属于最不可能的类别；
Figure FDA0003987827140000042
其中，rh是表示阈值上界；
最后，类别c负样本集合Nc定义为：
Nc＝{zi|ni(c)＝1}。
8.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(5)中对比损失函数Lc定义为：
Figure FDA0003987827140000043
其中，C表示类别数目，M为锚点像素的数量，zci类别c的第i个锚点像素的特征表示，每个锚点像素对应一个正样本和N个负样本，分别用
Figure FDA0003987827140000044
和
Figure FDA0003987827140000045
表示。
9.如权利要求1所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(6)中的目标函数L由标记样本的监督损失Ls，无标记样本的监督损失Lu和对比损失Lc三个部分组成，通过使用反向传播算法优化教师网络模型参数：
L＝Ls+λuLu+λcLc
其中，λu和λc分别是目标函数中无标记样本监督损失和对比损失的权重。
10.如权利要求3所述的一种基于不可靠伪标签学习的半监督高光谱图像分类方法，其特征在于：步骤(3c)中
Figure FDA0003987827140000046
的取值为10。
CN202211571102.XA 2022-12-08 2022-12-08 一种基于不可靠伪标签学习的半监督高光谱图像分类方法 Pending CN115953621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211571102.XA CN115953621A (zh) 2022-12-08 2022-12-08 一种基于不可靠伪标签学习的半监督高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211571102.XA CN115953621A (zh) 2022-12-08 2022-12-08 一种基于不可靠伪标签学习的半监督高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN115953621A true CN115953621A (zh) 2023-04-11

Family

ID=87286813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211571102.XA Pending CN115953621A (zh) 2022-12-08 2022-12-08 一种基于不可靠伪标签学习的半监督高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN115953621A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527399A (zh) * 2023-06-25 2023-08-01 北京金睛云华科技有限公司 基于不可靠伪标签半监督学习的恶意流量分类方法和设备
CN116894985A (zh) * 2023-09-08 2023-10-17 吉林大学 半监督图像分类方法及半监督图像分类系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527399A (zh) * 2023-06-25 2023-08-01 北京金睛云华科技有限公司 基于不可靠伪标签半监督学习的恶意流量分类方法和设备
CN116527399B (zh) * 2023-06-25 2023-09-26 北京金睛云华科技有限公司 基于不可靠伪标签半监督学习的恶意流量分类方法和设备
CN116894985A (zh) * 2023-09-08 2023-10-17 吉林大学 半监督图像分类方法及半监督图像分类系统
CN116894985B (zh) * 2023-09-08 2023-12-15 吉林大学 半监督图像分类方法及半监督图像分类系统

Similar Documents

Publication Publication Date Title
CN114067160B (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN109840531B (zh) 训练多标签分类模型的方法和装置
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与系统
CN114005096B (zh) 基于特征增强的车辆重识别方法
CN114529825B (zh) 用于消防通道占用目标检测的目标检测模型、方法及应用
CN115953621A (zh) 一种基于不可靠伪标签学习的半监督高光谱图像分类方法
CN111680176A (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
CN110717553A (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
CN108985360A (zh) 基于扩展形态学与主动学习的高光谱分类方法
CN113591866B (zh) 基于db与crnn的特种作业证件检测方法及系统
CN112989942A (zh) 一种基于交通监控视频的目标实例分割方法
CN115019039B (zh) 一种结合自监督和全局信息增强的实例分割方法及系统
CN110188827A (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN116012722A (zh) 一种遥感影像场景分类方法
CN110826609A (zh) 一种基于强化学习的双流特征融合图像识别方法
CN112597324A (zh) 一种基于相关滤波的图像哈希索引构建方法、系统及设备
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
CN115359353A (zh) 一种花卉识别分类方法及装置
CN114898158A (zh) 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统
CN115546196A (zh) 一种基于知识蒸馏的轻量级遥感影像变化检测方法
CN113903022A (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
Aksoy et al. Multi-label noise robust collaborative learning for remote sensing image classification
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
Cheng et al. Multi-scale and discriminative part detectors based features for multi-label image classification.
CN116977747A (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination