CN114821198A - 基于自监督和小样本学习的跨域高光谱图像分类方法 - Google Patents

基于自监督和小样本学习的跨域高光谱图像分类方法 Download PDF

Info

Publication number
CN114821198A
CN114821198A CN202210720249.4A CN202210720249A CN114821198A CN 114821198 A CN114821198 A CN 114821198A CN 202210720249 A CN202210720249 A CN 202210720249A CN 114821198 A CN114821198 A CN 114821198A
Authority
CN
China
Prior art keywords
data set
samples
sample
loss
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210720249.4A
Other languages
English (en)
Other versions
CN114821198B (zh
Inventor
吕国华
池强
王西艳
高翔
程嘉玟
王美慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Hongjie Electric Control Equipment Co ltd
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210720249.4A priority Critical patent/CN114821198B/zh
Publication of CN114821198A publication Critical patent/CN114821198A/zh
Application granted granted Critical
Publication of CN114821198B publication Critical patent/CN114821198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种基于自监督和小样本学习的跨域高光谱图像分类方法，涉及高光谱遥感图像分类技术领域。本发明包括以下步骤：S1：获取数据集SL、TL、TU、Te；S2：利用TL为TU自适应生成软标签，使用部分软标签对应的未标记样本来扩展目标域标记样本数量；S3：将SL、TL、TU和Te映射为统一尺寸，并为SL构建自监督学习任务；S4：在深度学习框架下构建深度神经网络，在深度神经网络中加入无监督域适应模块；S5：将SL、TL、TU送入深度神经网络训练得到综合损失，并更新深度神经网络参数；S6：输出深度神经网络分类模型。本发明所述方法在少量样本的情况下具有较强的鲁棒性，取得了较高的分类精度。

Description

基于自监督和小样本学习的跨域高光谱图像分类方法
技术领域
本发明涉及高光谱遥感图像分类技术领域，具体涉及一种基于自监督和小样本学习的跨域高光谱图像分类方法。
背景技术
高光谱遥感图像是由成像光谱仪向地面发射的数百个连续波段反射得到的。由于地球表面各种材料对于波段的反射吸收存在差异，因此，由数百波段组成的高维图像包含着丰富的光谱空间信息。而这些光谱空间信息则又可以反应地面材料的属性，因此，高光谱遥感被广泛应用于土地覆盖制图、检测、农业等多个领域。
高光谱图像分类是遥感图像应用的关键步骤，高光谱图像分类的目的是为捕获的图像上每一个像素贴上一个类别的标签。最开始人们使用传统机器学习算法利用图像中的光谱信息进行分类，例如support vector machines (SVM)、k-nearest neighbor (KNN)、random forest (RF)等。但是，仅利用传统机器学习方法难以处理复杂高维数据，而且有限样本和高维向量之间矛盾还容易导致出现休斯现象。
近年来，深度学习依靠其比传统机器学习方法优异的表现在高光谱图像分类领域得到广泛应用。与传统机器学习方法相比，深度学习可以自动学习更深层次的特征，并且有更好的精度表现。虽然深度学习模型在高光谱图像分类领域取得了很好的效果，但是，深度学习训练往往需要大量的样本，如果样本数量过少会造成模型在测试集的泛化能力变差，影响最终的分类效果。然而，遥感图像标记样本获取又需要耗费巨大的人力物力，所以，在利用深度学习实现高光谱图像分类时一般仅有少量样本可用，这与深度学习需要大量样本之间产生矛盾。因此，如何在有限可用样本的情况下利用深度学习实现高光谱图像分类成为了研究热点。
发明内容
为了弥补现有技术的不足，本发明提供了一种基于自监督和小样本学习的跨域高光谱图像分类方法。
本发明的技术方案为：
一种基于自监督和小样本学习的跨域高光谱图像分类方法，包括以下步骤：
S1：选取两个高光谱数据集分别作为源域和目标域数据集，从源域数据集获取标记样本数据集SL；从目标域数据集获取标记样本数据集TL、软标签生成辅助数据集TU、测试数据集Te；
S2：利用目标域数据集的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签，使用部分软标签对应的未标记样本来扩展目标域标记样本数量；
S3：将源域数据集的标记样本数据集SL以及目标域数据集中的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te映射为统一尺寸，并为源域数据集的标记样本数据集SL构建自监督学习任务；
S4：在深度学习框架下构建深度神经网络，在深度神经网络中加入无监督域适应，解决域偏移问题；
S5：将源域数据集中的标记样本数据集SL，目标域数据集中的标记样本数据集TL和软标签生成辅助数据集TU送入深度神经网络训练得到综合损失Ltotal，根据综合损失更新深度神经网络参数，在整个训练过程采用元学习策略；
S6：预设一定数量的epoch作为一个训练段，在每次训练达到预设epoch数量后，将测试数据集Te送入特征提取器提取特征，将提取到的特征送入分类器得到预测的分类结果；通过将分类结果与测试数据集Te的标签比对，得测试精度；若测试精度大于上一个训练段结果，保存当前深度神经网络各层的参数，输出深度神经网络分类模型；若测试精度小于上一训练段结果，则不保存当前网络参数，继续进行下一个训练段，当达到所设训练迭代次数整个网络结束训练，输出深度神经网络分类模型。
优选地，步骤S1中，源域数据集和目标域数据集都包含标记样本和未标记样本，其中，标记样本数据集SL是从源域数据集的标记样本中每个类别随机选取200个样本组成的，标记样本数据集TL是从目标域数据集的标记样本中每个类别随机选取一个样本组成的，测试数据集Te是从目标域数据集的标记样本中除去标记样本数据集TL中的样本后每个类别剩余样本组成的，而软标签生成辅助数据集TU则是目标域数据集中除去标记样本数据集TL的样本后剩余所有样本组成的，也就是说软标签生成辅助数据集TU由测试数据集Te中的样本以及目标域数据集中的未标记样本共同组成的；源域以及目标域中的所有样本均取9×9的像素区域，作为样本的数据信息。
优选地，步骤S2中，利用目标域数据集中的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签的步骤为：
S2-1：计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱角度匹配度；通过SAM计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱相似性，光谱向量
Figure 393383DEST_PATH_IMAGE001
与
Figure 310524DEST_PATH_IMAGE002
之间的SAM通过式（1）计算，结果用
Figure 90261DEST_PATH_IMAGE003
表示：
Figure 547787DEST_PATH_IMAGE004
（1）；
S2-2：计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱空间距离；考虑到样本在物理位置的相关性，即相同类别的样本往往距离更近，不同类别的样本距离更远，本发明加入了标记样本和未标记样本之间的欧式距离，欧式距离通过式（2）计算，光谱向量
Figure 362159DEST_PATH_IMAGE005
与
Figure 246939DEST_PATH_IMAGE006
之间的光谱空间距离也就是欧式距离用D表示：
Figure 513972DEST_PATH_IMAGE007
（2）
式（2）中，m表示标记样本的数量；
S2-3：计算软标签生成辅助数据集TU中所有未标记样本到未标记样本的各个类别c之间的距离，其中，未标记样本
Figure 775189DEST_PATH_IMAGE008
到各个类别c之间的距离用η表示，η的计算公式如式（3）所示：
Figure 444068DEST_PATH_IMAGE009
（3）
S2-4：获取未标记样本的软标签：将
Figure 437431DEST_PATH_IMAGE010
归一化为一个概率分布，从而得到未标记样本的软标签，用
Figure 254078DEST_PATH_IMAGE011
表示，
Figure 991090DEST_PATH_IMAGE012
的计算公式如式（4）所示：
Figure 514475DEST_PATH_IMAGE013
（4）
式（4）中，
Figure 9566DEST_PATH_IMAGE014
是归一化指数函数，使得每一个软标签数据的范围都在（0,1）之间，并且每个软标签中所有数据的和为1。
优选地，步骤S2中，使用部分软标签对应的未标记样本来扩展目标域标记样本数量的步骤为：首先，根据公式（2）计算所有未标记样本和标记样本之间的光谱空间距离D，然后，从软标签生成辅助数据集TU中每个类别取与标记样本数据集TL距离最近的前20个样本用于扩展目标域数据集中的标记样本数据集TL，该20个样本即为部分软标签对应的未标记样本，而扩展之后的目标域标记样本数据集每类包括21个样本。
优选地，步骤S3中，将源域数据集中的标记样本数据集SL以及目标域数据集中的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te映射为统一尺寸步骤为：将源域数据集的标记样本数据集SL以及目标域数据集的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te中的所有数据送入映射层，得到尺寸为9×9×100的数据。
优选地，步骤S3中，映射层由二维卷积神经网络和BN层构成，将源域数据集的标记样本数据集SL以及目标域数据集的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te中的所有数据送入映射层的二维卷积神经网络，然后将结果送入BN层，得到的输出尺寸为9×9×100。
优选地，步骤S3中，为源域数据集中的标记样本数据集SL构建自监督学习任务的步骤为：将为源域数据集构建的小样本学习中支持集S与查询集Q进行复制，然后将复制后的数据进行光谱翻转，并分别将翻转前后的样本赋予标签1和0；其中，支持集S的获取方式为：从标记样本数据集SL中随机选取c个类，然后每个类别选出k个样本，组成支持集
Figure 251191DEST_PATH_IMAGE015
，查询集Q的获取方式为：从选出的c个类的剩余样本中每类选择t个样本，组成查询集
Figure 526315DEST_PATH_IMAGE016
。
优选地，步骤S4中，构建的深度神经网络由输入层、映射层、深度残差收缩网络、软标签学习网络、自监督学习网络、小样本分类网络、无监督域适应模块以及分类器组成；
其中，输入层用于对源域数据集和目标域数据集的高光谱图像数据进行采集，采集后的数据空间维度尺寸为9×9；
映射层用于对输入层输入的数据进行映射操作，经映射后的数据维度为9×9×100；
深度残差收缩网络用于提取输入的映射后的高光谱图像数据的光谱空间特征并完成分类预测，其中，深度残差收缩网络由特征提取器和分类层构成，该三维的残差收缩网络是在残差网络的基础上加入收缩模块，可以更好处理数据噪声和冗余；
软标签学习网络用于对目标域中生成的软标签的对应未标记样本数据经特征提取器提取到的特征进行接收，并结合软标签生成软标签损失
Figure 232103DEST_PATH_IMAGE017
；
自监督学习网络用于对源域数据集中的标记样本数据集SL经特征提取器提取到的特征进行接收，然后结合自监督学习得到源域自监督损失
Figure 567269DEST_PATH_IMAGE018
；
小样本分类网络用于接收源域数据集中的标记样本数据集SL和目标域数据集中的标记样本数据集TL经特征提取器提取后的特征，然和结合小样本学习得到小样本分类损失，源域数据集的小样本分类损失和目标域数据集的小样本分类损失分别为
Figure 296191DEST_PATH_IMAGE019
和
Figure 437322DEST_PATH_IMAGE020
；
无监督域适应模块用于对经特征提取器提取后的源域数据集和目标域数据集的特征进行接收，然后计算源域数据集与目标域数据集两个域之间的分布损失
Figure 935299DEST_PATH_IMAGE021
。
优选地，步骤S4中，在网络中加入的无监督域适应模块步骤为：将源域数据集、目标域集中的数据分别送入特征提取器中提取得到各自特征，计算源域数据集和目标域数据集两个域的特征之间的域损失并加入到网络总损失中，从而实现两个域之间的分布对齐。
优选地，步骤S5中，网络综合损失
Figure 706946DEST_PATH_IMAGE022
的计算公式，如式（5）所示：
Figure 719902DEST_PATH_IMAGE023
（5）
其中，
Figure 602407DEST_PATH_IMAGE024
和
Figure 954891DEST_PATH_IMAGE025
分别表示源域数据集和目标域数据集的损失；
而源域数据集损失，通过式（6）计算：
Figure 959756DEST_PATH_IMAGE026
（6）
源域数据集的损失包括三个模块的损失，分别是：小样本学习损失
Figure 397691DEST_PATH_IMAGE027
、自监督学习损失
Figure 818308DEST_PATH_IMAGE028
以及域适应损失
Figure 618773DEST_PATH_IMAGE029
；
而目标域数据集损失，通过式（7）计算：
Figure 732223DEST_PATH_IMAGE030
（7）
目标域数据集的损失也包括三个部分，分别是：小样本学习损失
Figure 657454DEST_PATH_IMAGE031
、软标签损失
Figure 678499DEST_PATH_IMAGE032
以及域适应损失
Figure 739996DEST_PATH_IMAGE029
。
优选地，步骤S5中，源域数据集的小样本分类损失
Figure 24347DEST_PATH_IMAGE027
与目标域数据集的小样本分类损失
Figure 499191DEST_PATH_IMAGE031
计算方法相同；源域数据集的小样本分类损失
Figure 527189DEST_PATH_IMAGE027
的计算方法如下所示：从标记样本数据集SL中随机选取c个类，然后每类选出k个样本，组成支持集
Figure 708772DEST_PATH_IMAGE033
，而后从选出的c个类的剩余样本中每类选择t个样本，组成查询集
Figure 963692DEST_PATH_IMAGE034
，而后将支持集S中的数据经过映射之后送入特征提取器提取特征，而后将每类样本的输出向量取平均值得出该类别的平均特征
Figure 863514DEST_PATH_IMAGE035
，
Figure 429625DEST_PATH_IMAGE036
的计算公式如式（8）所示：
Figure 793610DEST_PATH_IMAGE037
（8）
式（8）中，
Figure 154184DEST_PATH_IMAGE038
表示映射层，
Figure 869200DEST_PATH_IMAGE039
和
Figure 239001DEST_PATH_IMAGE040
分别表示映射层和特征提取器的参数；下一步将查询集Q中的数据经过映射之后送入特征提取器提取特征，然后通过计算与支持集得到的平均特征之间的距离
Figure 129597DEST_PATH_IMAGE041
，可以得到查询集的类分布，
Figure 926651DEST_PATH_IMAGE042
的计算公式如式（9）所示：
Figure 332225DEST_PATH_IMAGE043
（9）
式（9）中，
Figure 505717DEST_PATH_IMAGE044
表示负平方欧氏距离；
通过计算查询集Q样本的平均特征与支持集S样本的平均特征之间的距离，得到每个查询集Q中的样本与支持集S中各个类别的样本之间的相似性，最后可根据得到查询集Q中的样本的概率分布求出所有查询集Q样本的分类损失
Figure 516399DEST_PATH_IMAGE045
，本申请中所有查询集Q样本的分类损失
Figure 546672DEST_PATH_IMAGE045
即为源域数据集的小样本损失
Figure 642803DEST_PATH_IMAGE046
，其中，
Figure 682304DEST_PATH_IMAGE045
的计算公式如式（10）所示：
Figure 547491DEST_PATH_IMAGE047
（10）
式（10）中，S和Q分别是支持集和查询集。
优选地，步骤S5中，自监督学习损失
Figure 686349DEST_PATH_IMAGE048
的计算方法如下所示：复制一份支持集S与查询集Q，并将支持集S与查询集Q里面的光谱向量翻转，分别得到S’与Q’，而后给予原数据(S,Q)中所有样本标签为1，翻转后的数据(S’,Q’)中所有样本标签为0；而后，将所有数据送入特征提取器提取特征，然后将原数据和翻转后的数据特征结果送入分类器中预测是否翻转，本发明中自监督学习的损失被定义为
Figure 66515DEST_PATH_IMAGE049
，
Figure 316230DEST_PATH_IMAGE049
的计算公式如公式（11）所示：
Figure 301504DEST_PATH_IMAGE051
（11）
式（11）中，
Figure 939159DEST_PATH_IMAGE052
是对第n个样本预测为正例的概率，
Figure 9883DEST_PATH_IMAGE053
表示第n个样本的标签，y的取值为0和1。
优选地，步骤S5中，域适应损失LDA的获取方式为：利用特征提取器对标记样本数据集SL和标记样本数据集TL分别进行特征提取，得到源域特征FS和目标域特征Ft，然后，通过式（12）计算得到域适应损失LDA：
Figure 63289DEST_PATH_IMAGE054
（12）
式（12）中，
Figure 691018DEST_PATH_IMAGE055
表示Frobenius范数，d表示特征提取器输出的向量个数，
Figure 171678DEST_PATH_IMAGE056
是一个所有元素为1的列向量，
Figure 464119DEST_PATH_IMAGE057
和
Figure 383533DEST_PATH_IMAGE058
分别为源域和目标域输入的样本的个数。
优选地，步骤S5中，软标签损失
Figure 77820DEST_PATH_IMAGE059
的计算方法如下所示：将软标签对应的未标记样本数据送入深度残差收缩网络的特征提取器中提取特征，而后利用分类层完成分类预测，得预测结果，将预测结果与软标签做交叉熵作为软标签损失
Figure 729381DEST_PATH_IMAGE059
，其中，软标签损失
Figure 102594DEST_PATH_IMAGE059
的计算公式如公式（13）所示：
Figure 497803DEST_PATH_IMAGE060
（13）
式（13）中，Fs是软标签对应的未标记样本数据得到的送入特征提取器得到的特征，labels表示对应的为未标记样本生成的软标签。
优选地，步骤S5中，根据网络综合损失
Figure 46596DEST_PATH_IMAGE061
更新深度学习网络的参数，并采用元学习策略进行训练深度神经网络，具体步骤如下：在设置的小样本学习任务K-shot、C-way中，分别设置k=1，C设置为目标域类别个数，即每次训练选取C类，支持集每类样本数量设置为1个，查询集每类样本数量设置为19个。
优选地，步骤S6中，总迭代次数设置为10000，每1000个epoch作为一个训练段；在每个epoch中，源域数据集每类选取200个标记样本，目标域数据集每类选择1个标记样本。
与现有技术相比，本发明的有益效果如下：
小样本学习是元学习的一种，主要是解决在深度神经网络在样本数量极少情况下的分类问题，自监督学习主要通过利用预先定义任务从大规模的无监督数据中挖掘自身的监督信息；本发明提出了一种将自监督学习加入到小样本学习中的跨域高光谱图像分类方法，该高光谱分类方法在少量样本的情况下具有较强的鲁棒性，取得了较高的分类精度。本发明中不仅利用了源域中可转移知识，还充分利用了目标域的未标记样本，在样本数量极少情况下（甚至仅一个样本）也能实现较好的地物类别区分效果。具体来说，本发明提出的可用于少量样本的高光谱图像分类的深度学习框架，在跨域情况下，将小样本学习、自监督学习、软标签、域适应方法有机结合，提供了一个端到端的框架来解决小样本高光谱图像分类问题；本发明中将自监督学习作为辅助任务与小样本学习紧密结合，充分利用两者的优势，提出了一种新的基于SAM和欧式距离的自适应软标签生成方法，给未标记样本生成软标签用于模型训练，充分利用了未标记样本中包含的信息以及利用深度残差收缩网络模型作为特征提取器，此外，本发明中将一种简单高效的无监督域适应方法引入来缓解域偏移问题，充分利用了源域中可转移知识。
附图说明
图1为本发明的总体流程图；
图2为本发明的深度神经网络结构示意图；
图3为本发明测试阶段的流程图；
图4为本发明所述基于自监督和小样本学习的跨域高光谱图像分类方法得到的深度学习网络模型对实施例一中的目标域数据集进行测试的结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明中术语解释：
软标签：伪标签的一种，事实上，伪标签可以分为硬伪标签和软伪标签，这里简称为硬标签和软标签。软标签是通过算法或网络自动计算得到的，硬标签是指某个数据的类别，而软标签是指这个数据属于某个类别的概率。与硬标签相比，软标签有更高的熵，因此软标签中包含更多的信息。
SAM：Spectral Angle Mapper，光谱向量角或光谱角制图，把图像中的每个像元的光谱视为一个高维向量，通过计算两向量间的夹角来度量光谱间的相似性，夹角越小，两光谱越相似，属于同类地物的可能性越大，因而可根据光谱角的大小来辨别未知数据的类别。
2DCNN：2 dimension Convolutional Neural Networ，二维卷积神经网络，深度学习中的一种常用方法，利用二维卷积核学习提取图像特征信息。
KNN：K-NearestNeighbor，K最近邻，是一种简单高效地常用分类方法，主要依据最近邻地一个或者几个样本地类别来决定待分样本所属地类别。
本实施例提供的一种基于自监督和小样本学习的跨域高光谱图像分类方法，其总体流程图如图1所示，具体包括以下步骤：
S1：选取两个高光谱数据集分别作为源域数据集和目标域数据集，从源域数据集获取标记样本数据集SL；从目标域数据集获取标记样本数据集TL、软标签生成辅助数据集TU、测试数据集Te；其中，本实施例中用到的源域数据集为Chikusei数据集，用到的目标域数据集为Indian Pines数据集，简称IP数据集；
本申请中源域数据集和目标域数据集都包含标记样本和未标记样本，其中，标记样本数据集SL是从源域数据集的标记样本中每个类别随机选取200个样本组成的，标记样本数据集TL是从目标域数据集的标记样本中每个类别随机选取一个样本组成的，测试数据集Te是从目标域数据集的标记样本中除去标记样本数据集TL中的样本后每个类别剩余样本组成的，而软标签生成辅助数据集TU则是目标域数据集中除去标记样本数据集TL的样本后剩余所有样本组成的，也就是说软标签生成辅助数据集TU由测试数据集Te中的样本以及目标域数据集中的未标记样本共同组成的；源域以及目标域中的所有样本均取9×9的像素区域，作为样本的数据信息；
S2：利用目标域数据集的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签，使用部分软标签对应的未标记样本来扩展目标域标记样本数量，具体步骤为：
S2-1：计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中的标记样本之间的SAM，得到的结果用来衡量未标记样本和标记样本之间的光谱相似性，光谱向量
Figure 931375DEST_PATH_IMAGE062
与
Figure 198409DEST_PATH_IMAGE063
之间的SAM通过式（1）计算，结果用
Figure 397309DEST_PATH_IMAGE064
表示：
Figure 128504DEST_PATH_IMAGE065
（1）
S2-2：考虑到样本在物理位置的相关性，即相同类别的样本往往距离更近，不同类别的样本距离更远。因此，本申请加入了目标域中未交标记样本与标记样本之间的欧式距离，本申请中欧式距离是指光谱向量
Figure 387447DEST_PATH_IMAGE062
与
Figure 141777DEST_PATH_IMAGE066
之间的光谱空间距离D，而光谱空间距离D是通过式（2）计算的：本发明对软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中的标记样本之间的欧式距离进行了计算，其中，标记样本和未标记样本之间的欧式距离通过式（2）计算，光谱向量
Figure 941106DEST_PATH_IMAGE067
与
Figure 464491DEST_PATH_IMAGE063
之间的光谱空间距离也就是欧式距离用D表示：
Figure 894335DEST_PATH_IMAGE068
（2）
式（2）中，m表示标记样本的数量；
S2-3：计算软标签生成辅助数据集TU中所有未标记样本到未标记样本的各个类别c之间的距离，其中，未标记样本
Figure 667119DEST_PATH_IMAGE067
到各个类别c之间的距离用η表示，η的计算公式如式（3）所示：
Figure 207822DEST_PATH_IMAGE069
（3）
S2-4：获取未标记样本的软标签：将η归一化为一个概率分布从而得到未标记样本的软标签用
Figure 851293DEST_PATH_IMAGE070
表示，
Figure 514355DEST_PATH_IMAGE070
的计算公式如式（4）所示：
Figure 243277DEST_PATH_IMAGE071
（4）
式（4）中，
Figure 322091DEST_PATH_IMAGE072
是归一化指数函数，使得每一个软标签数据的范围都在（0,1）之间，并且每个软标签中所有数据的和为1；
所述的使用软标签对应的未标记样本来扩展目标域标记样本数量的方法为：首先，根据公式（2）计算所有未标记样本和标记样本之间的光谱空间距离D，然后，从软标签生成辅助数据集TU中每个类别取与标记样本数据集TL距离最近的前20个样本用于扩展目标域数据集中的标记样本数据集TL，该20个样本即为部分软标签对应的未标记样本，扩展之后的目标域标记样本数据集每类包括21个样本。
S3：源域数据集中的标记样本数据集SL、目标域数据集中的标记样本数据集TL、软标签生成辅助数据集TU以及测试数据集Te利用映射层映射为统一尺寸，而后为源域数据集中的标记样本数据集SL构建自监督学习任务，其中该步骤S3中用到的映射层是由二维卷积神经网络和BN层构成的，该步骤S3的具体步骤如下：
将源域数据集的标记样本数据集SL以及目标域数据集的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te中的所有数据送入映射层的二维卷积神经网络，其中，具体参数设置为：输入维度分别为源域和目标域各自的光谱维度，输出设置为100，步长和核尺寸都为1；然后将结果送入BN层，得到的输出尺寸为9×9×100；而后将为源域数据集构建的小样本学习中支持集S与查询集Q进行复制，然后将复制后的数据进行光谱翻转，并分别将翻转前后的样本赋予标签1和0；其中，支持集S的获取方式为：从标记样本数据集SL中随机选取c个类，然后每个类别选出k个样本，组成支持集
Figure 619736DEST_PATH_IMAGE073
，查询集Q的获取方式为：从选出的c个类的剩余样本中每类选择t个样本，组成查询集
Figure 125804DEST_PATH_IMAGE074
。
S4：在深度学习框架Pytorch中构建深度神经网络，而深度神经网络的网络结构图如图2所示，本实施例中构建的深度神经网络由输入层、映射层、深度残差收缩网络、软标签学习网络、自监督学习网络、小样本分类网络、无监督域适应模块以及分类器组成；
输入层用于对源域数据集和目标域数据集的高光谱图像数据进行采集，采集后的数据空间维度尺寸为9×9，光谱维度为各自数据集原始光谱维度；
映射层用于对输入层输入的数据进行映射操作，经映射后的数据维度为9×9×100，数据空间维度尺寸为9×9，光谱维度为100；
深度残差收缩网络用于提取输入的映射后的高光谱图像数据的光谱空间特征并完成分类预测，其中，深度残差收缩网络由特征提取器和分类层构成，该三维的残差收缩网络是在残差网络的基础上加入收缩模块，可以更好处理数据噪声和冗余；
软标签学习网络用于对目标域中生成的软标签的对应未标记样本数据经特征提取器提取到的特征进行接收，并结合软标签生成软标签损失
Figure 342022DEST_PATH_IMAGE075
；
自监督学习网络用于对源域数据集中的标记样本数据集SL经特征提取器提取到的特征进行接收，然后结合自监督学习得到源域自监督损失
Figure 552423DEST_PATH_IMAGE076
；
小样本分类网络用于接收源域数据集中的标记样本数据集SL和目标域数据集中的标记样本数据集TL经特征提取器提取后的特征，然和结合小样本学习得到小样本分类损失，源域数据集的小样本分类损失和目标域数据集的小样本分类损失分别为
Figure 904907DEST_PATH_IMAGE077
和
Figure 847455DEST_PATH_IMAGE078
；
无监督域适应模块用于对经特征提取器提取后的源域数据集和目标域数据集的特征进行接收，然后计算源域数据集与目标域数据集两个域之间的分布损失
Figure 347707DEST_PATH_IMAGE079
。
S5：将源域数据集中的标记样本数据集SL以及目标域数据集中的标记样本数据集TL、软标签生成辅助数据集TU送入深度网络训练得到综合损失
Figure 768324DEST_PATH_IMAGE080
，根据综合损失更新深度神经网络参数，在整个训练过程采用元学习策略；其中，网络综合损失
Figure 37631DEST_PATH_IMAGE080
的计算公式如公式（5）所示：
Figure 885501DEST_PATH_IMAGE081
（5）
式（5）中，
Figure 810732DEST_PATH_IMAGE082
和
Figure 362936DEST_PATH_IMAGE083
分别表示源域数据集和目标域数据集的损失；
源域数据集包括三个模块的损失，分别是：小样本学习损失
Figure 690012DEST_PATH_IMAGE084
、自监督学习损失
Figure 36680DEST_PATH_IMAGE085
和域适应损失
Figure 449207DEST_PATH_IMAGE086
，源域数据集损失可以通过式（6）计算：
Figure 211626DEST_PATH_IMAGE087
（6）
本申请中目标域数据集小样本学习的小样本学习任务构建与源域数据集小样本学习的小样本学习任务构建相同，源域数据集的小样本学习损失
Figure 455526DEST_PATH_IMAGE088
和目标域数据集的小样本学习损失
Figure 910778DEST_PATH_IMAGE089
的计算方法相同；其中，源域数据集的小样本学习损失
Figure 810601DEST_PATH_IMAGE088
的计算步骤为：首先从标记样本数据集SL中随机选取c个类，然后每个类别选出k个样本，组成支持集
Figure 439028DEST_PATH_IMAGE090
，而后从选出的c个类的剩余样本中每类选择t个样本，组成查询集
Figure 475117DEST_PATH_IMAGE091
，而后将支持集S中的数据经过映射之后送入特征提取器提取特征，而后将每类样本的输出向量取平均值得出该类别的平均特征
Figure 101271DEST_PATH_IMAGE092
，
Figure 288057DEST_PATH_IMAGE092
的计算公式如式（8）所示：
Figure 392279DEST_PATH_IMAGE093
（8）
式（8）中，
Figure 548454DEST_PATH_IMAGE094
表示映射层，
Figure 345509DEST_PATH_IMAGE095
和
Figure 282241DEST_PATH_IMAGE096
分别表示映射层和特征提取器的参数；下一步将查询集Q中的数据经过映射之后送入特征提取器提取特征，然后通过计算查询集Q与支持集S得到的平均特征之间的距离
Figure 455733DEST_PATH_IMAGE097
，可以得到查询集的类分布，
Figure 466415DEST_PATH_IMAGE098
的计算公式如式（9）所示：
Figure 496688DEST_PATH_IMAGE099
（9）
式（9）中，
Figure 592820DEST_PATH_IMAGE100
表示负平方欧氏距离；
而后，通过计算查询集Q样本的平均特征与支持集S样本的平均特征之间的距离，得到每个查询集Q中的样本与支持集S中各个类别的样本之间的相似性，最后根据得到的查询集Q中样本的概率分布求出所有查询集Q样本的分类损失
Figure 38844DEST_PATH_IMAGE101
，本申请中所有查询集Q样本的分类损失
Figure 231928DEST_PATH_IMAGE102
即为源域数据集的小样本损失
Figure 370786DEST_PATH_IMAGE103
，其中，
Figure 954214DEST_PATH_IMAGE103
的计算公式如式（10）所示：
Figure 266246DEST_PATH_IMAGE104
（10）
式（10）中，S和Q分别是支持集和查询集。
遵循以上步骤，可以分别求出源域数据集和目标域数据集各自的小样本学习损失分别表示为
Figure 251520DEST_PATH_IMAGE105
和
Figure 561278DEST_PATH_IMAGE106
。
本发明中定义自监督的任务为判断输入光谱向量是否翻转，本申请中自监督学习损失
Figure 694320DEST_PATH_IMAGE107
是通过如下方式得到的，具体来说，首先复制一份支持集S与查询集Q，并将支持集S与查询集Q里面的光谱向量翻转，分别得到S’与Q’，而后给予原数据(S,Q)中所有样本标签为1，翻转后的数据(S’,Q’)中所有样本标签为0；而后，将所有数据送入特征提取器提取特征，然后将原数据和翻转后的数据特征的结果送入分类器中预测是否翻转；本发明中自监督学习损失
Figure 747726DEST_PATH_IMAGE107
的计算公式如公式（11）所示：
Figure 587506DEST_PATH_IMAGE108
（11）
式（11）中，
Figure 130483DEST_PATH_IMAGE109
是对第n个样本预测为正例的概率，
Figure 422924DEST_PATH_IMAGE110
表示第n个样本的标签，y的取值为0和1。
而本发明中域适应损失
Figure 342339DEST_PATH_IMAGE111
的获取方式为：利用特征提取器对标记样本数据集SL和标记样本数据集TL分别进行特征提取，得到源域特征FS和目标域特征Ft，然后，通过式（12）计算得到域适应损失
Figure 36625DEST_PATH_IMAGE111
：
Figure 753433DEST_PATH_IMAGE112
（12）
式（12）中，
Figure 798749DEST_PATH_IMAGE113
表示Frobenius范数，d表示特征提取器输出的向量个数，
Figure 193959DEST_PATH_IMAGE114
是一个所有元素为1的列向量，
Figure 805068DEST_PATH_IMAGE115
和
Figure 893110DEST_PATH_IMAGE116
分别为源域和目标域输入的样本的个数。
本发明中在目标域上的损失也包括三个部分，分别是：小样本学习损失
Figure 160143DEST_PATH_IMAGE117
、软标签损失
Figure 155781DEST_PATH_IMAGE118
和域适应损失
Figure 886977DEST_PATH_IMAGE119
，本发明中目标域数据集损失可以通过式（7）计算：
Figure 145920DEST_PATH_IMAGE120
（7）
式（7）中，目标域上的小样本学习损失
Figure 696987DEST_PATH_IMAGE121
计算方法与源域的小样本学习损失
Figure 699578DEST_PATH_IMAGE122
计算方法相同；
目标域上的软标签损失
Figure 285280DEST_PATH_IMAGE123
是通过如下方式得到的，具体来说：将软标签对应的未标记样本数据送入深度残差收缩网络的特征提取器中提取特征，而后利用分类层完成分类预测，得预测结果，将预测结果与软标签做交叉熵作为软标签损失
Figure 449545DEST_PATH_IMAGE124
，软标签损失
Figure 753488DEST_PATH_IMAGE125
的计算公式如公式（13）所示：
Figure 863832DEST_PATH_IMAGE126
（13）
式（13）中，Fs是软标签对应的未标记样本数据得到的送入特征提取器得到的特征，labels表示对应的为未标记样本生成的软标签。
而后，根据计算得到的网络综合损失
Figure 306970DEST_PATH_IMAGE127
更新深度学习网络的参数，并采用元学习策略进行训练深度神经网络，具体步骤如下：在设置的小样本学习任务K-shot、C-way中，分别设置k=1，C设置为目标域类别个数，即每次训练选取C类，支持集每类样本数量设置为1个，查询集每类样本数量设置为19个。
S6：每次完成一个训练段后，使用特征提取器提取测试数据集Te特征，而后将特征送入sklearn包中实现的KNN分类器中实现分类，得到预测的分类结果；而后根据分类结果与测试数据集Te的标签比对，得出测试精度；本实施例中总迭代次数设置为10000，每个训练段为1000，如果测试精度大于上一个训练段结果则保存当前深度神经网络各层的参数，输出深度神经网络分类模型；若测试精度小于上一训练段结果，则不保存当前网络参数，继续进行下一个训练段，当达到所设训练迭代次数整个网络结束训练，保存最后在测试集上精度最高的网络模型参数作为最终训练结果，输出深度神经网络分类模型。
本发明中深度神经网络分类模型的测试过程如图3所示，主要包括步骤：
获取目标域中标记样本和未标记样本；
将标记样本和未标记样本送入映射层完成映射；
将映射后的数据送入特征提取器提取特征；
送入KNN分类器中输出分类结果。
为了对比利用本发明所述基于自监督和小样本学习的跨域高光谱图像分类方法获得的深度神经网络分类模型相较于现有技术中Support Vector Machine（简称SVM）、semi-supervised convolutional neural network（简称SS-CNN）、3 DimensionConvolutional Neural Network（简称3DCNN）、Similarity-Based Deep Metric Module（简称S-DMM）、spectral-spatial residual network（简称SSRN）、deep few-shotlearning（简称DFSL）、relation network few-shot classification（简称RN-FSC）、deepcross-domain few-shot learning（简称DCFSL）等光谱图像分类方法的分类效果优势，本申请分别利用上述八种光谱图像分类方法对本申请实施例中所述的目标域数据集进行分类获取分类精度，同时也用本申请所述基于自监督和小样本学习的跨域高光谱图像分类方法（简称SSFSL）获得的深度神经网络分类模型进一步对本实施例中所涉及的目标域数据集进行分类精度对比，为了公平对比，上述所有方法使用的目标域数据集每类仅选取一个标记样本用于训练，对于deep few-shot learning（简称DFSL）、relation network few-shotclassification（简称RN-FSC）、deep cross-domain few-shot learning（简称DCFSL）以及本申请所述基于自监督和小样本学习的跨域高光谱图像分类方法（简称SSFSL）这四种跨域方法，源域数据集统一使用Chikusei数据集且每类取200个标记样本用于训练，所有实验运行用到的环境如下：处理器为Intel(R) Xeon(R) Gold 5118，显卡为NVIDIA GeForce RTX2080 Ti，CUDA版本为10.0.130。其中，本申请的对比精度获取方式为：使用特征提取器提取测试数据集Te特征，而后将特征送入sklearn包中实现的KNN分类器中实现分类，得到预测的分类结果，而后根据分类结果与测试数据集Te的标签比对，得到分类对比精度，如图4所示。图4中使用总体精度OA、平均精度AA、卡帕系数KAPPA指标分析评价模型，OA、AA、KAPPA指标越高，模型的分类准确性越高。显然，从图4中可以看出，本申请所述基于自监督和小样本学习的跨域高光谱图像分类方法（简称SSFSL）获得的深度神经网络分类模型进一步对本实施例中所涉及的目标域数据集进行分类所获得的总体精度OA、平均精度AA、卡帕系数KAPPA都要明细优于上述八种光谱图像分类方法对本申请实施例中所述的目标域数据集进行分类获取的总体精度OA、平均精度AA、卡帕系数KAPPA。
由于Support Vector Machine（简称SVM）、semi-supervised convolutionalneural network（简称SS-CNN）、3 Dimension Convolutional Neural Network（简称3DCNN）、Similarity-Based Deep Metric Module（简称S-DMM）、spectral-spatialresidual network（简称SSRN）、deep few-shot learning（简称DFSL）、relation networkfew-shot classification（简称RN-FSC）、deep cross-domain few-shot learning（简称DCFSL）等光谱图像分类方法均为现有技术，利用该上述现有技术对本申请所述的目标域数据集进行分类也是现有技术，故利用该上述八种方法对本申请所述的目标域数据集进行分类的步骤在此不再赘述。

Claims (10)

1.一种基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：包括以下步骤：
S1：选取两个高光谱数据集分别作为源域和目标域数据集，从源域数据集获取标记样本数据集SL；从目标域数据集获取标记样本数据集TL、软标签生成辅助数据集TU、测试数据集Te；
S2：利用目标域数据集的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签，使用部分软标签对应的未标记样本来扩展目标域标记样本数量；
S3：将源域数据集的标记样本数据集SL以及目标域数据集中的标记样本数据集TL、软标签生成辅助数据集TU和测试数据集Te映射为统一尺寸，并为源域数据集的标记样本数据集SL构建自监督学习任务；
S4：在深度学习框架下构建深度神经网络，在深度神经网络中加入无监督域适应模块；
S5：将源域数据集中的标记样本数据集SL，目标域数据集中的标记样本数据集TL和软标签生成辅助数据集TU送入深度神经网络训练得到综合损失Ltotal，根据综合损失更新深度神经网络参数，在整个训练过程采用元学习策略；
S6：预设一定数量的epoch作为一个训练段，在每次训练达到预设epoch数量后，将测试数据集Te送入特征提取器提取特征，将提取到的特征送入分类器得到预测的分类结果；通过将分类结果与测试数据集Te的标签比对，得测试精度；若测试精度大于上一个训练段结果，保存当前深度神经网络各层的参数，输出深度神经网络分类模型；若测试精度小于上一训练段结果，则不保存当前网络参数，继续进行下一个训练段，当达到所设训练迭代次数整个网络结束训练，输出深度神经网络分类模型。
2.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S2中，利用目标域数据集中的标记样本数据集TL为软标签生成辅助数据集TU自适应生成软标签的步骤为：
S2-1：计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱角度匹配度；通过SAM计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱相似性，光谱向量
Figure 493450DEST_PATH_IMAGE001
与
Figure 410591DEST_PATH_IMAGE002
之间的SAM通过式（1）计算，结果用
Figure 252645DEST_PATH_IMAGE003
表示：
Figure 647854DEST_PATH_IMAGE004
（1）；
S2-2：计算软标签生成辅助数据集TU中所有未标记样本与标记样本数据集TL中标记样本之间的光谱空间距离；考虑到样本在物理位置的相关性，即相同类别的样本往往距离更近，不同类别的样本距离更远，本发明加入了标记样本和未标记样本之间的欧式距离，欧式距离通过式（2）计算，光谱向量
Figure 462226DEST_PATH_IMAGE005
与
Figure 347006DEST_PATH_IMAGE006
之间的光谱空间距离也就是欧式距离用D表示：
Figure 614039DEST_PATH_IMAGE007
（2）
式（2）中，m表示标记样本的数量；
S2-3：计算软标签生成辅助数据集TU中所有未标记样本到未标记样本的各个类别c之间的距离，其中，未标记样本
Figure 875256DEST_PATH_IMAGE008
到各个类别c之间的距离用η表示，η的计算公式如式（3）所示：
Figure 544135DEST_PATH_IMAGE009
（3）
S2-4：获取未标记样本的软标签：将η归一化为一个概率分布，从而得到未标记样本的软标签，用
Figure 865395DEST_PATH_IMAGE010
表示，
Figure 619724DEST_PATH_IMAGE010
的计算公式如式（4）所示：
Figure 356736DEST_PATH_IMAGE011
（4）
式（4）中，
Figure 676859DEST_PATH_IMAGE012
是归一化指数函数，使得每一个软标签数据的范围都在（0,1）之间，并且每个软标签中所有数据的和为1。
3.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S2中，使用部分软标签对应的未标记样本来扩展目标域标记样本数量的步骤为：首先，根据公式（2）计算所有未标记样本和标记样本之间的光谱空间距离D，然后，从软标签生成辅助数据集TU中每个类别取与标记样本数据集TL距离最近的前20个样本用于扩展目标域数据集中的标记样本数据集TL，该20个样本即为部分软标签对应的未标记样本，而扩展之后的目标域标记样本数据集每类包括21个样本。
4.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S3中，为源域数据集中的标记样本数据集SL构建自监督学习任务的步骤为：将为源域数据集构建的小样本学习中支持集S与查询集Q进行复制，然后将复制后的数据进行光谱翻转，并分别将翻转前后的样本赋予标签1和0；其中，支持集S的获取方式为：从标记样本数据集SL中随机选取c个类，然后每个类别选出k个样本，组成支持集
Figure 106703DEST_PATH_IMAGE013
，查询集Q的获取方式为：从选出的c个类的剩余样本中每类选择t个样本，组成查询集
Figure 410646DEST_PATH_IMAGE014
。
5.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S4中，构建的深度神经网络由输入层、映射层、深度残差收缩网络、软标签学习网络、自监督学习网络、小样本分类网络、无监督域适应模块以及分类器组成；
其中，输入层用于对源域数据集和目标域数据集的高光谱图像数据进行采集，采集后的数据空间维度尺寸为9×9；
映射层用于对输入层输入的数据进行映射操作，经映射后的数据维度为9×9×100；
深度残差收缩网络用于提取输入的映射后的高光谱图像数据的光谱空间特征并完成分类预测，其中，深度残差收缩网络由特征提取器和分类层构成，该三维的残差收缩网络是在残差网络的基础上加入收缩模块，可以更好处理数据噪声和冗余；
软标签学习网络用于对目标域中生成的软标签的对应未标记样本数据经特征提取器提取到的特征进行接收，并结合软标签生成软标签损失
Figure 685769DEST_PATH_IMAGE015
；
自监督学习网络用于对源域数据集中的标记样本数据集SL经特征提取器提取到的特征进行接收，然后结合自监督学习得到源域自监督损失
Figure 394487DEST_PATH_IMAGE016
；
小样本分类网络用于接收源域数据集中的标记样本数据集SL和目标域数据集中的标记样本数据集TL经特征提取器提取后的特征，然后和结合小样本学习得到小样本分类损失，源域数据集的小样本分类损失和目标域数据集的小样本分类损失分别为
Figure 729653DEST_PATH_IMAGE017
和
Figure 458575DEST_PATH_IMAGE018
；
无监督域适应模块用于对经特征提取器提取后的源域数据集和目标域数据集的特征进行接收，然后计算源域数据集与目标域数据集两个域之间的分布损失
Figure 599706DEST_PATH_IMAGE019
。
6.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S5中，网络综合损失
Figure 97683DEST_PATH_IMAGE020
的计算公式，如式（5）所示：
Figure 931647DEST_PATH_IMAGE021
（5）
其中，
Figure 882286DEST_PATH_IMAGE022
和
Figure 827108DEST_PATH_IMAGE023
分别表示源域数据集和目标域数据集的损失；
而源域数据集损失，通过式（6）计算：
Figure 179592DEST_PATH_IMAGE024
（6）
源域数据集的损失包括三个模块的损失，分别是：小样本学习损失
Figure 122140DEST_PATH_IMAGE025
、自监督学习损失
Figure 622392DEST_PATH_IMAGE026
以及域适应损失
Figure 43009DEST_PATH_IMAGE027
；
而目标域数据集损失，通过式（7）计算：
Figure 515578DEST_PATH_IMAGE028
（7）
目标域数据集的损失也包括三个部分，分别是：小样本学习损失
Figure 691345DEST_PATH_IMAGE029
、软标签损失
Figure 616575DEST_PATH_IMAGE030
以及域适应损失
Figure 903200DEST_PATH_IMAGE027
。
7.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S5中，源域数据集的小样本分类损失
Figure 964697DEST_PATH_IMAGE031
与目标域数据集的小样本分类损失
Figure 249048DEST_PATH_IMAGE032
计算方法相同；源域数据集的小样本分类损失
Figure 723892DEST_PATH_IMAGE033
的计算方法如下所示：从标记样本数据集SL中随机选取c个类，然后每类选出k个样本，组成支持集
Figure 751890DEST_PATH_IMAGE034
，而后从选出的c个类的剩余样本中每类选择t个样本，组成查询集
Figure 998720DEST_PATH_IMAGE035
，而后将支持集S中的数据经过映射之后送入特征提取器提取特征，而后将每类样本的输出向量取平均值得出该类别的平均特征
Figure 188393DEST_PATH_IMAGE036
，
Figure 88215DEST_PATH_IMAGE036
的计算公式如式（8）所示：
Figure 716643DEST_PATH_IMAGE037
（8）
式（8）中，
Figure 18311DEST_PATH_IMAGE038
表示映射层，
Figure 441202DEST_PATH_IMAGE039
和
Figure 828321DEST_PATH_IMAGE040
分别表示映射层和特征提取器的参数；下一步将查询集Q中的数据经过映射之后送入特征提取器提取特征，然后通过计算与支持集得到的平均特征之间的距离
Figure 198123DEST_PATH_IMAGE041
，可以得到查询集的类分布，
Figure 151035DEST_PATH_IMAGE042
的计算公式如式（9）所示：
Figure 948090DEST_PATH_IMAGE043
（9）
式（9）中，
Figure 619243DEST_PATH_IMAGE044
表示负平方欧氏距离；
通过计算查询集Q样本的平均特征与支持集S样本的平均特征之间的距离，得到每个查询集Q中的样本与支持集S中各个类别的样本之间的相似性，最后可根据得到查询集Q中的样本的概率分布求出所有查询集Q样本的分类损失
Figure 792735DEST_PATH_IMAGE045
，本申请中所有查询集Q样本的分类损失
Figure 865733DEST_PATH_IMAGE045
即为源域数据集的小样本损失
Figure 833689DEST_PATH_IMAGE046
，其中，
Figure 929821DEST_PATH_IMAGE045
的计算公式如式（10）所示：
Figure 703742DEST_PATH_IMAGE047
（10）
式（10）中，S和Q分别是支持集和查询集。
8.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S5中，自监督学习损失Ls的计算方法如下所示：复制一份支持集S与查询集Q，并将支持集S与查询集Q里面的光谱向量翻转，分别得到S’与Q’，而后给予原数据(S,Q)中所有样本标签为1，翻转后的数据(S’,Q’)中所有样本标签为0；而后，将所有数据送入特征提取器提取特征，然后将原数据和翻转后的数据特征结果送入分类器中预测是否翻转，本发明中自监督学习的损失被定义为
Figure 568930DEST_PATH_IMAGE048
，
Figure 707787DEST_PATH_IMAGE049
的计算公式如公式（11）所示：
Figure 353532DEST_PATH_IMAGE050
（11）
式（11）中，
Figure 680213DEST_PATH_IMAGE051
是对第n个样本预测为正例的概率，
Figure 665487DEST_PATH_IMAGE052
表示第n个样本的标签，y的取值为0和1。
9.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S5中，域适应损失
Figure 37562DEST_PATH_IMAGE053
的获取方式为：利用特征提取器对标记样本数据集SL和标记样本数据集TL分别进行特征提取，得到源域特征FS和目标域特征Ft，然后，通过式（12）计算得到域适应损失
Figure 108287DEST_PATH_IMAGE053
：
Figure 161693DEST_PATH_IMAGE054
（12）
式（12）中，
Figure 63790DEST_PATH_IMAGE055
表示Frobenius范数，d表示特征提取器输出的向量个数，
Figure 544450DEST_PATH_IMAGE056
是一个所有元素为1的列向量，
Figure 836891DEST_PATH_IMAGE057
和
Figure 756306DEST_PATH_IMAGE058
分别为源域和目标域输入的样本的个数。
10.根据权利要求1所述的基于自监督和小样本学习的跨域高光谱图像分类方法，其特征在于：步骤S5中，软标签损失
Figure 450592DEST_PATH_IMAGE059
的计算方法如下所示：将软标签对应的未标记样本数据送入深度残差收缩网络的特征提取器中提取特征，而后利用分类层完成分类预测，得预测结果，将预测结果与软标签做交叉熵作为软标签损失
Figure 164470DEST_PATH_IMAGE060
，其中，软标签损失
Figure 209787DEST_PATH_IMAGE061
的计算公式如公式（13）所示：
Figure 667313DEST_PATH_IMAGE062
（13）
式（13）中，Fs是软标签对应的未标记样本数据得到的送入特征提取器得到的特征，labels表示对应的为未标记样本生成的软标签。
CN202210720249.4A 2022-06-24 2022-06-24 基于自监督和小样本学习的跨域高光谱图像分类方法 Active CN114821198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210720249.4A CN114821198B (zh) 2022-06-24 2022-06-24 基于自监督和小样本学习的跨域高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210720249.4A CN114821198B (zh) 2022-06-24 2022-06-24 基于自监督和小样本学习的跨域高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN114821198A true CN114821198A (zh) 2022-07-29
CN114821198B CN114821198B (zh) 2022-09-06

Family

ID=82521383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210720249.4A Active CN114821198B (zh) 2022-06-24 2022-06-24 基于自监督和小样本学习的跨域高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN114821198B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410088A (zh) * 2022-10-10 2022-11-29 中国矿业大学 一种基于虚拟分类器的高光谱图像领域自适应方法
CN115713669A (zh) * 2022-11-04 2023-02-24 北京邮电大学 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN116863327A (zh) * 2023-06-05 2023-10-10 中国石油大学(华东) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN117132804A (zh) * 2023-07-04 2023-11-28 中国矿业大学 一种基于因果跨域小样本学习的高光谱图像分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325269A1 (en) * 2018-04-20 2019-10-24 XNOR.ai, Inc. Image Classification through Label Progression
CN111401426A (zh) * 2020-03-11 2020-07-10 西北工业大学 基于伪标签学习的小样本高光谱图像分类方法
CN112348792A (zh) * 2020-11-04 2021-02-09 广东工业大学 一种基于小样本学习和自监督学习的x光胸片图像分类方法
US20210216825A1 (en) * 2020-01-09 2021-07-15 International Business Machines Corporation Uncertainty guided semi-supervised neural network training for image classification
CN113392931A (zh) * 2021-07-02 2021-09-14 西安电子科技大学 基于自监督学习及多任务学习的高光谱开放集分类方法
US20210390355A1 (en) * 2020-06-13 2021-12-16 Zhejiang University Image classification method based on reliable weighted optimal transport (rwot)
US20220012637A1 (en) * 2020-07-09 2022-01-13 Nokia Technologies Oy Federated teacher-student machine learning
CN114049567A (zh) * 2021-11-22 2022-02-15 齐鲁工业大学 自适应软标签生成方法以及在高光谱图像分类中的应用

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325269A1 (en) * 2018-04-20 2019-10-24 XNOR.ai, Inc. Image Classification through Label Progression
US20210216825A1 (en) * 2020-01-09 2021-07-15 International Business Machines Corporation Uncertainty guided semi-supervised neural network training for image classification
CN111401426A (zh) * 2020-03-11 2020-07-10 西北工业大学 基于伪标签学习的小样本高光谱图像分类方法
US20210390355A1 (en) * 2020-06-13 2021-12-16 Zhejiang University Image classification method based on reliable weighted optimal transport (rwot)
US20220012637A1 (en) * 2020-07-09 2022-01-13 Nokia Technologies Oy Federated teacher-student machine learning
CN112348792A (zh) * 2020-11-04 2021-02-09 广东工业大学 一种基于小样本学习和自监督学习的x光胸片图像分类方法
CN113392931A (zh) * 2021-07-02 2021-09-14 西安电子科技大学 基于自监督学习及多任务学习的高光谱开放集分类方法
CN114049567A (zh) * 2021-11-22 2022-02-15 齐鲁工业大学 自适应软标签生成方法以及在高光谱图像分类中的应用

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
JUN YUE等: "Self-Supervised Learning With Adaptive Distillation for Hyperspectral Image Classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
M.E.PAOLETTI等: "Deep learning classifiers for hyperspectral imaging: A review", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
SENJIA等: "A survey: Deep learning for hyperspectral image classification with few labeled samples", 《NEUROCOMPUTING》 *
WEI HU等: "Deep Convolutional Neural Networks for Hyperspectral Image Classification", 《DEEP LEARNING FOR REMOTE SENSING IMAGE UNDERSTANDING》 *
ZHAOKUI LI等: "Deep Cross-Domain Few-Shot Learning for", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
孙显等: "遥感边缘智能技术研究进展及挑战", 《中国图象图形学报》 *
李绣心等: "基于卷积神经网络的半监督高光谱图像分类", 《电子测量与仪器学报》 *
许夙晖等: "结合对抗网络与辅助任务的遥感影像无监督域适应方法", 《测绘学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410088A (zh) * 2022-10-10 2022-11-29 中国矿业大学 一种基于虚拟分类器的高光谱图像领域自适应方法
CN115410088B (zh) * 2022-10-10 2023-10-31 中国矿业大学 一种基于虚拟分类器的高光谱图像领域自适应方法
CN115713669A (zh) * 2022-11-04 2023-02-24 北京邮电大学 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN115713669B (zh) * 2022-11-04 2023-12-05 北京邮电大学 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN116863327A (zh) * 2023-06-05 2023-10-10 中国石油大学(华东) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN116863327B (zh) * 2023-06-05 2023-12-15 中国石油大学(华东) 一种基于双域分类器协同对抗的跨域小样本分类方法
CN117132804A (zh) * 2023-07-04 2023-11-28 中国矿业大学 一种基于因果跨域小样本学习的高光谱图像分类方法
CN117132804B (zh) * 2023-07-04 2024-04-05 中国矿业大学 一种基于因果跨域小样本学习的高光谱图像分类方法

Also Published As

Publication number Publication date
CN114821198B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN114821198B (zh) 基于自监督和小样本学习的跨域高光谱图像分类方法
Qi et al. Feature selection and multiple kernel boosting framework based on PSO with mutation mechanism for hyperspectral classification
Ahmad et al. Spatial-prior generalized fuzziness extreme learning machine autoencoder-based active learning for hyperspectral image classification
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
Ji et al. Image-attribute reciprocally guided attention network for pedestrian attribute recognition
He et al. Enhanced land use/cover classification using support vector machines and fuzzy k-means clustering algorithms
Chen et al. RRGCCAN: Re-ranking via graph convolution channel attention network for person re-identification
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
Zhong et al. Automatic aurora image classification framework based on deep learning for occurrence distribution analysis: A case study of all‐sky image data sets from the Yellow River Station
Wei et al. An automated detection model of threat objects for X-ray baggage inspection based on depthwise separable convolution
Su et al. Probabilistic collaborative representation based ensemble learning for classification of wetland hyperspectral imagery
Kumar et al. Logo detection using weakly supervised saliency map
Ge et al. Self-training algorithm for hyperspectral imagery classification based on mixed measurement k-nearest neighbor and support vector machine
Aljabri et al. Extracting feature fusion and co-saliency clusters using transfer learning techniques for improving remote sensing scene classification
López-Cifuentes et al. Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss
Nhaila et al. New wrapper method based on normalized mutual information for dimension reduction and classification of hyperspectral images
Wu et al. Prior knowledge-based automatic object-oriented hierarchical classification for updating detailed land cover maps
Zhu et al. S 3 trm: spectral-spatial unmixing of hyperspectral imagery based on sparse topic relaxation-clustering model
Li et al. A new framework of hyperspectral image classification based on spatial spectral interest point
Xia et al. Target classification of SAR images using nonlinear correlation information entropy
Sahadevan et al. Multi-label sub-pixel classification of red and black soil over sparse vegetative areas using AVIRIS-NG airborne hyperspectral image
Wei et al. Random Ferns for semantic segmentation of PolSAR images
Yao et al. Band selection based gaussian processes for hyperspectral remote sensing images classification
Al Saidi et al. Completed homogeneous LBP for remote sensing image classification
Wang et al. A deep unsupervised learning method for sar object classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240129

Address after: Huayi Science and Technology Innovation 3-309, No. 6 Weihua West Road, Shizhong District, Jinan City, Shandong Province, 250000

Patentee after: Jinan Hongjie electric control equipment Co.,Ltd.

Country or region after: China

Address before: 250000 Science and Technology Park of Xincheng University in the West of Jinan City, Changqing District, Jinan City, Shandong Province

Patentee before: Qilu University of Technology

Country or region before: China

TR01 Transfer of patent right