CN115457311B - 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 - Google Patents

一种基于自表达迁移学习的高光谱遥感影像波段选择方法 Download PDF

Info

Publication number
CN115457311B
CN115457311B CN202211009920.0A CN202211009920A CN115457311B CN 115457311 B CN115457311 B CN 115457311B CN 202211009920 A CN202211009920 A CN 202211009920A CN 115457311 B CN115457311 B CN 115457311B
Authority
CN
China
Prior art keywords
self
expression
target domain
domain
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211009920.0A
Other languages
English (en)
Other versions
CN115457311A (zh
Inventor
孙伟伟
何珂
杨刚
孟祥超
任凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202211009920.0A priority Critical patent/CN115457311B/zh
Publication of CN115457311A publication Critical patent/CN115457311A/zh
Application granted granted Critical
Publication of CN115457311B publication Critical patent/CN115457311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明涉及一种基于自表达迁移学习的高光谱遥感影像波段选择方法,包括:对原始的源域和目标域的高光谱遥感影像进行分块处理;构建结合注意力的卷积网络提取源域和目标域的深层潜在特征;生成源域和目标域的自表达矩阵;构建多任务目标函数;优化总体目标函数,通过计算各波段的重要性对其进行排序,选择排名靠前的波段作为选择结果。本发明的有益效果是:本发明在保证波段组合的分类性能的同时,降低了对地物标签样本的需求;能够选择更具代表性的波段组合,且具有良好的鲁棒性。

Description

一种基于自表达迁移学习的高光谱遥感影像波段选择方法
技术领域
本发明涉及遥感影像处理领域,更确切地说,它涉及一种基于自表达迁移学习的高光谱遥感影像波段选择方法。
背景技术
高光谱遥感通过几十个甚至上百个相邻的窄波段来获取丰富且连续的地物光谱信息。该特点使其能够找到地物的诊断性光谱特征,这是全色影像、多光谱影像所不具备的能力。因此,高光谱遥感被广泛应用于各个领域。但高光谱遥感影像的高维特性导致数据量大、相邻光谱相关性强、信息冗余度高的问题,给数据处理带来很大负担。这一特征还会带来“维数诅咒”,即在训练样本有限的情况下,可能会导致分类精度下降。因此,降维是高光谱预处理的重要步骤之一。
由于波段选择可以有效保存高光谱遥感影像的光谱意义,因此是降维的热点研究问题。波段选择是在原始高光谱图像的波段中选择具有代表性的波段子集。取决于是否在波段选择过程中使用标签样本,波段选择的方式可分为监督、无监督两种。无监督的方式利用高光谱遥感影像自身的结构特点或一定指标来选择波段。然而,由于无监督的方式没有使用标签样本,使得其结果不利于后续分类等应用。监督的方式利用标签样本完成特定任务的训练来选择波段。但是,该方式需要使用大量的标签样本,而并不是所有高光谱遥感影像都具有丰富的标签样本。同时,制作标签样本的过程费时费力。
发明内容
本发明的目的是克服现有技术中的不足,提供了一种基于自表达迁移学习的高光谱遥感影像波段选择方法。
第一方面,提供了一种基于自表达迁移学习的高光谱遥感影像波段选择方法,包括:
S1、对原始的源域和目标域的高光谱遥感影像进行分块处理;在原始的源域和目标域的高光谱图像中,以图像中每个像素作为中心分出若干个子立方体X,子立方体X的大小为s×s×b;其中s表示划分出的子立方体X的宽和高,b表示划分出的子立方体X的波段数;
S2、构建结合注意力的卷积网络提取源域和目标域的深层潜在特征;
S3、通过自表达层,利用S2所提取出源域和目标域的深层潜在特征,生成源域和目标域的自表达矩阵,并应用最大均值差异MMD来降低源域和目标域之间自表达的距离;
S4、利用S3中生成的源域和目标域的自表达特征构建多任务目标函数;
S5、通过梯度下降法优化总体目标函数,所述总体目标函数优化完成之后,通过计算各波段的重要性对其进行排序,选择排名靠前的k个波段作为选择结果
作为优选,S2包括:
S201、构建卷积层提取源域和目标域的深层表征:
利用卷积核大小为3×3的两层卷积操作堆叠形成信息提取网络,提取源域和目标域的深层表征;其中,每个卷积操作后均跟随一个批归一化操作以及一个修正线性单元,对卷积结果进行归一化以及激活操作;
S202、构建结合动态和静态的注意力学习模块加强信息提取网络所提取的深层表征:
通过嵌入函数获得后续操作所需的ks、q和v;其中,ks由卷积核大小为3×3的嵌入卷积操作获得,v由卷积核大小为1×1的嵌入卷积操作获得:
ks=XcWk;q=Xc;v=XcWv
上式中,Xc表示经过S201提出的深层表征;Wk,Wv分别表示ks和v的嵌入系数矩阵;ks聚集了邻域的上下文信息,称为静态上下文表示;q为查询值,用于与ks计算相似度用于后续计算注意力值;v用于提取信息,并与q和ks计算得到的注意力相乘后作为最终加权结果输出;
将所得到的ks和q堆栈之后通过连续的卷积操作后得到注意力矩阵:
A=softmax(att(cat(ks,q);θa))
其中,softmax(·)用于把输入数据归一化映射到0-1的范围内;att(·)用于学习注意力矩阵;cat(·)用于聚合ks和q;θa为待训练的参数;
接着,将得到的注意力矩阵A与矩阵v相乘来动态捕获输入特征的交互,得到动态上下文表示:
最后,将动态上下文表示与静态上下文表示相加作为最终输出:
Xl=ks+kd
作为优选,S3包括:
S301、经过S2提取出的深层潜在特征送入到自表达层中获取源域和目标域的自表达系数,自表达系数可以通过优化以下目标获取:
上式中,Xl表示经过S2提取的深层潜在特征;C表示自表达系数;||·||2表示为L2范数;λ表示为平衡系数;diag(·)表示取矩阵主对角线元素;
S302、得到源域和目标域的自表达系数之后,利用MMD来对齐源域和目标域之间自表达系数:
上式中,Cs和Ct分别表示源域和目标域的自表达系数;ls和lt分别表示得到的源域和目标域特征图的大小;||·||H表示再生核希尔伯特空间。
作为优选,S4包括:
S401、将源域的自表达系数Cs作为输入,通过全连接网络映射,输出训练样本的预测标签;之后,利用交叉熵公式,计算预测值与真实值之间的差距:
上式中,y和p分别表示真实标签与预测标签;ns表示源域训练样本的数量;C表示地物类别数量;
S402、将目标域的自表达系数CT作为输入,通过反卷积网络,重建原始高光谱影像。之后,利用L1范数,计算重建影像与原始影像之间的差距:
上式中,nt表示目标域训练样本的数量;X和分别表示输入的目标域原始子立方体和重建出来的目标域子立方体,||·||1表示L1范数。
作为优选,S5包括:
S501、整合损失函数,方法的总损失函数可以定义如下:
S502、利用随机梯度下降法对总损失函数进行优化:
上式中,θ表示为构建的自表达迁移波段选择网络中待训练参数的集合,r表示为学习率,表示为偏导数;
S503、在总体损失优化完成之后,先对自表达系数C的每一列进行归一化,然后通过计算各个波段的重要性对其进行排序:
上式中,b为波段数量;Ci为自表达系数C的第i列;为归一化后的自表达系数;bi表示第i个波段的重要性;
选择重要性bi排名靠前的k个波段作为波段选择结果。
第二方面,提供了基于自表达迁移学习的高光谱遥感影像波段选择装置,用于执行第一方面任一所述基于自表达迁移学习的高光谱遥感影像波段选择方法,包括:
分块模块,用于对原始的源域和目标域的高光谱遥感影像进行分块处理;在原始的源域和目标域的高光谱图像中,以图像中每个像素作为中心分出若干个子立方体X,子立方体X的大小为s×s×b;其中s表示划分出的子立方体X的宽和高,b表示划分出的子立方体X的波段数;
第一构建模块,用于构建结合注意力的卷积网络提取源域和目标域的深层潜在特征;
生成模块,用于通过自表达层,利用S2所提取出源域和目标域的深层潜在特征,生成源域和目标域的自表达矩阵,并应用最大均值差异MMD来降低源域和目标域之间自表达的距离;
第二构建模块,用于利用S3中生成的源域和目标域的自表达特征构建多任务目标函数;
优化模块,用于通过梯度下降法优化总体目标函数,所述总体目标函数优化完成之后,通过计算各波段的重要性对其进行排序,选择排名靠前的k个波段作为选择结果。
第三方面,提供了一种计算机存储介质,所述计算机存储介质内存储有计算机程序;所述计算机程序在计算机上运行时,使得计算机执行第一方面任一所述的基于自表达迁移学习的高光谱遥感影像波段选择方法。
第四方面,提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行第一方面任一所述的基于自表达迁移学习的高光谱遥感影像波段选择方法。
本发明的有益效果是:
(1)本发明利用源域高光谱影像丰富的地物标签样本指导目标域影像选择更具代表性的波段组合。在保证波段组合的分类性能的同时,降低了对地物标签样本的需求。
(2)本发明采用综合动态和静态的注意力结构来获取高光谱影像的全局和局部特征,通过这种方式能够充分考虑高光谱影像的非线性特征,能挖掘出其深层潜在信息
(3)本发明提供了一种跨场景的基于深度学习的高光谱遥感影像自表达波段选择框架,通过建立源域和目标域之间的关系来精确获取目标域中优秀的波段组合,与现有技术相比,本发明构建的网络能够选择更具代表性的波段组合,且具有良好的鲁棒性。
附图说明
图1为本申请提供的基于自表达迁移学习的高光谱遥感影像波段选择方法的实施流程图;
图2为本申请提供的高光谱遥感影像波段选择方法与现有方法所选波段的OA量化分类精度对比图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1:
现有的波段选择方法中,无监督的方式没有使用标签样本,使得其结果不利于后续分类等应用,监督的方式利用标签样本完成特定任务的训练来选择波段。但是,该方式需要使用大量的标签样本。
为了解决上述问题,本申请考虑利用已有标签样本的源域影像来指导无标签样本的目标域影像进行波段选择。首先通过结合注意力的卷积网络提取源域和目标域高光谱遥感影像的深层潜在特征,学习动态和静态的注意力潜在表征,之后通过自表达层,生成源域和目标域的自表达系数,同时添加分类和重建任务帮助学习更优的自表达系数,并应用最大均值差异来降低源域和目标域之间自表达的距离,等模型优化完成后,通过重要性选择波段。
具体地,本申请提供的基于自表达迁移学习的高光谱遥感影像波段选择方法如图1所示,包括:
S1、对原始的源域和目标域的高光谱遥感影像进行分块处理;在原始的源域和目标域的高光谱图像中,以图像中每个像素作为中心分出若干个子立方体X,子立方体X的大小为s×s×b;其中s表示划分出的子立方体X的宽和高,b表示划分出的子立方体X的波段数;
S2、构建结合注意力的卷积网络提取源域和目标域的深层潜在特征;
S3、通过自表达层,利用S2所提取出源域和目标域的深层潜在特征,生成源域和目标域的自表达矩阵,并应用最大均值差异MMD来降低源域和目标域之间自表达的距离;
S4、利用S3中生成的源域和目标域的自表达特征构建多任务目标函数;
S5、通过梯度下降法优化总体目标函数,总体目标函数优化完成之后,通过计算各波段的重要性对其进行排序,选择排名靠前的k个波段作为选择结果。需要说明的是,S5中的总体目标函数包含S4中的多任务目标函数。
S2包括:
S201、构建卷积层提取源域和目标域的深层表征:
利用卷积核大小为3×3的两层卷积操作堆叠形成信息提取网络,提取源域和目标域的深层表征;其中,每个卷积操作后均跟随一个批归一化操作以及一个修正线性单元,对卷积结果进行归一化以及激活操作;
S202、构建结合动态和静态的注意力学习模块加强信息提取网络所提取的深层表征:
通过嵌入函数获得后续操作所需的ks、q和v;其中,ks由卷积核大小为3×3的嵌入卷积操作获得,v由卷积核大小为1×1的嵌入卷积操作获得:
ks=XcWk;q=Xc;v=XcWv
上式中,Xc表示经过S201提出的深层表征;Wk,Wv分别表示ks和v的嵌入系数矩阵;ks聚集了邻域的上下文信息,称为静态上下文表示;q为查询值,用于与ks计算相似度用于后续计算注意力值;v用于提取信息,并与q和ks计算得到的注意力相乘后作为最终加权结果输出;
为了增强自注意力机制的表示能力,将所得到的ks和q堆栈之后通过连续的卷积操作后得到注意力矩阵:
A=softmax(att(cat(ks,q);θa))
其中,softmax(·)用于把输入数据归一化映射到0-1的范围内;att(·)用于学习注意力矩阵;cat(·)用于聚合ks和q;θa为待训练的参数;
接着,将得到的注意力矩阵A与矩阵v相乘来动态捕获输入特征的交互,得到动态上下文表示:
最后,将动态上下文表示与静态上下文表示相加作为最终输出:
Xl=ks+kd
S3包括:
S301、经过S2提取出的深层潜在特征送入到自表达层中获取源域和目标域的自表达系数,自表达系数可以通过优化以下目标获取:
上式中,Xl表示经过S2提取的深层潜在特征;C表示自表达系数;||·||2表示为L2范数;λ表示为平衡系数;diag(·)表示取矩阵主对角线元素;
S302、得到源域和目标域的自表达系数之后,利用MMD来对齐源域和目标域之间自表达系数:
上式中,Cs和Ct分别表示源域和目标域的自表达系数;ls和lt分别表示得到的源域和目标域特征图的大小;||·||H表示再生核希尔伯特空间。
S4包括:
S401、将源域的自表达系数Cs作为输入,通过全连接网络映射,输出训练样本的预测标签;之后,利用交叉熵公式,计算预测值与真实值之间的差距:
上式中,y和p分别表示真实标签与预测标签;ns表示源域训练样本的数量;C表示地物类别数量;
S402、将目标域的自表达系数CT作为输入,通过反卷积网络,重建原始高光谱影像。之后,利用L1范数,计算重建影像与原始影像之间的差距:
上式中,nt表示目标域训练样本的数量;X和分别表示输入的目标域原始子立方体和重建出来的目标域子立方体,||·||1表示L1范数。
S5包括:
S501、整合损失函数,方法的总损失函数可以定义如下:
S502、利用随机梯度下降法对总损失函数进行优化:
上式中,θ表示为构建的自表达迁移波段选择网络中待训练参数的集合,r表示为学习率,表示为偏导数;
S503、在总体损失优化完成之后,先对自表达系数C的每一列进行归一化,然后通过计算各个波段的重要性对其进行排序:
上式中,b为波段数量;Ci为自表达系数C的第i列;为归一化后的自表达系数;bi表示第i个波段的重要性;
选择重要性bi排名靠前的k个波段作为波段选择结果。
实施例2:
在实施例1的基础上,本申请实施例2提供了该种基于自表达迁移学习的高光谱遥感影像波段选择方法的应用实例:
本发明可在python3.6的环境下,采用pytorch 1.6实现自动运行流程。
S1、对原始的源域和目标域的高光谱遥感影像进行分块处理;在原始源域和目标域的高光谱图像中,以图像中每个像素作为中心分出若干个子立方体X,子立方体X的大小为11×11×176。
S2、构建结合注意力的卷积网络提取源域和目标域的深层潜在特征:
首先构建卷积层提取源域和目标域的深层表征:
利用卷积核大小为3×3的两层卷积操作堆叠形成信息提取网络,提取源域和目标域的深层表征。其中,每个卷积操作后均跟随一个批归一化操作以及一个修正线性单元,对卷积结果进行归一化以及激活操作;
接着,构建了结合动态和静态的注意力学习模块加强信息提取网络所提取的深层表征:
通过嵌入函数获得后续操作所需的ks、q和v;其中,ks由卷积核大小为3×3的嵌入函数获得,v由卷积核大小为1×1的嵌入函数获得:
ks=XcWk;q=Xc;v=XcWv
上式中,Xc表示经过卷积层提出的深层表征;Wk,Wv分别表示k和v的嵌入矩阵;ks聚集了邻域的上下文信息,可称为静态上下文表示。
为了增强自注意力机制的表示能力,将所得到的ks和q堆栈之后通过连续的卷积操作后得到注意力矩阵:
A=softmax(att(cat(ks,q);θa))
softmax(·)用于把输入数据归一化映射到0-1的范围内;att(·)用于学习注意力矩阵;cat(·)用于ks和q;θa为待训练的参数。
紧跟着,将得到的注意力矩阵A与矩阵v相乘来动态捕获输入特征的交互,得到动态上下文表示:
最后,将动态上下文表示与静态上下文表示相加作为最终输出:
Xl=ks+kd
S3、通过自表达层,利用S2所提取出源域和目标域的深层潜在特征,生成源域和目标域的自表达矩阵,并应用最大均值差异(Maximum Mean Discrepancy,MMD)来降低源域和目标域之间自表达的距离:
首先,经过S2提取出的深层潜在特征送入到自表达层中获取源域和目标域的自表达系数,自表达系数可以通过优化以下目标获取:
上式中,Xl表示经过S2提取的深层潜在特征;C表示自表达系数;||·||2表示为L2范数;λ表示为平衡系数;diag(·)表示取矩阵主对角线元素。
然后,得到源域和目标域的自表达系数之后,利用MMD来对齐源域和目标域之间自表达系数:
上式中,Cs和Ct分别表示源域和目标域的自表达系数;ls和lt分别表示得到的源域和目标域特征图的大小。
S4、利用S3中生成的源域和目标域的自表达特征构建多任务目标函数:
首先,将源域的自表达系数Cs作为输入,通过全连接网络映射,输出训练样本的预测标签。之后,利用交叉熵公式,计算预测值与真实值之间的差距:
上式中,y和p分别表示真实标签与预测标签;ns表示源域训练样本的数量;C表示地物类别数量。
同时,将目标域的自表达系数CT作为输入,通过反卷积网络,重建原始高光谱影像。之后,利用L1范数,计算重建影像与原始影像之间的差距:
上式中,nt表示目标域训练样本的数量;X和分别表示输入的目标域原始子立方体以重建出来的目标域子立方体。
S5、通过梯度下降法优化总体目标函数,目标函数优化完成之后,通过计算各波段的重要性对其进行排序,选择排名靠前的k个波段作为选择结果:
首先,整合以上损失函数,方法的总损失函数可以定义如下:
然后,利用随机梯度下降法对总损失函数进行优化:
上式中,θ表示为构建的自表达迁移波段选择网络中待训练参数的集合,r表示为学习率,表示为偏导数。
接着,在总体损失优化完成之后,先对自表达系数C的每一列进行归一化,然后通过计算各个波段的重要性对其进行排序:
上式中,b为波段数量;Ci为自表达系数C的第i列;为归一化后的自表达系数;bi表示第i个波段的重要性。
最后,选择重要性bi排名靠前的k个波段作为波段选择结果。
下面结合模拟实验结果对本发明的效果进一步分析:
如图2所示,为了分析本发明提出的波段选择方法的有效性,利用不同方法所选择的波段对高光谱图像进行分类,使用总体精度(overall accuracy,OA)量化分类精度。本模拟实验所对比的方法包括4种传统方法(ISSC、E-FDPC、OCF、SRL-SOA)、2种跨域波段选择方法(CDIRF、CDWOASA)以及全波段(Allbands)。本模拟实验的数据集为HyRANK。HyRANK数据集是在国际摄影测量与遥感学会科学计划的框架下制作的。本实验使用的分类器为SVM,数据集选择的训练样本的比例为5%。模拟实验结果见附图2。从图2中可以看出本发明所提出的方法(CSSRDnet)具有最好的分类精度。本发明的效果明显优于其他的对比方法。当选择波段数大于一定数量时,本发明的分类精度优于全波段。这说明了本发明的有效性。
综上所述,本申请提高了所选波段的代表性,能够达到优异的分类精度。同时,对标签样本的需求量小,不需要所有影像拥有大量的标签样本,使本申请的实用性很强。本申请能够作为高光谱遥感影像预处理的步骤,大大降低后续操作难度,具有广泛的应用前景。

Claims (6)

1.一种基于自表达迁移学习的高光谱遥感影像波段选择方法,其特征在于,包括:
S1、对原始的源域和目标域的高光谱遥感影像进行分块处理;在原始的源域和目标域的高光谱图像中,以图像中每个像素作为中心分出若干个子立方体X,子立方体X的大小为s×s×b;其中s表示划分出的子立方体X的宽和高,b表示划分出的子立方体X的波段数;
S2、构建结合注意力的卷积网络提取源域和目标域的深层潜在特征;
S2包括:
S201、构建卷积层提取源域和目标域的深层表征:
利用卷积核大小为3×3的两层卷积操作堆叠形成信息提取网络,提取源域和目标域的深层表征;其中,每个卷积操作后均跟随一个批归一化操作以及一个修正线性单元,对卷积结果进行归一化以及激活操作;
S202、构建结合动态和静态的注意力学习模块加强信息提取网络所提取的深层表征:
通过嵌入函数获得后续操作所需的ks、q和v;其中,ks由卷积核大小为3×3的嵌入卷积操作获得,v由卷积核大小为1×1的嵌入卷积操作获得:
ks=XcWk;q=Xc;v=XcWv
上式中,Xc表示经过S201提出的深层表征;Wk,Wv分别表示ks和v的嵌入系数矩阵;ks聚集了邻域的上下文信息,称为静态上下文表示;q为查询值,用于与ks计算相似度用于后续计算注意力值;v用于提取信息,并与q和ks计算得到的注意力相乘后作为最终加权结果输出;
将所得到的ks和q堆栈之后通过连续的卷积操作后得到注意力矩阵:
A=softmax(att(cat(ks,q);θa))
其中,softmax(·)用于把输入数据归一化映射到0-1的范围内;att(·)用于学习注意力矩阵;cat(·)用于聚合ks和q;θa为待训练的参数;
接着,将得到的注意力矩阵A与矩阵v相乘来动态捕获输入特征的交互,得到动态上下文表示:
最后,将动态上下文表示与静态上下文表示相加作为最终输出:
Xl=ks+kd
S3、通过自表达层,利用S2所提取出源域和目标域的深层潜在特征,生成源域和目标域的自表达矩阵,并应用最大均值差异MMD来降低源域和目标域之间自表达的距离;
S4、利用S3中生成的源域和目标域的自表达特征构建多任务目标函数;
S5、通过梯度下降法优化总体目标函数,所述总体目标函数优化完成之后,通过计算各波段的重要性对其进行排序,选择排名靠前的k个波段作为选择结果。
2.根据权利要求1所述的基于自表达迁移学习的高光谱遥感影像波段选择方法,其特征在于,S3包括:
S301、经过S2提取出的深层潜在特征送入到自表达层中获取源域和目标域的自表达系数,自表达系数可以通过优化以下目标获取:
上式中,Xl表示经过S2提取的深层潜在特征;C表示自表达系数;||·||2表示为L2范数;λ表示为平衡系数;diag(·)表示取矩阵主对角线元素;
S302、得到源域和目标域的自表达系数之后,利用MMD来对齐源域和目标域之间自表达系数:
上式中,Cs和Ct分别表示源域和目标域的自表达系数;ls和lt分别表示得到的源域和目标域特征图的大小;||·||H表示再生核希尔伯特空间。
3.根据权利要求2所述的基于自表达迁移学习的高光谱遥感影像波段选择方法,其特征在于,S4包括:
S401、将源域的自表达系数Cs作为输入,通过全连接网络映射,输出训练样本的预测标签;之后,利用交叉熵公式,计算预测值与真实值之间的差距:
上式中,y和p分别表示真实标签与预测标签;ns表示源域训练样本的数量;C表示地物类别数量;
S402、将目标域的自表达系数CT作为输入,通过反卷积网络,重建原始高光谱影像;之后,利用L1范数,计算重建影像与原始影像之间的差距:
上式中,nt表示目标域训练样本的数量;X和分别表示输入的目标域原始子立方体和重建出来的目标域子立方体,||·||1表示L1范数。
4.根据权利要求3所述的基于自表达迁移学习的高光谱遥感影像波段选择方法,其特征在于,S5包括:
S501、整合损失函数,方法的总损失函数可以定义如下:
S502、利用随机梯度下降法对总损失函数进行优化:
上式中,θ表示为构建的自表达迁移波段选择网络中待训练参数的集合,r表示为学习率,表示为偏导数;
S503、在总体损失L优化完成之后,先对自表达系数C的每一列进行归一化,然后通过计算各个波段的重要性对其进行排序:
上式中,b为波段数量;Ci为自表达系数C的第i列;为归一化后的自表达系数;bi表示第i个波段的重要性;
选择重要性bi排名靠前的k个波段作为波段选择结果。
5.一种基于自表达迁移学习的高光谱遥感影像波段选择装置,其特征在于,用于执行权利要求1至4任一所述高光谱遥感影像波段选择方法,包括:
分块模块,用于对原始的源域和目标域的高光谱遥感影像进行分块处理;在原始的源域和目标域的高光谱图像中,以图像中每个像素作为中心分出若干个子立方体X,子立方体X的大小为s×s×b;其中s表示划分出的子立方体X的宽和高,b表示划分出的子立方体X的波段数;
第一构建模块,用于构建结合注意力的卷积网络提取源域和目标域的深层潜在特征;
生成模块,用于通过自表达层,利用S2所提取出源域和目标域的深层潜在特征,生成源域和目标域的自表达矩阵,并应用最大均值差异MMD来降低源域和目标域之间自表达的距离;
第二构建模块,用于利用S3中生成的源域和目标域的自表达特征构建多任务目标函数;
优化模块,用于通过梯度下降法优化总体目标函数,所述总体目标函数优化完成之后,通过计算各波段的重要性对其进行排序,选择排名靠前的k个波段作为选择结果。
6.一种计算机存储介质,其特征在于,所述计算机存储介质内存储有计算机程序;所述计算机程序在计算机上运行时,使得计算机执行权利要求1至4任一所述高光谱遥感影像波段选择方法。
CN202211009920.0A 2022-08-23 2022-08-23 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 Active CN115457311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009920.0A CN115457311B (zh) 2022-08-23 2022-08-23 一种基于自表达迁移学习的高光谱遥感影像波段选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009920.0A CN115457311B (zh) 2022-08-23 2022-08-23 一种基于自表达迁移学习的高光谱遥感影像波段选择方法

Publications (2)

Publication Number Publication Date
CN115457311A CN115457311A (zh) 2022-12-09
CN115457311B true CN115457311B (zh) 2023-08-29

Family

ID=84298170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009920.0A Active CN115457311B (zh) 2022-08-23 2022-08-23 一种基于自表达迁移学习的高光谱遥感影像波段选择方法

Country Status (1)

Country Link
CN (1) CN115457311B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071318B (zh) * 2023-01-10 2024-01-16 四川文理学院 一种图像筛选方法及系统
CN117423004B (zh) * 2023-12-19 2024-04-02 深圳大学 高光谱图像的波段选择方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法
CN110837865A (zh) * 2019-11-08 2020-02-25 北京计算机技术及应用研究所 一种基于表示学习和迁移学习的领域适配方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN113537239A (zh) * 2021-07-08 2021-10-22 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN114743009A (zh) * 2022-06-10 2022-07-12 中国地质大学(武汉) 一种高光谱影像波段选择方法、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902577B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法
CN110837865A (zh) * 2019-11-08 2020-02-25 北京计算机技术及应用研究所 一种基于表示学习和迁移学习的领域适配方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN113537239A (zh) * 2021-07-08 2021-10-22 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN114743009A (zh) * 2022-06-10 2022-07-12 中国地质大学(武汉) 一种高光谱影像波段选择方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Dual Global–Local Attention Network for Hyperspectral Band Selection;Ke He,Weiwei Sun,et.al;IEEE Transactions on Geoscience and Remote Sensing;第60卷;1-5 *

Also Published As

Publication number Publication date
CN115457311A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
CN115457311B (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN113011499A (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
CN111191514A (zh) 一种基于深度学习的高光谱图像波段选择方法
CN110569814B (zh) 视频类别识别方法、装置、计算机设备及计算机存储介质
CN108734199B (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN112101381A (zh) 张量协作图判别分析遥感图像特征提取方法
CN111310598B (zh) 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
Qi et al. Deep spectral convolution network for hyperspectral image unmixing with spectral library
Zhu et al. Semi-supervised center-based discriminative adversarial learning for cross-domain scene-level land-cover classification of aerial images
US8682086B2 (en) Systems and methods for determining image representations at a pixel level
CN112232151A (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
CN113920043A (zh) 基于残差通道注意力机制的双流遥感图像融合方法
CN113537239A (zh) 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN114694039A (zh) 一种遥感高光谱与激光雷达图像融合分类方法及装置
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN111191700B (zh) 基于自适应协同图判别分析的高光谱图像降维方法及装置
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
CN110852304B (zh) 基于深度学习方法的高光谱数据处理方法
Varma et al. HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN.
KR102432766B1 (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법
CN115496933A (zh) 基于空间-光谱原型特征学习的高光谱分类方法及系统
CN114677545A (zh) 一种基于相似性剪枝和高效模块的轻量化图像分类方法
CN113673629A (zh) 基于多图卷积网络的开集域适应遥感图像小样本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant