CN115564721A - 基于局部信息增强的高光谱图像变化检测方法 - Google Patents

基于局部信息增强的高光谱图像变化检测方法 Download PDF

Info

Publication number
CN115564721A
CN115564721A CN202211184372.5A CN202211184372A CN115564721A CN 115564721 A CN115564721 A CN 115564721A CN 202211184372 A CN202211184372 A CN 202211184372A CN 115564721 A CN115564721 A CN 115564721A
Authority
CN
China
Prior art keywords
graph
change detection
lieg
output
transformer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211184372.5A
Other languages
English (en)
Inventor
曲家慧
贺杰
董文倩
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Guangzhou Institute of Technology of Xidian University
Original Assignee
Xidian University
Guangzhou Institute of Technology of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Guangzhou Institute of Technology of Xidian University filed Critical Xidian University
Priority to CN202211184372.5A priority Critical patent/CN115564721A/zh
Publication of CN115564721A publication Critical patent/CN115564721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于局部信息增强的高光谱图像变化检测方法；涉及图像处理技术领域；输入两幅在同一区域不同时间获取的双时相高光谱图像，对图像进行预处理，并选取训练样本集；设计了局部信息增强Graph‑transformer块，通过卷积运算获取局部信息注入到Graph‑Transformer中；基于提出的LIEG块，构建了级联多个LIEG块的双分支局部信息增强变化检测网络，充分提取多时相的HSI特征；最后将获得的多时相特征做差值，经过一个分类器后得到最终的变化检测结果图；本发明实现了Transformer在HSI变化检测任务中的应用，充分提取了HSI图像的全局和局部特征，有利于提高变化检测的精度。

Description

基于局部信息增强的高光谱图像变化检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及基于局部信息增强的高光谱图像变化检测方法。
背景技术
变化检测是一种重要的技术，通过使用同一区域的多时相的图像来识别自然场景中的变化。随着遥感卫星图像的日益普及，变化检测已被开发并广泛应用于大规模的遥感研究活动，包括自然灾害、城市扩展研究、土地覆盖变化和水资源管理。作为众多遥感数据之一，HSI具有数百个从紫外到中红外波长的连续光谱带，可以显示土地覆盖物的多光谱特征，并且HSI已经成为土地覆盖变化检测的有效工具。
变化检测目前已经成为了热点研究方向，有许多学者提出了一些经典的变化检测方法。这些方法基本上可以分为四类，即图像代数法、图像变换法、分类检测法和其他经典算法。图像代数方法计算多时相数据之间的图像差异以获取变化检测结果，例如顺序光谱变化矢量分析(S2CVA)。基于图像变换的方法，例如主成分分析法(PCA)和迭代加权多元变化检测法(IR-MAD)，它们通过将HSI转换到其他的特征空间来区分变化和不变区域。分类方法使用特定的分类器，例如支持向量机(SVM)来分别区分两个时相的HSI。其他经典算法包括马尔科夫随机场和随机森林，也被证明在高光谱图像变化检测方面很有前景。然而，上述方法依赖于手工提取的特征表示，目前还面临着许多挑战。
最近，拥有自动提取深层特征能力的深度学习的方法在变化检测任务中被广泛应用。虽然基于CNN的方法已被证明在高光谱图像变化检测任务中是有效的，但仍然存在一些严重的问题。具体来说，CNN感受野受卷积核大小严重限制，这使得其只能关注局部特征，难以对复杂场景中的全局上下文信息进行建模。
具有优异学习能力的Transformer可以很好的关注到图像的全局信息，并且在许多图像处理任务中表现出良好的性能，但它仍然存在一些缺点。具体而言，在计算复杂性方面，处理高维HSI数据对Transformer来说是一项巨大的挑战。
对上述方法的缺陷进行总结：(1)传统方法只是手动的提取浅层特征，这会限制他们对于表达高级特征的能力，从而丢失一些细节。(2)CNN的方法感受野受卷积核大小严重限制，这使得其只能关注局部特征，难以对复杂场景中的全局上下文信息进行建模；(3)巨大的计算量是Transformer在处理高维HSI数据的一大挑战。
针对上述缺陷，本发明解决的问题如下
(1)本发明设计了Graph-transformer，可以接受图节点序列对全局特征进行建模，并且充分考虑了像素之间的空间光谱相关性，大大降低了计算成本。
(2)通过卷积来增强Graph-transformer的局部信息，能够充分提取图像的局部-全局特征。
发明内容
本发明的目的是为了解决现有技术中存在的问题，而提出的基于局部信息增强的高光谱图像变化检测方法。
为达到上述目的，本发明采用了下列技术方案：
基于局部信息增强的高光谱图像变化检测方法包括：
输入两幅在同一区域不同时间获取的双时相高光谱图像，对图像进行预处理，并选取训练样本集；
引入简单线性迭代聚类(SLIC)方法对图像进行超像素分割，得到图节点；
构建Graph-transformer对图像的全局上下文进行建模；
设计可有效地同时提取局部和全局特征信息的LIEG块，通过卷积运算获取局部信息注入Graph-transformer；
多层LIEG块用于构建双分支变化检测网络，得到D-LIEG网络结构，以充分提取多时相HSI的局部和全局特征；
将两个分支的输出做差值，得到差分特征，分类后得到变化检测预测图；
对搭建好的D-LIEG网络模型进行有监督的训练，得到适合该模型的网络参数。
进一步，所述的基于局部信息增强的高光谱图像变化检测方法，输入两幅在同一区域不同时间获取的双时相高光谱图像并对图像进行最大最小归一化预处理，并选取训练样本集，归一化公式为：
Figure BDA0003866748380000031
其中，xi表示高光谱图像中的一个像元，xmin和xmax分别表示高光谱图像的最大值和最小值，
Figure BDA0003866748380000032
为归一化后的一个像元。随机选出总样本的1％，0.5％作为训练样本集。
作为本发明的进一步技术方案，引入简单线性迭代聚类SLIC方法对图像进行超像素分割，得到图节点。
为了构建图节点，引入了一种基于区域分割的方法，称为简单线性迭代聚类SLIC，该方法通过K-means算法迭代的逐渐增长局部簇，直到迭代达到最优完成分割操作，这样通常将具有高光谱空间相似性像素划分为相同的图像区域(即图节点)。为了保证分割后的两个HSI具有一致的图节点分布，将输入的T1和T2两个时相的高光谱图像沿通道维度级联，然后划分为一系列紧凑区域。将分割区域中包含的像素的平均光谱向量值确定为对应图节点的特征向量值，建立原始图像图节点
Figure BDA0003866748380000041
和
Figure BDA0003866748380000042
N为图节点数量。原始图与图节点的映射关系可以被表示为M(·)；
G＝M(Concat(T1,T2))＝ATConcat(T1,T2)
其中
Figure BDA0003866748380000043
是分割结果与原始图像之间的关联矩阵，Concat(·)是跨通道的特征连接。
作为本发明的进一步技术方案，设计Graph-transformer对图像的全局上下文进行建模。
首先，对输入图节点的特征向量进行输入嵌入操作，并添加位置编码来增加位置信息，作为Graph-transformer的输入。Graph-transformer由3个编码器层级联组成，每个编码器层由自注意力MHSA、多层感知机MLP，层归一化LN和残差连接组成；
(1)将输入的图节点通过一个全连接层，全连接层输出节点数设置为256，位置编码器采用可学习的位置编码，将位置编码后的输出作为Graph-transformer的输入。
(2)MHSA注意力操作Att(·)定义为：
Figure BDA0003866748380000044
其中
Figure BDA0003866748380000045
Q表示查询矩阵(Query)，K表示被查询矩阵Key，V表示输出值矩阵Value。
本文中使用多头自注意力机制，其公式为：
MHSA(LN(Zi))＝Concat(h1,h2,...,hs)W0
其中：
Figure BDA0003866748380000051
其中i＝1,2，多头注意力机制的头数s设置为8，Bii＝1/∑jAij是一个对角矩阵，其大小
Figure BDA0003866748380000052
对特征矩阵做了归一化处理。
Figure BDA0003866748380000053
用于统一输入特征矩阵的维度；
Figure BDA0003866748380000054
用于添加位置编码来增加位置信息，本文采用可学习的位置编码。
Figure BDA0003866748380000055
为可学习参数矩阵，LN(·)表示层归一化。结果送入MLP进行特征整合。
(3)多层感知机由两个线性变换层和一个Gelu激活函数组成，以进一步变换所有头部学习特征。两个线性层的输出节点数分别为设置为128和256。在进入全连接层前，先对Att(·)的输出进行层归一化处理。
(4)此外，为了避免特征信息的丢失，分别在Att(·)和全连接层的输出采用了残差连接。
(5)整个Graph-transformer的前向传播过程可以描述为：
G(l+1)＝fgt(G(l))
其中G(l+1)为第i层Graph-transformer的输出。fgt(·)表示由n个编码器组成的Graph-transformer。
作为本发明的进一步技术方案，设计可有效同时提取局部和全局特征信息的LIEG块，通过卷积运算获取局部信息并注入Graph-transformer。
(1)由于每个图节点的特征向量是该节点所包含像素的谱向量的平均值，这导致了局部信息的部分丢失，因此，通过卷积运算提取HSI的局部特征映射到特征矩阵。
(2)将卷积后得到的特征矩阵和初始输入特征矩阵沿通道维度级联，送入一个全连接层，统一输入维度，得到局部信息增强的Graph-transformer输入，其公式为：
Figure BDA0003866748380000061
其中L(l)和G(l)分别表示第l个Graph-transformer的输入特征图和特征矩阵。G(0)为G，L(0)为T。Conv(·)表示局部信息提取卷积运算，
Figure BDA0003866748380000062
为第l个Graph-transformer层的输入。卷积核的大小设置为3，输出通道维度为256。全连接层的输出节点数设置为256。
(3)LIEG的前向模型可以简化为：
Figure BDA0003866748380000063
L(l+1)＝Conv(L(l))
其中，
Figure BDA0003866748380000064
和L(l+1)为第l个LIEG块的输出特征矩阵和特征图。
作为本发明的进一步技术方案，多层LIEG块用于构建双分支变化检测网络，得到D-LIEG，以充分提取多时相HSI的局部-全局特征；
(1)D-LIEG采用双分支结构来获取多时相HSI的足够特征来区分不同的对象，每个分支由多层LIEG块组成以提取互补的局部和全局特征。多层的LIEG传播过程描述如下：
Figure BDA0003866748380000065
其中i＝1,2，表示两个支路。m为每个分支的LIEG块的数量，
Figure BDA0003866748380000066
和
Figure BDA0003866748380000067
分别表示输出特征矩阵和特征图，
Figure BDA0003866748380000068
fLIEG(·)是对LIEG前向传播过程的简化描述。实验中验证了m＝3性能最优。
(2)为充分保留局部信息，最后一层的LIEG块的卷积输出又被送入一个卷积层，然后与Graph-transformer的输出级联。定义为：
Figure BDA0003866748380000069
其中Bi为第i个分支的输出。
作为本发明的进一步技术方案，将两个分支的输出做差值，得到差分特征，分类后得到最终变化检测预测图：
将包含足够特征的两个分支的输出做差值以获得差异特征，然后使用关联矩阵将其转换为特征图。最后将特征图发送到由两个全连接层，一个Relu激活函数和一个softmax非线性激活函数组成的分类器，进一步得到变化检测的预测结果为：
Figure BDA0003866748380000071
其中fc1和fc2分别表示两个全连接层。输出节点数分别设置为128和256。
Figure BDA0003866748380000072
为输出的预测图。
作为本发明的进一步技术方案，对搭建好的D-LIEG网络模型进行有监督的训练，得到适合该模型的网络参数；
(1)将有标签的训练样本输入到需要训练的网络模型中，输出对训练样本的标签预测；
(2)利用如下交叉熵损失函数，计算预测标签和参考图像的真实标签之间的损失函数：
Figure BDA0003866748380000073
其中w是样本数，Y表示参考图像，
Figure BDA0003866748380000074
是输出预测图。E可以定量反映模型预测结果与真实标签之间的差异，可以通过最小化E来获得最优的网络模型。
(3)利用随机梯度下降法对网络参数进行训练，直至网络收敛，并保存最优的网络参数，完成对变化和未变化两类的判别。
本发明的有益效果：
1、本发明提出了Graph-transformer，这实现了Transformer在HIS变化检测任务中的应用。值得注意的是，Graph-transformer充分考虑了像素之间的空间光谱相关性，并且大大降低了计算成本。
2、本发明创新性的提出了由具有全局表示能力的Graph-transformer和具有局部获取能力的卷积运算组成的LIEG块，可以利用卷积增强图像的局部信息，有效地同时提取局部和全局特征信息。
3、本发明由多层LIEG块组成的双分支结构，充分提取多时态HIS的特征，实现不同特征的区分。
附图说明
图1是本发明实施例提供的高光谱图像变化检测方法流程图。
图2是本发明实施例提供的LIEG的结构示意图。
图3是本发明实施例提供的D-LIEG网络结构图。
图4中：(a)为Groud-truth标准图；(b)为CVA方法结果图；(c)为PCA方法结果图；(d)为IR-MAD方法结果图；(e)为SVM方法结果图；(f)为ReCNN方法结果图；(g)为本发明结果图。
具体实施方式
为更进一步阐述本发明为实现预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。
参照图1-图4，一种基于局部信息增强的高光谱图像变化检测方法，下面结合附图对本发明进行详细描述。
如图1所示，本发明提供的基于局部信息增强的高光谱图像变化检测方法包括以下步骤：
S101输入两幅在同一区域不同时间获取的双时相高光谱图像，对图像进行预处理，并选取训练样本集；
S102引入简单线性迭代聚类(SLIC)方法对图像进行超像素分割，得到图节点；
S103设计Graph-transformer对图像的全局上下文进行建模；
S104设计可有效地同时提取局部和全局特征信息的LIEG块，通过卷积运算获取局部信息注入Graph-transformer；
S105多层LIEG块用于构建双分支变化检测网络，得到D-LIEG网络结构，以充分提取多时相HSI的局部-全局特征；
S106将两个分支的输出做差值，得到差分特征，分类后得到变化检测预测图；
S107对搭建好的D-LIEG网络模型进行有监督的训练，得到适合该模型的网络参数。
下面结合附图对本发明的技术方案作进一步的描述。
如图1所示，本发明实施例提供的基于局部信息增强的高光谱图像变化检测方法，其实现过程如下：
(1)输入两幅在同一区域不同时间获取的双时相高光谱图像，对图像进行最大最小归一化预处理，并选取训练样本集，归一化公式为：
Figure BDA0003866748380000091
其中，xi表示高光谱图像中的一个像元，xmin和xmax分别表示高光谱图像的最大值和最小值，
Figure BDA0003866748380000092
为归一化后的一个像元。随机选出总样本的1％，0.5％作为训练样本集。
(2)引入简单线性迭代聚类(SLIC)方法对图像进行超像素分割，得到图节点；
为了构建图节点，引入了一种基于区域分割的方法，称为简单线性迭代聚类(SLIC)，该方法通过K-means算法迭代的逐渐增长局部簇，直到迭代达到最优完成分割操作，这样通常将具有高光谱空间相似性像素划分为相同的图像区域(即图节点)。为了保证分割后的两个HSI具有一致的图节点分布，将输入的T1和T2两个时相的高光谱图像沿通道维度级联，然后划分为一系列紧凑区域。将分割区域中包含的像素的平均光谱向量值确定为对应图节点的特征向量值，建立原始图像图节点
Figure BDA0003866748380000101
和
Figure BDA0003866748380000102
N为图节点数量。原始图与图节点的映射关系可以被表示为M(·)；
G＝M(Concat(T1,T2))＝ATConcat(T1,T2)
其中
Figure BDA0003866748380000103
是分割结果与原始图像之间的关联矩阵，Concat(·)是跨通道的特征连接。
(3)设计Graph-transformer对图像的全局上下文进行建模；
首先，对输入图节点的特征向量进行输入嵌入操作，并添加位置编码来增加位置信息，作为Graph-transformer的输入。Graph-transformer由3个编码器层级联组成，每个编码器层由自注意力(MHSA)、多层感知机(MLP)，层归一化(LN)和残差连接组成；
(3a)将输入的图节点通过一个全连接层，全连接层输出节点数设置为256，位置编码器采用可学习的位置编码，将位置编码后的输出作为Graph-transformer的输入。
(3b)MHSA注意力操作Att(·)定义为：
Figure BDA0003866748380000104
其中
Figure BDA0003866748380000105
Q表示查询矩阵(Query)，K表示被查询矩阵(Key)，V表示输出值矩阵(Value)。
本文中使用多头自注意力机制，其公式为：
MHSA(LN(Zi))＝Concat(h1,h2,...,hs)W0
其中：
Figure BDA0003866748380000111
其中i＝1,2，多头注意力机制的头数s设置为8，Bii＝1/∑jAij是一个对角矩阵，其大小
Figure BDA0003866748380000112
对特征矩阵做了归一化处理。
Figure BDA0003866748380000113
用于统一输入特征矩阵的维度；
Figure BDA0003866748380000114
用于添加位置编码来增加位置信息，本文采用可学习的位置编码。
Figure BDA0003866748380000115
为可学习参数矩阵，LN(·)表示层归一化。结果送入MLP进行特征整合。
(3c)多层感知机由两个线性变换层和一个Gelu激活函数组成，以进一步变换所有头部学习特征。两个线性层的输出节点数分别为设置为128和256。在进入全连接层前，先对Att(·)的输出进行层归一化处理。
(3d)此外，为了避免特征信息的丢失，分别在Att(·)和全连接层的输出采用了残差连接
(3e)整个Graph-transformer的前向传播过程可以描述为：
G(l+1)＝fgt(G(l))
其中G(l+1)为第i层Graph-transformer的输出。fgt(·)表示由n个编码器组成的Graph-transformer。
(4)如图二所示，设计可有效同时提取局部和全局特征信息的LIEG块，通过卷积运算获取局部信息并注入Graph-transformer；
(4a)由于每个图节点的特征向量是该节点所包含像素的谱向量的平均值，这导致了局部信息的部分丢失，因此，通过卷积运算提取HSI的局部特征映射到特征矩阵。
(4b)将卷积后的特征矩阵和初始输入特征矩阵沿通道维度级联，送入一个全连接层，统一输入维度，得到局部信息增强的Graph-transformer输入，其公式为：
Figure BDA0003866748380000121
其中L(l)和G(l)分别表示第l个Graph-transformer的输入特征图和特征矩阵。G(0)为G，L(0)为T。Conv(·)表示局部信息提取卷积运算，
Figure BDA0003866748380000122
为第l个Graph-transformer层的输入。卷积核的大小设置为3，输出通道维度为256。全连接层的输出节点数设置为256。
(4c)LIEG的前向模型可以简化为：
Figure BDA0003866748380000123
L(l+1)＝Conv(L(l))
其中，
Figure BDA0003866748380000124
和L(l+1)为第l个LIEG块的输出特征矩阵和特征图。
(5)如图3所示，多层LIEG块用于构建双分支变化检测网络，得到D-LIEG网络结构，以充分提取多时相HSI的局部和全局特征；
(5a)D-LIEG采用双分支结构来获取多时相HSI的足够特征来区分不同的对象，每个分支由多层LIEG块组成以提取互补的局部和全局特征。多层的LIEG块传播过程描述如下：
Figure BDA0003866748380000125
其中i＝1,2，表示两个支路。m为每个分支的LIEG块的数量，
Figure BDA0003866748380000126
和
Figure BDA0003866748380000127
分别表示输出特征矩阵和特征图，
Figure BDA0003866748380000128
fLIEG(·)是对LIEG块前向传播过程的简化描述。实验中验证了m＝3性能最优。
(5b)为充分保留局部信息，LIEG块最后一次的卷积输出被送入一个卷积层，然后与Graph-transformer的输出级联。定义为：
Figure BDA0003866748380000131
其中Bi为第i个分支的输出。
(6)将两个分支的输出做差值，得到差分特征，分类后得到最终变化检测预测图：
将包含足够特征的两个分支的输出做差值以获得差异特征然后使用关联矩阵将其转换为特征图。最后将特征图发送到由两个全连接层，一个Relu激活函数和一个softmax非线性激活函数组成的分类器，进一步得到变化检测的预测结果为：
Figure BDA0003866748380000132
其中fc1和fc2分别表示两个全连接层。输出节点数分别为128，256。
Figure BDA0003866748380000133
为输出的预测图。
(7)对搭建好的D-LIEG网络模型进行有监督的训练，得到适合该模型的网络参数；
(7a)将有标签的训练样本输入到需要训练的网络模型中，输出对训练样本的标签预测；
(7b)利用如下交叉熵损失函数，计算预测标签和参考图像的真实标签之间的损失函数：
Figure BDA0003866748380000134
其中w是样本数，Y表示参考图像，
Figure BDA0003866748380000135
是输出预测图。E可以定量反映模型预测结果与真实标签之间的差异，可以通过最小化E来获得最优的网络模型。
(7c)利用随机梯度下降法对网络参数进行训练，直至网络收敛，并保存最优的网络参数，完成对变化和未变化两类的判别。我们使用学习率为1e-5的Adam优化器，并在800个epoch后完成学习过程。
下面结合仿真实验对本发明的技术效果作详细的说明：
1.仿真实验条件:
本发明的仿真实验的硬件平台为：NVDI AGTX 3090GPU
本发明的仿真实验的软件平台为：Linux18.06操作系统、python3.7和pytorch1.12。
本发明仿真实验所使用的高光谱影像采用Santa Barbara影像，是使用机载可见光/红外成像光谱仪(AVIRIS)传感器捕获的。2013年和2014年在Santa Barbara地区捕获的两个时相的HIS数据集具有250×250像素，包括224个波段，其光谱范围为0.4到2.5μm，图节点数量N设置为300。
2.实验内容与结果分析
为了验证所提出的D-LIEG方法的有效性。我们选择了五种广泛使用的高光谱图像变化检测的方法，包括CVA、PCA、IR-MAD、SVM和ReCNN。分别对输入的Santa Barbara高光谱图像进行变化检测，获得最终的变化检测结果图。
本发明用到的现有技术对比变化检测方法是指：
现有技术变化向量分析CVA变化检测方法是指，Malila等人在文献“Change-vector analysis in multitemporal space:a tool to detect and categorize land-cover change processes using high temporal-resolution satellite data[J].Remote Sensing of Environment,1994,48(2):231-244.”中提出的变化检测方法。
现有技术主成分分析PCA变化检测方法是指，Deng等人在文献“PCA-based land-use change detection and analysis using multitemporal and multisensorysatellite data[J].Int.J.Remote Sens.,vol.29,no.16,pp.4823–4838,2008.”中提出的变化检测方法。
现有技术迭代加权多元变化检测法IR-MAD是指，Nielsen等人在文献“TheRegularized Iteratively Reweighted MAD Method for Change Detection in Multiand Hyperspectral Data”中提出的变化检测方法。
现有技术支持向量机SVM分类方法是指，Hearst等人在“Support vectormachines.IEEE Intelligent Systems and Their Applications,13(4):18–21.”中提出的高光谱图像分类方法，简称支撑向量机SVM分类方法。
现有技术递归卷积神经网络ReCNN是指Mou,Bruzzone,and Zhu等人在“LearningSpectral-Spatial-Temporal Features via a Recurrent Convolutional NeuralNetwork for Change Detection in Multispectral Imagery”中提出的高光谱图像分类方法，简称递归卷积神经网络ReCNN分类方法。
下面结合图4中的变化检测结果图对本发明的效果做进一步的描述。
由图4的(b)可以看出，CVA方法在变化图中有一些噪声点，因为它从像素之间的欧几里得距离开始，并且对输入图像中的噪声敏感。并且变化区域有大量的误检。
由图4的(c)和(d)可以看出，PCA和IR-MAD通过减少频谱中的冗余信息来提高性能，但仍然没有解决噪声敏感问题，并且不能有效地检测到某些边界区域。
由图4的(e)可以看出，SVM方法的性能并不理想，很多变化区域不能被有效检测。
由图4的(f)可以看出，当训练样本量占1％时，ReCNN检测到一些变化的像素，但大量不变的区域被错误地检测为变化的区域。
由图4的(g)可以看出，所提出的D-LIEG变化检测方法获得的结果最接近地面真实变化事实。其噪声点更少，误检区域更小。
利用两个评价指标(总精度OA、卡方系数Kappa)分别对六种方法获得的变化检测结果图进行客观评价。总精度OA表示正确分类的样本占总样本的比例，OA值越接近1，说明检测精度越高；卡方系数Kappa表征得到的结果与参考图的一致性，Kappa值越接近1，说明方法性能越好。把统计到的各种评价指标的值绘制成表1。
表1本发明与现有发明对Santa Barbara高光谱图像的变化检测结果定量分析表
Figure BDA0003866748380000161
结合表1可以看出，训练集选取1％时，本发明的总精度OA达到97.27％，Kappa值达到0.9439，相比于当前对比的方法中效果最好的(ReCNN)分别提高了1.67％和4.79％，均显著高于现有技术方法，证明本发明可以更好的检测变化区域，性能明显优于现有方法。
以上仿真实验表明，本发明提出了一种用于高光谱图像变化检测任务的双分支卷积局部信息增强Graph-Transformer(Dual-branch Local Information Enhanced Graph-transformer,D-LIEG)变化检测网络。引入可以对全局特征建模的transformer来解决高光谱图像变化检测的问题，创新地设计了Graph-transformer，不仅提高了计算效率，而且保持了像素之间的空间和光谱相关性。为了减轻Graph-transformer对局部信息的损失，提出了局部信息增强模块，将卷积得到的局部信息注入Graph-transformer，充分提取局部-全局特征。双分支网络结构D-LIEG的每个分支由多个LIEG块组成，用于提取多时相HSI的足够特征并将其发送到分类器，以实现对变化和不变区域的判别和预测。大量实验表明，本发明在定量和定性结果上均取得了优异的性能，有效提高了变化检测的精度。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.基于局部信息增强的高光谱图像变化检测方法，其特征在于，具体步骤为：
S101、输入两幅在同一区域不同时间获取的双时相高光谱图像，对图像进行预处理，并选取训练样本集；
S102、引入简单线性迭代聚类SLIC方法对图像进行超像素分割，得到图节点；
S103、构建Graph-transformer对图像的全局上下文进行建模；
S104、设计可有效同时提取局部和全局特征信息的LIEG块，通过卷积运算获取局部信息并注入Graph-transformer；
S105、多层LIEG块用于构建双分支变化检测网络，得到D-LIEG网络结构，以提取多时相HSI的局部和全局特征；
S106、将两个分支的输出做差值，得到差分特征，分类后得到变化检测预测图；
S107、对搭建好的D-LIEG网络模型进行有监督的训练，得到适合该模型的网络参数。
2.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S101中输入两幅在同一区域不同时间获取的双时相高光谱图像，对图像进行最大最小归一化预处理，并选取训练样本集，归一化公式为：
Figure FDA0003866748370000011
其中，xi表示高光谱图像中的一个像元，xmin和xmax分别表示高光谱图像的最大值和最小值，
Figure FDA0003866748370000012
为归一化后的一个像元；随机选出总样本的1％或0.5％作为训练样本集。
3.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S102中引入简单线性迭代聚类SLIC方法对图像进行超像素分割，得到图节点，具体为：
简单线性迭代聚类SLIC方法通过K-means算法迭代的逐渐增长局部簇，直到迭代达到最优完成分割操作，将具有高光谱空间相似性的像素划分为相同的图像区域，即图节点；将输入的T1和T2两个时相的高光谱图像沿通道维度级联，然后划分为一系列紧凑区域；将分割区域中包含的像素的平均光谱向量值确定为对应图节点的特征向量值，建立原始图像图节点
Figure FDA0003866748370000021
和
Figure FDA0003866748370000022
N为图节点数量；原始图与图节点的映射关系可以被表示为M(·)：
G＝M(Concat(T1,T2))＝ATConcat(T1,T2)
其中
Figure FDA0003866748370000023
是分割结果与原始图像之间的关联矩阵，Concat(·)是跨通道的特征连接。
4.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S103中构建Graph-transformer对图像的全局上下文进行建模，具体为：
首先，对输入图节点的特征向量进行输入嵌入操作，并添加位置编码来增加位置信息，作为Graph-transformer的输入；Graph-transformer由3个编码器层级联组成，每个编码器层由自注意力MHSA、多层感知机MLP，层归一化LN和残差连接组成；
(1)将输入的图节点通过一个全连接层，全连接层输出节点数设置为256，位置编码器采用可学习的位置编码，将位置编码后的输出作为Graph-transformer的输入；
(2)MHSA注意力操作Att(·)定义为：
Figure FDA0003866748370000031
其中
Figure FDA0003866748370000032
Q表示查询矩阵(Query)，K表示被查询矩阵(Key)，V表示输出值矩阵(Value)；
本发明中使用多头自注意力机制，其公式为：
MHSA(LN(Zi))＝Concat(h1,h2,...,hs)W0
其中
Figure FDA0003866748370000033
其中i＝1,2，多头注意力机制的头数s设置为8，Bii＝1/∑jAij是一个对角矩阵，其大小
Figure FDA0003866748370000034
对特征矩阵做了归一化处理；
Figure FDA0003866748370000035
用于统一输入矩阵的维度；
Figure FDA0003866748370000036
用于添加位置编码来增加位置信息；
Figure FDA0003866748370000037
Figure FDA0003866748370000038
为可学习参数矩阵，LN(·)表示层归一化，输出结果送入MLP进行特征整合；
(3)多层感知机MLP由两个线性变换层和一个Gelu激活函数组成，以进一步学习所有头部的特征；两个线性层的输出节点数分别为设置为128和256；另外，在进入全连接层之前，先对Att(·)的输出做层归一化处理；
(4)此外，为了避免特征信息的丢失，分别在Att(·)和全连接层的输出采用了残差连接；
(5)整个Graph-transformer的前向传播过程可以描述为：
G(l+1)＝fgt(G(l))
其中G(l+1)为第i层Graph-transformer的输出；fgt(·)表示由n个编码器组成的Graph-transformer。
5.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S104中设计可有效地同时提取局部和全局特征信息的LIEG块，通过卷积运算获取局部信息注入Graph-transformer；具体为：
(1)通过卷积运算提取HSI的局部特征映射到特征矩阵；
(2)将卷积后得到的特征矩阵和初始的输入特征矩阵沿通道维度级联，送入一个全连接层，统一输入维度，得到局部信息增强的Graph-transformer输入，其公式为：
Figure FDA0003866748370000041
其中L(l)和G(l)分别表示第l个Graph-transformer的输入特征图和特征矩阵；G(0)为G，L(0)为T；Conv(·)表示局部信息提取卷积运算，
Figure FDA0003866748370000042
为第l个Graph-transformer层的输入；卷积核的大小设置为3，输出通道维度为256；全连接层的输出节点数设置为256；
(3)LIEG的前向模型可以简化为：
Figure FDA0003866748370000043
L(l+1)＝Conv(L(l))
其中，
Figure FDA0003866748370000044
和L(l+1)为第l个LIEG块的输出特征矩阵和特征图。
6.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S105中多层LIEG块用于构建双分支变化检测网络，得到D-LIEG网络结构，以充分提取多时相HSI的局部-全局特征；具体为：
(1)D-LIEG采用双分支结构来获取多时相HSI的足够特征来区分不同的对象，每个分支由多层LIEG块组成以提取互补的局部和全局特征；多层的LIEG传播过程描述如下：
Figure FDA0003866748370000045
其中i＝1,2，表示两个支路；m为每个分支的LIEG块的数量，
Figure FDA0003866748370000046
和
Figure FDA0003866748370000047
分别表示输出特征矩阵和特征图，
Figure FDA0003866748370000051
fLIEG(·)是对LIEG前向传播过程的简化描述；
(2)为充分保留局部信息，LIEG最后一次的卷积输出被送入一个卷积层，然后与Graph-transformer的输出级联；定义为：
Figure FDA0003866748370000052
其中Bi为第i个分支的输出。
7.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S106中将两个分支的输出做差值，得到差分特征，分类后得到最终变化检测预测图，具体为：
将包含足够特征的两个分支的输出做差值以获得差异特征然后使用关联矩阵将其转换为特征图；最后将特征图发送到由两个全连接层，一个Relu激活函数和一个softmax非线性激活函数组成的分类器，进一步得到变化检测的预测结果为：
Figure FDA0003866748370000053
其中fc1和fc2分别表示两个全连接层；输出节点数分别设置为128和256；
Figure FDA0003866748370000054
为输出的预测图。
8.如权利要求1所述的基于局部信息增强的高光谱图像变化检测方法，其特征在于，所述步骤S107中对搭建好的D-LIEG网络模型进行有监督的训练，得到适合该模型的网络参数；具体为：
(1)将有标签的训练样本输入到需要训练的网络模型中，输出对训练样本的标签预测；
(2)利用如下交叉熵损失函数，计算预测标签和参考图像的真实标签之间的损失函数：
Figure FDA0003866748370000061
其中w是样本数，Y表示参考图像，
Figure FDA0003866748370000062
是输出预测图；E可以定量反映模型预测结果与真实标签之间的差异，可以通过最小化E来获得最优的网络模型；
(3)利用随机梯度下降法对网络参数进行训练，直至网络收敛，并保存最优的网络参数，完成对变化和未变化两类的判别。
CN202211184372.5A 2022-09-27 2022-09-27 基于局部信息增强的高光谱图像变化检测方法 Pending CN115564721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211184372.5A CN115564721A (zh) 2022-09-27 2022-09-27 基于局部信息增强的高光谱图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211184372.5A CN115564721A (zh) 2022-09-27 2022-09-27 基于局部信息增强的高光谱图像变化检测方法

Publications (1)

Publication Number Publication Date
CN115564721A true CN115564721A (zh) 2023-01-03

Family

ID=84742803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211184372.5A Pending CN115564721A (zh) 2022-09-27 2022-09-27 基于局部信息增强的高光谱图像变化检测方法

Country Status (1)

Country Link
CN (1) CN115564721A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778294A (zh) * 2023-04-14 2023-09-19 南京审计大学 一种联合图像内和图像间上下文的遥感变化检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778294A (zh) * 2023-04-14 2023-09-19 南京审计大学 一种联合图像内和图像间上下文的遥感变化检测方法
CN116778294B (zh) * 2023-04-14 2024-03-26 南京审计大学 一种联合图像内和图像间上下文的遥感变化检测方法

Similar Documents

Publication Publication Date Title
Li et al. Deep learning for remote sensing image classification: A survey
Yang et al. Hyperspectral image classification with deep learning models
Audebert et al. Deep learning for classification of hyperspectral data: A comparative review
Wang et al. Caps-TripleGAN: GAN-assisted CapsNet for hyperspectral image classification
Xing et al. Stacked denoise autoencoder based feature extraction and classification for hyperspectral images
Ma et al. Hyperspectral image classification via contextual deep learning
Jia et al. Spectral–Spatial Hyperspectral Image Classification Using $\ell_ {1/2} $ Regularized Low-Rank Representation and Sparse Representation-Based Graph Cuts
Singhal et al. Discriminative robust deep dictionary learning for hyperspectral image classification
Xia et al. Hyperspectral image classification with canonical correlation forests
CN113221641B (zh) 基于生成对抗网络和注意力机制的视频行人重识别方法
Ou et al. A CNN framework with slow-fast band selection and feature fusion grouping for hyperspectral image change detection
Khan et al. A new channel boosted convolutional neural network using transfer learning
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN114926746A (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
Xi et al. Multi-direction networks with attentional spectral prior for hyperspectral image classification
CN113139512B (zh) 基于残差和注意力的深度网络高光谱影像分类方法
Yu et al. Spatial revising variational autoencoder-based feature extraction method for hyperspectral images
CN113486851A (zh) 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
CN113361485A (zh) 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法
CN114359735A (zh) 一种高光谱遥感影像变化检测方法
Sun et al. Deep clustering with intraclass distance constraint for hyperspectral images
Jouni et al. Hyperspectral image classification based on mathematical morphology and tensor decomposition
Xiang et al. End-to-end multilevel hybrid attention framework for hyperspectral image classification
Wang et al. A pseudoinverse incremental algorithm for fast training deep neural networks with application to spectra pattern recognition
CN115222994A (zh) 一种基于混合光谱网络和多头自注意力机制的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination