CN114398948A - 一种基于空-谱联合注意力网络的多光谱影像变化检测方法 - Google Patents
一种基于空-谱联合注意力网络的多光谱影像变化检测方法 Download PDFInfo
- Publication number
- CN114398948A CN114398948A CN202111515091.9A CN202111515091A CN114398948A CN 114398948 A CN114398948 A CN 114398948A CN 202111515091 A CN202111515091 A CN 202111515091A CN 114398948 A CN114398948 A CN 114398948A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- space
- spectral
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空‑谱联合注意力网络的多光谱影像变化检测方法,其步骤为:1.构建训练集和测试集;2.将空间注意力模块和光谱注意力模块同时融入空‑谱特征提取网络,提取复杂场景下具有高可判别性和可区分性的空‑谱特征;3.使用多维度损失函数同时从光谱强度和光谱角度对空‑谱特征的相似性进行度量和对网络进行训练优化;4.将提取的空‑谱特征输入sigmoid层计算变化检测的结果;5.统计实验结果,计算多光谱影像变化检测的精度。本发明与现有方法相比,能够同时关注复杂背景下空间关键区域和地物光谱波段的可分性,提升了空‑谱特征的有效性;并进一步从光谱强度和光谱角度来度量空‑谱特征的相似性,提高了复杂场景下变化检测任务的精度。
Description
技术领域
本发明属于遥感信息处理技术领域,特别涉及一种多光谱的变化检测方法,可用于土地利用、植被覆盖、水资源以及矿产资源等领域的监测。
背景技术
多光谱影像的变化检测是指从同一场景、不同时相的两幅或多幅多光谱影像中提取出变化区域的过程,可以判断出场景内每一个像素或者目标是否发生变化,是识别多时相多光谱影像的差异性分析的主要方法。多光谱影像由于具有从可见光到红外光波段的多个接收频段,丰富的光谱信息增加了识别多种类型变化的可能性与可信度。因此多光谱影像已被广泛用于土地利用、植被覆盖、水资源以及矿产资源等方面的变化监测,这在环境监测、资源调查、城市规划和自然灾害评估等诸多领域具有重要意义。
变化检测方法分为两大类:传统的变化检测方法和基于深度的变化检测方法。传统的变化检测方法有基于代数、基于图像变换、基于分类的变化检测方法等。传统的变化检测方法大多数采用的对图像表现力比较差的手工特征。由于深度网络提取的特征更具有表达性,许多研究人员提出了多种基于深度学习的变化检测方法,如循环卷积神经网络(RCNN)、三维卷积神经网络(TDSSC)、基于光谱变换和联合光谱空间特征学习(STCD)网络、PCANet等,进一步推动了变化检测领域的发展。
虽然上述基于深度学习的变化检测算法取得了不错的结果,有的算法也同时考虑了图像空间与光谱信息的特征提取,但当场景复杂时,对关键变化区域和地物可分性波段的关注较少,这两个问题会影响提取空-谱特征的有效性。
发明内容
为了解决复杂场景下现有基于深度学习的变化检测方法对空间关键变化区域和地物可分性波段关注较少的问题,本文发明了一种基于空-谱联合注意力网络的多光谱影像变化检测方法。将空间注意力模块和光谱注意力模块同时融入空-谱特征提取网络,提取更加有效和更具有判别性的空-谱特征,同时从光谱强度和光谱角度对已提取的空-谱特征进行相似性度量,实现复杂场景下高精度高鲁棒的多光谱影像的变化检测。为实现上述方法,本发明的具体技术方案如下:
步骤1:数据准备。具体为:
步骤1.1:图像数据处理。本文所用的变化检测数据集包括HongqiCancal,Minfeng,每个数据集包含两张不同时期同一地点的图像数据,将两张图像数据按11*11的像素进行切块,得到形状为S×2×11×11×4(S为一张图像的数据大小,2代表两张图片,4为波段数)的图像数据;
步骤1.2:实验数据选取。根据图像块对应的标签信息,从步骤1.1得到的图像数据中取出change(全部):unchange(随机)=1:1作为新图像数据集,并取出其图像块对应的标签(0:unchange,1:change)作为新标签数据集;
步骤1.3:构建训练和测试数据集。将数据打乱,按照train:test=0.7:0.3,对数据集进行分割,得到训练数据集和测试数据集。
步骤2:构建空-谱联合注意力网络。将空间注意力模块和光谱注意力模块同时融入空-谱特征提取网络。具体技术如下:
步骤2.1:构建Siamese网络。同时将变化前后的图像块对输入由卷积层和池化层组成的Siamese网络,对图像块对进行特征提取,得到图像块对的特征F1和F2。Siamese结构设置为:①3×3卷积,输出形状为11×11×32;②3×3卷积,输出形状为11×11×64;③2×2池化,输出形状为5×5×64;④3×3卷积,输出形状为5×5×128;⑤3×3卷积,输出形状为5×5×128;⑥2×2池化,此时的输出形状为2×2×128;
光谱注意力模块采用双通道模式,将步骤2.1得到的图像块对特征F1和F2首先分别使用全局平均池化和全局最大池化;然后,将其输入共享网络,共享网络的卷积核大小分别为1×1和1×1,可以保证图像细节的获取;其次,将得到的两个通道的信息融合,得到基于光谱注意力的特征和其特征大小为1×1×128;最后,基于光谱注意力的特征和经过sigmoid函数将其函数值映射到0和1之间进行归一化。
首先,分别对特征和的特征维度求取均值与最大值;其次,将均值与最大值特征进行维度拼接;然后,使用7×7的卷积核提取空间关键区域特征,得到图像块的空-谱特征和其特征大小为2×2×128;最后,使用sigmoid函数对空-谱特征和进行归一化。
全连接层一共设计为二层。第一层设置256个神经元,第二层设置128个神经元,两层均使用relu激活函数拟合数据。
步骤3:构建多维度损失函数。空-谱注意力网络采用损失函数对网络进行训练优化,使其收敛。
步骤3.1:计算空-谱特征的损失。空-谱注意力网络的损失函数同时从光谱强度和光谱角度对空-谱特征进行相似性度量。具体技术如下:
1)从光谱强度的维度考虑,使用对比性损失函数与交叉熵损失函数。
其中,y的值代表输入图像的标签信息。y=1表示输入图像相似,而y=0表示输入图像不相似。d代表两个输入样本特征的距离。
对步骤2.5提取的最终空-谱特征F使用交叉熵损失函数,使模型预测值和标签值更加接近。交叉熵损失公式如下:
2)从光谱角度的维度考虑,使用光谱角余弦-欧氏距离计算损失。
其中A、B代表n维光谱向量,Ai、Bi代表第i个频段的光谱值。
因此,本文使用的总的损失函数为:
L=λ1L1+λ2L2+λ3L3
λ1,λ2,λ3分别为各损失函数的参数。在本发明设置了λ1,λ2,λ3分别为0.5,0.75,0.5。
步骤3.2:训练网络模型。通过步骤3.1已经构建的总损失函数对空-谱注意力网络进行训练,使用Adam优化器进行优化。其中,超参数初始学习率设为10-4,bitch_size为32,迭代次数为20次。
步骤4:计算变化检测结果和检测精度。将步骤2.5提取的最终空-谱特征F输入sigmoid层计算变化检测的结果,对检测结果进行统计得到光谱影像变化检测的精度。
本发明的有益效果:本发明针对现有基于深度学习的变化检测方法对空间关键变化区域和地物可分性波段关注较少的问题,发明了一种基于空-谱联合注意力网络的多光谱影像变化检测方法,同时从光谱强度和光谱角度对已提取的空-谱特征进行相似性度量,实现复杂场景下高精度高鲁棒的多光谱影像的变化检测。经验证,本发明在Hongqi和Minfeng数据集上的检测精度比现有变化检测方法都要好。
附图说明
图1为光谱注意力模块;
图2为空间注意力模块;
图3为基于空-谱联合注意力网络的空-谱特征提取网络模型;
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
步骤1:数据准备。将图像按像素分成11*11的图像块,取出相同数量的变化样本与未变化样本作为新图像数据集,并取出其图像块对应的标签作为新标签数据集;打乱数据集,按train:test=0.7:0.3,对数据集进行分割,构建训练数据集和测试数据集。
步骤2:提取空-谱特征。首先同时将变化前后的图像块对输入Siamese网络,对图像块对进行特征提取;然后使用光谱注意力模块进行地物可分性波段的自适应选择;其次使用空间注意力模块提取空间关键区域,得到图像块的空-谱特征;最后,对已提取的变化前后的图像的空-谱特征形状一维化并进行差分运算,并将差分空-谱特征输入全连接网络提取差分空-谱特征的隐含信息;同时分别从光谱强度和光谱角度计算空-谱特征的损失并对网络进行优化。参照图3,具体网络结构如下表所示:
表1 空-谱联合注意力网络各层的参数
步骤3:计算变化检测的结果。将步骤2得到的空-谱特征输入sigmoid层计算变化检测结果,并对检测结果进行统计得到光谱影像变化检测的精度。
步骤4:使用测试数据对模型进行评估。分别在Hongqi,Minfeng数据集上对OA,Kappa系数和AUC进行评价。Hongqi数据集的检测结果见表2,Minfeng数据集的检测结果见表3。
表2Hongqi数据集上各种算法的评价指标对比
表3Minfeng数据集上各种算法的评价指标对比
从表2和表3可以看出,发明的基于空-谱联合注意力网络的多光谱影像变化检测方法在Hongqi和Minfeng数据集上的检测精度与其他现有方法相比明显更好。
Claims (1)
1.一种基于空-谱联合注意力网络的多光谱影像变化检测方法,所述方法包括以下步骤:
步骤1:数据准备。具体为:
步骤1.1:图像数据处理:本文所用的变化检测数据集包括Hongqi Cancal,Minfeng,每个数据集包含两张不同时期同一地点的图像数据,将两张图像数据按11*11的像素进行切块,得到形状为S×2×11×11×4(S为一张图像的数据大小,2代表两张图片,4为波段数)的图像数据;
步骤1.2:实验数据选取:根据图像块对应的标签信息,从步骤1.1得到的图像数据中取出change(全部):unchange(随机)=1:1作为新图像数据集,并取出其图像块对应的标签(0:unchange,1:change)作为新标签数据集;
步骤1.3:构建训练和测试数据集:将数据打乱,按照train:test=0.7:0.3,对数据集进行分割,得到训练数据集和测试数据集。
步骤2:构建空-谱联合注意力网络。将空间注意力模块和光谱注意力模块同时融入空-谱特征提取网络,具体技术如下:
步骤2.1:构建Siamese网络:同时将变化前后的图像块对输入由卷积层和池化层组成的Siamese网络,对图像块对进行特征提取,得到图像块对的特征F1和F2。Siamese结构设置为:①3×3卷积,输出形状为11×11×32;②3×3卷积,输出形状为11×11×64;③2×2池化,输出形状为5×5×64;④3×3卷积,输出形状为5×5×128;⑤3×3卷积,输出形状为5×5×128;⑥2×2池化,此时的输出形状为2×2×128;
光谱注意力模块采用双通道模式,将步骤2.1得到的图像块对特征F1和F2首先分别使用全局平均池化和全局最大池化;然后,将其输入共享网络,共享网络的卷积核大小分别为1×1和1×1,可以保证图像细节的获取;其次,将得到的两个通道的信息融合,得到基于光谱注意力的特征和其特征大小为1×1×128;最后,基于光谱注意力的特征和经过sigmoid函数将其函数值映射到0和1之间进行归一化;
首先,分别对特征和的特征维度求取均值与最大值;其次,将均值与最大值特征进行维度拼接;然后,使用7×7的卷积核提取空间关键区域特征,得到图像块的空-谱特征和其特征大小为2×2×128;最后,使用sigmoid函数对空-谱特征和进行归一化;
全连接层一共设计为二层,第一层设置256个神经元,第二层设置128个神经元,两层均使用relu激活函数拟合数据。
步骤3:构建多维度损失函数。
步骤3.1:计算空-谱特征的损失,空-谱注意力网络的损失函数同时从光谱强度和光谱角度对空-谱特征进行相似性度量,具体技术如下:
1)从光谱强度的维度考虑,使用对比性损失函数与交叉熵损失函数:
其中,y的值代表输入图像的标签信息,y=1表示输入图像相似,而y=0表示输入图像不相似,d代表两个输入样本特征的距离;
对步骤2.5提取的最终空-谱特征F使用交叉熵损失函数,使模型预测值和标签值更加接近。交叉熵损失公式如下:
2)从光谱角度的维度考虑,使用光谱角余弦-欧氏距离计算损失:
其中A、B代表n维光谱向量,Ai、Bi代表第i个频段的光谱值;
因此,本文使用的总的损失函数为:
L=λ1L1+λ2L2+λ3L3
λ1,λ2,λ3分别为各损失函数的参数。在本发明设置了λ1,λ2,λ3分别为0.5,0.75,0.5;
步骤3.2:训练网络模型:通过步骤3.1已经构建的总损失函数对空-谱注意力网络进行训练,使用Adam优化器进行优化,其中,超参数初始学习率设为10-4,bitch_size为32,迭代次数为20次。
步骤4:计算变化检测结果和检测精度。将步骤2.5提取的最终空-谱特征F输入sigmoid层计算变化检测的结果,对检测结果进行统计得到光谱影像变化检测的精度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111515091.9A CN114398948A (zh) | 2021-12-13 | 2021-12-13 | 一种基于空-谱联合注意力网络的多光谱影像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111515091.9A CN114398948A (zh) | 2021-12-13 | 2021-12-13 | 一种基于空-谱联合注意力网络的多光谱影像变化检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114398948A true CN114398948A (zh) | 2022-04-26 |
Family
ID=81227540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111515091.9A Withdrawn CN114398948A (zh) | 2021-12-13 | 2021-12-13 | 一种基于空-谱联合注意力网络的多光谱影像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114398948A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272131A (zh) * | 2022-08-22 | 2022-11-01 | 苏州大学 | 基于自适应多光谱编码的图像去摩尔纹系统及方法 |
CN115410059A (zh) * | 2022-11-01 | 2022-11-29 | 山东锋士信息技术有限公司 | 基于对比损失的遥感图像部分监督变化检测方法及设备 |
CN115979973A (zh) * | 2023-03-20 | 2023-04-18 | 湖南大学 | 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法 |
CN116563571A (zh) * | 2023-05-16 | 2023-08-08 | 北京师范大学 | 基于玻尔兹曼熵相似性的高光谱图像波段选择方法及系统 |
CN117388198A (zh) * | 2023-10-31 | 2024-01-12 | 重庆大学 | 一种基于多源光谱融合的水质cod检测方法及检测设备 |
-
2021
- 2021-12-13 CN CN202111515091.9A patent/CN114398948A/zh not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272131A (zh) * | 2022-08-22 | 2022-11-01 | 苏州大学 | 基于自适应多光谱编码的图像去摩尔纹系统及方法 |
CN115272131B (zh) * | 2022-08-22 | 2023-06-30 | 苏州大学 | 基于自适应多光谱编码的图像去摩尔纹系统及方法 |
CN115410059A (zh) * | 2022-11-01 | 2022-11-29 | 山东锋士信息技术有限公司 | 基于对比损失的遥感图像部分监督变化检测方法及设备 |
CN115979973A (zh) * | 2023-03-20 | 2023-04-18 | 湖南大学 | 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法 |
CN116563571A (zh) * | 2023-05-16 | 2023-08-08 | 北京师范大学 | 基于玻尔兹曼熵相似性的高光谱图像波段选择方法及系统 |
CN116563571B (zh) * | 2023-05-16 | 2023-11-21 | 北京师范大学 | 基于玻尔兹曼熵相似性的高光谱图像波段选择方法及系统 |
CN117388198A (zh) * | 2023-10-31 | 2024-01-12 | 重庆大学 | 一种基于多源光谱融合的水质cod检测方法及检测设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
CN114398948A (zh) | 一种基于空-谱联合注意力网络的多光谱影像变化检测方法 | |
Huang et al. | Hyperspectral remote sensing image change detection based on tensor and deep learning | |
Ou et al. | A CNN framework with slow-fast band selection and feature fusion grouping for hyperspectral image change detection | |
CN110008948B (zh) | 基于变分自编码网络的高光谱图像目标检测方法 | |
CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
CN112101381A (zh) | 张量协作图判别分析遥感图像特征提取方法 | |
CN111368691B (zh) | 无监督高光谱遥感图像空谱特征提取方法 | |
CN103208011B (zh) | 基于均值漂移和组稀疏编码的高光谱图像空谱域分类方法 | |
CN107992891A (zh) | 基于光谱矢量分析多光谱遥感图像变化检测方法 | |
CN105989597B (zh) | 基于像素选择过程的高光谱图像异常目标检测方法 | |
CN111008664A (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
Li et al. | An object-oriented CNN model based on improved superpixel segmentation for high-resolution remote sensing image classification | |
CN112733736A (zh) | 基于增强过采样的类别不平衡高光谱图像分类方法 | |
CN112766223A (zh) | 基于样本挖掘与背景重构的高光谱图像目标检测方法 | |
Yang et al. | Fully automated classification method for crops based on spatiotemporal deep-learning fusion technology | |
CN116664954A (zh) | 基于图卷积与卷积融合的高光谱地物分类方法 | |
Tu et al. | Feature extraction using multidimensional spectral regression whitening for hyperspectral image classification | |
CN113850769B (zh) | 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法 | |
CN116091911A (zh) | 一种地震勘探工区建筑物自动识别方法及系统 | |
CN113421198A (zh) | 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法 | |
CN112784777A (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 | |
CN113887656B (zh) | 一种联合深度学习与稀疏表示的高光谱图像分类方法 | |
Guo et al. | Hyperspectral image classification based on stacked contractive autoencoder combined with adaptive spectral-spatial information | |
Pan et al. | An efficient algorithm for hyperspectral image clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220426 |
|
WW01 | Invention patent application withdrawn after publication |