CN113379859B - 一种基于全卷积级联自编码器的高光谱异常检测方法 - Google Patents

一种基于全卷积级联自编码器的高光谱异常检测方法 Download PDF

Info

Publication number
CN113379859B
CN113379859B CN202110621623.0A CN202110621623A CN113379859B CN 113379859 B CN113379859 B CN 113379859B CN 202110621623 A CN202110621623 A CN 202110621623A CN 113379859 B CN113379859 B CN 113379859B
Authority
CN
China
Prior art keywords
encoder
layer
decoder
decoding
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110621623.0A
Other languages
English (en)
Other versions
CN113379859A (zh
Inventor
孙帮勇
赵哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110621623.0A priority Critical patent/CN113379859B/zh
Publication of CN113379859A publication Critical patent/CN113379859A/zh
Application granted granted Critical
Publication of CN113379859B publication Critical patent/CN113379859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全卷积级联自编码器的高光谱异常检测方法，步骤包括：1)通过第一个编码器进行编码；2)通过第一个解码器进行解码；3)通过第二个编码器进行编码，第二个编码器把第一个重构图像编码成第二个潜在特征；4)通过第二个解码器进行解码，第二个解码器将第二个潜在特征解码成第二个重构图像；5)用马氏距离在第二个重构图像上确定每一个像素的异常值，网络收敛后得到第二个重构数据并拉伸成二维矩阵，用马氏距离进行异常检测，最终得到2D检测结果图。本发明方法通过全卷积级联自编码网络来进行高光谱异常目标检测，克服了单一自编码器非凸的缺陷，从而使得网络能够更好的找到全局最优解。

Description

一种基于全卷积级联自编码器的高光谱异常检测方法
技术领域
本发明属于高光谱影像处理技术领域，涉及一种基于全卷积级联自编码器的高光谱异常检测方法。
背景技术
随着航天技术的快速发展，对地遥感已成为人类观测地球的重要方式。高光谱成像技术结合了光谱技术和成像技术，所获取的高光谱影像是一个三维的数据立方体。从空间域上观测，可以看成一系列二维图像的堆叠；从光谱维上分析，可以看作是地物对不同波段的辐射和反射。丰富的光谱信息为目标识别和检测，场景分类、语义分割等提供了有力支撑，所以高光谱影像处理和分析广泛地应用于军工、农业、工业等领域。
高光谱影像异常目标检测是指检测出与周围参考背景分布具有显著差异，并且在空间上分布比较稀疏和出现概率较低的目标。现有高光谱异常检测算法粗略的分为基于深度学习的方法和传统方法。传统方法主要从背景与异常目标的分布特点出发，来进行异常检测。作为异常检测的基准算法，RX算法假设背景服从多元正态分布，通过计算待检测像素与背景之间的马氏距离来确定每个像素的异常程度。由于假设的背景中包括噪声和异常目标，所以RX算法检测精度有限，后续有大量基于RX的改进算法，如：LRX、WRX、KRX等。Li等认为背景像素可以由周围像素线性表示，而异常像素很难由周围像素表示，从而具有较大的表示误差。所以CRD算法通过滑动双窗口来表示每一个像素，最后通过表示误差来进行异常检测。由于双窗口易受异常像素污染，所以CRD算法检测结果不够稳定。由于遥感影像的高冗余性，所以背景像素大都具有低秩属性，而异常像素稀疏分布在背景中。基于此，LRASR算法通过字典学习和低秩矩阵分解来进行异常检测。近年来，深度学习方法也被引入到高光谱影像处理领域。Sertac等结合自编码器(AE)和生成对抗网络(GAN)来进行高光谱异常检测。Xie等先通过形态学滤波处理原始高光谱数据，将其粗略的分为背景和异常，然后用背景样本训练自编解码器，在训练过程中通过GAN来约束潜在特征以及重构图像，进一步保证背景能够被很好的重构出来，而异常具有较大的重构误差，最后通过马氏距离在重构的图像上检测得到初始检测结果，再融合形态学处理的结果得到最终结果。
现有基于深度学习的方法虽然取得了较好的检测精度，但是算法复杂度过高，处理步骤繁琐，而且大多数基于AE的方法仅利用了潜在特征，没有利用到自编码提取的中间层特征，所以检测精度有一定的提升空间。
发明内容
本发明的目的是提供一种基于全卷积级联自编码器的高光谱异常检测方法，解决了现有技术中高光谱异常检测算法难以有效利用中间层特征，以及算法繁琐、复杂度高的问题。
本发明的技术方案是，一种基于全卷积级联自编码器的高光谱异常检测方法，按照以下步骤具体实施：
步骤1、通过第一个编码器进行编码；
步骤2、通过第一个解码器进行解码；
步骤3、通过第二个编码器进行编码，第二个编码器与第一个编码器的结构一致，第二个编码器把第一个重构图像
Figure BDA0003099818310000021
编码成第二个潜在特征
Figure BDA0003099818310000031
其大小与第一个潜在特征相同；
步骤4、通过第二个解码器进行解码，第二个解码器将第二个潜在特征解码成第二个重构图像
Figure BDA0003099818310000032
步骤5、用马氏距离在第二个重构图像上确定每一个像素的异常值，本步骤涉及的损失函数表示如下：
Figure BDA0003099818310000033
其中，N表示输入影像的总像素数目，
Figure BDA0003099818310000034
和
Figure BDA0003099818310000035
分别表示第一个重构影像、第二个重构影像、第一个潜在特征以及第二个潜在特征的第i个像素，β表示调节参数；
当网络收敛后，得到第二个重构数据
Figure BDA0003099818310000036
把
Figure BDA0003099818310000037
拉伸成二维矩阵
Figure BDA0003099818310000038
N＝W×H，通过在
Figure BDA0003099818310000039
上用马氏距离进行异常检测，具体表达式为：
Figure BDA00030998183100000310
其中，
Figure BDA00030998183100000311
表示
Figure BDA00030998183100000312
的第i个样本，μD×1表示
Figure BDA00030998183100000313
的均值向量，
Figure BDA00030998183100000314
表示协方差矩阵的逆，Map表示最终的2D检测结果图。
本发明的有益效果是：1)本发明通过两个级联的自编码器来提取高光谱影像的特征，从而克服了单一自编码器是非凸模型、难以找到最优解这一缺陷。2)本发明通过跳跃连接，将编码器提取的潜层特征与解码器提取的深层特征融合，从而能够有效的利用中间层特征，进一步挖掘数据的内在结构信息，从而更好的表达背景。3)本发明采用注意力机制来表达不同波段对图像重构的贡献，从而强调感兴趣区域，有利于区分背景和异常。
附图说明
图1是本发明方法采用的算法流程简图；
图2是本发明方法采用的注意力模块简图；
图3是本发明方法采用的全卷积模块简图；
图4a是实施例的AVIRIS数据集，图4b是AVIRIS数据集标签，图4c是RX方法的处理结果图，图4d是LRX方法的处理结果图，图4e是CRD方法的处理结果图，图4f是LRASR方法的处理结果图，图4g是RPCA-RX方法的处理结果图，图4h是本发明方法的处理结果图；
图5是采用现有异常检测算法RX、LRX、CRD、LRASR、RPCARX以及本发明算法对高光谱异常目标进行检测的ROC曲线对比图；
图6是采用现有异常检测算法RX、LRX、CRD、LRASR、RPCARX以及本发明算法对高光谱异常目标进行检测的AUC值对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明方法的整体思路是，先把原始高光谱影像送入到第一个自编码器，在第一个解码器解码过程中通过跳跃连接把第一个编码器提取到的浅层特征融合到对应解码位置解码，从而得到第一个重构图像。把第一个重构图像送入到第二个自编码器，同样在解码过程中把第一个编码器提取的特征和第二个编码器提取的特征通过跳跃连接送入到第二个解码器对应位置解码，得到第二个重构图像；最后通过在第二个重构图像上用马氏距离来确定每一个像素的异常程度。
本发明的方法，按照以下步骤具体实施：
步骤1、通过第一个编码器进行编码，
假设输入原始高光谱影像为
Figure BDA0003099818310000041
其中的上角标W、H和D分别表示高光谱影像的宽、高和波段数，
参照图1，第一个编码器设置有八层，每一层是一个全卷积模块，见图3，每个全卷积模块由卷积层、BN层组成，其中卷积层的卷积核大小为1×1，步长为1，填充为0，BN层由BatchNorm2d、Dropout、LeakReLu组成，从输入到第八层输出的通道数变化为：输入通道数→156→128→128→72→72→64→64→30，第八层的输出称之为第一个潜在特征，其大小为：
Figure BDA0003099818310000051
步骤2、通过第一个解码器进行解码，
参照图1，第一个解码器的作用是将第一个潜在特征解码成第一个重构图像，与编码过程类似，其解码过程中的通道数变化依次为：30→64→64→72→72→128→128→156→输入通道数；
为了有效的利用中间层特征，本步骤通过跳跃连接将对应编码层的特征与解码层的特征进行Add相加，同时为了考虑不同波段对重构过程的贡献，在第十一层、十三层以及十五层的输出后面加上一个注意力模块，见图2，注意力模块的操作过程表示如下：
Fout＝Add(conv11(Fin),matmul(conv11(Fin),Sigmoid(FC(ReLu(FC(maxpool(conv11(Fin))))))))
其中，Add、Fout、Fin、matmul、maxpool、FC、conv11分别表示特征像素相加、输出特征矩阵、输入特征矩阵、对应元素相乘、最大池化、全连接层以及1×1卷积；Sigmoid和ReLu表示两种激活函数；
经过第一个解码器之后，得到第一个重构图像
Figure BDA0003099818310000052
其大小与输入图像相同；
步骤3、通过第二个编码器进行编码，
参照图1，第二个编码器与第一个编码器的结构一致，第二个编码器把第一个重构图像
Figure BDA0003099818310000053
编码成第二个潜在特征
Figure BDA0003099818310000054
其大小与第一个潜在特征相同；
步骤4、通过第二个解码器进行解码，
参照图1，第二个解码器将第二个潜在特征解码成第二个重构图像
Figure BDA0003099818310000061
与第一个解码器类似，通过跳跃连接将第一个编码器的输出以及第二个编码器的输出加到第二个解码器的对应位置进行解码，同样在第十一层、十三层以及十五层的输出后面加上一个注意力模块；
步骤5、用马氏距离在第二个重构图像上确定每一个像素的异常值，本步骤涉及的损失函数表示如下：
Figure BDA0003099818310000062
其中，N表示输入影像的总像素数目，
Figure BDA0003099818310000063
和
Figure BDA0003099818310000064
分别表示第一个重构影像、第二个重构影像、第一个潜在特征以及第二个潜在特征的第i个像素，β表示调节参数，在本步骤中β＝0.5；
当网络收敛后，得到第二个重构数据
Figure BDA0003099818310000065
把
Figure BDA0003099818310000066
拉伸成二维矩阵
Figure BDA0003099818310000067
N＝W×H，通过在
Figure BDA0003099818310000068
上用马氏距离进行异常检测，具体表达式为：
Figure BDA0003099818310000069
其中，
Figure BDA00030998183100000610
表示
Figure BDA00030998183100000611
的第i个样本，μD×1表示
Figure BDA00030998183100000612
的均值向量，
Figure BDA00030998183100000613
表示协方差矩阵的逆，Map表示最终的2D检测结果图。
本发明方法的技术效果通过以下仿真实验进一步说明。
1)仿真条件：
本发明的仿真条件基于Intel(R)Xeon(R)CPU、GeForce RTX2080Ti GPU内存大小为256G的硬件环境，采用Pytorch深度学习框架、Python3.7.9和Matlab2018b软件环境。
2)仿真内容与结果分析：
仿真1，参照图4中的八个子图，是采用现有异常检测算法(例如RX、LRX、CRD、LRASR、RPCARX)以及本发明算法对高光谱异常目标的检测结果图，八个子图的表达内容如下：
图4a为德克萨斯州海岸数据集的伪彩色图，图4a数据集的大小为100×100×207。图4b为图4a所示数据集对应的标签信息，主要由一些建筑物组成，图4b图像大小为100×100，图4b中的黑色表示背景信息，白色表示异常目标。图4c表示RX算法在对数据集图4a的检测结果。图4d表示LRX算法在对数据集图4a的检测结果。图4e表示CRD算法在对数据集图4a的检测结果。图4f表示LRASR算法在对数据集图4a的检测结果。图4h表示RPCARX算法在对数据集图4a的检测结果。图4g表示本发明算法在对数据集图4a的检测结果。
由以上检测结果明显看出，相比于本发明算法，其他异常检测算法存在漏检情况，或者不能很好地检测出异常目标，而本发明算法在抑制背景的同时能够很好的检测出异常目标，检测结果图也是最接近标签图像。
仿真2，参照图5，是采用现有异常检测算法RX、LRX、CRD、LRASR、RPCARX以及本发明算法检测结果的ROC曲线图，曲线越靠近左上角，表明检测性能越好。
由ROC曲线可以看出，相比于其它对比算法，本发明算法的ROC曲线包围了其它算法的曲线，这表明本发明算法在检测出目标的同时能够很好地抑制背景。
仿真3，参照图6，是采用现有异常检测算法RX、LRX、CRD、LRASR、RPCARX以及本发明算法对高光谱异常目标的检测结果的AUC值，AUC值越大表明算法性能越优，本发明算法的AUC值为0.9991，远高于其它对比算法的AUC值，再次说明本发明算法的优越性。
综上所述，本发明方法通过全卷积级联自编码网络来进行高光谱异常目标检测，克服了单一自编码器非凸的缺陷，从而使得网络能够更好的找到全局最优解；跳跃连接的使用使得网络能够更好的利用到中间层特征，从而挖掘高光谱影像的丰富信息；同时考虑到不同波段对重构任务的不同贡献，通道注意力机制进一步提升网络性能，最后通过实验定性和定量分析，证明了本发明算法的优越性。

Claims (3)

1.一种基于全卷积级联自编码器的高光谱异常检测方法，其特征在于，按照以下步骤具体实施：
步骤1、通过第一个编码器进行编码，
具体过程是，
假设输入原始高光谱影像为
Figure FDA0003897023560000011
其中的上角标W、H和D分别表示高光谱影像的宽、高和波段数；
第一个编码器设置有八层，每一层是一个全卷积模块，每个全卷积模块由卷积层、BN层组成，其中卷积层的卷积核大小为1×1，步长为1，填充为0，BN层由BatchNorm2d、Dropout、LeakReLu组成，从输入到第八层输出的通道数变化为：输入通道数→156→128→128→72→72→64→64→30，第八层的输出称之为第一个潜在特征，其大小为：
Figure FDA0003897023560000012
步骤2、通过第一个解码器进行解码，
具体过程是，
第一个解码器的作用是将第一个潜在特征解码成第一个重构图像，与编码过程类似，其解码过程中的通道数变化依次为：30→64→64→72→72→128→128→156→输入通道数；
本步骤通过跳跃连接将对应编码层的特征与解码层的特征进行Add相加，同时为了考虑不同波段对重构过程的贡献，在第十一层、十三层以及十五层的输出后面加上一个注意力模块，注意力模块的操作过程表示如下：
Fout＝Add(conv11(Fin),matmul(conv11(Fin),Sigmoid(FC(ReLu(FC(maxpool(conv11(Fin))))))))
其中，Add、Fout、Fin、matmul、maxpool、FC、conv11分别表示特征像素相加、输出特征矩阵、输入特征矩阵、对应元素相乘、最大池化、全连接层以及1×1卷积；Sigmoid和ReLu表示两种激活函数；
经过第一个解码器之后，得到第一个重构图像
Figure FDA0003897023560000021
其大小与输入图像相同；
步骤3、通过第二个编码器进行编码，第二个编码器与第一个编码器的结构一致，第二个编码器把第一个重构图像
Figure FDA0003897023560000022
编码成第二个潜在特征
Figure FDA0003897023560000023
其大小与第一个潜在特征相同；
步骤4、通过第二个解码器进行解码，第二个解码器将第二个潜在特征解码成第二个重构图像
Figure FDA0003897023560000024
步骤5、用马氏距离在第二个重构图像上确定每一个像素的异常值，本步骤涉及的损失函数表示如下：
Figure FDA0003897023560000025
其中，N表示输入影像的总像素数目，
Figure FDA0003897023560000026
表示第一个重构影像的第i个像素、
Figure FDA0003897023560000027
表示第二个重构影像的第i个像素、
Figure FDA0003897023560000028
表示第一个潜在特征的第i个像素，
Figure FDA0003897023560000029
表示第二个潜在特征的第i个像素，β表示调节参数；
当网络收敛后，得到第二个重构数据
Figure FDA00038970235600000210
把
Figure FDA00038970235600000211
拉伸成二维矩阵
Figure FDA00038970235600000212
N＝W×H，通过在
Figure FDA00038970235600000213
上用马氏距离进行异常检测，具体表达式为：
Figure FDA00038970235600000214
其中，
Figure FDA00038970235600000215
表示
Figure FDA00038970235600000216
的第i个样本，μD×1表示
Figure FDA00038970235600000217
的均值向量，
Figure FDA00038970235600000218
表示协方差矩阵的逆，Map表示最终的2D检测结果图。
2.根据权利要求1所述的基于全卷积级联自编码器的高光谱异常检测方法，其特征在于：所述的步骤4中，与第一个解码器类似，通过跳跃连接将第一个编码器的输出以及第二个编码器的输出加到第二个解码器的对应位置进行解码，同样在第十一层、十三层以及十五层的输出后面加上一个注意力模块。
3.根据权利要求1所述的基于全卷积级联自编码器的高光谱异常检测方法，其特征在于：所述的步骤5中，β＝0.5。
CN202110621623.0A 2021-06-03 2021-06-03 一种基于全卷积级联自编码器的高光谱异常检测方法 Active CN113379859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110621623.0A CN113379859B (zh) 2021-06-03 2021-06-03 一种基于全卷积级联自编码器的高光谱异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110621623.0A CN113379859B (zh) 2021-06-03 2021-06-03 一种基于全卷积级联自编码器的高光谱异常检测方法

Publications (2)

Publication Number Publication Date
CN113379859A CN113379859A (zh) 2021-09-10
CN113379859B true CN113379859B (zh) 2022-11-18

Family

ID=77575768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110621623.0A Active CN113379859B (zh) 2021-06-03 2021-06-03 一种基于全卷积级联自编码器的高光谱异常检测方法

Country Status (1)

Country Link
CN (1) CN113379859B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法
CN112434571A (zh) * 2020-11-09 2021-03-02 西安理工大学 一种基于注意力自编码网络的高光谱异常检测方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861143B2 (en) * 2017-09-27 2020-12-08 Korea Advanced Institute Of Science And Technology Method and apparatus for reconstructing hyperspectral image using artificial intelligence

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法
CN112434571A (zh) * 2020-11-09 2021-03-02 西安理工大学 一种基于注意力自编码网络的高光谱异常检测方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于近似后验信息的高光谱异常检测;王强辉等;《光谱学与光谱分析》;20200807(第08期);全文 *
深度迁移学习在高光谱遥感图像分类中的研究现状与展望;刘小波等;《青岛科技大学学报(自然科学版)》;20190527(第03期);全文 *

Also Published As

Publication number Publication date
CN113379859A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
Palsson et al. Hyperspectral unmixing using a neural network autoencoder
Rao et al. Transferable network with Siamese architecture for anomaly detection in hyperspectral images
Singhal et al. Discriminative robust deep dictionary learning for hyperspectral image classification
Xiang et al. Hyperspectral anomaly detection by local joint subspace process and support vector machine
CN112131421A (zh) 医学图像分类方法、装置、设备及存储介质
Das Hyperspectral image, video compression using sparse tucker tensor decomposition
CN112434571A (zh) 一种基于注意力自编码网络的高光谱异常检测方法
Liu et al. Spatial–spectral locality-constrained low-rank representation with semi-supervised hypergraph learning for hyperspectral image classification
US20240161251A1 (en) Image denoising method and apparatus based on wavelet high-frequency channel synthesis
Szlobodnyik et al. Data augmentation by guided deep interpolation
Zhang et al. Hyperspectral anomaly detection based on spectral–spatial background joint sparse representation
Zhang et al. Anomaly detection in hyperspectral image using 3D-convolutional variational autoencoder
CN112215267A (zh) 一种面向高光谱图像的深度空谱子空间聚类方法
Wang et al. Classification of PolSAR image using neural nonlocal stacked sparse autoencoders with virtual adversarial regularization
Shen et al. Hyperspectral target detection based on interpretable representation network
Zhang et al. CAST: A CAscade Spectral aware Transformer for Hyperspectral Image Change Detection
Pan et al. A self-attentive hybrid coding network for 3D change detection in high-resolution optical stereo images
CN113379859B (zh) 一种基于全卷积级联自编码器的高光谱异常检测方法
Martinez et al. Ld-GAN: Low-dimensional generative adversarial network for spectral image generation with variance regularization
Wu et al. Cross-supervised learning for cloud detection
Singh et al. A Pre-processing framework for spectral classification of hyperspectral images
Huang et al. Image Inpainting with Bilateral Convolution
Pande et al. Attention based convolution autoencoder for dimensionality reduction in hyperspectral images
Xia et al. Embedded conformal deep low-rank auto-encoder network for matrix recovery
CN114627370A (zh) 一种基于transformer特征融合的高光谱影像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant