CN114445720B - 基于空谱深度协同的高光谱异常检测方法 - Google Patents

基于空谱深度协同的高光谱异常检测方法 Download PDF

Info

Publication number
CN114445720B
CN114445720B CN202111539339.5A CN202111539339A CN114445720B CN 114445720 B CN114445720 B CN 114445720B CN 202111539339 A CN202111539339 A CN 202111539339A CN 114445720 B CN114445720 B CN 114445720B
Authority
CN
China
Prior art keywords
hyperspectral
anomaly detection
encoder
spatial
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111539339.5A
Other languages
English (en)
Other versions
CN114445720A (zh
Inventor
谢卫莹
马纪涛
蒋恺
雷杰
李云松
卢天恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111539339.5A priority Critical patent/CN114445720B/zh
Publication of CN114445720A publication Critical patent/CN114445720A/zh
Application granted granted Critical
Publication of CN114445720B publication Critical patent/CN114445720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于空谱深度协同的高光谱异常检测方法，实现步骤为：(1)输入高光谱图像进行预处理；(2)基于空谱深度协同的高光谱异常检测模型；(3)对高光谱异常检测模型进行迭代训练；(4)获取高光谱图像的异常检测结果。本发明利用二维卷积的自编码网络提取空间特征信息，利用增广自编码器生成空间特征和光谱的低维表征，利用空谱深度协同的特征融合器生成增广低维表征，结合估计网络进行端到端的联合优化，使用最大似然估计法得到高光谱图像各像素的异常程度，充分利用了高光谱图像中的光谱信息和空间特征信息，提高了高光谱异常检测的精度。

Description

基于空谱深度协同的高光谱异常检测方法
技术领域
本发明属于图像处理技术领域，涉及一种高光谱图像异常检测方法，具体涉及一种基于空谱深度协同的高光谱异常检测方法，可应用于深空探测、地球观测和异常检测领域。
背景技术
随着成像光谱技术的迅速发展，高光谱遥感在异常检测、地球观测和深空探测等领域中得到了广泛应用。高光谱图像是立体图像，包含高、宽和波段三个维度，涵盖数十至数百个连续且细分的光谱频段，具有丰富的信息，能充分的反映样品内部的物理结构和化学成分的差异，同时结合图像空间信息，可以反应样本大小、形状等外部特征。高光谱图像异常检测是指将图像中的背景和异常区分的技术，背景可以用周围像素或光谱向量表示，而异常通常指无法用周围像素或光谱向量表示的区域，异常区域一般远小于背景区域，如图像中的船舶、车辆或飞机等与背景有较大差异的目标。基于高光谱图像的异常检测能更容易区分异常区域和背景区域，分辨人眼难以观察到的异常目标，对于深空探测等缺少先验知识的场景具有十分重要的意义。如何提高高光谱图像异常检测的精度是高光谱异常检测的难点和要点，衡量高光谱图像异常检测精度的指标主要是(TPR,FPR)的ROC曲线下面积，值越大表示结果越好，以及(FPR,τ)的ROC曲线下面积，值越小表示结果越好。
高光谱异常检测方法分为传统的检测方法和基于深度学习的高光谱异常检测方法两类。传统的检测方法基于模型驱动，但由于传统方法基于人工的先验知识设计，难以提取深层的低维表征，因此无法构造一个有效的、分层的、抽象的和高层次的背景模型，在高光谱异常检测上提供的性能和泛化性有限。
近年来，基于深度学习的高光谱异常检测被广泛关注，深度学习能有效提取高光谱图像的隐含表征，针对不同场景图像不需要特定的参数，表达能力和泛化性更强。因此，有很多学者对其进行了研究，例如蒋恺等人于2020年在IEEE Transactions onCybernetics上发表的“E2E-LIADE:End-to-End Local Invariant Autoencoding DensityEstimation Model for Anomaly Target Detection in Hyperspectral Image”，提出了一种基于端到端的本地不变自编码密度估计模型的高光谱异常检测方法，即E2E-LIADE方法，该方法通过本地不变自编码器用于提取高光谱向量的深层低维表征，利用估计网络和高斯混合模型对高光谱向量分类，最后计算各光谱向量的负对数似然值作为异常程度，该方法虽然具有更好的检测精度和泛化性，但在训练过程中只考虑了光谱向量的特征，影响了检测精度的进一步提升。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于空谱深度协同的高光谱异常检测方法，用于解决现有技术存在的检测精度较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)对输入的高光谱图像进行预处理：
对高光谱图像
Figure GDA0004191284160000021
进行归一化操作，得到归一化后的高光谱二维图像/>
Figure GDA0004191284160000022
同时通过二维卷积自编码网络对高光谱图像X进行特征提取，并对所提取的空间特征/>
Figure GDA0004191284160000023
进行归一化操作，得到归一化后的空间特征/>
Figure GDA0004191284160000024
其中，M、N和B分别表示X的行像素数、列像素数和光谱波段数，/>
Figure GDA0004191284160000025
表示实数集，i＝1,2,...,L，L＝M×N，D表示空间特征的波段数，xi表示第i个像素，x′i表示xi对应的归一化结果，yi表示xi对应的空间特征，y′i表示yi对应的归一化后的空间特征；
(2)构建基于空谱深度协同的高光谱异常检测模型O：
(2a)构建基于空谱深度协同的高光谱异常检测模型O的结构：
构建包括级联的增广自编码器、空谱深度协同的特征融合器和估计网络Est(·)的高光谱异常检测模型O，其中：
增广自编码器包括并行排布的光谱自编码器和空间特征自编码器，其中，光谱自编码器包括参数为θen1的编码器En(·；θen1)和参数为θde1的解码器Dn(·；θde1)，空间特征自编码器包括参数为θen2的编码器En(·；θen2)和参数为θde2的解码器Dn(·；θde2)，En(·；θen1)、Dn(·；θde1)、En(·；θen2)和Dn(·；θde2)采用包含多个通道数不同的全连接层和tanh激活函数的神经网络；
估计网络采用包含多个通道数不同的全连接层和tanh激活函数、参数为θest的神经网络；
(2b)定义高光谱异常检测模型O的损失函数Loss：
Figure GDA0004191284160000031
Figure GDA0004191284160000032
Figure GDA0004191284160000033
Figure GDA0004191284160000034
Figure GDA0004191284160000035
其中，λ1、λ2和λ3表示超参数，zi表示xi对应的增广低维表征，E(zi)表示zi的负对数似然值，
Figure GDA0004191284160000036
表示x′i对应的重构矩阵，/>
Figure GDA0004191284160000037
表示y′i对应的重构矩阵，ri表示zi对应的混合概率，K表示高斯分布混合分量数，/>
Figure GDA0004191284160000038
和/>
Figure GDA0004191284160000039
分别表示第k个高斯混合分量的混合权重、均值和协方差矩阵，k＝1,2,...,K，K≥2，rik表示ri的第k列的元素，J表示协方差矩阵/>
Figure GDA00041912841600000310
的行数，
Figure GDA00041912841600000311
表示/>
Figure GDA00041912841600000312
的第j行第j列的元素，||·||表示1范数，|·|表示求行列式运算，(·)T表示转置运算，(·)-1表示求逆运算；
(3)对高光谱异常检测模型O进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥20，当前高光谱异常检测模型为Ot，并令t＝0，Ot＝O；
(3b)将归一化后的高光谱二维图像X′和空间特征Y'作为高光谱异常检测模型Ot的输入进行前向传播：
(3b1)增广自编码器中的光谱自编码器、空间特征自编码器分别对X′、Y'进行降维，得到X′对应的低维表征
Figure GDA0004191284160000041
和重构矩阵
Figure GDA0004191284160000042
以及Y'对应的低维表征/>
Figure GDA0004191284160000043
和重构矩阵/>
Figure GDA0004191284160000044
其中，cxi表示x′i对应的低维表征，cyi表示y′i对应的低维表征，H表示低维表征的波段数；
(3b2)空谱深度协同的特征融合器对X′对应的低维表征Cx和重构矩阵
Figure GDA0004191284160000045
以及Y'对应的低维表征Cy和重构矩阵/>
Figure GDA0004191284160000046
进行特征融合，得到增广低维表征
Figure GDA0004191284160000047
zi的表达式为：
Figure GDA0004191284160000048
其中，α表示超参数，[·]表示按照波段维度堆叠，MSE(·)表示均方误差,OPD(·)表示正交投影散度；
(3b3)估计网络对增广低维表征Z进行密度估计，得到Z对应的混合概率
Figure GDA0004191284160000049
(3c)采用损失函数Loss，并代入增广低维表征Z和混合概率R计算当前高光谱异常检测模型Ot的损失值，再采用BP算法，通过损失值计算Ot的梯度信息grad，再采用学习率为1e-4的Adma优化器，通过梯度信息grad对参数θen1、θde1、θen2、θde2和θest进行优化并更新；
(3d)判断t＝T是否成立，若是，得到训练好的高光谱异常检测模型O*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取高光谱图像的异常检测结果：
计算每个增广低维表征zi对应的负对数似然值E(zi)，并将E(zi)作为Z对应的高光谱图像X中第i个像素xi的异常程度，得到X的异常检测结果
Figure GDA0004191284160000051
本发明与现有的技术相比，具有以下优点：
第一，本发明所构建的高光谱异常检测模型包括空谱深度协同的特征融合器，在对该模型进行训练以及获取高光谱图像的异常检测结果的过程中，空谱深度协同的特征融合器能够实现对归一化后的高光谱二维图像对应的低维表征和重构矩阵，以及归一化后的空间特征对应的低维表征和重构矩阵进行特征融合，得到的增广空谱低维表征在保持高光谱图像光谱特征信息的同时也保留了充分的空间特征信息，避免了现有技术中仅考虑光谱向量的特征对检测精度的影响，有效提高了异常程度的检测精度。
第二，本发明所构建的二维卷积自编码网络，在对高光谱图像进行空间特征提取的过程中，能够提取到高光谱图像的空间上下文特征，同时降低维度，保留了大部分空间特征。
附图说明
图1是本发明的实现流程图；
图2是本发明与现有技术检测精度的仿真对比图。
具体实施方式
以下结合附图和具体实例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)对输入的高光谱图像进行预处理：
对高光谱图像
Figure GDA0004191284160000052
进行归一化操作，得到归一化后的高光谱二维图像/>
Figure GDA0004191284160000053
同时通过二维卷积自编码网络对高光谱图像X进行特征提取，并对所提取的空间特征/>
Figure GDA0004191284160000054
进行归一化操作，得到归一化后的空间特征/>
Figure GDA0004191284160000055
其中，M、N和B分别表示X的行像素数、列像素数和光谱波段数，/>
Figure GDA0004191284160000056
表示实数集，i＝1,2,...,L，L＝M×N，D表示空间特征的波段数，xi表示第i个像素，x′i表示xi对应的归一化结果，yi表示xi对应的空间特征，y′i表示yi对应的归一化后的空间特征；
高光谱图像在进行处理时一般会先对其进行归一化操作，为了保证高光谱异常检测结果的精度，本实例中，对X和Y使用的归一化公式为：
Figure GDA0004191284160000061
Figure GDA0004191284160000062
其中min(·)表示求最小值，max(·)表示求最大值。
高光谱图像空间特征提取的方法有多种，主要分为传统方法和基于深度学习的方法，基于深度学习的方法提取到的空间特征的表征能力更强，因此本发明使用基于深度学习的方法，二维卷积以滑窗的方式对整幅高光谱图像进行运算，可以得到高光谱图像的空间上下文特征，基于自编码网络进行特征提取是基于深度学习进行特征提取的常用方法，因此本发明通过二维卷积的自编码网络可以有效的提取高光谱图像的空间特征，本实例中，具体的空间特征提取的步骤为：
(1a)构建二维卷积的自编码网络P，其中：
包括第一层二维卷积层Conv1(·)，其卷积核大小为3×3，输入输出通道数为[B,D]，填充模式为same，激活函数为tanh函数，参数为θconv1，第二层二维卷积层Conv2(·)，其卷积核大小为3×3，输入输出通道数为[D,B]，填充模式为same，参数为θconv2。
(1b)定义二维卷积的自编码网络P的损失函数为Losss：
Losss＝MSE(X,Xs)
其中，MSE(·)表示均方误差，Xs表示X的重构矩阵，
Figure GDA0004191284160000063
(1c)对二维卷积的自编码网络P进行迭代训练：
(1c1)初始化迭代次数为q，最大迭代次数为Q，Q≥20，当前二维卷积的自编码网络为Pq，并令q＝0，Pq＝P；
(1c2)将高光谱图像X作为二维卷积的自编码网络为Pq的输入进行前向传播，得到第一层卷积层的输出Y和第二层卷积层的输出Xs；
(1c3)采用损失函数Losss，代入高光谱图像X和重构矩阵Xs计算当前高光谱异常检测模型Pq的损失值，再采用BP算法，通过损失值计算Ot的梯度信息G，再采用学习率为1e-4的Adma优化器，通过梯度信息G对参数θconv1和θconv2进行优化并更新；
(1c4)判断q＝Q是否成立，若是，得到训练好的高光谱异常检测模型P*，否则，令q＝q+1，并执行步骤(1c2)；
(1d)获取高光谱图像空间特征：
第一层二维卷积层Conv1(·)的输出即为空间特征Y；
本实例中，输入的高光谱图像为San Diego-1高光谱图像，M＝100，N＝100，B＝189，D＝3；
步骤2)构建空谱深度协同的高光谱异常检测模型O：
(2a)构建空谱深度协同的高光谱异常检测模型O的结构：
构建包括级联的增广自编码器、空谱深度协同的特征融合器和估计网络Est(·)的空谱深度协同的高光谱异常检测模型，其中：
增广自编码器包括并行排布的光谱自编码器和空间特征自编码器，其中，光谱自编码器包括参数为θen1的编码器En(·；θen1)和参数为θde1的解码器Dn(·；θde1)，空间特征自编码器包括参数为θen2的编码器En(·；θen2)和参数为θde2的解码器Dn(·；θde2)，En(·；θen1)、Dn(·；θde1)、En(·；θen2)和Dn(·；θde2)采用包含多个通道数不同的全连接层和tanh激活函数的神经网络；
估计网络采用包含多个通道数不同的全连接层和tanh激活函数、参数为θest的神经网络；
由于原始高光谱图像的波段数较多，即便是相同背景之间有时也存在较大差异，直接进行密度估计容易得到次优解，因此需要对高光谱图像降维后在进行密度估计，本发明采用基于表征能力强的自编码器结构的增广自编码器，可以对光谱和空间特征同时进行降维，得到低维度的特征，同时，自编码器在优化时为了保证整体效率，会优先优化占高光谱图像比例大的背景的重构误差，因此自编码器的重构空间中也可以对背景和异常进行区分，所以增广自编码器也将重构矩阵作为低维特征的一部分，可以在后续的特征融合中进一步增强特征的表征能力；
高光谱图像融合主要有像素级融合、特征级融合和决策级融合，特征级融合对中间的特征进行融合操作，可以在优化过程中对降维进行反馈，以生成高光谱异常检测任务定制的融合特征，而空谱深度协同的特征融合器可以使增广自编码器输出的光谱特征和空间特征的低维表征更契合高光谱异常检测任务，融合后的增广低维表示也具有更强的表征能力；
增广自编码器和估计网络的具体结构为：编码器En(·；θen1)、解码器Dn(·；θde1)、编码器En(·；θen2)和解码器Dn(·；θde2)，其包含的全连接层的个数均为2，其中编码器En(·；θen1)包含的2个全连接层输入输出通道数分别为[B,200]和[200,H]，解码器Dn(·；θde1)包含的2个全连接层输入输出通道数分别为[H,200]和[200,B]，编码器En(·；θen2)包含的2个全连接层输入输出通道数分别为[D,30]和[30,H]，解码器Dn(·；θde2)包含的2个全连接层输入输出通道数分别为[H,30]和[30,D]，估计网络其包含的全连接层的个数为2，其中包含的2个全连接层输入输出通道数分别为[H+2,60]和[60,K]；
本实例中，H＝9，K＝5；
(2b)定义空谱深度协同的高光谱异常检测模型O的损失函数Loss：
Figure GDA0004191284160000081
Figure GDA0004191284160000082
Figure GDA0004191284160000083
Figure GDA0004191284160000091
Figure GDA0004191284160000092
其中，λ1、λ2和λ3表示超参数，zi表示xi对应的增广低维表征，E(zi)表示zi的负对数似然值，
Figure GDA0004191284160000093
表示x′i对应的重构矩阵，/>
Figure GDA0004191284160000094
表示yi′对应的重构矩阵，ri表示zi对应的混合概率，K表示高斯分布混合分量数，/>
Figure GDA0004191284160000095
和/>
Figure GDA0004191284160000096
分别表示第k个高斯混合分量的混合权重、均值和协方差矩阵，k＝1,2,...,K，K≥2，rik表示ri的第k列的元素，J表示协方差矩阵/>
Figure GDA0004191284160000097
的行数，
Figure GDA0004191284160000098
表示/>
Figure GDA0004191284160000099
的第j行第j列的元素，||·||表示1范数，|·|表示求行列式运算，(·)T表示转置运算，(·)-1表示求逆运算；
在高光谱异常检测任务中，进行联合优化有利于生成高光谱异常检测任务定制的低维表征，联合优化时各项损失的权重代表了该项在训练过程中的贡献，本实例中反映空间特征贡献的超参数λ1＝0.1、反映密度估计贡献的超参数λ2＝0.1、防止产生平凡解的惩罚项的超参数λ3＝0.001；
密度估计过程中通常会预先选择一个概率分布模型，并使用最大似然估计推导其参数，这一过程在本发明中反映在了损失函数Loss的第三项，由于高斯混合模型具有强大的拟合能力，因此本发明按照多元高斯混合分布，以最大似然估计推导其参数；
步骤3)对高光谱异常检测模型O进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥20，当前高光谱异常检测模型为Ot，并令t＝0，Ot＝O；
(3b)将归一化后的高光谱二维图像X′和空间特征Y'作为高光谱异常检测模型Ot的输入进行前向传播：
(3b1)增广自编码器中的光谱自编码器、空间特征自编码器分别对X′、Y'进行降维，得到X′对应的低维表征
Figure GDA00041912841600000910
和重构矩阵
Figure GDA0004191284160000101
以及Y'对应的低维表征/>
Figure GDA0004191284160000102
和重构矩阵/>
Figure GDA0004191284160000103
其中，cxi表示x′i对应的低维表征，cyi表示y′i对应的低维表征，H表示低维表征的波段数；
x′i对应的低维表征cxi和重构矩阵
Figure GDA0004191284160000104
和y′i对应的低维表征cyi和重构矩阵/>
Figure GDA0004191284160000105
以及zi对应的混合概率ri，表达式分别为：
cxi＝En(x′i；θen1)
Figure GDA0004191284160000106
cyi＝En(y′i；θen2)
Figure GDA0004191284160000107
ri＝softmax(Est(zi；θest))
其中，softmax(·)表示softmax运算；
(3b2)空谱特征融合器对X′对应的低维表征Cx和重构矩阵
Figure GDA0004191284160000108
以及Y'对应的低维表征Cy和重构矩阵/>
Figure GDA0004191284160000109
进行特征融合，得到增广低维表征/>
Figure GDA00041912841600001010
zi的表达式为：
Figure GDA00041912841600001011
其中，α表示超参数，[·]表示按照波段维度堆叠，MSE(·)表示均方误差,OPD(·)表示正交投影散度，均方误差和正交投影散度可以分别从向量和向量角的角度描述重构误差，α表示空间特征在融合时的贡献，为了保证检测精度，本实例中α＝0.1；
(3b3)估计网络对增广低维表征Z进行密度估计，得到Z对应的混合概率
Figure GDA00041912841600001012
(3c)采用损失函数Loss，并代入增广低维表征Z和混合概率R计算当前高光谱异常检测模型Ot的损失值，再采用BP算法，通过损失值计算Ot的梯度信息grad，再采用学习率为1e-4的Adma优化器，通过梯度信息grad对参数θen1、θde1、θen2、θde2和θest进行优化并更新；
(3d)判断t＝T是否成立，若是，得到训练好的高光谱异常检测模型O*，否则，令t＝t+1，并执行步骤(3b)；
步骤4)获取高光谱异常检测结果：
将高光谱二维图像X′和空间特征Y'输入到训练好的高光谱异常检测模型O*进行前向传播，再计算zi对应的负对数似然值E(zi)作为像素xi的异常程度，E(zi)的值越大，表示xi的概率密度越小，即位于低概率密度区域，因为异常通常位于低概率密度区域，因此E(zi)可以作为判断是否为异常的标准，得到高光谱异常检测结果
Figure GDA0004191284160000111
下面结合仿真实验，对本发明的技术效果作进一步的描述。
1.仿真条件和内容：
仿真使用的硬件平台为主频3.60GHz的Intel(R)Core(TM)i7-7700U CPU和32GB的内存，软件平台为Python3.9和PyCharm，操作系统为Windows10x64。
仿真实验使用的高光谱图像数据集为San Diego高光谱图像数据集，该数据集由覆盖圣地亚哥地区的机载可见光/红外成像光谱仪AVIRIS在机场场景采集，由两幅图像组成，仿真实验使用San Diego-1数据，该数据共有189个光谱波段，覆盖了370至2510nm的波长，具有100×100个空间像素。在场景中，机库、停机坪和土壤构成主要背景，覆盖134个像素的3架飞机被视为异常。
对本发明现有的基于端到端的本地不变自编码密度估计模型的高光谱异常检测方法的检测精度进行对比仿真，其结果如图2和表1所示。
2.仿真结果分析：
表1
AUC scoresof(TPR,FPR) AUC scoresof(FPR,τ)
E2E-LIADE方法 0.97915 0.01800
本发明 0.98619 0.01254
表1中，E2E-LIADE方法在仿真时选择了针对San Diego-1高光谱数据集的最优参数，为了保证仿真的准确性，E2E-LIADE方法只包括了基于深度学习的高光谱异常检测结果，不包括一系列后处理，本发明在仿真时的参数根据具体实施方式中所述的值设置，为了避免结果的随机性，两种方法都进行了10次仿真并取平均值，从表1中的仿真结果中可以看出，本发明相比于现有技术，具有更高的准确率和更低的虚警率，其中相比于E2E-LIADE方法，准确率提高了0.00704，虚警率下降了0.00546。
参照图2，输入San Diego-1高光谱图像，采用本发明和现有的E2E-LIADE方法的仿真结果图，图2(a)是高光谱图像的异常目标图，图2(b)是本发明的异常检测结果，图2(c)是E2E-LIADE方法的异常检测结果。
从图2中的仿真结果中可以看出，本发明相比于现有技术，在视觉效果上具有更好的空间结构，可以看出飞机的形状，同时异常更明显，背景的纹理几乎不可见。
综上所述，本发明相比于现有技术在高光谱异常检测中，对真实采集的高光谱数据集San Diego-1检测结果精度更高，具有重要的实际意义。以上描述的仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于空谱深度协同的高光谱异常检测方法，其特征在于，包括如下步骤：
(1)对输入的高光谱图像进行预处理：
对高光谱图像
Figure QLYQS_1
进行归一化操作，得到归一化后的高光谱二维图像/>
Figure QLYQS_2
同时通过二维卷积自编码网络对高光谱图像X进行特征提取，并对所提取的空间特征/>
Figure QLYQS_3
进行归一化操作，得到归一化后的空间特征/>
Figure QLYQS_4
其中，M、N和B分别表示X的行像素数、列像素数和光谱波段数，/>
Figure QLYQS_5
表示实数集，i＝1,2,...,L，L＝M×N，D表示空间特征的波段数，xi表示第i个像素，xi′表示xi对应的归一化结果，yi表示xi对应的空间特征，yi′表示yi对应的归一化后的空间特征；
(2)构建基于空谱深度协同的高光谱异常检测模型O：
(2a)构建基于空谱深度协同的高光谱异常检测模型O的结构：
构建包括级联的增广自编码器、空谱深度协同的特征融合器和估计网络Est(·)的高光谱异常检测模型O，其中：
增广自编码器包括并行排布的光谱自编码器和空间特征自编码器；光谱自编码器包括参数为θen1的编码器En(·；θen1)和参数为θde1的解码器Dn(·；θde1)，空间特征自编码器包括参数为θen2的编码器En(·；θen2)和参数为θde2的解码器Dn(·；θde2)，En(·；θen1)、Dn(·；θde1)、En(·；θen2)和Dn(·；θde2)采用包含多个通道数不同的全连接层和tanh激活函数的神经网络；
估计网络采用包含多个通道数不同的全连接层和tanh激活函数、参数为θest的神经网络；
(2b)定义高光谱异常检测模型O的损失函数Loss：
Figure QLYQS_6
Figure QLYQS_7
Figure QLYQS_8
Figure QLYQS_9
Figure QLYQS_10
其中，λ1、λ2和λ3表示超参数，zi表示xi对应的增广低维表征，E(zi)表示zi的负对数似然值，
Figure QLYQS_11
表示xi′对应的重构矩阵，/>
Figure QLYQS_12
表示y′i对应的重构矩阵，ri表示zi对应的混合概率，K表示高斯分布混合分量数，/>
Figure QLYQS_13
和/>
Figure QLYQS_14
分别表示第k个高斯混合分量的混合权重、均值和协方差矩阵，k＝1,2,...,K，K≥2，rik表示ri的第k列的元素，J表示协方差矩阵/>
Figure QLYQS_15
的行数，/>
Figure QLYQS_16
表示/>
Figure QLYQS_17
的第j行第j列的元素，||·||表示1范数，|·|表示求行列式运算，(·)T表示转置运算，(·)-1表示求逆运算；
(3)对高光谱异常检测模型O进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥20，当前高光谱异常检测模型为Ot，并令t＝0，Ot＝O；
(3b)将归一化后的高光谱二维图像X′和空间特征Y'作为高光谱异常检测模型Ot的输入进行前向传播：
(3b1)增广自编码器中的光谱自编码器、空间特征自编码器分别对X′、Y'进行降维，得到X′对应的低维表征
Figure QLYQS_18
和重构矩阵/>
Figure QLYQS_19
以及Y'对应的低维表征/>
Figure QLYQS_20
和重构矩阵
Figure QLYQS_21
其中，cxi表示xi′对应的低维表征，cyi表示y′i对应的低维表征，H表示低维表征的波段数；
(3b2)空谱深度协同的特征融合器对X′对应的低维表征Cx和重构矩阵
Figure QLYQS_22
以及Y'对应的低维表征Cy和重构矩阵/>
Figure QLYQS_23
进行特征融合，得到增广低维表征/>
Figure QLYQS_24
zi的表达式为：
Figure QLYQS_25
其中，α表示超参数，[·]表示按照波段维度堆叠，MSE(·)表示均方误差,OPD(·)表示正交投影散度；
(3b3)估计网络对增广低维表征Z进行密度估计，得到Z对应的混合概率
Figure QLYQS_26
(3c)采用损失函数Loss，并通过增广低维表征Z和混合概率R计算当前高光谱异常检测模型Ot的损失值，再采用BP算法，通过该损失值计算Ot的梯度信息grad，然后采用学习率为1e-4的Adma优化器，通过梯度信息grad对参数θen1、θde1、θen2、θde2和θest进行更新；
(3d)判断t＝T是否成立，若是，得到训练好的高光谱异常检测模型O*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取高光谱图像的异常检测结果：
计算每个增广低维表征zi对应的负对数似然值E(zi)，并将E(zi)作为Z对应的高光谱图像X中第i个像素xi的异常程度，得到X的异常检测结果
Figure QLYQS_27
2.根据权利要求1所述的基于空谱深度协同的高光谱异常检测方法，其特征在于，步骤(1)中所述的对高光谱图像
Figure QLYQS_28
进行归一化，归一化公式为：
Figure QLYQS_29
其中min(·)表示求最小值，max(·)表示求最大值。
3.根据权利要求1所述的基于空谱深度协同的高光谱异常检测方法，其特征在于，步骤(1)中所述的二维卷积自编码网络，包括两层二维卷积层和tanh激活函数，该二维卷积自编码网络的损失函数为Losss：
Losss＝MSE(X,Xs)
其中，MSE(·)表示均方误差，Xs表示X的重构矩阵，
Figure QLYQS_30
4.根据权利要求1所述的基于空谱深度协同的高光谱异常检测方法，其特征在于，步骤(2a)中所述的高光谱异常检测模型O的结构，其中：
编码器En(·；θen1)、解码器Dn(·；θde1)、编码器En(·；θen2)和解码器Dn(·；θde2)，其包含的全连接层的个数均为2，其中编码器En(·；θen1)包含的2个全连接层输入输出通道数分别为[B,200]和[200,H]，解码器Dn(·；θde1)包含的2个全连接层输入输出通道数分别为[H,200]和[200,B]，编码器En(·；θen2)包含的2个全连接层输入输出通道数分别为[D,30]和[30,H]，解码器Dn(·；θde2)包含的2个全连接层输入输出通道数分别为[H,30]和[30,D]；
估计网络其包含的全连接层的个数为2，其中包含的2个全连接层输入输出通道数分别为[H+2,60]和[60,K]。
5.根据权利要求1所述的基于空谱深度协同的高光谱异常检测方法，其特征在于，步骤(3b)中所述的xi′对应的低维表征cxi和重构矩阵
Figure QLYQS_31
y′i对应的低维表征cyi和重构矩阵/>
Figure QLYQS_32
以及zi对应的混合概率ri，其表达式分别为：
Figure QLYQS_33
Figure QLYQS_34
cyi＝En(y′i；θen2)
Figure QLYQS_35
ri＝softmax(Est(zi；θest))
其中，softmax(·)表示softmax运算。
CN202111539339.5A 2021-12-06 2021-12-06 基于空谱深度协同的高光谱异常检测方法 Active CN114445720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111539339.5A CN114445720B (zh) 2021-12-06 2021-12-06 基于空谱深度协同的高光谱异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111539339.5A CN114445720B (zh) 2021-12-06 2021-12-06 基于空谱深度协同的高光谱异常检测方法

Publications (2)

Publication Number Publication Date
CN114445720A CN114445720A (zh) 2022-05-06
CN114445720B true CN114445720B (zh) 2023-06-20

Family

ID=81364816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111539339.5A Active CN114445720B (zh) 2021-12-06 2021-12-06 基于空谱深度协同的高光谱异常检测方法

Country Status (1)

Country Link
CN (1) CN114445720B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819745A (zh) * 2012-07-04 2012-12-12 杭州电子科技大学 一种基于AdaBoost的高光谱遥感影像分类方法
CN111291675A (zh) * 2020-02-04 2020-06-16 北京科技大学 一种基于深度学习的高光谱古绘画检测识别方法
CN112766223A (zh) * 2021-01-29 2021-05-07 西安电子科技大学 基于样本挖掘与背景重构的高光谱图像目标检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778522B (zh) * 2016-11-25 2020-08-04 江南大学 一种基于Gabor特征提取和空间变换的单样本人脸识别方法
US10999247B2 (en) * 2017-10-24 2021-05-04 Nec Corporation Density estimation network for unsupervised anomaly detection
CN109493338B (zh) * 2018-11-16 2020-08-04 西安电子科技大学 基于联合提取空谱特征的高光谱图像异常检测方法
CN109949278B (zh) * 2019-03-06 2021-10-29 西安电子科技大学 基于对抗自编码网络的高光谱异常检测方法
CN109871830A (zh) * 2019-03-15 2019-06-11 中国人民解放军国防科技大学 基于三维深度残差网络的空谱融合高光谱图像分类方法
CN110298235B (zh) * 2019-05-17 2022-03-25 中国科学院西安光学精密机械研究所 基于流形约束自编码网络的高光谱异常检测方法及系统
CN112434571B (zh) * 2020-11-09 2023-07-25 西安理工大学 一种基于注意力自编码网络的高光谱异常检测方法
CN112634137B (zh) * 2020-12-28 2024-03-05 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN113327231B (zh) * 2021-05-28 2022-10-14 北京理工大学重庆创新中心 一种基于空谱联合的高光谱异常目标检测方法和系统
CN113591816B (zh) * 2021-09-29 2022-02-22 广东省科学院智能制造研究所 基于自监督引导编码网络的高光谱异常检测方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819745A (zh) * 2012-07-04 2012-12-12 杭州电子科技大学 一种基于AdaBoost的高光谱遥感影像分类方法
CN111291675A (zh) * 2020-02-04 2020-06-16 北京科技大学 一种基于深度学习的高光谱古绘画检测识别方法
CN112766223A (zh) * 2021-01-29 2021-05-07 西安电子科技大学 基于样本挖掘与背景重构的高光谱图像目标检测方法

Also Published As

Publication number Publication date
CN114445720A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
Ding et al. Semi-supervised locality preserving dense graph neural network with ARMA filters and context-aware learning for hyperspectral image classification
Fan et al. Spatial–spectral total variation regularized low-rank tensor decomposition for hyperspectral image denoising
CN110335261B (zh) 一种基于时空循环注意力机制的ct淋巴结检测系统
EP3091486B1 (en) Method and system for approximating deep neural networks for anatomical object detection
US11182644B2 (en) Method and apparatus for pose planar constraining on the basis of planar feature extraction
Halimi et al. Unmixing hyperspectral images using the generalized bilinear model
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
Ye et al. Deep residual learning for model-based iterative ct reconstruction using plug-and-play framework
Huang et al. One-stage pulmonary nodule detection using 3-D DCNN with feature fusion and attention mechanism in CT image
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
Ertürk et al. Hyperspectral image classification using empirical mode decomposition with spectral gradient enhancement
Reddy et al. Enhanced speckle noise reduction in breast cancer ultrasound imagery using a hybrid deep learning model
Liu et al. Hyperspectral image restoration based on low-rank recovery with a local neighborhood weighted spectral–spatial total variation model
Öztürk et al. Transfer learning and fine‐tuned transfer learning methods' effectiveness analyse in the CNN‐based deep learning models
Huang et al. Manifold-valued image generation with wasserstein generative adversarial nets
Ma et al. Group-based image decomposition using 3-D cartoon and texture priors
CN114331976A (zh) 一种基于多级张量先验约束的高光谱异常检测方法
Wang et al. Hyperspectral unmixing via plug-and-play priors
CN114445720B (zh) 基于空谱深度协同的高光谱异常检测方法
CN107085839A (zh) 基于纹理增强与稀疏编码的sar图像降斑方法
Zhang et al. Reweighted low-rank and joint-sparse unmixing with library pruning
CN105678704B (zh) 一种基于视觉感知的非局部中值盲降噪方法
Astono et al. [Regular Paper] Adjacent Network for Semantic Segmentation of Liver CT Scans
Choi et al. Fast, trainable, multiscale denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant