CN113095145A - 像素对匹配与双窗口判别的高光谱异常检测深度学习方法 - Google Patents

像素对匹配与双窗口判别的高光谱异常检测深度学习方法 Download PDF

Info

Publication number
CN113095145A
CN113095145A CN202110278050.6A CN202110278050A CN113095145A CN 113095145 A CN113095145 A CN 113095145A CN 202110278050 A CN202110278050 A CN 202110278050A CN 113095145 A CN113095145 A CN 113095145A
Authority
CN
China
Prior art keywords
pixel
pixel pair
image
matching
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110278050.6A
Other languages
English (en)
Other versions
CN113095145B (zh
Inventor
余剑
虎玲
肖亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110278050.6A priority Critical patent/CN113095145B/zh
Publication of CN113095145A publication Critical patent/CN113095145A/zh
Application granted granted Critical
Publication of CN113095145B publication Critical patent/CN113095145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明公开了一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法，包括：像素对匹配；构建光谱稠密连接深度卷积神经网络；采用双窗口判别准则；计算平均相似度；设定判别阈值，输出异常检测结果。本发明对训练图像应用像素对匹配，构建新的训练样本和标签数据，丰富训练样本数据，解决真实标签缺乏问题；通过一维卷积以及光谱稠密连接单元搭建的深度卷积神经网络，能够充分提取像素对的光谱特征信息，提高训练网络对于输入像素对的异常差异鉴别能力，避免梯度消失现象。本发明可广泛应用于环境监测、地质勘探和国土安全等领域。

Description

像素对匹配与双窗口判别的高光谱异常检测深度学习方法
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法。
背景技术
目标检测是一种有监督的检测任务，在进行检测之前，事先通常会得到相关的先验信息，即真实地物参考数据，从而在高光谱图像中找出与目标物具有匹配光谱特性的像元。而高光谱图像异常检测与目标检测不同，它属于无监督的检测任务。在高光谱图像中，在光谱特性上与周围像元有着明显区别的像素可称为异常点，例如森林中的大火、海洋中的石油、机场上的杂物。高光谱图像异常检测的目的是从图像中发现与周围像元明显不同的像素，并对其进行定位。
RX算法[Reed I,Yu X.Adaptive multiple-band CFAR detection of anoptical pattern with unknown spectral distribution[J].IEEE Transactions onAcoustics Speech and Signal Processing,1990,38(10):1760-1770.]是高光谱异常检测算法中较为经典的方法。RX算法假设背景都服从高斯分布，并计算背景的均值和协方差，再计算待测像元与背景之间的马氏距离，通过比较马氏距离与设置的阈值，从而确定待测像元为异常点或者背景。当高光谱图像的背景分布满足假设的分布条件时，RX检测算法能够表现出较为精准的检测能力。根据背景不同，RX检测算法可以表现为两种形式，一种是Local RX算法[Molero J,Garzon E,Garcia I,et al.Analysis and Optimizations ofGlobal and Local Versions of the RX Algorithm for Anomaly Detection inHyperspectral Data[J].IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing,2013,6(2):801-814.]。Local RX算法以被测像元周围的区域为背景，然后使用双窗口方法检测异常目标。另一种是Global RX算法[Reed I,YuX.Adaptive multiple-band CFAR detection of an optical pattern with unknownspectral distribution[J].IEEE Transactions on Acoustics Speech and SignalProcessing,1990,38(10):1760-1770.]。Global RX算法以整幅图像为背景，从而得到均值和协方差，再进行检测。由于两种形式的RX检测算法在图像的局部区域或者在整幅图像中的所有像素点都用于背景计算，所以计算得到的均值和协方差矩阵易受异常点的污染，导致检测性能下降。如何能够消除异常像素带来的“污染”问题，设计出具有普遍适用性与实用性的高性能异常检测算法，是目前的主要趋势。
发明内容
本发明的目的在于提供一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法，该算法采用像素对匹配，既解决了因缺少先验信息而无法使用卷积神经网络的问题，又大大丰富了训练样本的数量。
实现本发明目的的技术解决方案为：一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法，包括如下步骤：
步骤1、输入高光谱图像：输入训练图像
Figure BDA0002977425180000021
和待测图像
Figure BDA0002977425180000022
其中，M1和M2表示高光谱图像的宽度，N1和N2表示高光谱图像的高度，B1和B2表示高光谱图像的波段数；
步骤2、像素对匹配：假设训练图像It中的地物类别总共有n种，n≥1且为整数，即类别为C1,C2,...,Cn；如果整幅图像中共有m个像素点属于第i类，m＜M1×N1，则类Ci中包含像素点
Figure BDA0002977425180000023
在各类之间组合匹配新的像素对，并分配新的标签；
步骤3、构建光谱稠密连接深度卷积神经网络：通过像素对匹配，获得M1×N1×(M1×N1-1)/2个带有真实数据标签的训练样本，并将其作为光谱稠密连接深度卷积神经网络的输入；首先对训练样本采用直接相减的方法获得差异光谱带，经过归一化、一维卷积层、非线性激活函数处理，提取到高光谱像素对的浅层特征；在稠密连接单元中，第k层的输入为前面k-1层所有输出特征图的叠加；经过稠密连接单元的处理之后，获得深层特征用于区分像素的异常差异；稠密连接单元的最后一层添加一个一维池化层，利用池化层对获取的光谱特征进行抽象简化，保留其中对于鉴别像素对的异常差异有用的特征信息；最后，经过展平、全连接、Sigmoid分类器处理获得检测结果；
步骤4、采用双窗口判别准则：输入待测图像Id，以待测像素点C为中心，设置内外窗口大小；组合中心像素点与内层窗口外、外层窗口内的邻域像素点，经过像素对匹配形成待测点与邻域像素的像素对(C,Pi)，并将其作为训练完成的光谱稠密连接深度卷积神经网络的输入，对待测图像Id进行检测；
步骤5、计算平均相似度：光谱稠密连接深度卷积神经网络输出的结果作为该邻域像素点与中心待测点的相似度Si；对所有邻域像素的相似度Si进行求和平均，得到平均相似度S；
步骤6、设定判别阈值：平均相似度S与异常阈值θ进行比较，判断中心像素点C是否为异常点，并输出异常检测结果。
本发明与现有技术相比，其显著优点在于：本发明对训练图像应用像素对匹配，构建新的训练样本和标签数据，丰富训练样本数据，解决真实标签缺乏问题；通过一维卷积以及光谱稠密连接单元搭建的光谱稠密连接深度卷积神经网络，能够充分提取像素对的光谱特征信息，提高训练网络对于输入像素对的异常差异鉴别能力，避免梯度消失现象以及利用丰富的训练样本，能够有效地优化网络性能，提高模型的泛化能力。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的总流程图。
图2是像素对匹配示意图。
图3是稠密连接单元结构图。
图4是光谱稠密连接深度卷积神经网络结构图。
图5是双窗口检测示意图。
图6为Salinas训练数据集，其中(a)Salinas图像(波段60、100和120)以及待合成图像块的位置；(b)合成后的图像块；(c)真实地物参考数据，白色为异常像元的位置。
图7为Airport真实数据集，其中(a)伪彩色合成图；(b)真实地物参考数据。
图8为San Diego 1真实数据集，其中(a)San Diego图像以及待检测图像块的位置；(b)待检测图像块；(c)真实地物参考数据，白色为异常像元的位置。
图9为San Diego 2真实数据集，其中(a)伪彩色合成图；(b)真实地物参考数据。
图10为合成数据集Salinas采用不同算法的异常检测结果，其中(a)伪彩色图，(b)真实地物标签，(c)Global-RX，(d)Local-RX，(e)SRX-Segmented，(f)RPCA-RX，(g)LRASR，(h)PPDW。
图11为真实数据集Airport采用不同算法的异常检测结果，其中(a)伪彩色图，(b)真实地物标签，(c)Global-RX，(d)Local-RX，(e)SRX-Segmented，(f)RPCA-RX，(g)LRASR，(h)PPDW。
图12为真实数据集San Diego I采用不同算法的异常检测结果，其中(a)伪彩色图，(b)真实地物标签，(c)Global-RX，(d)Local-RX，(e)SRX-Segmented，(f)RPCA-RX，(g)LRASR，(h)PPDW。
图13为真实数据集San Diego II采用不同算法的异常检测结果，其中(a)伪彩色图，(b)真实地物标签，(c)Global-RX，(d)Local-RX，(e)SRX-Segmented，(f)RPCA-RX，(g)LRASR，(h)PPDW。
图14为不同算法在Salinas合成数据集上检测结果的ROC曲线图。
图15为不同算法在真实数据集Airport上检测结果的ROC曲线图。
图16为不同算法在真实数据集San Diego I上检测结果的ROC曲线图。
图17为不同算法在真实数据集San Diego II上检测结果的ROC曲线图。
具体实施方式
本发明提供一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法，该算法通过采用了像素对匹配，既解决了因缺少先验信息而无法使用卷积神经网络的问题，又大大丰富了训练样本的数量。将匹配后的像素对作为光谱稠密连接深度卷积神经网络的输入，训练其鉴别输入像素对异常差异的能力。该方法具体步骤如下：
步骤1，输入高光谱图像：输入训练图像
Figure BDA0002977425180000041
和待测图像
Figure BDA0002977425180000042
其中，M1和M2表示高光谱图像的宽度，N1和N2表示高光谱图像的高度，B1和B2表示高光谱图像的波段数。
步骤2，像素对匹配：假设训练图像It中的地物类别总共有n种，n≥1且为整数，即类别为C1,C2,...,Cn。如果整幅图像中共有m(m＜M1×N1)个像素点属于第i类，则类Ci中包含像素点
Figure BDA0002977425180000043
属于同一种地物类别之间的配对为同类之间的匹配，它们之间的光谱信息差异不大。属于不同地物类别之间的配对为异类之间的匹配，它们之间的光谱信息有着明显的差异。在各类之间组合匹配新的像素对，并分配新的标签。设Ca和Cb表示训练图像It中两种不同类别的地物，则两个像素点P1和P2经过配对后的标签可表示为：
Figure BDA0002977425180000051
步骤3，构建光谱稠密连接深度卷积神经网络：通过像素对匹配，可以获得M1×N1×(M1×N1-1)/2个带有真实数据标签的训练样本，并将其作为光谱稠密连接深度卷积神经网络的输入。首先对训练样本采用直接相减的方法获得差异光谱带，经过归一化、一维卷积层、非线性激活函数处理，提取到高光谱像素对的浅层特征。在稠密连接单元中，第k层的输入为前面k-1层所有输出特征图的叠加，可以将其表示为：
Xk＝Hk([X0,X1,...,Xk-1]),k∈N+
其中，Xk表示第k层卷积层的输出，Hk(·)表示对第k层卷积操作结果的非线性变换操作，[X0,X1,...,Xk-1]表示前面k-1个输出特征图的连接结果。
经过稠密连接单元的处理之后，能够获得丰富的深层特征用于区分像素的异常差异。稠密连接单元的最后一层添加一个一维池化层，利用池化层能够有效地对获取的光谱特征进行抽象简化，保留其中对于鉴别像素对的异常差异有用的特征信息。最后，经过展平、全连接、Sigmoid分类器处理获得检测结果。
步骤4，采用双窗口判别准则：输入待测图像Id，以待测像素点C为中心，设置内外窗口大小。组合中心像素点与内层窗口外、外层窗口内的邻域像素点，经过像素对匹配形成待测点与邻域像素的像素对(C,Pi)，并将其作为训练完成的光谱稠密连接深度卷积神经网络的输入，对待测图像Id进行检测。
步骤5，计算平均相似度：光谱稠密连接深度卷积神经网络输出的结果作为该邻域像素点与中心待测点的相似度Si。对所有邻域像素的相似度Si进行求和平均，得到平均相似度S，其公式为：
Figure BDA0002977425180000052
其中，N表示邻域像素个数，N≥1。
步骤6，设定判别阈值：平均相似度S与异常阈值θ进行比较，判断中心像素点C是否为异常点，并输出异常检测结果。具体为：
Figure BDA0002977425180000053
其中，参数θ的取值范围是[0,1]。
本发明提出了一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法(Pixel Pair Matching and Dual Window Based Deep Learning Method ForHyperspectral Anomaly Detection,PPDW)。对训练图像应用像素对匹配，根据真实地物参考数据的分类标签，将不同类别的地物以及相同类别的地物进行像素对匹配，分为异类像素对和同类像素对，并为每个像素对分配新的标签结果。不同类别地物组成的像素对标记为“1”，表示二者不同，相同类别地物组成的像素对标记为“0”，表示二者相同。在采用像素对匹配后，获得了充足的样本数据。接着，设计了一种光谱稠密连接深度卷积神经网络结构，将先前制作的像素对输入网络中，提取光谱像元中的深层光谱特征，根据标签进行训练，提升该网络对于输入像素对的异常差异鉴别能力。最后，将待检测的高光谱图像输入训练完成的网络，并结合双窗口判别准则，减轻异常像素点带来“污染”问题，获得最终的异常检测结果。
下面结合实施例对本发明进行详细说明。
实施例
结合图1，下面详细说明本发明的实施过程，步骤如下：
步骤1：输入高光谱图像：输入训练的Salinas图像
Figure BDA0002977425180000061
见图6(b)所示。Salinas图像的宽度M1＝512，高度N1＝218，波段数B1＝189。
步骤2：像素对匹配：训练的Salinas图像It中的地物类别总共有16种，即类别为C1,C2,...,C16。根据真实地物参考数据的分类标签，将不同类别的地物以及相同类别的地物进行像素对匹配。属于同一种地物类别之间的配对为同类之间的匹配，它们之间的光谱信息差异不大。针对同类匹配，每个类别中选取100个像素，像素之间采用两两匹配成对。属于不同地物类别之间的配对为异类之间的匹配，它们之间的光谱信息有着明显的差异。在异类匹配中，每个类会与其它类分别组成600对像素对。在各类之间组合匹配新的像素对，并分配新的标签。例如Ca和Cb表示训练图像It中两种不同类别的地物，则两个像素点对P1和P2经过配对后的标签可表示为：
Figure BDA0002977425180000062
因此，同类像素对共有79200对，标签设置为“0”，表示两个像素属于同一类；异类像素对共有72000对，标签设置为“1”，表示二者属于不同的类。
如图2所示，步骤2包括如下步骤：
(1)类别匹配：根据真实地物参考数据的分类标签，将不同类别的地物以及相同类别的地物进行像素对匹配。例如
Figure BDA0002977425180000071
与
Figure BDA0002977425180000072
成对匹配，由于它们属于同一种地物类别，因此该种配对方式属于同类匹配，它们之间的光谱信息差异不大。若
Figure BDA0002977425180000073
和
Figure BDA0002977425180000074
成对匹配，由于它们属于不同地物类别，因此该种配对方式属于异类匹配，它们之间的光谱信息有着明显的差异。
(2)标签分配：同类匹配的标签设置为“0”，表示两个像素属于同一类；异类匹配的标签设置为“1”，表示二者属于不同类。
步骤3：构建光谱稠密连接深度卷积神经网络：通过像素对匹配，可以获得512×218×(512×218-1)/2个带有真实数据标签的训练样本，并将其作为光谱稠密连接深度卷积神经网络的输入。首先对训练样本采用直接相减的方法获得差异光谱带，经过归一化、一维卷积层、非线性激活函数处理，提取到高光谱像素对的浅层特征。在稠密连接单元中，第k层的输入为前面k-1层所有输出特征图的叠加，可以将其表示为：
Xk＝Hk([X0,X1,...,Xk-1]),k∈N+
其中，Xk表示第k层卷积层的输出，Hk(·)表示对第k层卷积操作结果的非线性变换操作，[X0,X1,...,Xk-1]表示前面k-1个输出特征图的连接结果。
经过大量的实验对比，综合比较网络的检测性能以及网络训练时间，在网络中设置了8个稠密连接单元。经过8个稠密连接单元的处理之后，能够获得丰富的深层特征用于区分像素的异常差异。稠密连接单元的最后一层添加一个一维池化层，利用池化层能够有效地对获取的光谱特征进行抽象简化，保留其中对于鉴别像素对的异常差异有用的特征信息。最后，经过展平、全连接、sigmoid分类器处理获得检测结果。
稠密单元结构如图3所示，每个稠密单元的参数有所不同，具体数值如图4所示。网络中的每个卷积核大小均为1×3，默认步长为1，每一次进行卷积处理之后，紧接着都会有一个非线性激活层，激活函数设置为ReLU函数，用于提高模型提取非线性特征的能力。整个网络的初始学习率设置为0.001，输入网络的批处理块大小为128，Epoch设置为50，选择Adam函数作为模型的优化函数，损失函数选择二分类交叉熵损失函数，其公式如下：
Figure BDA0002977425180000081
其中，y为预期输出，x为实际输出结果，n为地物类别总数。
步骤4：采用双窗口判别准则：输入待测图像Id，以待测像素点C为中心，内层窗口的大小设置为3×3，外层窗口的大小为5×5。通过组合中心像素点与内层窗口外、外层窗口内的邻域像素点，形成16对待测点与邻域像素的像素对[(C,P1),(C,P2),...,(C,P16)]，并将其作为训练完成的光谱稠密连接深度卷积神经网络的输入，对待测图像Id进行检测，如图5所示。
步骤5：计算平均相似度：光谱稠密连接深度卷积神经网络输出的结果作为该邻域像素点与中心待测点的相似度Si，其结果在0-1之间。二者越相似，其结果越接近于0。对所有邻域像素的相似度Si进行求和平均，得到平均相似度S，其公式为：
Figure BDA0002977425180000082
其中，N表示邻域像素个数，N≥1。
步骤6：设定判别阈值：平均相似度S与异常阈值θ进行比较，判断中心像素点C是否为异常点，并输出异常检测结果。具体为：
Figure BDA0002977425180000083
本发明的效果可通过以下仿真实验进一步说明：
仿真条件
仿真实验采用一组训练数据和三组测试数据。训练数据用于训练网络，测试数据用于测试算法性能。其中，测试数据包括一组合成数据集和两组真实数据集，具体如下所示：
(1)训练数据集
Salinas高光谱图像数据集由机载可视红外成像光谱仪AVIRIS传感器于加利福尼亚州的萨利纳斯山谷处拍摄得到。该图像的大小为512×217，共有224个光谱频带，其空间分辨率为3.7米，包含16种地物类别。采用Salinas数据集作为训练数据集的主要原因是该图像中含有高达16种地物类别，能够提供丰富的不同类型地物之间的差异信息，对于网络模型的学习优化有着极大的帮助。其次，在每一种类别中都含有上千像素，为之后的像素对匹配奠定了数量基础，能够获取充分的训练样本。该数据集的伪彩色图像如图6(a)所示。
(2)测试数据集
1)合成数据集
该数据集是在Salinas图像的基础上，人为设置异常点从而合成数据集。本发明使用的合成数据是从原始的高光谱图像中提取一个大小为120×120的图像块，并将图像中某一位置的光谱与选定图像块中的背景像元进行混合，同时要避免出现待移植像元与背景像元属于同类地物的情况。按照一定的比例将待移植像元的光谱进行目标移植，从而形成人工异常点，得到图6(b)，图6(c)为该数据集的真实地物参考数据，具体的数学表达式为：
R＝p×D+(1-p)×E
其中，E为背景像元，D为待移植的像元，R为人工合成的异常像元，p为待移植像元在人工异常像素中的比例。
2)真实数据集
(a)Airport数据集
该数据集由机载AVIRIS传感器拍摄得到，其图像大小为100×100，共有191个光谱带。图像的内容主要包括跑道、停机场以及作为异常物的一架大型飞机和两架小型飞机。该数据集的伪彩色图像和真实地物参考数据如图7(a)和图7(b)所示。
(b)San Diego I
San Diego高光谱数据集由机载AVIRIS传感器在美国圣地亚哥机场拍摄得到，其图像大小为400×400，共有224个波段，几何分辨率为3.5米，波长范围在370-2510纳米，目前主要应用于高光谱图像的目标检测领域。在本发明实验中，将受噪声污染较大的波段以及水汽波段移除，最终剩下186个可用的波段。San Diego I是选择San Diego高光谱数据集中大小为100×100的图像块。在该图像中，主要包含了停机场、部分建筑物以及地面阴影和杂物，其中还有三架飞机作为需要检测的异常目标。如图8(c)所示，该图中共有57个异常像素，异常点相较于合成数据集要更多，异常目标也要更大。该数据集的伪彩色图像和真实地物参考数据如图8(a)和图8(b)所示。
(c)San Diego II
San Diego II选择San Diego高光谱数据集中大小为100×100的图像块。在该图像中，共有38架飞机作为异常物，其余的为屋顶、停机场、屋顶以及部分植物。该数据集的伪彩色图像和真实地物参考数据如图9(a)和图9(b)所示。
仿真实验均在同一设备上进行实验，实验设备配置如下：CPU：i5-8400,GPU：NVIDIA GeForce GTX 1060以及8G内存。本发明的程序基于Python语言和Pytorch框架，其余对比算法在MATLAB环境下完成。
本发明采用ROC(Receiver operating characteristic)和曲线下的面积(Areaunder the curve,AUC)作为指标。
仿真内容
本发明采用人工合成数据集以及三个真实数据集检验算法的异常检测性能。为测试本发明算法的性能，将本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法[Matteoli S,Diani M,Corsini G.Improved estimation of localbackground covariance matrix for anomaly detection in hyperspectral images[J].Optical Engineering,2010,49(4):258-258.]、RPCA-RX算法[Sun W,Liu C,etal.Low-rank and sparse matrix decomposition-based anomaly detection forhyperspectral imagery[J].Journal of Applied Remote Sensing,2014,8(1):083641.]和LRASR算法进行比较。
仿真实验结果分析
图10展示了本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法、RPCA-RX算法和LRASR算法在合成数据集上的异常检测结果图。可以看出本发明提出的PPDW算法能够有效地检测出图像中的异常点，并且将基本将所有的异常点检测到，对比与其它的算法，不论从检测结果图，还是图14中的ROC曲线中，明显可以看出本算法的优越性。从表1的AUC值也可以看出，本算法在合成数据集的检测效果要优于其它算法。
图11展示了本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法、RPCA-RX算法和LRASR算法在真实数据集Airport上的异常检测结果图。可以看出Global-RX和RPCA-RX只能模糊地检测出大型飞机的少量边缘部分，Local-RX的检测效果不佳，SRX-Segmented和LRASR虽然大致能够检测出异常物，但也将图像中的非异常点检测到结果图中，如空地和机场跑道的边缘以及跑道上的白线，因此虚警率较高。本发明所提的PPDW算法能够有效检测出图中的异常点，即大型飞机和小型飞机。同时，根据AUC值和图15的ROC曲线也可以看出，本发明在Airport数据集的检测效果明显要优于其它算法。
图12展示了本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法、RPCA-RX算法和LRASR算法在真实数据集San Diego I上的异常检测结果图。从图12(a)的伪彩色图像中可以看出，这两块区域中的部分图像信息与周围的像元信息有着明显区别。因此，本发明将它们检测为非异常也符合实际情况。其次，本发明能够有效检测出图中的异常点，如处于不同位置的三架飞机都能够被检测为异常。虽然也检测出了一些非异常目标，但主要是少量的停机场边缘以及图像块右上角和右下角的屋顶。与其他对比算法相比，由于背景信息较为复杂，Local-RX检测算法无法表现出较好的性能。Global-RX算法、SRX-Segmented算法和RPCA-RX算法检测的视觉效果基本一致，但虚警率较高。LRASR的虚警率相对更高一些。同时，根据图16中的ROC曲线和AUC值也可以看出，PPDW算法的整体检测性能要优于其它对比算法。
图13展示了本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法、RPCA-RX算法和LRASR算法在真实数据集San Diego II上的异常检测结果图。由于该数据集中异常点的光谱信息与周围背景像元的光谱信息较为相似，并且受屋顶、植被、白线等因素的影响，检测难度较大。根据图13异常检测结果图显示，本发明能够有效地检测出图中的异常点，如38架飞机中都成功地被检测到结果图中。由图13(a)和图13(h)可以看出，未检测出的异常点与周围空地的特征信息十分相近，几乎无法分辨，因此只有少量异常点未被成功检测。从伪彩色图中还可以观察到，图像上方的屋顶与周围背景像元有着明显区别，因此在检测结果中也将它检测出了，但也只是检测出它的部分边缘，因此虚警率较低。与其它对比算法相比，从图中可以看出由于背景信息与异常点的光谱信息相近，因此Global-RX、Local-RX以及RPCA-RX算法无法有效检测出异常点。SRX-Segmented和LRASR能够检测出部分异常点，但是虚警率较高。同时，根据图17中的ROC曲线和AUC值，PPDW算法的整体检测性能要优于其它对比算法。
表1为本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法、RPCA-RX算法和LRASR算法在合成数据集Salinas和真实数据集Airport、San Diego I与San Diego II上的AUC值。根据AUC值可知，本发明所提的PPDW算法的整体检测性能要优于其它对比算法。
表1 不同算法在不同数据集上的AUC值(％)
Figure BDA0002977425180000121
图14，图15，图16和图17为本发明所提出的PPDW算法与Global-RX算法、Local-RX算法、SRX-Segmented算法、RPCA-RX算法和LRASR算法分别在合成数据集Salinas和真实数据集Airport、San Diego I与San Diego II上检测结果的ROC曲线图，其中横坐标为虚警率，纵坐标为检测率。根据ROC曲线显示，本发明所提的PPDW算法的整体检测性能要优于其它对比算法。

Claims (7)

1.一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于，该方法包括：
步骤1、输入高光谱图像：输入训练图像
Figure FDA0002977425170000011
和待测图像
Figure FDA0002977425170000012
其中，M1和M2表示高光谱图像的宽度，N1和N2表示高光谱图像的高度，B1和B2表示高光谱图像的波段数；
步骤2、像素对匹配：假设训练图像It中的地物类别总共有n种，n≥1且为整数，即类别为C1,C2,...,Cn；如果整幅图像中共有m个像素点属于第i类，m＜M1×N1，则类Ci中包含像素点
Figure FDA0002977425170000013
在各类之间组合匹配新的像素对，并分配新的标签；
步骤3、构建光谱稠密连接深度卷积神经网络：通过像素对匹配，获得M1×N1×(M1×N1-1)/2个带有真实数据标签的训练样本，并将其作为光谱稠密连接深度卷积神经网络的输入；首先对训练样本采用直接相减的方法获得差异光谱带，经过归一化、一维卷积层、非线性激活函数处理，提取到高光谱像素对的浅层特征；在稠密连接单元中，第k层的输入为前面k-1层所有输出特征图的叠加；经过稠密连接单元的处理之后，获得深层特征用于区分像素的异常差异；稠密连接单元的最后一层添加一个一维池化层，利用池化层对获取的光谱特征进行抽象简化，保留其中对于鉴别像素对的异常差异有用的特征信息；最后，经过展平、全连接、Sigmoid分类器处理获得检测结果；
步骤4、采用双窗口判别准则：输入待测图像Id，以待测像素点C为中心，设置内外窗口大小；组合中心像素点与内层窗口外、外层窗口内的邻域像素点，经过像素对匹配形成待测点与邻域像素的像素对(C,Pi)，并将其作为训练完成的光谱稠密连接深度卷积神经网络的输入，对待测图像Id进行检测；
步骤5、计算平均相似度：光谱稠密连接深度卷积神经网络输出的结果作为该邻域像素点与中心待测点的相似度Si；对所有邻域像素的相似度Si进行求和平均，得到平均相似度S；
步骤6、设定判别阈值：平均相似度S与异常阈值θ进行比较，判断中心像素点C是否为异常点，并输出异常检测结果。
2.根据权利要求1所述的像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于：所述的步骤2，包括如下步骤：
(1)类别匹配：根据真实地物参考数据的分类标签，将不同类别的地物以及相同类别的地物进行像素对匹配；
(2)标签分配：同类匹配的标签设置为“0”，表示两个像素属于同一类；异类匹配的标签设置为“1”，表示二者属于不同类。
3.根据权利要求1所述的像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于：所述步骤2中，设Ca和Cb表示训练图像It中两种不同类别的地物，则两个像素点P1和P2经过配对后的标签可表示为：
Figure FDA0002977425170000021
4.根据权利要求1所述的像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于：所述步骤3中：
Xk＝Hk([X0,X1,...,Xk-1]),k≥1
其中，Xk表示第k层卷积层的输出，Hk(·)表示对第k层卷积操作结果的非线性变换操作，[X0,X1,...,Xk-1]表示前面k-1个输出特征图的连接结果。
5.根据权利要求1所述的像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于：所述的步骤3中的损失函数为二分类交叉熵损失函数，其公式如下：
Figure FDA0002977425170000022
其中，y为预期输出，x为实际输出结果。
6.根据权利要求1所述的像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于：平均相似度S公式为：
Figure FDA0002977425170000023
其中，N表示邻域像素个数，N≥1。
7.根据权利要求1所述的像素对匹配与双窗口判别的高光谱异常检测深度学习方法，其特征在于：步骤6中异常点判断方法为：
Figure FDA0002977425170000031
其中，参数θ的取值范围是[0,1]。
CN202110278050.6A 2021-03-15 2021-03-15 像素对匹配与双窗口判别的高光谱异常检测深度学习方法 Active CN113095145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110278050.6A CN113095145B (zh) 2021-03-15 2021-03-15 像素对匹配与双窗口判别的高光谱异常检测深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110278050.6A CN113095145B (zh) 2021-03-15 2021-03-15 像素对匹配与双窗口判别的高光谱异常检测深度学习方法

Publications (2)

Publication Number Publication Date
CN113095145A true CN113095145A (zh) 2021-07-09
CN113095145B CN113095145B (zh) 2022-08-16

Family

ID=76667154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110278050.6A Active CN113095145B (zh) 2021-03-15 2021-03-15 像素对匹配与双窗口判别的高光谱异常检测深度学习方法

Country Status (1)

Country Link
CN (1) CN113095145B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220008A (zh) * 2021-12-08 2022-03-22 大连海事大学 基于元学习和连体网络的高光谱图像目标检测方法
CN114898237A (zh) * 2022-04-02 2022-08-12 西安电子科技大学 基于自适应深度多示例神经网络的高光谱目标检测方法
CN117455867A (zh) * 2023-10-30 2024-01-26 无锡市凯丰新材料有限公司 基于神经网络的磁芯性能优化管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639587A (zh) * 2020-05-27 2020-09-08 西安电子科技大学 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN111898633A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于高光谱图像的海上舰船目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639587A (zh) * 2020-05-27 2020-09-08 西安电子科技大学 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN111898633A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于高光谱图像的海上舰船目标检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220008A (zh) * 2021-12-08 2022-03-22 大连海事大学 基于元学习和连体网络的高光谱图像目标检测方法
CN114898237A (zh) * 2022-04-02 2022-08-12 西安电子科技大学 基于自适应深度多示例神经网络的高光谱目标检测方法
CN117455867A (zh) * 2023-10-30 2024-01-26 无锡市凯丰新材料有限公司 基于神经网络的磁芯性能优化管理系统

Also Published As

Publication number Publication date
CN113095145B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN113095145B (zh) 像素对匹配与双窗口判别的高光谱异常检测深度学习方法
Ghasemian et al. Introducing two Random Forest based methods for cloud detection in remote sensing images
Abbas et al. K-Means and ISODATA clustering algorithms for landcover classification using remote sensing
Khazai et al. An approach for subpixel anomaly detection in hyperspectral images
Coppin et al. Review ArticleDigital change detection methods in ecosystem monitoring: a review
CN107103306B (zh) 基于小波分析与支持向量机的冬小麦白粉病遥感监测方法
CN112668400A (zh) 一种植被识别方法及应用
Dhumal et al. Classification of Crops from remotely sensed Images: AnOverview
Borghys et al. Hyperspectral anomaly detection: Comparative evaluation in scenes with diverse complexity
Zhang et al. Isolation forest for anomaly detection in hyperspectral images
Kumar et al. Camouflage detection using MWIR hyperspectral images
Hasanlou et al. A sub-pixel multiple change detection approach for hyperspectral imagery
Gu et al. Building extraction method based on the spectral index for high-resolution remote sensing images over urban areas
Nuradili et al. UAV Remote-Sensing Image Semantic Segmentation Strategy Based on Thermal Infrared and Multispectral Image Features
Jinglei et al. Distance-based separability criterion of ROI in classification of farmland hyper-spectral images
Kumawat et al. Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping
Wang et al. [Retracted] Remote Sensing Satellite Image‐Based Monitoring of Agricultural Ecosystem
Liu et al. Hyperspectral Real-time Online Processing Local Anomaly Detection via Multi-Line Multi-Band Progressing
Datta et al. Hyperspectral image segmentation using multi-dimensional histogram over principal component images
Réjichi et al. SVM spatio-temporal vegetation classification using HR satellite images
Yadav et al. Identification of most useful spectral ranges in improvement of target detection using hyperspectral data
Chen et al. Comparative analysis of fuzzy approaches to remote sensing image classification
Dou et al. Deep learning-based hyperspectral target detection without extra labeled data
Hou et al. Novel hyperspectral anomaly detection methods based on unsupervised nearest regularized subspace
CN112613371A (zh) 一种基于密集连接卷积神经网络高光谱图像道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xiao Liang

Inventor after: Yu Jian

Inventor after: Huling

Inventor before: Yu Jian

Inventor before: Huling

Inventor before: Xiao Liang

GR01 Patent grant
GR01 Patent grant