CN112598636A - 一种基于全卷积自编码器的高光谱影像异常探测方法 - Google Patents
一种基于全卷积自编码器的高光谱影像异常探测方法 Download PDFInfo
- Publication number
- CN112598636A CN112598636A CN202011508302.1A CN202011508302A CN112598636A CN 112598636 A CN112598636 A CN 112598636A CN 202011508302 A CN202011508302 A CN 202011508302A CN 112598636 A CN112598636 A CN 112598636A
- Authority
- CN
- China
- Prior art keywords
- encoder
- block
- convolution
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于全卷积自编码器的高光谱影像异常探测方法。本发明结合全卷积自编码器网络,将高光谱遥感影像异常探测问题转换为背景与异常分离问题,网络直接重建背景,异常表现为网络重建误差,从而实现探测。构建残差连接的自适应加权全卷积自编码器,输入均匀噪声拟合原始高光谱影像以重建背景,通过卷积和残差连接保持重建背景空间细节信息,并设计了自适应加权损失函数抑制异常被重建,实现网络重建结果中背景与异常的分离。本发明可以解决高光谱遥感影像深度学习异常探测问题,实现全自动端到端异常探测,无需参数设置,可以获得更佳的异常探测结果。本发明可以有效提升高光谱异常探测的适用性和精度。
Description
技术领域
本发明基于遥感图像技术处理领域,特别涉及一种基于全卷积自编码器的高光谱影像异常探测方法。
背景技术
高光谱异常探测是在没有目标先验信息的条件下,在高光谱影像中,基于异常目标光谱与其它地物的差异,将异常地物与其他地物区分、判断异常在各个像元内存在性的问题。相比多光谱影像和自然图像,高光谱影像能够提供区分不同地物的诊断性光谱特征信息,更加突出地物之间细微的差异,使得在多光谱影像和自然图像无法探测的目标在高光谱影像中能够被探测。因此,高光谱异常探测在军事伪装,农作物病虫害,林火监测等应用领域能够发挥重要作用。在此基础上,高光谱异常探测引起了许多研究学者的关注。
与此同时,高光谱异常探测是一项艰巨的任务。其一,该任务是在没有任何目标先验信息的条件下探测影像中的异常目标,因此方法应该实现无需人工参数的全自动端到端异常探测。其二,传统模型驱动的异常探测方法涉及与实际数据不符的模型假设,引入背景虚警。其三,高光谱遥感影像不仅具有丰富的光谱信息,还包含丰富的空间信息,仅仅对光谱信息进行建模会造成有效信息丢失。由于上述问题的存在,高光谱异常探测的精度和应用场景非常受限。
发明内容
本发明的目的在于提出一种基于全卷积自编码器的高光谱影像异常探测方法。
本发明所提供的这种基于全卷积自编码器的高光谱影像异常探测方法,结合全卷积自编码器模型,将高光谱遥感影像异常探测问题转换为背景与异常分离问题,网络直接重建背景,异常表现为网络重建误差,从而实现探测。构建残差连接的自适应加权全卷积自编码器,输入均匀噪声拟合原始高光谱影像以重建背景,通过卷积和残差连接保持重建背景空间细节信息,并设计了自适应加权损失函数抑制异常被重建,实现网络重建结果中背景与异常的分离。
在本发明中我们所提出的基于全卷积自编码器的高光谱影像异常探测方法具有以下三个显著特点。一是基于全卷积自编码器的背景重建,基于二维卷积同时提取高光谱影像的空间和光谱特征,使得网络重建的背景影像空间细节更加准确,从而减少探测结果的背景虚警;其二,针对网络设计了自适应加权损失函数以抑制异常重建,使得在网络重建背景影像中,异常更好地从背景中被分离;其三,创新性地提出网络重建背景,重建误差作探测的框架,摆脱与实际数据不符的模型假设,实现全自动端到端异常探测。
本发明提供基于全卷积自编码器的高光谱影像异常探测方法,实现步骤如下:
步骤3,基于适应性矩估计算法对全卷积自编码器网络进行训练,假设当前迭代次数为k;
步骤3.2,判断当前迭代次数是否满足条件,若不是,则进行步骤3.3,若是,则更新权值图,更新方法如下:
E=[e1,1,…,e1,W;…;eH,1,…eH,W] (2)
利用(3)-(4)将重建误差图转换为权值图;
wi,j=max(E)-ei,j (3)
W=[w1,1,…,w1,W;…;wH,1,…wH,W] (4)
步骤3.3,计算自适应加权损失;
步骤3.4,误差反向传播更新网络参数;
步骤3.5,判断全卷积自编码器网络训练是否完成,若是,则进行步骤4,若否,则回到步骤3.1;
重建背景影像和原始影像逐像元计算均方根误差,输出重建误差图,得到最终的高光谱异常探测结果。
进一步的,所述全卷积自编码器网络由编码器和解码器构成;
其中编码器包含多个block,block的连接顺序为block#1-2-3-4-5-3-4-5-3-4-5-3-4-5-3;其中,block#1至block#5均包含一个卷积层,卷积层后连接一个归一化层BatchNorm2和一个激活层LeakyReLU;block#1和block#4包含一个步长为1的1x1卷积,block#1和block#4生成的特征图不输入到下一个卷积层,而是通过残差链接和解码器中对应层生成的特征图进行级联;在编码器中,除了block#2中的卷积层会将影像从原始的光谱维降低到128维,其它卷积层不会执行降维操作;在空间维上,block#2和block#5中的卷积层使用步长为2的3x3卷积进行空间下采样;而在每一个block#2和block#5后连接一个block#3,其中包含一个步长为1的3x3卷积;
解码器也包含多个block,block连接顺序为Up2x-6-4-Up2x-6-4-Up2x-6-4-Up2x-6-4-Up2x-6-4-7;block#6包含一个归一化层BatchNorm2和一个卷积层,其中卷积层后连接一个归一化层BatchNorm2和一个激活层LeakyReLU,block#7包含一个卷积层和一个激活层Sigmoid;解码器直接使用尺度为2的最邻近插值进行空间上采样使特征图恢复到原始影像的空间维大小;其中,block#6的输入是一个256维的特征图,由残差连接的两个128维特征图级联而成;因此,block#6中包含一个3x3卷积将256维的特征图降维到128维;连接block#6的是block#4,其中包含一个步长为1的1x1卷积;Block#7在解码器的最后,包含一个步长为1的1x1卷积,将特征图从128维升维到原始影像的光谱维。
进一步的,步骤3.4的具体实现方式如下,
mk+1←β1·mk+(1-β1)·gk+1 (7)
更新网络参数
进一步的,步骤3.5中判断全卷积自编码器网络训练是否完成,即判断是否满足公式(12);
进一步的,步骤1中对所述预处理是指影像数据进行归一化,使得像素值分布在0~1的范围内;所述均匀噪声影像的像素值在0~0.1范围内。
进一步的,步骤3.2中判断迭代次数是否是100的倍数,若不是,则进行步骤3.3,若是,则更新权值图。
进一步的,β1=0.9,β2=0.999,α=0.001,ε=10-8。
本发明方法具有以下显著效果:(1)引入卷积同时提取高光谱影像的空间和光谱特征,使得网络重建背景空间细节更加准确,减少虚警;(2)设计了自适应加权损失函数抑制异常重建,网络重建背景中异常与背景分离度更高;(3)提出网络重建背景,异常表现为重建误差的探测框架,无需人工参数,实现全自动端到端异常探测。
附图说明
图1是本发明实施例1的步骤1-4整体流程图。
图2是本发明实施例1的步骤4中所输出的最终高光谱异常探测结果。
图3为本发明实施例1中不加权和自适应加权的探测结果对比图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
实施例1:
如图1所示,本发明提供的一种基于全卷积自编码器的高光谱影像异常探测方法,包括以下步骤:
步骤1,输入一幅待探测的HYDICE Urban高光谱遥感影像并对影像数据进行归一化,使得像素值分布在0~1的范围内,再输入一个像素值在0~0.1范围内的均匀噪声影像其中,H,W,B分别为影像行,列和波段数;
编码器:包含多个block,block的连接顺序为block#1-2-3-4-5-3-4-5-3-4-5-3-4-5-3;其中,block#1至block#5均包含一个卷积层,卷积层后连接一个归一化层BatchNorm2和一个激活层LeakyReLU;block#1和block#4生成的特征图不输入到下一个卷积层,而是通过残差链接和解码器中对应层生成的特征图进行级联。在编码器中,除了block#2中的卷积层会将影像从原始的光谱维降低到128维,其它卷积层不会执行降维操作。这意味着在编码过程中,特征图维数保持128维不变。在空间维上,block#2和block#5中的卷积层会使用步长为2的3x3卷积进行空间下采样。而在每一个block#2和block#5后连接一个block#3,其中包含一个步长为1的3x3卷积。
解码器:也包含多个block,block连接顺序为Up2x-6-4-Up2x-6-4-Up2x-6-4-Up2x-6-4-Up2x-6-4-7;block#6包含一个归一化层BatchNorm2和一个卷积层,其中卷积层后连接一个归一化层BatchNorm2和一个激活层LeakyReLU,block#7包含一个卷积层和一个激活层Sigmoid;不同于编码器,解码器直接使用尺度为2的最邻近插值进行空间上采样使特征图恢复到原始影像的空间维大小。其中,block#6的输入是一个256维的特征图,由残差连接的两个128维特征图级联而成。因此,block#6中包含一个3x3卷积将256维的特征图降维到128维。连接block#6的是block#4,其中包含一个步长为1的1x1卷积。Block#7在解码器的最后,包含一个步长为1的1x1卷积,将特征图从128维升维到原始影像的光谱维;
步骤3,基于适应性矩估计(Adaptive Moment Estimation,ADAM)算法对全卷积自编码器网络进行训练,假设当前迭代次数为k;
步骤3.2,判断当前迭代次数是否是100的倍数,若不是,则进行步骤3.3,若是,则更新权值图,更新方法如下:
E=[e1,1,…,e1,W;…;eH,1,…eH,W] (2)
利用(3)-(4)将重建误差图转换为权值图
wi,j=max(E)-ei,j (3)
W=[w1,1,…,w1,W;…;wH,1,…wH,W] (4)
步骤3.4,误差反向传播更新网络参数;
mk+1←β1·mk+(1-β1)·gk+1 (7)
更新网络参数
重建背景影像和原始影像逐像元计算均方根误差,输出重建误差图,得到最终的HYDICE Urban高光谱影像的异常探测结果。
如图3所示为不加权和自适应加权的探测结果对比图,从图中可以看出,本发明所提出的自适应加权损失函数能够有效地抑制虚警,提升探测精度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于全卷积自编码器的高光谱影像异常探测方法,其特征在于,包括以下步骤:
步骤3,基于适应性矩估计算法对全卷积自编码器网络进行训练,假设当前迭代次数为k;
步骤3.2,判断当前迭代次数是否满足条件,若不是,则进行步骤3.3,若是,则更新权值图,更新方法如下:
E=[e1,1,…,e1,W;…;eH,1,…eH,W] (2)
利用(3)-(4)将重建误差图转换为权值图;
wi,j=max(E)-ei,j (3)
W=[w1,1,…,w1,W;…;wH,1,…wH,W] (4)
步骤3.3,计算自适应加权损失;
步骤3.4,误差反向传播更新网络参数;
步骤3.5,判断全卷积自编码器网络训练是否完成,若是,则进行步骤4,若否,则回到步骤3.1;
重建背景影像和原始影像逐像元计算均方根误差,输出重建误差图,得到最终的高光谱异常探测结果。
2.如权利要求1所述的一种基于全卷积自编码器的高光谱影像异常探测方法,其特征在于:所述全卷积自编码器网络由编码器和解码器构成;
其中编码器包含多个block,block的连接顺序为block#1-2-3-4-5-3-4-5-3-4-5-3-4-5-3;其中,block#1至block#5均包含一个卷积层,卷积层后连接一个归一化层BatchNorm2和一个激活层LeakyReLU;block#1和block#4包含一个步长为1的1x1卷积,block#1和block#4生成的特征图不输入到下一个卷积层,而是通过残差链接和解码器中对应层生成的特征图进行级联;在编码器中,除了block#2中的卷积层会将影像从原始的光谱维降低到128维,其它卷积层不会执行降维操作;在空间维上,block#2和block#5中的卷积层使用步长为2的3x3卷积进行空间下采样;而在每一个block#2和block#5后连接一个block#3,其中包含一个步长为1的3x3卷积;
解码器也包含多个block,block连接顺序为Up2x-6-4-Up2x-6-4-Up2x-6-4-Up2x-6-4-Up2x-6-4-7;block#6包含一个归一化层BatchNorm2和一个卷积层,其中卷积层后连接一个归一化层BatchNorm2和一个激活层LeakyReLU,block#7包含一个卷积层和一个激活层Sigmoid;解码器直接使用尺度为2的最邻近插值进行空间上采样使特征图恢复到原始影像的空间维大小;其中,block#6的输入是一个256维的特征图,由残差连接的两个128维特征图级联而成;因此,block#6中包含一个3x3卷积将256维的特征图降维到128维;连接block#6的是block#4,其中包含一个步长为1的1x1卷积;Block#7在解码器的最后,包含一个步长为1的1x1卷积,将特征图从128维升维到原始影像的光谱维。
5.如权利要求1所述的一种基于全卷积自编码器的高光谱影像异常探测方法,其特征在于:步骤1中对所述预处理是指影像数据进行归一化,使得像素值分布在0~1的范围内;所述均匀噪声影像的像素值在0~0.1范围内。
6.如权利要求1所述的一种基于全卷积自编码器的高光谱影像异常探测方法,其特征在于:步骤3.2中判断迭代次数是否是100的倍数,若不是,则进行步骤3.3,若是,则更新权值图。
7.如权利要求1所述的一种基于全卷积自编码器的高光谱影像异常探测方法,其特征在于:β1=0.9,β2=0.999,α=0.001,ε=10-8。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011508302.1A CN112598636B (zh) | 2020-12-18 | 2020-12-18 | 一种基于全卷积自编码器的高光谱影像异常探测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011508302.1A CN112598636B (zh) | 2020-12-18 | 2020-12-18 | 一种基于全卷积自编码器的高光谱影像异常探测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112598636A true CN112598636A (zh) | 2021-04-02 |
CN112598636B CN112598636B (zh) | 2022-04-29 |
Family
ID=75199508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011508302.1A Active CN112598636B (zh) | 2020-12-18 | 2020-12-18 | 一种基于全卷积自编码器的高光谱影像异常探测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112598636B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114598386A (zh) * | 2022-01-24 | 2022-06-07 | 北京邮电大学 | 一种光网络通信软故障检测方法及装置 |
CN117409326A (zh) * | 2023-12-13 | 2024-01-16 | 山东锋士信息技术有限公司 | 基于自适应加权损失和对抗干扰器的遥感异常检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200027211A1 (en) * | 2018-07-17 | 2020-01-23 | International Business Machines Corporation | Knockout Autoencoder for Detecting Anomalies in Biomedical Images |
CN111260576A (zh) * | 2020-01-14 | 2020-06-09 | 哈尔滨工业大学 | 一种基于去噪三维卷积自编码网络的高光谱解混算法 |
CN111383209A (zh) * | 2019-12-20 | 2020-07-07 | 华南理工大学 | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 |
-
2020
- 2020-12-18 CN CN202011508302.1A patent/CN112598636B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200027211A1 (en) * | 2018-07-17 | 2020-01-23 | International Business Machines Corporation | Knockout Autoencoder for Detecting Anomalies in Biomedical Images |
CN111383209A (zh) * | 2019-12-20 | 2020-07-07 | 华南理工大学 | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 |
CN111260576A (zh) * | 2020-01-14 | 2020-06-09 | 哈尔滨工业大学 | 一种基于去噪三维卷积自编码网络的高光谱解混算法 |
Non-Patent Citations (2)
Title |
---|
CHENGFAN等: "《Analytical investigation of autoencoder-based methods for unsupervised anomaly detection in building energy data》", 《APPLIED ENERGY》 * |
张继冬 等: "《基于全卷积变分自编码网络FCVAE的轴承剩余寿命预测方法》", 《振动与冲击》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114598386A (zh) * | 2022-01-24 | 2022-06-07 | 北京邮电大学 | 一种光网络通信软故障检测方法及装置 |
CN114598386B (zh) * | 2022-01-24 | 2023-08-01 | 北京邮电大学 | 一种光网络通信软故障检测方法及装置 |
CN117409326A (zh) * | 2023-12-13 | 2024-01-16 | 山东锋士信息技术有限公司 | 基于自适应加权损失和对抗干扰器的遥感异常检测方法 |
CN117409326B (zh) * | 2023-12-13 | 2024-04-19 | 山东锋士信息技术有限公司 | 基于自适应加权损失和对抗干扰器的遥感异常检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112598636B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112598636B (zh) | 一种基于全卷积自编码器的高光谱影像异常探测方法 | |
CN112419155B (zh) | 一种全极化合成孔径雷达影像超分辨率重建方法 | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN109447898B (zh) | 一种基于压缩感知的高光谱超分辨计算成像系统 | |
CN115471437A (zh) | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 | |
CN114663777B (zh) | 基于时空联合图注意机制的高光谱影像变化检测方法 | |
Zhao et al. | Seeing through clouds in satellite images | |
Sankaran et al. | Can High-Resolution Satellite Multispectral Imagery Be Used to Phenotype Canopy Traits and Yield Potential in Field Conditions? | |
CN114862596A (zh) | 农作物银行贷款数据风险分析方法及装置 | |
CN115861083B (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
CN111598795B (zh) | 一种基于张量环分解的高光谱图像去噪方法及装置 | |
CN111967516B (zh) | 一种逐像素分类方法、存储介质及分类设备 | |
CN113008371A (zh) | 一种深度学习解色散模糊的高光谱成像方法 | |
CN117036806A (zh) | 一种基于双重复用残差网络的物体识别方法 | |
CN116758388A (zh) | 基于多尺度模型和残差的遥感图像时空融合方法及装置 | |
Qadeer et al. | Spatio-temporal crop classification on volumetric data | |
CN111598797B (zh) | 一种基于非凸张量范数和全变分的高光谱图像恢复方法 | |
CN111833284B (zh) | 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法 | |
CN113743373A (zh) | 基于深度学习的高分遥感影像耕地变化检测装置及方法 | |
Fan et al. | An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images | |
Das et al. | Multi‐scale decomposition‐based CT‐MR neurological image fusion using optimized bio‐inspired spiking neural model with meta‐heuristic optimization | |
CN113888413B (zh) | 异时异源多光谱图像盲光谱超分辨方法及系统 | |
Prema et al. | OptiLCD: an optimal lossless compression and denoising technique for satellite images using hybrid optimization and deep learning techniques | |
Kumari et al. | Survey Paper on Image Fusion using Hybrid Non-subsampled Contourlet Transform and Neural Network | |
Kanth et al. | Multi-modal Image Super-resolution with Joint Coupled Deep Transform Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |