CN112784777B - 基于对抗学习的无监督高光谱图像变化检测方法 - Google Patents
基于对抗学习的无监督高光谱图像变化检测方法 Download PDFInfo
- Publication number
- CN112784777B CN112784777B CN202110114931.4A CN202110114931A CN112784777B CN 112784777 B CN112784777 B CN 112784777B CN 202110114931 A CN202110114931 A CN 202110114931A CN 112784777 B CN112784777 B CN 112784777B
- Authority
- CN
- China
- Prior art keywords
- phase
- time
- network
- dimensional
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 122
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000001228 spectrum Methods 0.000 claims abstract description 117
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000002787 reinforcement Effects 0.000 claims abstract description 13
- 238000000513 principal component analysis Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 78
- 230000003595 spectral effect Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000011835 investigation Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000016507 interphase Effects 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明公开了一种基于对抗学习的无监督高光谱图像变化检测方法,主要解决现有有监督技术训练数据不足导致得误检率高、检测精度低的问题。其实现方案是:1)构建基于对抗学习的无监督光谱映射网络,并组成双时相光谱映射网络,2)输入双时相高光谱图像,分别对双时相光谱映射网络进行训练;3)提取训练后双时相高光谱图像的光谱维特征图,并对其进行主成分分析,得到双时相一维光谱维主特征图;4)对双时相主特征图依次进行空间特征加强和二值化,得到双时相二值图;5)通过计算双时相二值图的残差,得到对无监督高光谱图像变化检测结果。本发明减小了检测误检率,提高了检测精度,可用于土地调查、城市研究、灾害检测和评估。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及图像变化检测技术领域中一种无监督高光谱图像变化检测方法,可用于土地调查、城市研究、灾害检测和评估。
背景技术
高光谱变化检测是通过分析在同一地理区域不同时间采集到的一组高光谱图像来 识别地表变化区域的过程,图像中的空间信息可以体现出变化区域外部轮廓等信息,而光谱信息则可以体现出变化区域内部的结构和组成成分等信息,高光谱图像可以利 用这两个信息来更精确的检测到物体外部或内部是否发生变化。高光谱图像的光谱信 息包含了从可见光至热红外多个波段范围,由于物质不同,在每个波段反射的光谱曲 线也会不同,因此即使物体内部发生细微变化,高光谱图像的光谱信息也会根据物质 的不同产生不同的光谱曲线。相比于单光谱图像和多光谱图像,高光谱图像变化检测 应用极广,例如在土地覆盖、土地利用的土地调查中,在城市扩展面变化、建筑物变 化、森林覆盖变化、湖泊湿地海岸环境变化的城市观测规划中,以及在森林山火检测、 泥石流滑坡检测、地震海啸损害评估的灾害检测和评估中,都得到了广泛的应用。
西北工业大学在其申请的专利文献“基于加权支持向量机的高光谱图像变化检测方法”(专利申请号:CN201811569973.1,公布号:CN109753973A)中提出了一种 基于加权支持向量机的高光谱图像变化检测方法。该方法首先利用深度降噪自动编码 器,对高光谱图像进行降噪处理,得到去噪后的高光谱图像,为后续变化检测任务提供 高质量的数据信息,然后利用最大类间方差法生成伪训练集,用于下一步加权支持向量 机分类器的训练,最后将高光谱图像变化检测任务转换为“变与不变”的二分类问题, 利用加权支持向量机得到最终变化检测结果。该方法虽然利用深度降噪自动编码神经 网络对高维高光谱图像进行降噪处理,提高了高光谱图像变化检测的鲁棒性和准确性, 但是,该方法由于其主要网络框架是一个有监督的网络,它需要使用传统变化检测方 法来获取伪训练数据集,伪训练数据集不仅获取计算成本高而且数据标签并不可靠, 容易将不变化区域误检为变化区域,导致变化检测的误检率高。
黄维在其发表的论文“基于PCA的变化向量分析法遥感影像变化检测”(国土资 源遥感REMOTE SENSING FOR LAND&RESOURCES期刊论文2016年)中提出了 基于PCA的变化向量分析法遥感影像变化检测方法。该方法首先对两个不同时相的高 光谱图像分别进行主成分分析PCA,然后取前3个主分量进行变化向量分析,构造变 化检测差异图像,最后对差异图像分别用传统全局阈值法和局部最小错分概率法自动 确定阈值,分别提取变化区域,得到最终检测结果。虽然该方法利用主成分分析方法 解决了高光谱图像超高维的难点,但是,该方法只利用高光谱图像的光谱维特征进行 变化检测,没有涉及变化区域的空间特征,导致变化检测精度低。
Maoguo Gong在其发表的论文“Superpixel-Based Difference RepresentationLearning for Change Detection in Multispectral Remote Sensing Images”(IEEE地球科学与遥感汇 刊TGRS IEEE Transactions On Geoscience And Remote Sensing期刊论文2018年)中 提出了基于超像素的差异表示学习在多光谱遥感图像中的进行变化检测的方法。该方 法首先基于边界积分策略的简单线性迭代聚类对两个不同时相的多光谱图像进行超像 素分割,生成边界一致的分割图,接着利用相应超像素之间的光谱、纹理和空间信息 提取变化特征,结合预训练集的数据标签,生成训练样本,然后训练全连接网络学习 变化和不变化区域的特征,再从不同时相的高光谱图像中抽取成对的测试样本堆叠在一起,将该测试样本对输入已训练好的网络进行变化和不变化的二分类,得到最终检 测结果。虽然该方法中提出了超像素的概念,并通过简单线性迭代聚类利用高光谱图 像的光谱、纹理和空间信息,但是,由于该方法在网络学习中只施加了散度约束,没 有考虑作为高光谱图像变化检测的特殊性,忽视了针对光谱维度的约束,因而训练好 的网络模型区分变化和不变化测试样本的能力较弱,导致变化检测精度低。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于对抗学习的无监督高光谱图像变化检测方法,以通过提取光谱维特征和加强空间维特征,提高高光谱图像 变化的检测性能。
实现本发明目的的思路是,通过利用基于对抗学习的光谱映射网络分别提取两个不同时相高光谱图像的光谱维特征图;通过利用主成分分析法提取光谱维特征图的一 维的光谱维主特征图;通过利用图像空间加强算法分别加强两个不同时相的一维光谱 维主特征图的空间维特征;通过利用全局自适应阈值算法自适应阈值算法对经过空间 特征加强的双时相一维光谱维主特征图进行二元判别,在双时相的二元判别结果图之 间进行残差分析,得到高光谱图像的变化区域检测结果。
根据上述思路,本发明的实现步骤包括如下:
1.一种基于对抗学习的无监督高光谱图像变化检测方法,其特征在于,包括如下:
(1)基于光谱角距离约束构建一个六层的生成网络E,并将该生成网络的第三层与判别网络D的输入层连接,组成光谱映射网络Q;
(2)用两个光谱映射网络Q组成双时相的同样结构的光谱映射网络Q1和Q2,其中,Q1和Q2中的双时相的生成网络E1和E2的损失函数形式相同,均为Q1和Q2中的双时 相的判别网络D1和D2的损失函数形式相同,均为/>
(3)将高光谱变化检测数据集中的双时相高光谱图像分别输入到双时相的同样结构的光谱映射网络Q1和Q2中各迭代训练1500次,得到两个训练好的光谱映射网络;
(4)从已训练好的两个光谱映射网络的生成网络E1和E2中,分别提取其两个光谱特征层得到双时相光谱维特征图H1和H2;
(5)对双时相光谱维特征图H1和H2分别进行主成分分析,得到双时相一维光谱 维主特征图F1和F2;
(6)对双时相一维光谱维主特征图F1和F2分别进行空间特征加强,得到加强后的双时相一维光谱维主特征图Y1和Y2:
(6a)将双时相一维光谱维主特征图分别通过三个具有不同属性值的空间属性滤波器进行多属性优化,得到双时相的三个一维属性特征图;
(6b)将双时相的三个属性特征图分别加权融合,得到双时相一维空间属性优化特征图A1和A2:
A1=α1×a11+α2×a12+α3×a13
A2=α1×a21+α2×a22+α3×a23
其中,α1、α2和α3分别表示三个不同属性值的空间属性滤波器对应的三个加权系数, 其取值是在(0,1)内选取的数,且要求α1、α2和α3的和为1;a11、a12和a13分别表示 第一个时相的三个属性特征图;a21、a22和a23分别表示第二个时相的三个属性特征图;
(6c)将双时相一维空间属性优化特征图A1和A2,分别通过引导滤波器进行空间 边缘优化,得到双时相一维空间边缘优化特征图G1和G2;
(6d)将双时相一维空间边缘优化特征图G1和G2分别输入到自抑制函数,得到空 间特征加强后的双时相一维光谱维主特征图Y1和Y2;
(7)将空间特征加强后的双时相一维光谱维主特征图Y1和Y2分别通过全局自适应阈值算法自适应阈值算法进行二值化,得到两个不同时相的二值化结果图B1和B2;
(8)计算两个二值化结果图B1和B2的残差得到高光谱图像变化检测结果图R:
R=B1-B2。
本发明与现有的技术相比具有以下优点:
第一,本发明通过利用基于对抗学习的光谱映射网络,构造了无监督的高光谱变化检测方法,克服了现有的基于有监督网络所依赖的伪训练数据集可靠性不足,导致 误检率偏高的问题,使得本发明能够不受伪训练数据集制约,在保持良好检测精度的 情况下,降低了误检率。
第二,本发明通过构建具有光谱角距离约束的光谱映射网络的损失函数,增强了光谱映射网络对高光谱变化检测任务的适配性,克服了现有技术中缺乏基于高光谱图 像特点的针对性网络优化的问题,使得本发明中光谱映射网络所提取的光谱维特征保 留了更精准的光谱维信息,有效提高了高光谱图像变化的检测精度。
第三,本发明利用变化区域往往是以连通的变化区域形式而不是以孤立的变化像素点的形式存在的这一特点,对光谱映射网络输出的光谱维特征进行了空间特征强化, 克服了现有技术难以将光谱维特征和空间维特征有效联合的问题,使得本发明可保留 高光谱变化检测中检测目标的空间相关性,有效提高了高光谱图像变化检测的精度。
附图说明
图1是本发明的实现流程图;
图2是高光谱变化检测数据集River的双时相伪彩图和参考变化区域图;
图3是用本发明对图2进行变化检测仿真结果图。
图4是采用现有基于PCA的变化向量分析法对图2进行变化检测仿真结果图。
具体实施方式
下面结合附图对本发明的实施例和效果作进一步详细描述。
参照图1,对本实例的实现步骤如下:
步骤1.构建基于对抗学习的无监督光谱映射网络Q。
1.1)基于光谱角距离约束构建一个六层的生成网络E:
所述的六层的生成网络E,依次为:输入层→第一隐藏层→第二隐藏层→光谱特征层→第三隐藏层→第四隐藏层→输出层,其中各层参数设置如下:输入层的节点数 设置为高光谱图像的波段总数L,第一隐藏层和第二隐藏层的节点数均为500,光谱 特征层的节点数为30,第三隐藏层和第四隐藏层的节点数均为500,输出层的节点总 数为高光谱图像的波段总数L。
其中,h表示输入生成网络的原图像,h′表示生成网络输出的生成图像,λ0表示 第一项欧氏范数约束的影响系数,λ1表示第二项光谱角距离约束的影响系数,λ0和λ1的 取值分别设置为0.5,其中S(h,h′)表示h和h′之间的光谱角距离,其计算公式如下:
S(h,h′)=cos-1(θ(h,h′))
1.2)构建一个判别网络D:
判别网络D的结构依次为:输入层→第1隐藏层→第2隐藏层→输出层;
各层参数设置:输入层的节点数为30,第1隐藏层和第2隐藏层的节点数分别为1000,输出层的节点数为1;
1.3)将生成网络E的第三层,即光谱特征层与判别网络D的输入层连接,组成光 谱映射网络Q。
步骤2.组成同样结构的双时相光谱映射网络Q1和Q2。
步骤3.对双时相的光谱映射网络Q1和Q2分别迭代训练。
将高光谱变化检测数据集中的双时相高光谱图像分别输入到双时相的同样结构的光谱映射网络Q1和Q2中各迭代训练1500次,得到两个训练好的光谱映射网络,具体 实现如下:
3.1)对第一时相的光谱映射网络Q1进行迭代训练:
3.1.3)重复3.1.1)和3.1.2)共1500次,即将第一时相判别网络D1和第一时相生成网络E1交替迭代训练1500次,得到训练好的第一时相的光谱映射网络Q1。
3.2))对第二时相的光谱映射网络Q2进行迭代训练:
3.2.3)重复3.2.1)和3.2.2)共1500次,即将第二时相判别网络D2和第二时相生成网络E2交替迭代训练1500次,得到训练好的第二时相的光谱映射网络Q2。
步骤4.提取双时相光谱维特征图H1和H2。
从已训练好的两个光谱映射网络的生成网络E1和E2中,分别提取其两个光谱特征层得到双时相光谱维特征图H1和H2。
步骤5.对双时相光谱维特征图H1和H2分别进行主成分分析,得到双时相一维光 谱维主特征图F1和F2。
5.1)对第一时相光谱维特征图H1进行主成分分析:
5.1.1)将三维M×N×L的第一时相光谱维特征图H1中的每一个波段M×N的 像素矩阵,转换成每个元素与每一个波段的像素矩阵中的像素一一对应的1×K的行向 量,并将所有波段转换得到的行向量组成一个L×K的第一时相光谱维特征图二维矩 阵,其中,M表示光谱维特征图矩阵中行的总数,N表示光谱维特征图矩阵中列的 总数,L表示光谱维特征图中总波段数,K表示光谱维特征图中每一个波段的像素矩 阵中的像素总数;
5.1.2)求L×K的第一时相光谱维特征图二维矩阵中每一行像素的平均值,将所有行的像素平均值存储到一个L×1的均值列向量中,再将L×1的均值列向量复制成 K份排成一行,组成一个二维L×K的第一时相均值矩阵;
5.1.3)用第一时相光谱维特征图二维矩阵减去均值矩阵,得到第一时相二维L×K的去均值矩阵x1;
5.1.4)计算第一时相去均值矩阵的协方差矩阵C1:
5.1.5)计算第一时相协方差矩阵C1的特征值及其对应的特征向量,并将特征值从大到小依次排列,将特征值对应的特征向量按照特征值排列顺序按行排列成特征向量 矩阵,取特征向量矩阵第一行的特征向量作为第一时相主特征向量p1;
5.1.6)根据第一时相主特征向量p1计算第一时相的一维光谱维主特征图:
F1=p1x1;
5.2)对第二时相光谱维特征图H2进行主成分分析:
对第二时相光谱维特征图H2重复步骤5.1.1)到5.1.6),根据主特征向量p2和去均值矩阵x2计算第二时相的一维光谱维主特征图:F2=p2x2。
步骤6.对双时相一维光谱维主特征图F1和F2分别进行空间特征加强,得到加强 后的双时相一维光谱维主特征图Y1和Y2。
6.1)将双时相一维光谱维主特征图均通过三个具有不同属性值的空间属性滤波器进行多属性优化,得到双时相的三个一维属性特征图,本实例中双时相的三个具有 不同属性值的空间属性滤波器采用但不限于属性值分别为50、100、150的开操作滤波 器;
6.2)将双时相的三个属性特征图分别加权融合,得到双时相一维空间属性优化特征图A1和A2:
A1=α1×a11+α2×a12+α3×a13
A2=α1×a21+α2×a22+α3×a23
其中,α1、α2和α3分别表示三个不同属性值的空间属性滤波器对应的三个加权系数,其取值是在(0,1)内选取的数,且要求α1、α2和α3的和为1;a11、a12和a13分别 表示第一个时相的三个属性特征图;a21、a22和a23分别表示第二个时相的三个属性特 征图;
6.3)将双时相一维空间属性优化特征图A1和A2,分别通过引导滤波器进行空间 边缘优化,得到双时相一维空间边缘优化特征图G1和G2;
6.4)对双时相一维空间边缘优化特征图G1和G2分别进行自抑制,得到空间特征加强后的双时相一维光谱维主特征图Y1和Y2:
6.4.1)对双时相一维空间边缘优化特征图G1和G2进行归一化,得到归一化后的G1′和G2′;
6.4.2)对归一化后的G1′和G2′进行自抑制,即使G1′和G2′中元素值接近1的元素更趋近于1,使元素值接近0的元素更趋近于0,使得图像中明亮的部分与黑暗的部分对 比更加明显,以有利于提取图像中具有区分性的空间变化特征,得到特征加强后双时 相一维光谱维主特征图Y1和Y2:
式中,Y1[i]和Y2[i]分别表示空间特征加强后的双时相一维光谱维主特征图Y1和Y2的第i个元素;β和γ分别表示两个抑制系数,其取值都是在(0,1)内选取的数;G1′[i]和G2′[i]表示归一化后的双时相一维空间边缘优化特征图G1′和G2′中第i个元素。
步骤7.对空间特征加强后的双时相一维光谱维主特征图Y1和Y2进行二值化。
现有的二值化算法包括固定阈值算法、局部自适应阈值算法、全局自适应阈值算法,本实例采用但不限于全局自适应阈值算法,对空间特征加强后的双时相一维光谱 维主特征图Y1和Y2分别通过全局自适应阈值算法进行二值化,得到两个不同时相的二 值化结果图B1和B2,具体实现如下:
7.1)对空间特征加强后的第一时相一维光谱维主特征图Y1进行二值化:
7.1.1)对经过空间特征加强的第一时相一维光谱维主特征图Y1进行分类,即设定一个第一时相阈值t1,将经过空间特征加强的第一时相一维光谱维主特征图Y1中,元素 值大于或等于阈值t1的元素划分为第一时相变化类元素元素值小于阈值t1的元素划 分为第一时相不变化类元素/>
其中,表示第一时相变化类元素的数量/>是Y1中所有元素数量K的比例,表示第一时相不变化类元素数量/>占Y1中所有元素数量K的比例,表示第一时相变化类元素/>的类内平均值,/>表示第 一时相不变化类元素/>的类内平均值,/>表示Y1中所有元素 的平均值;
7.1.3)重复7.1.1)和7.1.2),求得从0到255遍历的第一时相阈值t1分别对应的第一时相类间方差σ1 2;
7.1.5)根据第一时相自适应阈值T1,对经过空间特征加强的第一时相一维光谱主特征图Y1进行二值化:
其中,B1[i]表示第一时相二值化结果图B1的第i个元素,Y1[i]表示Y1的第i个元素。
7.2)对空间特征加强后的第二时相一维光谱维主特征图Y2进行二值化:
7.2.1)对经过空间特征加强的第二时相一维光谱维主特征图Y2进行分类,即设定一个第二时相阈值t2,将经过空间特征加强的第二时相一维光谱维主特征图Y2中,元 素值大于或等于阈值t2的元素划分为第二时相变化类元素元素值小于阈值t2的元 素划分为第二时相不变化类元素/>
其中,表示第二时相变化类元素的数量/>是Y2中所有元素数量K的比例,/>表示第二时相不变化类元素数量/>占Y2中所有元素数量K的比例,表示第二时相变化类元素/>的类内平均值,/>表示第 二时相不变化类元素/>的类内平均值,/>表示Y2中所有元素 的平均值;
7.2.3)重复7.2.1)和7.2.2),求得从0到255遍历的第二时相阈值t2分别对应的第二时相类间方差σ2 2;
7.2.5)根据第二时相自适应阈值T2,对经过空间特征加强的第二时相一维光谱主特征图Y2进行二值化:
其中,B2[i]表示第二时相二值化结果图B2的第i个元素,Y2[i]表示Y2的第i个元素。
步骤8.根据双时相二值化结果获得高光谱图像变化检测结果图R。
计算双时相二值化结果图B1和B2的残差,即得到高光谱图像变化检测结果图R:
R=B1-B2。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真条件:
本发明的仿真实验分为网络训练和变化检测两部分,前者是在Linux下Red Hat4.8.3的Tesla K80板卡的硬件环境和Python2.7.3的软件环境中进行的,后者是在主频2.50GHz*8的Intel(R)Core(TM)i5-7200U CPU、内存为8GB的硬件环境和MATLAB 的软件环境下进行的。
实验采用的测试数据为高光谱变化检测数据集River,如图(2),其中图2(a)和 图2(b)为高光谱变化检测数据集River中来自于由搭载在EO-1卫星的高光谱传感 器采集的双时相真实高光谱图像的伪彩图,图2(c)为高光谱图像数据集River附带 的参考变化区域图,图2(c)中的白色区域表示高光谱图像数据集River中的变化区 域。
2.仿真内容:
仿真实验1,在上述仿真条件下,采用本发明方法对图2(a)和图2(b)进行变 化检测仿真,检测结果为图3,图3中的白色区域表示采用本发明方法检测到的变化 区域。
仿真实验2,在上述仿真条件下,采用现有基于PCA的变化向量分析法遥感影像 变化检测方法对图2(a)和图2(b)进行变化检测仿真,检测结果为图4,图4中的 白色区域表示采用现有技术的基于PCA的变化向量分析法遥感影像变化检测方法检测 到的变化区域。
将图3与图2(c)所示的真实变化区域分布图对比可以看出,本发明检测到的变 化区域在保持变化区域主要特征的同时,没有出现大量误检的变化噪点,即非常接近 真实变化区域分布图;
将图4与图2(c)所示的真实变化区域分布图对比可以看出,现有基于PCA的变 化向量分析法遥感影像变化检测方法检测到的变化区域多处出现了许多孤立的变化噪 点,即不符合真实变化区域分布;
3.仿真结果分析:
其一,将发明检测到的变化区域与现有基于PCA的变化向量分析法遥感影像变化检测方法检测到的变化区域相比,更符合真实变化区域分布,误检率更低,检测精度 更高。
其二,用总体精度OA和Kappa系数对本发明方法和现有技术的基于PCA的变化 向量分析法遥感影像变化检测方法的检测性能进行更精准的评价:
所述总体精度OA是指被正确检测是否为变化区域的像素个数与总的像素个数的比值,Kappa系数进一步反映了检测结果图与真实变化区域分布图之间的一致性,总 体精度OA和Kappa系数越大,表示变化检测算法的性能越好。
按照下式,计算总体精度OA和Kappa系数:
其中,真正例TP表示正确检测出的发生变化的像素个数,真负例TN表示正确检 测出的未发生变化的像素个数,假正例FP表示未发生变化的像素被错误检测为发生变 化的像素个数,假负例FN表示发生变化的像素被错误检测为未发生变化的像素个数, P为分类精度系数,计算公式如下式:
分别计算仿真实验1中本发明方法和和仿真实验2中现有基于PCA的变化向量分析法遥感影像变化检测方法的检测结果图的总体精度OA和Kappa系数,计算结果如 下表所示。
表1本发明方法和现有技术方法检测结果图的总体精度OA和Kappa系数
方法类型 | 总体精度OA | Kappa系数 |
现有技术 | 91.41% | 65.60% |
本发明 | 93.72% | 66.23% |
从表1可见,本发明与现有基于PCA的变化向量分析法遥感影像变化检测方法相比,其检测结果的总体精度OA和Kappa系数明显更高,因此检测性能更好。
综上所述,本发明减少了变化区域的误检率,提高了变化检测精度,从而可提升整体变化检测效果。
Claims (9)
1.一种基于对抗学习的无监督高光谱图像变化检测方法,其特征在于,包括如下:
(1)基于光谱角距离约束构建一个六层的生成网络E,并将该生成网络的第三层,即光谱特征层与判别网络D的输入层连接,组成光谱映射网络Q;
(2)用两个光谱映射网络Q组成双时相的同样结构的光谱映射网络Q1和Q2,其中,Q1和Q2中的双时相的生成网络E1和E2的损失函数形式相同,均为Q1和Q2中的双时相的判别网络D1和D2的损失函数形式相同,均为/>
(3)将高光谱变化检测数据集中的双时相高光谱图像分别输入到双时相的同样结构的光谱映射网络Q1和Q2中各迭代训练1500次,得到两个训练好的光谱映射网络;
(4)从已训练好的两个光谱映射网络的生成网络E1和E2中,分别提取其两个光谱特征层得到双时相光谱维特征图H1和H2;
(5)对双时相光谱维特征图H1和H2分别进行主成分分析,得到双时相一维光谱维主特征图F1和F2;
(6)对双时相一维光谱维主特征图F1和F2分别进行空间特征加强,得到加强后的双时相一维光谱维主特征图Y1和Y2:
(6a)将双时相一维光谱维主特征图分别通过三个具有不同属性值的空间属性滤波器进行多属性优化,得到双时相的三个一维属性特征图;
(6b)将双时相的三个属性特征图分别加权融合,得到双时相一维空间属性优化特征图A1和A2:
A1=α1×a11+α2×a12+α3×a13
A2=α1×a21+α2×a22+α3×a23
其中,α1、α2和α3分别表示三个不同属性值的空间属性滤波器对应的三个加权系数,其取值是在(0,1)内选取的数,且要求α1、α2和α3的和为1;a11、a12和a13分别表示第一个时相的三个属性特征图;a21、a22和a23分别表示第二个时相的三个属性特征图;
(6c)将双时相一维空间属性优化特征图A1和A2,分别通过引导滤波器进行空间边缘优化,得到双时相一维空间边缘优化特征图G1和G2;
(6d)将双时相一维空间边缘优化特征图G1和G2分别输入到自抑制函数,得到空间特征加强后的双时相一维光谱维主特征图Y1和Y2,分别表示如下:
其中,Y1[i]和Y2[i]分别表示空间特征加强后的双时相一维光谱维主特征图Y1和Y2的第i个元素;β和γ分别表示两个抑制系数,其取值都是在(0,1)内选取的数;G1[i]和G2[i]表示双时相一维空间边缘优化特征图G1和G2中第i个元素;
(7)将空间特征加强后的双时相一维光谱维主特征图Y1和Y2分别通过全局自适应阈值算法进行二值化,得到两个不同时相的二值化结果图B1和B2;
(8)计算双时相二值化结果图B1和B2的残差得到高光谱图像变化检测结果图R:
R=B1-B2。
5.根据权利要求1所述的方法,其特征在于,(3)中将第一时相高光谱图像输入到第一时相的光谱映射网络Q1中迭代训练,实现如下:
(3c)重复(3a)和(3b)共1500次,即将第一时相判别网络D1和第一时相生成网络E1交替迭代训练1500次,得到训练好的第一时相的光谱映射网络Q1。
6.根据权利要求1所述的方法,其特征在于,(3)中将第二时相高光谱图像输入到第二时相的光谱映射网络Q2中迭代训练,实现如下:
(3f)重复(3d)和(3e)共1500次,即将第二时相判别网络D2和第二时相生成网络E2交替迭代训练1500次,得到训练好的第二时相的光谱映射网络Q2。
7.根据权利要求1所述的方法,其特征在于,(5)中对双时相光谱维特征图H1和H2分别进行主成分分析,实现如下:
(5a)将三维M×N×L的第一时相光谱维特征图H1中的每一个波段M×N的像素矩阵,转换成每个元素与每一个波段的像素矩阵中的像素一一对应的1×K'的行向量,并将所有波段转换得到的行向量组成一个L×K'的第一时相光谱维特征图二维矩阵,其中,M表示光谱维特征图矩阵中行的总数,N表示光谱维特征图矩阵中列的总数,L表示光谱维特征图中总波段数,K'表示光谱维特征图中每一个波段的像素矩阵中的像素总数;
(5b)求L×K'的第一时相光谱维特征图二维矩阵中每一行像素的平均值,将所有行的像素平均值存储到一个L×1的均值列向量中,再将L×1的均值列向量复制成K'份排成一行,组成一个二维L×K'的第一时相均值矩阵;
(5c)用第一时相光谱维特征图二维矩阵减去均值矩阵,得到第一时相二维L×K'的去均值矩阵x1;
(5d)计算第一时相去均值矩阵的协方差矩阵C1:
(5e)计算第一时相协方差矩阵C1的特征值及其对应的特征向量,并将特征值从大到小依次排列,将特征值对应的特征向量按照特征值排列顺序按行排列成特征向量矩阵,取特征向量矩阵第一行的特征向量作为第一时相主特征向量p1;
(5f)根据第一时相主特征向量p1计算第一时相的一维光谱维主特征图:F1=p1x1;
(5g)对第二时相光谱维特征图H2重复步骤(5a)到(5f),根据主特征向量p2和去均值矩阵x2计算第二时相的一维光谱维主特征图:F2=p2x2。
8.根据权利要求1所述的方法,其特征在于,(7)中将空间特征加强后的第一时相一维光谱维主特征图Y1通过全局自适应阈值算法进行二值化,实现如下:
(7a)对经过空间特征加强的第一时相一维光谱维主特征图Y1进行分类:
其中,表示变化类元素的数量/>是Y1中所有元素数量K的比例,/>表示不变化类元素数量/>占Y1中所有元素数量K的比例,/>表示Y1中变化类元素的类内平均值,/>表示Y1中不变化类元素/>的类内平均值,表示Y1中所有元素的平均值;
(7c)重复(7a)和(7b),求得从0到255遍历的阈值t1分别对应的类间方差σ1 2;
(7e)根据第一时相自适应阈值T1,对经过空间特征加强的第一时相一维光谱主特征图Y1进行二值化:
其中,B1[i]表示第一时相二值化结果图B1的第i个元素,Y1[i]表示Y1的第i个元素。
9.根据权利要求1所述的方法,其特征在于,(7)中将空间特征加强后的第二时相一维光谱维主特征图Y2通过全局自适应阈值算法进行二值化,实现如下:
(7f)对经过空间特征加强的第二时相一维光谱维主特征图Y2进行分类:
其中,表示变化类元素的数量/>是Y2中所有元素数量K的比例,/>表示不变化类元素数量/>占Y2中所有元素数量K的比例,/>表示Y2中变化类元素的类内平均值,/>表示Y2中不变化类元素/>的类内平均值,表示Y2中所有元素的平均值;
(7h)重复(7f)和(7g),求得从0到255遍历的阈值t2分别对应的类间方差σ2 2;
(7j)根据第二时相自适应阈值T2,对经过空间特征加强的第二时相一维光谱主特征图Y2进行二值化:
其中,B2[i]表示第二时相二值化结果图B2的第i个元素,Y2[i]表示Y2的第i个元素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110114931.4A CN112784777B (zh) | 2021-01-28 | 2021-01-28 | 基于对抗学习的无监督高光谱图像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110114931.4A CN112784777B (zh) | 2021-01-28 | 2021-01-28 | 基于对抗学习的无监督高光谱图像变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112784777A CN112784777A (zh) | 2021-05-11 |
CN112784777B true CN112784777B (zh) | 2023-06-02 |
Family
ID=75759238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110114931.4A Active CN112784777B (zh) | 2021-01-28 | 2021-01-28 | 基于对抗学习的无监督高光谱图像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112784777B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591816B (zh) * | 2021-09-29 | 2022-02-22 | 广东省科学院智能制造研究所 | 基于自监督引导编码网络的高光谱异常检测方法和系统 |
CN114136895A (zh) * | 2021-11-19 | 2022-03-04 | 深圳市威视佰科科技有限公司 | 一种酱油成分检测方法和装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701819A (zh) * | 2016-01-14 | 2016-06-22 | 辽宁师范大学 | 光谱角约束的高光谱遥感影像分割活动轮廓方法 |
CN107563355A (zh) * | 2017-09-28 | 2018-01-09 | 哈尔滨工程大学 | 基于生成对抗网络的高光谱异常检测方法 |
CN108492298A (zh) * | 2018-04-13 | 2018-09-04 | 西安电子科技大学 | 基于生成对抗网络的多光谱图像变化检测方法 |
CN109493338A (zh) * | 2018-11-16 | 2019-03-19 | 西安电子科技大学 | 基于联合提取空谱特征的高光谱图像异常检测方法 |
CN109492593A (zh) * | 2018-11-16 | 2019-03-19 | 西安电子科技大学 | 基于主成分分析网络和空间坐标的高光谱图像分类方法 |
CN109949278A (zh) * | 2019-03-06 | 2019-06-28 | 西安电子科技大学 | 基于对抗自编码网络的高光谱异常检测方法 |
CN110263845A (zh) * | 2019-06-18 | 2019-09-20 | 西安电子科技大学 | 基于半监督对抗深度网络的sar图像变化检测方法 |
CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
JP2020088529A (ja) * | 2018-11-21 | 2020-06-04 | 日本電信電話株式会社 | 屋内状態推定方法および屋内状態推定システム |
CN112131968A (zh) * | 2020-09-01 | 2020-12-25 | 河海大学 | 基于dcnn的双时相遥感影像变化检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10713563B2 (en) * | 2017-11-27 | 2020-07-14 | Technische Universiteit Eindhoven | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering |
-
2021
- 2021-01-28 CN CN202110114931.4A patent/CN112784777B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701819A (zh) * | 2016-01-14 | 2016-06-22 | 辽宁师范大学 | 光谱角约束的高光谱遥感影像分割活动轮廓方法 |
CN107563355A (zh) * | 2017-09-28 | 2018-01-09 | 哈尔滨工程大学 | 基于生成对抗网络的高光谱异常检测方法 |
CN108492298A (zh) * | 2018-04-13 | 2018-09-04 | 西安电子科技大学 | 基于生成对抗网络的多光谱图像变化检测方法 |
CN109493338A (zh) * | 2018-11-16 | 2019-03-19 | 西安电子科技大学 | 基于联合提取空谱特征的高光谱图像异常检测方法 |
CN109492593A (zh) * | 2018-11-16 | 2019-03-19 | 西安电子科技大学 | 基于主成分分析网络和空间坐标的高光谱图像分类方法 |
JP2020088529A (ja) * | 2018-11-21 | 2020-06-04 | 日本電信電話株式会社 | 屋内状態推定方法および屋内状態推定システム |
CN109949278A (zh) * | 2019-03-06 | 2019-06-28 | 西安电子科技大学 | 基于对抗自编码网络的高光谱异常检测方法 |
CN110263845A (zh) * | 2019-06-18 | 2019-09-20 | 西安电子科技大学 | 基于半监督对抗深度网络的sar图像变化检测方法 |
CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
CN112131968A (zh) * | 2020-09-01 | 2020-12-25 | 河海大学 | 基于dcnn的双时相遥感影像变化检测方法 |
Non-Patent Citations (6)
Title |
---|
Discriminative Feature Learning With Distance Constrained Stacked Sparse Autoencoder for Hyperspectral Target Detection;Yanzi shi 等;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20190930;第16卷(第9期);第1462-1466页 * |
Spectral Adversarial Feature Learning for Anomaly Detection in Hyperspectral Imagery;Weiying Xie 等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20200430;第58卷(第4期);第2352-2365页 * |
UNSUPERVISED HIERARCHICAL SPECTRAL ANALYSIS FOR CHANGE DETECTION IN HYPERSPECTRAL IMAGES;Sicong Liu 等;《https://www.researchgate.net/publication/265597388》;20140930;第1-4页 * |
基于光谱-空间残差网络模型的高光谱遥感图像分类;韦春桃等;《地理信息世界》;20200625;第27卷(第03期);第42-48页 * |
基于生成对抗网络的遥感图像变化检测;牛旭东;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20200215;第2020年卷(第02期);第C028-184页 * |
对抗学习在光学遥感影像分类及变化检测中的方法研究;方博;《中国博士学位论文全文数据库 基础科学辑》;20210115;第2021年卷(第01期);第A008-61页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112784777A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shi et al. | A deeply supervised attention metric-based network and an open aerial image dataset for remote sensing change detection | |
Zhang et al. | A feature difference convolutional neural network-based change detection method | |
CN111539316B (zh) | 基于双注意力孪生网络的高分遥感影像变化检测方法 | |
Kang et al. | Hyperspectral anomaly detection with attribute and edge-preserving filters | |
Shen et al. | Efficient deep learning of nonlocal features for hyperspectral image classification | |
Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
Zhao et al. | Spectral-spatial classification of hyperspectral imagery based on stacked sparse autoencoder and random forest | |
Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
Khazai et al. | An approach for subpixel anomaly detection in hyperspectral images | |
Liu et al. | Unsupervised change detection in multispectral remote sensing images via spectral-spatial band expansion | |
CN110458192B (zh) | 基于视觉显著性的高光谱遥感图像分类方法及系统 | |
CN110008948B (zh) | 基于变分自编码网络的高光谱图像目标检测方法 | |
Xiang et al. | Visual attention and background subtraction with adaptive weight for hyperspectral anomaly detection | |
CN112784777B (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 | |
CN112766223B (zh) | 基于样本挖掘与背景重构的高光谱图像目标检测方法 | |
CN115187861A (zh) | 一种基于深度孪生网络的高光谱图像变化检测方法及系统 | |
Xie et al. | Trainable spectral difference learning with spatial starting for hyperspectral image denoising | |
Venugopal | Sample selection based change detection with dilated network learning in remote sensing images | |
CN115376010A (zh) | 一种高光谱遥感影像分类方法 | |
CN112330562B (zh) | 一种异构遥感图像变换方法及系统 | |
CN109300115B (zh) | 一种面向对象的多光谱高分辨率遥感影像变化检测方法 | |
Dang et al. | Spectral-spatial attention transformer with dense connection for hyperspectral image classification | |
Wang et al. | Dynamic super-pixel normalization for robust hyperspectral image classification | |
Manandhar et al. | Segmentation based building detection in high resolution satellite images | |
CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |