CN115187861A - 一种基于深度孪生网络的高光谱图像变化检测方法及系统 - Google Patents

一种基于深度孪生网络的高光谱图像变化检测方法及系统 Download PDF

Info

Publication number
CN115187861A
CN115187861A CN202210818382.3A CN202210818382A CN115187861A CN 115187861 A CN115187861 A CN 115187861A CN 202210818382 A CN202210818382 A CN 202210818382A CN 115187861 A CN115187861 A CN 115187861A
Authority
CN
China
Prior art keywords
hyperspectral
hyperspectral image
phase
change detection
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210818382.3A
Other languages
English (en)
Inventor
王庆岩
钱加栋
梁欣涛
王玉静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210818382.3A priority Critical patent/CN115187861A/zh
Publication of CN115187861A publication Critical patent/CN115187861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度孪生网络的高光谱图像变化检测方法及系统，涉及高光谱图像变化检测技术领域，用以解决现有技术在高光谱数据特征提取后数据的关联性低且分类效果不理想的问题。本发明的技术要点包括：构建孪生网络模型用于处理双时相高光谱数据；利用注意力机制生成空间‑光谱联合的注意力特征；利用语义分割网络提取多尺度特征；利用改进的特征度量方法来计算损失；利用阈值分割方法实现分类。本发明充分考虑了高光谱数据间的相互联系，并且兼顾高光谱数据的谱域信息和空域信息，能够有效区分对由于成像条件和噪声造成的虚假变化像素和由于地物类型变化造成的真实变化像素。

Description

一种基于深度孪生网络的高光谱图像变化检测方法及系统
技术领域
本发明涉及高光谱图像变化检测技术领域，具体涉及一种基于深度孪生网络的高光谱图像变化检测方法及系统。
背景技术
随着遥感技术的快速发展，高光谱影像处理技术成为了一个具有特色的前沿技术，高光谱以其丰富的谱域信息和空域信息，在大气和环境监测、地质考察和制图、农业和森林调查、海洋生物研究和保护、城市探测以及气象与气候分析等领域得到了广泛的应用，取得巨大的成功
利用高光谱遥感技术对地物进行变化检测是遥感图像处理的一项重要内容，已在城市扩展监测、灾害监测等方面得到了广泛的应用。不同的物质表现出不同的光谱曲线，这些丰富的光谱信息可以极大地帮助目标识别和变化检测。目前针对遥感影像的变化检测方法大多来源于经典的单波段或多光谱变化检测方法，然而高维度的高光谱数据难以使用传统的变化检测算法实现。因此在高光谱图像分析领域，迫切需要寻找有效的方法来处理现有的丰富数据。
近年来，深度神经网络在各种计算机视觉和遥感应用中取得了巨大的成功，对于变化检测同样具有较好的应用前景。基于深度变化矢量分析方法，基于深度网络的方法，基于GAN和迁移学习的半监督方法等深度学习方法被广泛应用到变化检测中。孪生网络由于其适合处理多时相高光谱影像的特点在变化检测任务中有较强的可解释性和良好的表现，但是仍然缺少高性能且泛化能力好的孪生网络提取输入图像对的空间-光谱联合特征。
发明内容
鉴于以上问题，本发明提出一种基于深度孪生网络的高光谱图像变化检测方法及系统，用以解决现有技术在高光谱数据特征提取后数据的关联性低且分类效果不理想的问题。
根据本发明的一方面，提供一种基于深度孪生网络的高光谱图像变化检测方法，该方法包括以下步骤：
步骤1、获取双时相高光谱图像；所述双时相高光谱图像中像素带有类别标签；
步骤2、对所述双时相高光谱图像进行预处理；
步骤3、构建基于孪生卷积神经网络的高光谱图像变化检测模型，并利用预处理后的双时相高光谱图像进行训练，获取训练好的高光谱图像变化检测模型；
步骤4、将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取检测结果。
进一步地，步骤2所述预处理包括降维处理、归一化处理和切片处理；所述切片处理将高光谱图像转换为高光谱数据块，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
进一步地，步骤3构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括：所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块，所述注意力模块包括通道注意力子模块和空间注意力子模块。
进一步地，步骤3中利用预处理后的双时相高光谱图像进行训练的过程包括：
步骤31、对双时相高光谱图像进行特征提取，获取对应双时相高光谱图像的两个高光谱特征图；
步骤32、计算两个高光谱特征图的欧氏距离；
步骤33、计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值；
步骤34、利用所述损失值更新高光谱图像变化检测模型参数，迭代循环步骤31～步骤34，直至模型收敛，获取训练好的高光谱图像变化检测模型。
进一步地，步骤31中对于双时相高光谱图像中的单个时相高光谱图像，其特征提取的具体过程包括：
所述高光谱数据块经过通道注意力子模块中全局最大池化、全局平均池化、全连接层、sigmoid激活函数激活，生成通道注意力特征图；
将所述通道注意力特征图和输入的高光谱数据块相乘，并将相乘得到的特征图输入空间注意力子模块；
所述相乘得到的特征图经过空间注意力子模块中全局最大池化、全局平均池化、降维、sigmoid激活函数激活，生成空间注意力特征图；
将所述空间注意力特征图和所述相乘得到的特征图相乘，获取最终生成的特征图；
将所述最终生成的特征图输入特征提取模块，所述特征提取模块为基于Resnet-34的语义分割网络，包括一个卷积池化层和四个跳层连接的残差块，孪生卷积神经网络单个分支输出的特征为四个残差块输出特征的堆叠。
进一步地，步骤33中所述损失值的计算公式为：
Figure BDA0003743191640000021
其中，D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像的类别标签所组成的标签图；
Figure BDA0003743191640000022
表示距离图D中的元素；
Figure BDA0003743191640000023
表示标签图M中的元素；b表示训练批次；i、j表示像素横坐标和像素纵坐标的索引；m表示阈值；nμ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；m表示阈值。
进一步地，步骤4中将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取两个高光谱特征图，并计算其欧氏距离后，利用阈值划分方法，将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱，即：预设固定阈值，当所述距离图中的欧氏距离大于预设固定阈值时，所述欧氏距离所对应的像素点被识别为变化像素，否则被识别为不变像素，从而获取图像变化检测结果。
根据本发明的另一方面，提供一种基于深度孪生网络的高光谱图像变化检测系统，该系统包括：
图像获取模块，其配置成获取双时相高光谱图像；所述双时相高光谱图像中像素带有类别标签；
预处理模块，其配置成对所述双时相高光谱图像进行预处理；
模型训练模块，其配置成构建基于孪生卷积神经网络的高光谱图像变化检测模型，并利用预处理后的双时相高光谱图像进行训练，获取训练好的高光谱图像变化检测模型；
检测模块，其配置成将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取两个高光谱特征图，并计算其欧氏距离后，利用阈值划分方法，将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱，即：预设固定阈值，当所述距离图中的欧氏距离大于预设固定阈值时，所述欧氏距离所对应的像素点被识别为变化像素，否则被识别为不变像素，从而获取图像变化检测结果。
进一步地，所述预处理包括降维处理、归一化处理和切片处理；所述切片处理将高光谱图像转换为高光谱数据块，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
进一步地，所述模型训练模块中构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括：所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块，所述注意力模块包括通道注意力子模块和空间注意力子模块；
利用预处理后的双时相高光谱图像进行训练的过程包括：
步骤31、对双时相高光谱图像进行特征提取，获取对应双时相高光谱图像的两个高光谱特征图；对于双时相高光谱图像中的单个时相高光谱图像，其特征提取的具体过程包括：
所述高光谱数据块经过通道注意力子模块中全局最大池化、全局平均池化、全连接层、sigmoid激活函数激活，生成通道注意力特征图；
将所述通道注意力特征图和输入的高光谱数据块相乘，并将相乘得到的特征图输入空间注意力子模块；
所述相乘得到的特征图经过空间注意力子模块中全局最大池化、全局平均池化、降维、sigmoid激活函数激活，生成空间注意力特征图；
将所述空间注意力特征图和所述相乘得到的特征图相乘，获取最终生成的特征图；
将所述最终生成的特征图输入特征提取模块，所述特征提取模块为基于Resnet-34的语义分割网络，包括一个卷积池化层和四个跳层连接的残差块，孪生卷积神经网络单个分支输出的特征为四个残差块输出特征的堆叠；
步骤32、计算两个高光谱特征图的欧氏距离；
步骤33、计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值；所述损失值的计算公式为：
Figure BDA0003743191640000041
其中，D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像的类别标签所组成的标签图；
Figure BDA0003743191640000042
表示距离图D中的元素；
Figure BDA0003743191640000043
表示标签图M中的元素；b表示训练批次；i、j表示像素横坐标和像素纵坐标的索引；m表示阈值；nμ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；m表示阈值；
步骤34、利用所述损失值更新高光谱图像变化检测模型参数，迭代循环步骤31～步骤34，直至模型收敛，获取训练好的高光谱图像变化检测模型。
本发明的有益技术效果是：
本发明提出一种基于深度孪生网络的高光谱图像变化检测方法及系统，利用孪生卷积神经网络降低图像的维度，从而缓解了高光谱图像高维度、相邻波段信息冗余性对变化检测的影响，突出变化特征；孪生卷积神经网络通过并联结构，构建一个层次化卷积神经网络，形成不同梯度传播路径以输出不同尺度的隐藏状态，自适应地学习与真实变化相关的依赖性和光谱变化特征，增强对伪变化像素的鲁棒性；利用注意力机制融合空间特征和光谱特征，对于双时相高光谱图像之间的多层次时空依赖进行建模，利用改进的特征度量方法来计算损失，消除样本不平衡对模型训练的影响。训练后的神经网络模型能够有效区分对由于成像条件和噪声造成的虚假变化像素和由于地物类型变化造成的真实变化像素。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例一种基于深度孪生网络的高光谱图像变化检测方法的流程示意图；
图2是本发明实施例中高光谱数据集Farm的三维真实图像示意图；
图3是本发明方法与其他方法生成变化图谱的对比图；其中，图(a)对应CNN；图(b)对应CVA；图(c)对应本发明；图(d)对应真实标签；
图4是本发明实施例一种基于深度孪生网络的高光谱图像变化检测系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
本发明实施例提供一种基于深度孪生网络的高光谱图像变化检测方法，该方法包括以下步骤：
步骤1、获取双时相高光谱图像；所述双时相高光谱图像中像素带有类别标签；
步骤2、对所述双时相高光谱图像进行预处理；
步骤3、构建基于孪生卷积神经网络的高光谱图像变化检测模型，并利用预处理后的双时相高光谱图像进行训练，获取训练好的高光谱图像变化检测模型；
步骤4、将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取检测结果。
本实施例中，优选地，步骤2所述预处理包括降维处理、归一化处理和切片处理；所述切片处理将高光谱图像转换为高光谱数据块，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
本实施例中，优选地，步骤3构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括：所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块，所述注意力模块包括通道注意力子模块和空间注意力子模块。
本实施例中，优选地，步骤3中利用预处理后的双时相高光谱图像进行训练的过程包括：
步骤31、对双时相高光谱图像进行特征提取，获取对应双时相高光谱图像的两个高光谱特征图；
步骤32、计算两个高光谱特征图的欧氏距离；
步骤33、计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值；
步骤34、利用所述损失值更新高光谱图像变化检测模型参数，迭代循环步骤31～步骤34，直至模型收敛，获取训练好的高光谱图像变化检测模型。
本实施例中，优选地，步骤31中对于双时相高光谱图像中的单个时相高光谱图像，其特征提取的具体过程包括：
所述高光谱数据块经过通道注意力子模块中全局最大池化、全局平均池化、全连接层、sigmoid激活函数激活，生成通道注意力特征图；
将所述通道注意力特征图和输入的高光谱数据块相乘，并将相乘得到的特征图输入空间注意力子模块；
所述相乘得到的特征图经过空间注意力子模块中全局最大池化、全局平均池化、降维、sigmoid激活函数激活，生成空间注意力特征图；
将所述空间注意力特征图和所述相乘得到的特征图相乘，获取最终生成的特征图；
将所述最终生成的特征图输入特征提取模块，所述特征提取模块为基于Resnet-34的语义分割网络，包括一个卷积池化层和四个跳层连接的残差块，孪生卷积神经网络单个分支输出的特征为四个残差块输出特征的堆叠。
本实施例中，优选地，步骤33中所述损失值的计算公式为：
Figure BDA0003743191640000061
其中，D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像的类别标签所组成的标签图；
Figure BDA0003743191640000062
表示距离图D中的元素；
Figure BDA0003743191640000063
表示标签图M中的元素；b表示训练批次；i、j表示像素横坐标和像素纵坐标的索引；m表示阈值；ημ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；m表示阈值。
本实施例中，优选地，步骤4中将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取两个高光谱特征图，并计算其欧氏距离后，利用阈值划分方法，将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱，即：预设固定阈值，当所述距离图中的欧氏距离大于预设固定阈值时，所述欧氏距离所对应的像素点被识别为变化像素，否则被识别为不变像素，从而获取图像变化检测结果。
本发明另一实施例提供一种基于深度孪生网络的高光谱图像变化检测方法，如图1所示，该方法包括以下步骤：
步骤1，输入高光谱图像数据Farm，参考图2，对高光谱数据划分训练集Xa和测试集Xb；
(1a)对原始三维高光谱数据进行降维，转换为二维高光谱数据集X0＝[Xa，Xb]∈R155×63000，其中高光谱数据Farm所包含155个波段；共63000个样本，其中不变样本44723个，变化样本18277个；
(1b)从二维高光谱数据集X0所含的每个类别中随机抽取10％作为训练样本集Xa∈R155×6300，剩余的作为测试样本集Xb∈R155×56700，其中a为训练集样本，b为测试集样本；
(1c)对所有样本X0i进行归一化处理X0＝X0i/||X0||2，得到归一化后的数据集X0＝[Xa，Xb]∈R155×63000。
步骤2，对输入的双时相高光谱影像进行预处理；双时相是指对应不同时刻的同一场景；
(2a)对高光谱图像进行切片处理：
Figure BDA0003743191640000071
其中，Xoi是通过提取Xo中(m，n)位置的像素和周围的像素得到，周围像素尺寸为s×s×c，其中s代表列数、行数，c代表波段数。切片处理将高光谱像素样本替换为高光谱数据块样本，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
步骤三，在训练阶段，将两个时相的高光谱影像分别输入孪生卷积神经网络的两个权值共享的分支进行训练，学习可训练的非线性映射，构建的孪生网络包含一组权重值共享的注意力模块和特征提取模块。
完成训练后的孪生卷积神经网络用于对输入的不同时相高光谱影像进行降维和特征提取，将双时相高光谱数据块Xt，Xt-1映射到特征空间中的张量Ft，Ft-1，张量尺寸为1×1×k，k为降维后的通道数。双时相高光谱影像分别输入孪生卷积神经网络的两个权值共享的分支进行训练来分别提取特征，单个时相的高光谱影像特征提取过程完全相同，即：
(3a)通道注意力模块将输入的特征图，分别经过全局最大池化和全局平均池化，然后经过全连接层，将全连接层输出的特征经过sigmoid激活，生成最终的通道注意力特征图。将该通道注意力特征图和输入特征图相乘，生成空间注意力模块需要的输入特征。
Mc(F(Xt))＝σ(MLP(AvgPool(F(Xt)))+MLP(MaxPool(F(Xt))))Xt
其中，σ表示sigmoid操作；AvgPool表示全局平均池化；MaxPool表示全局最大池化；MLP表示多层感知器；
(3b)空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图。首先做一个基于通道的全局最大池化和全局平均池化，然后将其降维为1个通道。再经过sigmoid激活生成空间注意力特征。最后将该特征和该模块的输入特征做相乘，得到最终生成的特征并输出。
Ms(Mc)＝σ(f7×7([AvgPool(Mc)；MaxPool(Mc)]))Mc
其中，σ表示sigmoid操作；f7×7表示卷积核尺寸为7×7的2DCNN卷积操作AvgPool表示全局平均池化；MaxPool表示全局最大池化；
(3c)利用基于Resnet-34的语义分割网络对高光谱影像进行降维、特征提取，特征提取网络具体包括一个卷积池化层和四个跳层链接的残差块。其中卷积层为卷积核尺寸为7×7的2DCNN卷积层。每个残差块为顺序连接的四个3×3的2DCNN卷积层和批归一化层，残差块内和残差块间均使用跳层连接，基本方程定义为；
F＝[H0，H1，H2，H3]
Hi表示第i个残差块的隐藏状态，F表示孪生卷积神经网络单个分支输出的特征，为四个残差块输出特征的堆叠。
在输入孪生卷积神经网络后，高光谱数据块t的尺寸由s×s×c降到1×1×k，光谱维度从c减少到k，而空间维度从s×s收缩到1×1。
步骤4，计算训练集数据中双时相的高光谱数据块Xt和Xt-1映射到特征空间中的张量Ft，Ft-1的欧式距离，张量Ft和Ft-1的欧式距离定义为：
dist＝||Ft-Ft-1||2
其中，Ft为第一个时相的高光谱特征图，Ft-1为第二个时相的高光谱特征图，这里距离的自动学习过程是通过训练两个共享相同的权重的卷积神经网络分支来实现的，如果两个高光谱数据块相似，两个张量之间的距离(例如，欧氏距离)就小，如果它们发生变化，距离就大。
步骤5，计算度量距离和训练标签之间的损失，利用该损失更新模型参数，迭代循环步骤3～步骤5，直至损失函数不再波动，模型收敛；
损失计算公式如下：
Figure BDA0003743191640000081
其中，D表示一个训练批次双时相高光谱图像数据样本的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像数据的类别标签所组成的标签图；D中的每个元素
Figure BDA0003743191640000082
值利用公式dist＝||F1-F2||2计算得到，表示第b个训练批次、(i，j)位置的样本距离；M中的每个元素
Figure BDA0003743191640000083
是第b个训练批次、(i，j)位置的样本标签映射；nμ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；b，i，j分别表示训练批次大小，像素横坐标和像素纵坐标的索引；m表示阈值。
在变化检测任务中，类别不均衡是一个常见的问题。在遥感影像变化检测中，变化样本和未变化样本的分布极度不平衡。大多数情况，变化的像素只占全部像素的一小部分。这对变化检测带来了一定的困难。为了减少类别不平衡的影响，采用一个类别敏感损失，利用批权重对原对比损失的类权重进行修正，改善类别敏感度不平衡情况。
步骤6，在测试阶段，利用收敛的模型对测试数据进行特征提取和降维。对于测试数据，将双时相的高光谱影像分别输入孪生卷积神经网络的两个权值共享的分支进行特征提取，将双时相高光谱数据块Xt，Xt-1映射到特征空间中的张量Ft，Ft-1；计算测试数据中双时相的高光谱影像特征的欧氏距离，生成距离图D。利用阈值划分方法，将距离图D划分为变化图谱，获得最终的检测结果；其中，通过固定阈值分割得到变化图P，阈值划分方程定义为：
Figure BDA0003743191640000091
其中，i，j分别是高光谱图像高度和宽度的索引；Di，j表示距离图D中(i，j)位置的值；固定阈值θ设为1，即为步骤5中阈值的一半。变化图P中被标记为1的像素识别为变化像素，标记为0的像素识别为不变像素。
进一步通过实验验证本发明的有效性。
实验以EO-1卫星Hyperion传感器获取的一对高光谱数据作为案例进行变化检测性能评价并与CNN、CVA等传统的变化检测方法进行了对比。
数据集包括通过机载可见光/红外成像光谱仪(AVIRIS)获得的来自同一场景的两时相高光谱影像，光谱波段数为155个，光谱范围为200～2400nm，光谱分辨率10nm，空间分辨率为20m，两个场景均包括变化像元、未变化像元两种类型，己完成几何配准。
首先，大气中的水汽对于光谱范围在1363～1440nm，1810～1957nm和大于2395nm的电磁波影响较大，在这些波长的电磁波中，地面信息受到极大干扰，因此将第107～116波段剔除。
然后，选取2％标记像元作为训练集进行模型的训练，训练批处理大小为32，训练集全部样本参与训练次数(Epoch)为200次，剩余标记像元作为测试集用于模型精度的验证，重复实验，变化和未变化可以看作两种类别，因此变化检测可以看作是二元分类问题。使用常见的精度评估指标包括整体分类精度、精准率、召回率、漏检率、虚警率来表示变化检测效果，将本发明方法与基于卷积神经网络(CNN)、基于变化向量检测(CVA)在分类效果上进行比较，如图3所示。利用如表1所示的混淆矩阵，获得以下评价指标：
Figure BDA0003743191640000092
反映判断正样本中真正正样本的比例。
Figure BDA0003743191640000101
反映判断正确的比重。
Figure BDA0003743191640000102
反映正确判断正例的比重。
Figure BDA0003743191640000103
反映多少个正例被漏判了。
Figure BDA0003743191640000104
反映被判为正例样本中，有多少个是错判。
表1混淆矩阵
Figure BDA0003743191640000105
表2示出了在Farm高光谱数据集上的精确度、准确率、召回率、漏检率和虚警率对比结果。由表2可以看出，本发明方法相比于基于卷积神经网络(CNN)、变化向量检测(CVA)，精确度分别提高了4.7％和4.01％，虚警率分别下降了4.96％和3.99％。其他指标均有提升。
表2变化检测精度评定表
指标 CNN CVA 本发明
精确度 0.9520 0.9589 0.9990
准确率 0.9565 0.9583 0.9860
召回率 0.9885 0.9833 0.9822
漏检率 0.0115 0.0167 0.0178
虚警率 0.0498 0.0421 0.002
本发明结合深度学习理论，将典型语义分割网络应用在高光谱图像特征提取中，充分考虑了高光谱数据间的相互联系，并且兼顾高光谱数据的谱域信息和空域信息，能够使高光谱数据分类达到较高的准确率。
本发明另一实施例提供一种基于深度孪生网络的高光谱图像变化检测系统，如图4所示，该系统包括：
图像获取模块110，其配置成获取双时相高光谱图像；所述双时相高光谱图像中像素带有类别标签；
预处理模块120，其配置成对所述双时相高光谱图像进行预处理；
模型训练模块130，其配置成构建基于孪生卷积神经网络的高光谱图像变化检测模型，并利用预处理后的双时相高光谱图像进行训练，获取训练好的高光谱图像变化检测模型；
检测模块140，其配置成将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取两个高光谱特征图，并计算其欧氏距离后，利用阈值划分方法，将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱，即：预设固定阈值，当所述距离图中的欧氏距离大于预设固定阈值时，所述欧氏距离所对应的像素点被识别为变化像素，否则被识别为不变像素，从而获取图像变化检测结果。
本实施例中，优选地，所述预处理包括降维处理、归一化处理和切片处理；所述切片处理将高光谱图像转换为高光谱数据块，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
本实施例中，优选地，所述模型训练模块130中构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括：所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块，所述注意力模块包括通道注意力子模块和空间注意力子模块；利用预处理后的双时相高光谱图像进行训练的过程包括：
步骤31、对双时相高光谱图像进行特征提取，获取对应双时相高光谱图像的两个高光谱特征图；对于双时相高光谱图像中的单个时相高光谱图像，其特征提取的具体过程包括：
所述高光谱数据块经过通道注意力子模块中全局最大池化、全局平均池化、全连接层、sigmoid激活函数激活，生成通道注意力特征图；
将所述通道注意力特征图和输入的高光谱数据块相乘，并将相乘得到的特征图输入空间注意力子模块；
所述相乘得到的特征图经过空间注意力子模块中全局最大池化、全局平均池化、降维、sigmoid激活函数激活，生成空间注意力特征图；
将所述空间注意力特征图和所述相乘得到的特征图相乘，获取最终生成的特征图；
将所述最终生成的特征图输入特征提取模块，所述特征提取模块为基于Resnet-34的语义分割网络，包括一个卷积池化层和四个跳层连接的残差块，孪生卷积神经网络单个分支输出的特征为四个残差块输出特征的堆叠；
步骤32、计算两个高光谱特征图的欧氏距离；
步骤33、计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值；所述损失值的计算公式为：
Figure BDA0003743191640000121
其中，D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像的类别标签所组成的标签图；
Figure BDA0003743191640000122
表示距离图D中的元素；
Figure BDA0003743191640000123
表示标签图M中的元素；b表示训练批次；i、j表示像素横坐标和像素纵坐标的索引；m表示阈值；ημ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；m表示阈值；
步骤34、利用所述损失值更新高光谱图像变化检测模型参数，迭代循环步骤31～步骤34，直至模型收敛，获取训练好的高光谱图像变化检测模型。
本实施例所述一种基于深度孪生网络的高光谱图像变化检测系统的功能可以由前述一种基于深度孪生网络的高光谱图像变化检测方法说明，因此本实施例未详述部分，可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，包括以下步骤：
步骤1、获取双时相高光谱图像；所述双时相高光谱图像中像素带有类别标签；
步骤2、对所述双时相高光谱图像进行预处理；
步骤3、构建基于孪生卷积神经网络的高光谱图像变化检测模型，并利用预处理后的双时相高光谱图像进行训练，获取训练好的高光谱图像变化检测模型；
步骤4、将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取检测结果。
2.根据权利要求1所述的一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，步骤2所述预处理包括降维处理、归一化处理和切片处理；所述切片处理将高光谱图像转换为高光谱数据块，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
3.根据权利要求2所述的一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，步骤3构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括：所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块，所述注意力模块包括通道注意力子模块和空间注意力子模块。
4.根据权利要求3所述的一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，步骤3中利用预处理后的双时相高光谱图像进行训练的过程包括：
步骤31、对双时相高光谱图像进行特征提取，获取对应双时相高光谱图像的两个高光谱特征图；
步骤32、计算两个高光谱特征图的欧氏距离；
步骤33、计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值；
步骤34、利用所述损失值更新高光谱图像变化检测模型参数，迭代循环步骤31～步骤34，直至模型收敛，获取训练好的高光谱图像变化检测模型。
5.根据权利要求4所述的一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，步骤31中对于双时相高光谱图像中的单个时相高光谱图像，其特征提取的具体过程包括：
所述高光谱数据块经过通道注意力子模块中全局最大池化、全局平均池化、全连接层、sigmoid激活函数激活，生成通道注意力特征图；
将所述通道注意力特征图和输入的高光谱数据块相乘，并将相乘得到的特征图输入空间注意力子模块；
所述相乘得到的特征图经过空间注意力子模块中全局最大池化、全局平均池化、降维、sigmoid激活函数激活，生成空间注意力特征图；
将所述空间注意力特征图和所述相乘得到的特征图相乘，获取最终生成的特征图；
将所述最终生成的特征图输入特征提取模块，所述特征提取模块为基于Resnet-34的语义分割网络，包括一个卷积池化层和四个跳层连接的残差块，孪生卷积神经网络单个分支输出的特征为四个残差块输出特征的堆叠。
6.根据权利要求5所述的一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，步骤33中所述损失值的计算公式为：
Figure FDA0003743191630000021
其中，D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像的类别标签所组成的标签图；
Figure FDA0003743191630000022
表示距离图D中的元素；
Figure FDA0003743191630000023
表示标签图M中的元素；b表示训练批次；i、j表示像素横坐标和像素纵坐标的索引；m表示阈值；nμ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；m表示阈值。
7.根据权利要求6所述的一种基于深度孪生网络的高光谱图像变化检测方法，其特征在于，步骤4中将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取两个高光谱特征图，并计算其欧氏距离后，利用阈值划分方法，将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱，即：预设固定阈值，当所述距离图中的欧氏距离大于预设固定阈值时，所述欧氏距离所对应的像素点被识别为变化像素，否则被识别为不变像素，从而获取图像变化检测结果。
8.一种基于深度孪生网络的高光谱图像变化检测系统，其特征在于，包括：
图像获取模块，其配置成获取双时相高光谱图像；所述双时相高光谱图像中像素带有类别标签；
预处理模块，其配置成对所述双时相高光谱图像进行预处理；
模型训练模块，其配置成构建基于孪生卷积神经网络的高光谱图像变化检测模型，并利用预处理后的双时相高光谱图像进行训练，获取训练好的高光谱图像变化检测模型；
检测模块，其配置成将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检测模型中，获取两个高光谱特征图，并计算其欧氏距离后，利用阈值划分方法，将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱，即：预设固定阈值，当所述距离图中的欧氏距离大于预设固定阈值时，所述欧氏距离所对应的像素点被识别为变化像素，否则被识别为不变像素，从而获取图像变化检测结果。
9.根据权利要求8所述的一种基于深度孪生网络的高光谱图像变化检测系统，其特征在于，所述预处理包括降维处理、归一化处理和切片处理；所述切片处理将高光谱图像转换为高光谱数据块，高光谱数据块是指中心像素与邻域像素构成的局部小图像。
10.根据权利要求9所述的一种基于深度孪生网络的高光谱图像变化检测系统，其特征在于，所述模型训练模块中构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括：所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块，所述注意力模块包括通道注意力子模块和空间注意力子模块；
利用预处理后的双时相高光谱图像进行训练的过程包括：
步骤31、对双时相高光谱图像进行特征提取，获取对应双时相高光谱图像的两个高光谱特征图；对于双时相高光谱图像中的单个时相高光谱图像，其特征提取的具体过程包括：
所述高光谱数据块经过通道注意力子模块中全局最大池化、全局平均池化、全连接层、sigmoid激活函数激活，生成通道注意力特征图；
将所述通道注意力特征图和输入的高光谱数据块相乘，并将相乘得到的特征图输入空间注意力子模块；
所述相乘得到的特征图经过空间注意力子模块中全局最大池化、全局平均池化、降维、sigmoid激活函数激活，生成空间注意力特征图；
将所述空间注意力特征图和所述相乘得到的特征图相乘，获取最终生成的特征图；
将所述最终生成的特征图输入特征提取模块，所述特征提取模块为基于Resnet-34的语义分割网络，包括一个卷积池化层和四个跳层连接的残差块，孪生卷积神经网络单个分支输出的特征为四个残差块输出特征的堆叠；
步骤32、计算两个高光谱特征图的欧氏距离；
步骤33、计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值；所述损失值的计算公式为：
Figure FDA0003743191630000031
其中，D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图；M表示一个训练批次双时相高光谱图像的类别标签所组成的标签图；
Figure FDA0003743191630000032
表示距离图D中的元素；
Figure FDA0003743191630000033
表示标签图M中的元素；b表示训练批次；i、j表示像素横坐标和像素纵坐标的索引；m表示阈值；nμ、nc分别表示每个训练批次中没有变化的像素数和有变化的像素数；m表示阈值；
步骤34、利用所述损失值更新高光谱图像变化检测模型参数，迭代循环步骤31～步骤34，直至模型收敛，获取训练好的高光谱图像变化检测模型。
CN202210818382.3A 2022-07-13 2022-07-13 一种基于深度孪生网络的高光谱图像变化检测方法及系统 Pending CN115187861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210818382.3A CN115187861A (zh) 2022-07-13 2022-07-13 一种基于深度孪生网络的高光谱图像变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210818382.3A CN115187861A (zh) 2022-07-13 2022-07-13 一种基于深度孪生网络的高光谱图像变化检测方法及系统

Publications (1)

Publication Number Publication Date
CN115187861A true CN115187861A (zh) 2022-10-14

Family

ID=83516796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210818382.3A Pending CN115187861A (zh) 2022-07-13 2022-07-13 一种基于深度孪生网络的高光谱图像变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN115187861A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN117076985A (zh) * 2023-08-14 2023-11-17 上海如海光电科技有限公司 一种融合自编码器的孪生网络对铁矿石libs数据的分类识别方法
CN117422711A (zh) * 2023-12-14 2024-01-19 武汉理工大学三亚科教创新园 一种海洋涡旋高光谱变化检测方法、装置、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116012364B (zh) * 2023-01-28 2024-01-16 北京建筑大学 Sar图像变化检测方法和装置
CN117076985A (zh) * 2023-08-14 2023-11-17 上海如海光电科技有限公司 一种融合自编码器的孪生网络对铁矿石libs数据的分类识别方法
CN117422711A (zh) * 2023-12-14 2024-01-19 武汉理工大学三亚科教创新园 一种海洋涡旋高光谱变化检测方法、装置、设备及介质
CN117422711B (zh) * 2023-12-14 2024-03-26 武汉理工大学三亚科教创新园 一种海洋涡旋高光谱变化检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Wang et al. GETNET: A general end-to-end 2-D CNN framework for hyperspectral image change detection
Zhao et al. Hyperspectral anomaly detection based on stacked denoising autoencoders
Liu et al. A deep convolutional coupling network for change detection based on heterogeneous optical and radar images
Zhang et al. Feature-level change detection using deep representation and feature change analysis for multispectral imagery
Sun et al. Low-rank and sparse matrix decomposition-based anomaly detection for hyperspectral imagery
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
CN115187861A (zh) 一种基于深度孪生网络的高光谱图像变化检测方法及系统
CN110298235B (zh) 基于流形约束自编码网络的高光谱异常检测方法及系统
CN112101271A (zh) 一种高光谱遥感影像分类方法及装置
Wang et al. Meta-learning based hyperspectral target detection using Siamese network
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN105989597B (zh) 基于像素选择过程的高光谱图像异常目标检测方法
Liu et al. Style transformation-based spatial–spectral feature learning for unsupervised change detection
CN115205590A (zh) 一种基于互补集成Transformer网络的高光谱图像分类方法
Lavanya et al. An improved band selection technique for hyperspectral data using factor analysis
CN114048810A (zh) 一种基于多层次特征提取网络的高光谱图像分类方法
Paul et al. Dimensionality reduction using band correlation and variance measure from discrete wavelet transformed hyperspectral imagery
Gu et al. Hyperspectral target detection via exploiting spatial-spectral joint sparsity
Sneha et al. Hyperspectral imaging and target detection algorithms: a review
Raza Shah et al. Hyperspectral anomaly detection: a performance comparison of existing techniques
Bakirman et al. Assessment of machine learning methods for seagrass classification in the Mediterranean
Haq et al. Machine Learning-based Classification of Hyperspectral Imagery
CN112784777B (zh) 基于对抗学习的无监督高光谱图像变化检测方法
Faghih et al. Multi-objective optimization based color constancy
Imani 3D Gabor based hyperspectral anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination