CN111914909B - 基于空谱联合三方向卷积网络的高光谱变化检测方法 - Google Patents

基于空谱联合三方向卷积网络的高光谱变化检测方法 Download PDF

Info

Publication number
CN111914909B
CN111914909B CN202010679908.5A CN202010679908A CN111914909B CN 111914909 B CN111914909 B CN 111914909B CN 202010679908 A CN202010679908 A CN 202010679908A CN 111914909 B CN111914909 B CN 111914909B
Authority
CN
China
Prior art keywords
hyperspectral
spectral
change
tensor
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010679908.5A
Other languages
English (en)
Other versions
CN111914909A (zh
Inventor
詹天明
宋博
张道潘
万鸣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing zhiliansen Information Technology Co.,Ltd.
Original Assignee
NANJING AUDIT UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING AUDIT UNIVERSITY filed Critical NANJING AUDIT UNIVERSITY
Priority to CN202010679908.5A priority Critical patent/CN111914909B/zh
Publication of CN111914909A publication Critical patent/CN111914909A/zh
Application granted granted Critical
Publication of CN111914909B publication Critical patent/CN111914909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空谱联合三方向卷积网络的高光谱变化检测方法，包括以下步骤，获取两个同一区域不同时相的高光谱图像，并将两个高光谱图像进行差分操作获取高光谱差异图像；选取训练样本，生成每个训练样本对应的变化张量；并对每个变化张量从三个不同方向提取该变化张量的光谱特征、不同角度的空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数；用训练好的三方向卷积网络模型对获取的高光谱差异图像的各个像素进行变化检测，划分为变化类或非变化类。获得变化检测结果图。本发明提升了检测精度的同时也提升了变化检测的稳定度和灵活性。

Description

基于空谱联合三方向卷积网络的高光谱变化检测方法
技术领域
本发明涉及光谱检测技术领域，具体涉及一种基于空谱联合三方向卷积网络的高光谱变化检测方法。
背景技术
遥感卫星高光谱影像是一种包含了空间信息和丰富光谱信息的数据集，因其比单波段和多波段的光谱影像包含更多的光谱信息而成为地物观测的一个重要数据来源。当前，利用多时期遥感卫星影像技术进行变化检测在土地覆盖分析、生态系统监测、描绘城市变化等方面具有重要的应用价值。
目前，在单光谱和多光谱的变化检测问题中，已有不少学者提出了多种检测算法，并取得了较高的检测精度，但是高光谱的变化检测存在如下几个难点，尤其针对遥感卫星高光谱影像的检测，具体描述如下：
(1)，高光谱具有极高的光谱维度，高维空间的复杂性让适用于低维空间的变化检测算法失效；
(2)，高光谱数据的分辨率极高，相邻两个波段的光谱信息通常具有很高的相关性，不可避免的产生数据冗余；
(3)，高光谱成像仪本身以及采集数据过程中大气的散射等因素的影响，不可避免地产生噪声。只利用光谱信息进行变化检测将受到噪声的影响，检测效果将大打折扣。
因此，传统的变化检测方法，不能直接应用于高光谱图像的变化检测任务中，需要针对高光谱图像的特性，充分挖掘高光谱图像的特征，设计高光谱图像变化检测方法，是当前需要解决的问题。
发明内容
本发明的目的是克服传统的变化检测方法，不能直接应用于高光谱图像的变化检测任务中的问题。本发明的基于空谱联合三方向卷积网络的高光谱变化检测方法，充分利用了三方向卷积网络提取了丰富的光谱特征和不同角度的空谱联合特征的同时对张量降维，节约了大量的计算和存储资源，很好地弥补了单一使用光谱特征进行变化检测易受噪声影响的缺点，提升了检测精度的同时也提升了变化检测的稳定度和灵活性，具有良好的应用前景。
为了达到上述目的，本发明所采用的技术方案是：
一种基于空谱联合三方向卷积网络的高光谱变化检测方法，包括以下步骤，
步骤(A)，获取两个同一区域不同时相的高光谱图像，并将两个高光谱图像进行差分操作获取高光谱差异图像；
步骤(B)，选取训练样本，生成每个训练样本对应的变化张量；并对每个变化张量从三个不同方向提取该变化张量的光谱特征、不同角度的空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数；
步骤(C)，用训练好的三方向卷积网络模型对步骤(A)获取的高光谱差异图像的各个像素进行变化检测，划分为变化类或非变化类；
步骤(D)，将高光谱差异图像的所有像素均完成判别后，获得变化检测结果图。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，步骤(A)，获取两个同一区域不同时相的高光谱图像，并将两个高光谱图像进行差分操作获取高光谱差异图像，包括以下步骤，
(A1)，在两个不同时间点从同一个高光谱数据源中获取同一区域的高光谱图像I1、I2；
(A2)，对高光谱图像I1、I2进行噪声消除处理；
(A3)，将预处理后的两个时相的高光谱图像进行差分操作f(I1,I2)获得高光谱差异图像ΔI，该差分操作f(I1,I2)函数表达式为公式(1)所示，
f(I1,I2)＝|I2-I1| (1)。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，(A2)，对高光谱图像I1、I2进行噪声消除处理，是遍历两个时相的高光谱的每个波段，移除被噪声严重影响导致信噪比较低的波段，且两个高光谱数据移除的波段相同。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，步骤(B)，选取训练样本，生成每个训练样本对应的变化张量；并对每个变化张量从三个不同方向提取该变化张量的光谱特征、不同角度的空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，包括以下步骤，
(B1)，选择像素总数10％的像素，人工标记其是否属于变化像素，并记录该像素的位置信息及其标记的类别信息作为训练样本；
(B2)，将每个训练样本像素及其邻域的像素所对应的光谱变化向量从高光谱差异图ΔI中提取出来形成对应的变化张量；
(B3)，将训练样本像素对应的变化张量及其对应的标记类别作为输入，对每个变化张量从三个不同方向提取张量的光谱特征和空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，该三个不同方向提取张量的光谱特征包括两个空间维度的方向和一个光谱维度的方向。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，(B2)，将每个训练样本像素及其邻域的像素所对应的光谱变化向量从高光谱差异图ΔI中提取出来形成对应的变化张量，是(B1)将每个训练样本像素及以它为中心的5*5正方形邻域像素在高光谱差异图ΔI中的变化光谱向量提取出来形成5*5*L的变化张量，其中，L是高光谱图像的光谱维数。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，(B3)，将训练样本像素对应的变化张量及其对应的标记类别作为输入，对每个变化张量从三个不同方向提取张量的光谱特征和空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，包括以下步骤，
(B31)，使用1*1*3的3D卷积核，将输入的5*5*L的变化张量通过5层3D卷积网络提取光谱特征的同时对张量降维，形成1个5*5*35的特征张量；
(B32)，将5*5*35的张量变形为35*5*5和5*35*5的张量，作为空间方向卷积网络的输入；
(B33)，使用3*3*1的3D卷积核，将输入的35*5*5和5*35*5的张量分别经过2层3D卷积神经网络从两个空间维度的方向和一个光谱维度的方向提取包括光谱特征和空间特征的空谱联合特征，将得到的所有张量均变形回5*5*35，得到24个5*5*35的特征张量；
(B34)，将(B31)中得到的1个5*5*35的张量与(B33)中得到的24个5*5*35的特征张量融合为25个5*5*35的张量，作为三方向卷积网络提取的空谱联合特征用于变化检测的输入；
(B35)，将(B34)中的25个5*5*35的张量经过最大池化操作形成25个1*1*35的张量，在经过平坦化操作后形成875维的向量，随机丢弃向量中50％的数据后输入全连接网络分类器进行分类，分类为变化像素或非变化像素；
(B36)，将(B35)中每个像素的分类结果信息及其对应的标签信息输入到损失函数中获得损失值，并根据损失值对三方向卷积神经网络进行反向传播，对权重参数进行更新，三方向卷积网络的损失函数，如公式(2)所示，
Figure BDA0002585450500000051
其中，xi是第yi类第i个特征，Wj是权重矩阵W的第j列，b是偏置项。
(B37)，对权重参数进行更新，重复(B36)，当损失值连续40轮没有下降时中止训练，将最近一次损失值下降时对应的三方向卷积网络模型参数作为最优权重参数保存，从而得到适用于该高光谱数据集的模型参数。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，步骤(C)，用训练好的三方向卷积网络模型对步骤(A)获取的高光谱差异图像的各个像素进行变化检测，划分为变化类或非变化类，包括以下步骤，
(C1)，将高光谱差异图ΔI中的每个像素都以它为中心的5*5正方形邻域像素在高光谱差异图ΔI中的变化光谱向量提取出来形成5*5*L的变化张量，从而形成W*H个5*5*L的变化张量，其中W和H为两个空间方向维数；
(C2)，将每个像素对应的5*5*L的变化张量输入训练好的三方向卷积网络模型中得到分类结果作为该像素的分类结果。
前述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：步骤(D)，生成变化检测结果图Cij，如公式(3)所示，
Figure BDA0002585450500000052
本发明的有益效果是：本发明的基于空谱联合三方向卷积网络的高光谱变化检测方法，充分利用了三方向卷积网络提取了丰富的光谱特征和不同角度的空谱联合特征的同时对张量降维，节约了大量的计算和存储资源，很好地弥补了单一使用光谱特征进行变化检测易受噪声影响的缺点，提升了检测精度的同时也提升了变化检测的稳定度和灵活性，具有良好的应用前景。
附图说明
图1是本发明的基于空谱联合三方向卷积网络的高光谱变化检测方法的流程图；
图2是本发明实施例第一时相的高光谱图像；
图3是本发明实施例第二时相的高光谱图像；
图4是本发明实施例的高光谱变化检测结果图；
图5是本发明实施例人工标记的实际变化区域地面真值。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，本发明的基于空谱联合三方向卷积网络的高光谱变化检测方法，具体包括以下步骤，
步骤(A)，获取两个同一区域不同时相的高光谱图像，并将两个高光谱图像进行差分操作获取高光谱差异图像，包括以下步骤，
(A1)，在两个不同时间点从同一个高光谱数据源中获取同一区域的高光谱图像I1、I2；
(A2)，对高光谱图像I1、I2进行噪声消除处理，是遍历两个时相的高光谱的每个波段，移除被噪声严重影响导致信噪比较低的波段，且两个高光谱数据移除的波段相同；
(A3)，将预处理后的两个时相的高光谱图像进行差分操作f(I1,I2)获得高光谱差异图像ΔI，该差分操作f(I1,I2)函数表达式为公式(1)所示，
f(I1,I2)＝|I2-I1| (1)；
步骤(B)，选取训练样本，生成每个训练样本对应的变化张量；并对每个变化张量从三个不同方向提取该变化张量的光谱特征、不同角度的空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，包括以下步骤，
(B1)，选择像素总数10％的像素，人工标记其是否属于变化像素，并记录该像素的位置信息及其标记的类别信息作为训练样本；
(B2)，将每个训练样本像素及其邻域的像素所对应的光谱变化向量从高光谱差异图ΔI中提取出来形成对应的变化张量；
(B3)，将训练样本像素对应的变化张量及其对应的标记类别作为输入，对每个变化张量从三个不同方向提取张量的光谱特征和空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，该三个不同方向提取张量的光谱特征包括两个空间维度的方向和一个光谱维度的方向，具体包括以下步骤，
(B31)，使用1*1*3的3D卷积核，将输入的5*5*L的变化张量通过5层3D卷积网络提取光谱特征的同时对张量降维，形成1个5*5*35的特征张量；
(B32)，将5*5*35的张量变形为35*5*5和5*35*5的张量，作为空间方向卷积网络的输入；
(B33)，使用3*3*1的3D卷积核，将输入的35*5*5和5*35*5的张量分别经过2层3D卷积神经网络从两个空间维度的方向和一个光谱维度的方向提取包括光谱特征和空间特征的空谱联合特征，将得到的所有张量均变形回5*5*35，得到24个5*5*35的特征张量；
(B34)，将(B31)中得到的1个5*5*35的张量与(B33)中得到的24个5*5*35的特征张量融合为25个5*5*35的张量，作为三方向卷积网络提取的空谱联合特征用于变化检测的输入；
(B35)，将(B34)中的25个5*5*35的张量经过最大池化操作形成25个1*1*35的张量，在经过平坦化操作后形成875维的向量，随机丢弃向量中50％的数据后输入全连接网络分类器进行分类，分类为变化像素或非变化像素；
(B36)，将(B35)中每个像素的分类结果信息及其对应的标签信息输入到损失函数中获得损失值，并根据损失值对三方向卷积神经网络进行反向传播，对权重参数进行更新，三方向卷积网络的损失函数，如公式(2)所示，
Figure BDA0002585450500000081
其中，xi是第yi类第i个特征，Wj是权重矩阵W的第j列，b是偏置项。
(B37)，对权重参数进行更新，重复(B36)，当损失值连续40轮没有下降时中止训练，将最近一次损失值下降时对应的三方向卷积网络模型参数作为最优权重参数保存，从而得到适用于该高光谱数据集的模型参数。
步骤(C)，用训练好的三方向卷积网络模型对步骤(A)获取的高光谱差异图像的各个像素进行变化检测，划分为变化类或非变化类，(C1)，将高光谱差异图ΔI中的每个像素都以它为中心的5*5正方形邻域像素在高光谱差异图ΔI中的变化光谱向量提取出来形成5*5*L的变化张量，从而形成W*H个5*5*L的变化张量，其中W和H为两个空间方向维数；
(C2)，将每个像素对应的5*5*L的变化张量输入训练好的三方向卷积网络模型中得到分类结果作为该像素的分类结果；
步骤(D)，将高光谱差异图像的所有像素均完成判别后，获得变化检测结果图Cij，如公式(3)所示，
Figure BDA0002585450500000091
根据本发明的基于空谱联合三方向卷积网络的高光谱变化检测方法，如图2-图4的高光谱变化检测结果图，能够显示高光谱变化检测的结果，其中，图2-图4的前两幅图为两个同一区域两个不同时相的高光谱图像，第三幅图为本发明的变化检测结果图，图5是人工标记的实际变化地面真值图。从检测结果和实际的地面真值图中可以看出，该方法可以有效的对高光谱变化区域进行识别。
综上所述，本发明的基于空谱联合三方向卷积网络的高光谱变化检测方法，充分利用了三方向卷积网络提取了丰富的光谱特征和不同角度的空谱联合特征的同时对张量降维，节约了大量的计算和存储资源，很好地弥补了单一使用光谱特征进行变化检测易受噪声影响的缺点，提升了检测精度的同时也提升了变化检测的稳定度和灵活性，适用于高光谱图像的变化检测任务，尤其适用于遥感卫星高光谱影像的应用，具有良好的应用前景。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：包括以下步骤，
步骤(A)，获取两个同一区域不同时相的高光谱图像，并将两个高光谱图像进行差分操作获取高光谱差异图像；
步骤(B)，选取训练样本，生成每个训练样本对应的变化张量；并对每个变化张量从三个不同方向提取该变化张量的光谱特征、不同角度的空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数；
步骤(C)，用训练好的三方向卷积网络模型对步骤(A)获取的高光谱差异图像的各个像素进行变化检测，划分为变化类或非变化类；
步骤(D)，将高光谱差异图像的所有像素均完成判别后，获得变化检测结果图。
2.根据权利要求1所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：步骤(A)，获取两个同一区域不同时相的高光谱图像，并将两个高光谱图像进行差分操作获取高光谱差异图像，包括以下步骤，
(A1)，在两个不同时间点从同一个高光谱数据源中获取同一区域的高光谱图像I1、I2；
(A2)，对高光谱图像I1、I2进行噪声消除处理；
(A3)，将预处理后的两个时相的高光谱图像进行差分操作f(I1,I2)获得高光谱差异图像ΔI，该差分操作f(I1,I2)函数表达式为公式(1)所示，
f(I1,I2)＝|I2-I1| (1)。
3.根据权利要求2所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：(A2)，对高光谱图像I1、I2进行噪声消除处理，是遍历两个时相的高光谱的每个波段，移除被噪声严重影响导致信噪比较低的波段，且两个高光谱数据移除的波段相同。
4.根据权利要求2所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：步骤(B)，选取训练样本，生成每个训练样本对应的变化张量；并对每个变化张量从三个不同方向提取该变化张量的光谱特征、不同角度的空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，包括以下步骤，
(B1)，选择像素总数的10％的像素，且通过人工标记其是否属于变化像素，并记录该像素的位置信息及其标记的类别信息作为训练样本；
(B2)，将每个训练样本像素及其邻域的像素所对应的光谱变化向量从高光谱差异图ΔI中提取出来形成对应的变化张量；
(B3)，将训练样本像素对应的变化张量及其对应的标记类别作为输入，对每个变化张量从三个不同方向提取张量的光谱特征和空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，该三个不同方向提取张量的光谱特征包括两个空间维度的方向和一个光谱维度的方向。
5.根据权利要求4所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：(B2)，将每个训练样本像素及其邻域的像素所对应的光谱变化向量从高光谱差异图ΔI中提取出来形成对应的变化张量，是(B1)将每个训练样本像素及以它为中心的5*5正方形邻域像素在高光谱差异图ΔI中的变化光谱向量提取出来形成5*5*L的变化张量，其中，L是高光谱图像的光谱维数。
6.根据权利要求4所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：(B3)，将训练样本像素对应的变化张量及其对应的标记类别作为输入，对每个变化张量从三个不同方向提取张量的光谱特征和空间特征进行融合，训练三方向卷积网络模型，并得到适用于该高光谱数据集的模型参数，包括以下步骤，
(B31)，使用1*1*3的3D卷积核，将输入的5*5*L的变化张量通过5层3D卷积网络提取光谱特征的同时对张量降维，形成1个5*5*35的特征张量；
(B32)，将5*5*35的张量变形为35*5*5和5*35*5的张量，作为空间方向卷积网络的输入；
(B33)，使用3*3*1的3D卷积核，将输入的35*5*5和5*35*5的张量分别经过2层3D卷积神经网络从两个空间维度的方向和一个光谱维度的方向提取包括光谱特征和空间特征的空谱联合特征，将得到的所有张量均变形回5*5*35，得到24个5*5*35的特征张量；
(B34)，将(B31)中得到的1个5*5*35的张量与(B33)中得到的24个5*5*35的特征张量融合为25个5*5*35的张量，作为三方向卷积网络提取的空谱联合特征用于变化检测的输入；
(B35)，将(B34)中的25个5*5*35的张量经过最大池化操作形成25个1*1*35的张量，在经过平坦化操作后形成875维的向量，随机丢弃向量中50％的数据后输入全连接网络分类器进行分类，分类为变化像素或非变化像素；
(B36)，将(B35)中每个像素的分类结果信息及其对应的标签信息输入到损失函数中获得损失值，并根据损失值对三方向卷积神经网络进行反向传播，对权重参数进行更新，三方向卷积网络的损失函数，如公式(2)所示，
Figure FDA0002585450490000031
其中，xi是第yi类第i个特征，Wj是权重矩阵W的第j列，b是偏置项；
(B37)，对权重参数进行更新，重复(B36)，当损失值连续40轮没有下降时中止训练，将最近一次损失值下降时对应的三方向卷积网络模型参数作为最优权重参数保存，从而得到适用于该高光谱数据集的模型参数。
7.根据权利要求6所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：步骤(C)，用训练好的三方向卷积网络模型对步骤(A)获取的高光谱差异图像的各个像素进行变化检测，划分为变化类或非变化类，包括以下步骤，
(C1)，将高光谱差异图ΔI中的每个像素都以它为中心的5*5正方形邻域像素在高光谱差异图ΔI中的变化光谱向量提取出来形成5*5*L的变化张量，从而形成W*H个5*5*L的变化张量，其中W和H为两个空间方向维数；
(C2)，将每个像素对应的5*5*L的变化张量输入训练好的三方向卷积网络模型中得到分类结果作为该像素的分类结果。
8.根据权利要求6所述的基于空谱联合三方向卷积网络的高光谱变化检测方法，其特征在于：步骤(D)，生成变化检测结果图Cij，如公式(3)所示，
Figure FDA0002585450490000041
CN202010679908.5A 2020-07-15 2020-07-15 基于空谱联合三方向卷积网络的高光谱变化检测方法 Active CN111914909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010679908.5A CN111914909B (zh) 2020-07-15 2020-07-15 基于空谱联合三方向卷积网络的高光谱变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010679908.5A CN111914909B (zh) 2020-07-15 2020-07-15 基于空谱联合三方向卷积网络的高光谱变化检测方法

Publications (2)

Publication Number Publication Date
CN111914909A CN111914909A (zh) 2020-11-10
CN111914909B true CN111914909B (zh) 2021-01-12

Family

ID=73280981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010679908.5A Active CN111914909B (zh) 2020-07-15 2020-07-15 基于空谱联合三方向卷积网络的高光谱变化检测方法

Country Status (1)

Country Link
CN (1) CN111914909B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818920B (zh) * 2021-02-25 2022-09-20 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN115240072B (zh) * 2022-08-04 2024-03-12 南京审计大学 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN116228524B (zh) * 2023-02-14 2023-12-22 无锡学院 基于光谱差异的高光谱图像序列降维方法
CN116229174A (zh) * 2023-03-10 2023-06-06 南京审计大学 一种基于空谱联合注意力机制的高光谱多类变化检测方法
CN118015476B (zh) * 2024-04-09 2024-06-11 南京理工大学 基于低参数神经网络与标准化流的铁路外部环境遥感变化检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208118A (zh) * 2013-03-25 2013-07-17 河海大学 一种高光谱遥感影像端元提取方法
CN104751179A (zh) * 2015-04-01 2015-07-01 河海大学 一种基于博弈论的多目标高光谱遥感影像波段选择方法
CN108319949A (zh) * 2018-01-26 2018-07-24 中国电子科技集团公司第十五研究所 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法
CN108427924A (zh) * 2018-03-09 2018-08-21 华中科技大学 一种基于旋转敏感特征的文本回归检测方法
CN108550174A (zh) * 2018-03-08 2018-09-18 中国地质大学（武汉） 一种基于半全局优化的海岸线超分辨率制图方法及系统
CN110210313A (zh) * 2019-05-06 2019-09-06 河海大学 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN110598655A (zh) * 2019-09-18 2019-12-20 东莞德福得精密五金制品有限公司 人工智能云计算多光谱烟雾高温火花火灾监控方法
US10565766B2 (en) * 2016-01-12 2020-02-18 Esight Corp. Language element vision augmentation methods and devices
US10592780B2 (en) * 2018-03-30 2020-03-17 White Raven Ltd. Neural network training system
CN111339827A (zh) * 2020-01-18 2020-06-26 中国海洋大学 基于多区域卷积神经网络的sar图像变化检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208118A (zh) * 2013-03-25 2013-07-17 河海大学 一种高光谱遥感影像端元提取方法
CN104751179A (zh) * 2015-04-01 2015-07-01 河海大学 一种基于博弈论的多目标高光谱遥感影像波段选择方法
US10565766B2 (en) * 2016-01-12 2020-02-18 Esight Corp. Language element vision augmentation methods and devices
CN108319949A (zh) * 2018-01-26 2018-07-24 中国电子科技集团公司第十五研究所 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法
CN108550174A (zh) * 2018-03-08 2018-09-18 中国地质大学（武汉） 一种基于半全局优化的海岸线超分辨率制图方法及系统
CN108427924A (zh) * 2018-03-09 2018-08-21 华中科技大学 一种基于旋转敏感特征的文本回归检测方法
US10592780B2 (en) * 2018-03-30 2020-03-17 White Raven Ltd. Neural network training system
CN110210313A (zh) * 2019-05-06 2019-09-06 河海大学 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN110598655A (zh) * 2019-09-18 2019-12-20 东莞德福得精密五金制品有限公司 人工智能云计算多光谱烟雾高温火花火灾监控方法
CN111339827A (zh) * 2020-01-18 2020-06-26 中国海洋大学 基于多区域卷积神经网络的sar图像变化检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Spatial and spectral image fusion using sparse matrix factorization;Huang B等;《IEEE Trans.Geo.Remo.Sens.》;20131231;第52卷(第3期);第1693-1704页 *
Spatial-spectral feature extraction of hyperspectral image based on deep learning;Huang H等;《Laser＆Optoelectronics Progress》;20170519;第54卷(第10期);第1-9页 *
光学遥感影像空间分辨率提升的正则化方法研究;江铖;《中国博士学位论文全文数据库 基础科学辑》;20160715(第7期);第A008-26页 *
提高小样本高光谱图像分类性能的变维卷积神经网络;刘万军等;《中国图象图形学报》;20190916;第24卷(第9期);第1604-1618页 *

Also Published As

Publication number Publication date
CN111914909A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
Li et al. Hyperspectral image super-resolution using deep convolutional neural network
Cai et al. Coarse-to-fine sparse transformer for hyperspectral image reconstruction
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN108491849B (zh) 基于三维稠密连接卷积神经网络的高光谱图像分类方法
Yan et al. Accurate spectral super-resolution from single RGB image using multi-scale CNN
Charles et al. Learning sparse codes for hyperspectral imagery
Srinidhi et al. Plant pathology disease detection in apple leaves using deep convolutional neural networks: Apple leaves disease detection using efficientnet and densenet
CN111428781A (zh) 遥感影像地物分类方法及系统
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
He et al. DsTer: A dense spectral transformer for remote sensing spectral super-resolution
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN111340698A (zh) 一种基于神经网络的多光谱图像光谱分辨率增强方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN115049640B (zh) 一种基于深度学习的道路裂缝检测方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
Yuan et al. ROBUST PCANet for hyperspectral image change detection
Zou et al. Hyperspectral image super-resolution combining with deep learning and spectral unmixing
Haq et al. 3D-CNNHSR: A 3-Dimensional Convolutional Neural Network for Hyperspectral Super-Resolution.
Chen et al. Scene segmentation of remotely sensed images with data augmentation using U-net++
CN114299382A (zh) 高光谱遥感图像分类方法及系统
CN116452872A (zh) 一种基于改进的Deeplabv3+的森林场景树种分类方法
Zeng et al. U-net-based multispectral image generation from an rgb image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211130

Address after: 210000-012, 3rd floor, North building, D2, 32 Dazhou Road, Yuhuatai District, Nanjing City, Jiangsu Province

Patentee after: Nanjing zhiliansen Information Technology Co.,Ltd.

Address before: 210000 No. 86, Yushan West Road, Jiangpu street, Pukou District, Nanjing, Jiangsu.

Patentee before: NANJING AUDIT University

TR01 Transfer of patent right