CN113963207B - 基于空谱信息特征引导融合网络的高光谱图像分类方法 - Google Patents

基于空谱信息特征引导融合网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN113963207B
CN113963207B CN202111228599.0A CN202111228599A CN113963207B CN 113963207 B CN113963207 B CN 113963207B CN 202111228599 A CN202111228599 A CN 202111228599A CN 113963207 B CN113963207 B CN 113963207B
Authority
CN
China
Prior art keywords
feature
spectrum
spatial
space
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111228599.0A
Other languages
English (en)
Other versions
CN113963207A (zh
Inventor
刘建军
邵毅豪
吴喆
杨金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202111228599.0A priority Critical patent/CN113963207B/zh
Publication of CN113963207A publication Critical patent/CN113963207A/zh
Application granted granted Critical
Publication of CN113963207B publication Critical patent/CN113963207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于空谱信息特征引导融合网络的高光谱图像分类方法，涉及高光谱图像处理技术领域，该方法包括：对高光谱图像数据，随机划分为训练集和测试集；将训练集处理后分别通过空间特征提取模块和光谱‑空间特征提取模块得到空间特征图和光谱‑空间特征图；将两种特征图相继放入多引导块和自引导块进行引导；之后将两者通过双线性池化融合不同特征，最后将融合后的特征向量放入分类器中进行分类结果预测。本申请将二维的空间信息和三维的光谱‑空间信息利用多引导块和自引导块相结合的方式，获取到更加丰富的特征，再通过双线性融合操作融合不同特征提取器得到的特征，充分互补了不同维度的特征信息，显著提高了分类的性能。

Description

基于空谱信息特征引导融合网络的高光谱图像分类方法
技术领域
本发明涉及高光谱图像处理技术领域，尤其是基于空谱信息特征引导融合网络的高光谱图像分类方法。
背景技术
高光谱遥感，即高光谱分辨率遥感，利用成像技术和光谱特征从感兴趣的物体中获取一系列具有高光谱分辨率的连续、窄波段的图像数据。高光谱图像不仅可以提供土地覆盖目标的空间信息，而且还可以提供其丰富的光谱信息。它在地质勘探、气候监测、农作物检测、国防军事等各项领域得到了广泛应用。
高光谱图像分类是遥感应用领域的一项重要任务，近年来，随着深度学习不断发展，基于深度网络的高光谱分类方法也被证实是分类的有效手段之一。有监督的深度学习方法可以看做是从特征空间到标签空间的非线性映射，它能够从原始的数据中提取到更高层次的抽象语义特征。卷积神经网络也因此广泛应用于高光谱分类应用中。2D-CNN能够提取到图像的空间信息，3D-CNN能够进一步提取到图像的光谱-空间信息，但两者都有不足之处。2D-CNN缺乏对光谱信息的利用，3D-CNN则会导致增加大量的参数。因此如何结合两者的特点，将提取到的空间信息和光谱-空间信息有效地利用成为了提升分类精度的一个关键。
发明内容
本发明人针对上述问题及技术需求，提出了基于空谱信息特征引导融合网络的高光谱图像分类方法，通过引导块将空间信息和光谱信息有效的融合，得到更加丰富的可识别特征，提高了分类的精度。
本发明的技术方案如下：
基于空谱信息特征引导融合网络的高光谱图像分类方法，包括如下步骤：
步骤1：将高光谱图像数据划分为训练集和测试集；
步骤2：将训练集中的样本数据划分为空间数据和光谱-空间数据，并分别输入至空间特征提取块和光谱-空间特征提取块，得到相同维度的空间特征图和光谱-空间特征图；
步骤3：将相同维度的两种特征图共同输入至多引导块相互引导、强化不同特征间的关联，得到引导后的空间特征图和光谱-空间特征图；
步骤4：将引导后的空间特征图和光谱-空间特征图分别输入至自引导块挖掘特征图自身潜在的细节信息，得到自引导后的空间特征图和光谱-空间特征图；
步骤5：利用双线性池化操作将自引导后的空间特征图和光谱-空间特征图进行特征融合，通过归一化和向量化后得到融合特征向量；
步骤6：将融合特征向量输入至分类器中进行模型训练，利用训练后的分类器对测试集进行分类结果预测，得到高光谱图像最终的分类标签。
其进一步的技术方案为，步骤2具体包括：
提取训练集中的部分样本数据，并将其深度设置为1，组成三维的光谱-空间数据，训练集中的其余样本数据组成二维的空间数据；
分别利用2D-CNN和3D-CNN初步提取二维的空间数据和三维的光谱-空间数据的空间特征信息和光谱-空间特征信息；
再将空间特征信息和光谱-空间特征信息分别输入至空间特征提取块和光谱-空间特征提取块，空间特征提取块包括四层2D-CNN，光谱-空间特征提取块包括四层3D-CNN；
将两种提取块输出的特征数据利用reshape函数进行维度统一，得到相同维度的空间特征图和光谱-空间特征图，为下一步的特征引导做准备。
其进一步的技术方案为，步骤3具体包括：
将相同维度的空间特征图和光谱-空间特征图依次拼接后作为一个整体输入至多引导块，利用空间特征图的特征信息引导整体中光谱-空间特征图的特征信息，得到引导后的空间特征图；
多引导块的计算过程为：
F′2D＝F2D⊙A+B
其中，F′2D表示引导后的空间特征图，F2D表示由空间特征提取块输出的空间特征图，⊙表示点积；A和B表示引导信息，由两个独立的引导块计算，计算过程为：A＝X([F2D；F3D]；θX)B＝Y([F2D；F3D]；θY)
其中，X(·；θX)和Y(·；θY)分别表示A和B的引导块，由若干个卷积堆叠而成，θX、θY分别表示引导块X和Y的网络参数，[F2D；F3D]表示空间特征图和光谱-空间特征图在光谱通道维度上的级联；
同理，将相同维度的光谱-空间特征图和空间特征图依次拼接后作为一个整体输入至多引导块，利用光谱-空间特征图的特征信息引导整体中空间特征图的特征信息，得到引导后的光谱-空间特征图，多引导块通过两种特征信息的相互引导实现特征融合的效果。
其进一步的技术方案为，在步骤4中，由于经过了特征提取块和多引导块，此时的特征图具有深层特征，再利用自引导块对特征内在信息进行发掘，能进一步提升特征图的分类性能；
自引导块的计算过程为：
F″m＝F′m+α(F′m)，m＝2D或3D
其中，F′m表示由多引导块输出的空间特征图或光谱-空间特征图，作为自引导块的输入特征，F″m表示自引导后的空间特征图或光谱-空间特征图，作为自引导块的输出特征；α(F′m)表示自引导块的主体部分，即α(F′m)＝F′m⊙A+B，其中⊙表示点积，A和B表示引导信息，由两个独立的引导块计算，计算过程为：
A＝X(F′m；θX)B＝Y(F′m；θY)
其中，X(·；θX)和Y(·；θY)分别表示A和B的引导块，由若干个卷积堆叠而成，θX、θY分别表示引导块X和Y的网络参数。
其进一步的技术方案为，步骤5具体包括：
定义自引导后的空间特征图为定义自引导后的光谱-空间特征图为将两种自引导后的特征图利用reshape函数统一成/>N＝H×W和N＝H×W：
通过双线性融合的方式将两种特征图和/>在相同位置处进行融合得到新的特征信息，再对新的特征信息进行sum pooling操作得到特征矩阵，对特征矩阵的第一维进行L2归一化操作，并对其进行向量化操作得到融合特征向量；
双线性池化操作的计算过程为：
其中，l表示位置信息，表示特征信息，/>和/>表示在空间特征图/光谱-空间特征图的l位置处的特征信息，ξ表示特征矩阵，FL2表示L2归一化操作输出的特征，FV表示融合特征向量。
其进一步的技术方案为，步骤6中的将融合特征向量输入至分类器中进行模型训练，具体包括：
将融合特征向量输入至分类器中进行样本的分类，通过softmax分类器产生分类标签，模型训练采用的是交叉熵损失函数，通过SGD来降低损失直至收敛，学习率设为0.001。
本发明的有益技术效果是：
本申请将二维的空间信息和三维的光谱-空间信息相继放入多引导块和自引导块中，前者能够加强不同特征间的相关性，后者能够通过特征图自身具备的深层特征对自己进行引导，也即通过引导块将空间信息和光谱信息进行有效的融合，得到更加丰富的可识别特征，再通过双线性融合操作融合不同特征，充分互补了不同维度的特征信息，显著提高了分类的精度。
附图说明
图1是本申请提供的基于空谱信息特征引导融合网络的高光谱图像分类方法的框架图。
图2是本申请提供的两种特征提取块的流程图，其中(a)空间特征提取块，(b)光谱-空间特征提取块。
图3是本申请提供的两种引导块的流程图，其中(a)多引导块，(b)自引导块。
图4是本申请实施例提供的Indian Pines高光谱遥感图像及其分类图，其中(a)伪彩色图，(b)真实地物分类图，(c)pResNet分类图，(d)本发明分类图。
图5是本申请实施例提供的Salinas高光谱遥感图像及其分类图，(a)伪彩色图，(b)真实地物分类图，(c)pResNet分类图，(d)本发明分类图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
一种基于空谱信息特征引导融合网络的高光谱图像分类方法，总体上分为六个步骤，如图1所示，包括：选定训练样本，经过不同特征提取块提取浅层特征，之后通过多引导块，融合不同支路的特征信息，再利用自引导块提取特征自身更具体的细节，最后通过双线性池化层融合不同特征进行分类。具体包括以下步骤：
步骤1：将高光谱图像数据划分为训练集和测试集。
步骤2：将训练集中的样本数据划分为空间数据和光谱-空间数据，并分别输入至空间特征提取块和光谱-空间特征提取块，得到相同维度的空间特征图和光谱-空间特征图。
步骤2.1：提取训练集中的部分样本数据，并将其深度设置为1，组成三维的光谱-空间数据，训练集中的其余样本数据组成二维的空间数据；
步骤2.2：分别利用2D-CNN和3D-CNN初步提取二维的空间数据和三维的光谱-空间数据的空间特征信息和光谱-空间特征信息；
步骤2.3：再将空间特征信息和光谱-空间特征信息分别输入至空间特征提取块和光谱-空间特征提取块，如图2所示，空间特征提取块包括四层2D-CNN，光谱-空间特征提取块包括四层3D-CNN；
步骤2.4：将两种提取块输出的特征数据利用reshape函数进行维度统一，得到相同维度的空间特征图和光谱-空间特征图，为下一步的特征引导做准备。
步骤3：将相同维度的两种特征图共同输入至多引导块相互引导、强化不同特征间的关联，得到引导后的空间特征图和光谱-空间特征图。
步骤3.1：将相同维度的空间特征图和光谱-空间特征图依次拼接后作为一个整体输入至多引导块，利用空间特征图的特征信息引导整体中光谱-空间特征图的特征信息，得到引导后的空间特征图。
如图3(a)所示，多引导块的计算过程为：
F′2D＝F2D⊙A+B
其中，F′2D表示引导后的空间特征图，F2D表示由空间特征提取块输出的空间特征图，⊙表示点积；A和B表示引导信息，由两个独立的引导块计算，计算过程为：A＝X([F2D；F3D]；θX)B＝Y([F2D；F3D]；θY)
其中，X(·；θX)和Y(·；θY)分别表示A和B的引导块，由若干个卷积堆叠而成，θX、θY分别表示引导块X和Y的网络参数，[F2D；F3D]表示空间特征图和光谱-空间特征图在光谱通道维度上的级联。
步骤3.2：同理，将相同维度的光谱-空间特征图和空间特征图依次拼接后作为一个整体输入至多引导块，利用光谱-空间特征图的特征信息引导整体中空间特征图的特征信息，得到引导后的光谱-空间特征图。
多引导块通过两种特征信息的相互引导实现特征融合的效果，需要说明的是，步骤3.1和步骤3.2没有先后顺序区分，可以同时进行。
步骤4：将引导后的空间特征图和光谱-空间特征图分别输入至自引导块挖掘特征图自身潜在的细节信息，得到自引导后的空间特征图和光谱-空间特征图。
由于经过了特征提取块和多引导块，此时的特征图具有深层特征，再利用自引导块对特征内在信息进行发掘，能进一步提升特征图的分类性能。
如图3(b)所示，自引导块的计算过程为：
F″m＝F′m+α(F′m)，m＝2D或3D
其中，F′m表示由多引导块输出的空间特征图或光谱-空间特征图，作为自引导块的输入特征，F″m表示自引导后的空间特征图或光谱-空间特征图，作为自引导块的输出特征；α(F′m)表示自引导块的主体部分，与多引导块类似，唯一的区别是，只有输入本身用作引导，即α(F′m)＝F′m⊙A+B，其中⊙表示点积，A和B表示引导信息，由两个独立的引导块计算，计算过程为：
A＝X(F′m；θX)B＝Y(F′m；θY)
其中，X(·；θX)和Y(·；θY)分别表示A和B的引导块，由若干个卷积堆叠而成。
步骤5：利用双线性池化操作将自引导后的空间特征图和光谱-空间特征图进行特征融合，通过归一化和向量化后得到融合特征向量。
步骤5.1：定义自引导后的空间特征图为定义自引导后的光谱-空间特征图为/>将两种自引导后的特征图利用reshape函数统一成/>N＝H×W和/>N＝H×W。
步骤5.2：通过双线性融合的方式将两种特征图和/>在相同位置处进行融合得到新的特征信息，再对新的特征信息进行sum pooling操作得到特征矩阵，对特征矩阵的第一维进行L2归一化操作，并对其进行向量化操作得到融合特征向量。
则双线性池化操作的计算过程为：
其中，l表示位置信息，表示特征信息，/>和/>表示在空间特征图/光谱-空间特征图的l位置处的特征信息，ξ表示特征矩阵，FL2表示L2归一化操作输出的特征，FV表示融合特征向量。
步骤6：将融合特征向量输入至分类器中进行模型训练，也即将融合特征向量输入至分类器中进行样本的分类，通过softmax分类器产生分类标签，模型训练采用的是交叉熵损失函数，通过SGD(Stochastic Gradient Descent，随机梯度下降法)来降低损失直至收敛，学习率设为0.001。
利用训练后的分类器对测试集进行分类结果预测，得到高光谱图像最终的分类标签。
现结合一个具体的实施方式对本发明的方法进行进一步的说明。
本实施例采用Indian Pines(IP，参见图4(a)和(b))和Salinas(SA，参见图5(a)和(b))高光谱公共数据集，利用本发明所述方法进行分类。
Indian Pines数据的尺寸大小为145×145像素，剔除了含水波段后保留200个波段用于实验，每个波段的波长范围为0.4-2.5μm，空间和光谱分辨率分别为17m和10nm。共有16个地物类别。
Salinas数据大小为512×217像素，去除噪声波段后保留204个波段用于实验。空间分辨率为3.7m。共有16个地物类别。
本发明实验采用的环境为：Python3.8，CPU：i7-7700，主频3.6GHz，GPU：GTX-1060，内存为16GB。
对于IP数据集，在每类地物样本中分别选择样本总数的3％、5％、7％、10％作为训练样本。输入的patch_size大小为11，epoch为200。
对于SA数据集，在每类地物样本中分别抽取100、150、200、250个作为训练样本。输入的patch_size大小为11，epoch为300。
对比实验采用Pyramidal Residual Networks(pResNet)，通过计算三种指标来评估最终的分类结果，分别是：总体精度(OA)，平均精度(AA)和kappa系数(κ)。
从实验结果可以看出随着训练样本数的不断增加，OA也在不断的提高。
本方法在IP数据集上相较于pResNet，在3％、5％、7％、10％的训练样本情况下，总体精度分别比pResNet在相同训练样本的情况下高出9.91％、3.77％、2.64％、1.43％。
本方法在SA数据集上相较于pResNet，在每类取100个、150个、200个、250个的训练样本情况下，总体精度分别比pResNet在相同训练样本的情况下高出0.51％、0.38％、0.82％、0.86％。
在保持训练样本都取10％的情况下，对于IP数据集，分别将训练样本的patch_size大小取为5、7、9、11。对于SA数据集，分别将训练样本的patch_size大小取为7、9、11、13。
由结果对比可知，训练样本都保持相同时，随着patch_size的增大，特征图包含的信息也更多，OA也逐渐增大。
本方法在IP数据集上相较于pResNet，在patch_size大小取为5、7、9、11时，总体精度分别比pResNet高出1.99％、2.62％、1.65％、1.43％。
本方法在SA数据集上相较于pResNet，在patch_size大小取为7、9、11、13时，总体精度分别比pResNet高出1.07％、0.90％、0.82％、0.63％。
由上述结果表明，在相同条件下，本方法利用引导块得到的不同维度特征信息，配合双线性池化的融合效果，最终得到的光谱-空间联合信息更加具有辨识度，可以显著的提升分类精度。相较于pResNet，表现出了本发明在高光谱分类上的优势。
图4(c)和(d)是Indian Pines数据集每类10％训练样本下的分类图，图5(c)和(d)是Salinas数据集每类200个训练样本下的分类图。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (4)

1.基于空谱信息特征引导融合网络的高光谱图像分类方法，其特征在于，所述高光谱图像分类方法包括：
步骤1：将高光谱图像数据划分为训练集和测试集；
步骤2：将所述训练集中的样本数据划分为空间数据和光谱-空间数据，并分别输入至空间特征提取块和光谱-空间特征提取块，得到相同维度的空间特征图和光谱-空间特征图；
步骤3：将相同维度的两种特征图共同输入至多引导块相互引导、强化不同特征间的关联，得到引导后的空间特征图和光谱-空间特征图；
步骤4：将所述引导后的空间特征图和光谱-空间特征图分别输入至自引导块挖掘特征图自身潜在的细节信息，得到自引导后的空间特征图和光谱-空间特征图；
步骤5：利用双线性池化操作将所述自引导后的空间特征图和光谱-空间特征图进行特征融合，通过归一化和向量化后得到融合特征向量；
步骤6：将所述融合特征向量输入至分类器中进行模型训练，利用训练后的分类器对所述测试集进行分类结果预测，得到高光谱图像最终的分类标签；
其中，所述步骤3具体包括：
将相同维度的空间特征图和光谱-空间特征图依次拼接后作为一个整体输入至多引导块，利用所述空间特征图的特征信息引导整体中所述光谱-空间特征图的特征信息，得到引导后的空间特征图；
所述多引导块的计算过程为：
其中，表示引导后的空间特征图，/>表示由所述空间特征提取块输出的空间特征图，/>表示点积；A和B表示引导信息，由两个独立的引导块计算，计算过程为：
其中，和/>分别表示A和B的引导块，由若干个卷积堆叠而成，/>、/>分别表示引导块X和Y的网络参数，/>表示空间特征图和光谱-空间特征图在光谱通道维度上的级联；
同理，将相同维度的光谱-空间特征图和空间特征图依次拼接后作为一个整体输入至多引导块，利用所述光谱-空间特征图的特征信息引导整体中所述空间特征图的特征信息，得到引导后的光谱-空间特征图，所述多引导块通过两种特征信息的相互引导实现特征融合的效果；
在所述步骤4中，由于经过了特征提取块和多引导块，此时的特征图具有深层特征，再利用自引导块对特征内在信息进行发掘，能进一步提升特征图的分类性能；
所述自引导块的计算过程为：
其中，表示由所述多引导块输出的空间特征图或光谱-空间特征图，作为自引导块的输入特征，/>表示自引导后的空间特征图或光谱-空间特征图，作为自引导块的输出特征；表示自引导块的主体部分，即/>，其中A和B表示引导信息，由两个独立的引导块计算，计算过程为：
其中，和/>分别表示A和B的引导块，由若干个卷积堆叠而成。
2.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤2具体包括：
提取所述训练集中的部分样本数据，并将其深度设置为1，组成三维的光谱-空间数据，所述训练集中的其余样本数据组成二维的空间数据；
分别利用2D-CNN和3D-CNN初步提取二维的空间数据和三维的光谱-空间数据的空间特征信息和光谱-空间特征信息；
再将所述空间特征信息和光谱-空间特征信息分别输入至空间特征提取块和光谱-空间特征提取块，所述空间特征提取块包括四层2D-CNN，所述光谱-空间特征提取块包括四层3D-CNN；
将两种提取块输出的特征数据利用reshape函数进行维度统一，得到相同维度的空间特征图和光谱-空间特征图，为下一步的特征引导做准备。
3.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤5具体包括：
定义自引导后的空间特征图为,定义自引导后的光谱-空间特征图为；将两种自引导后的特征图利用reshape函数统一成/>和；
通过双线性融合的方式将两种特征图和/>在相同位置处进行融合得到新的特征信息，再对所述新的特征信息进行sum pooling操作得到特征矩阵，对所述特征矩阵的第一维进行L2归一化操作，并对其进行向量化操作得到融合特征向量；
所述双线性池化操作的计算过程为：
其中，表示位置信息，/>表示特征信息，/>和/>表示在空间特征图/光谱-空间特征图的/>位置处的特征信息，/>表示特征矩阵，/>表示L2归一化操作输出的特征，/>表示融合特征向量。
4.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤6中的将所述融合特征向量输入至分类器中进行模型训练，具体包括：
将所述融合特征向量输入至分类器中进行样本的分类，通过softmax分类器产生分类标签，模型训练采用的是交叉熵损失函数，通过SGD来降低损失直至收敛，学习率设为0.001。
CN202111228599.0A 2021-10-21 2021-10-21 基于空谱信息特征引导融合网络的高光谱图像分类方法 Active CN113963207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111228599.0A CN113963207B (zh) 2021-10-21 2021-10-21 基于空谱信息特征引导融合网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111228599.0A CN113963207B (zh) 2021-10-21 2021-10-21 基于空谱信息特征引导融合网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113963207A CN113963207A (zh) 2022-01-21
CN113963207B true CN113963207B (zh) 2024-03-29

Family

ID=79465493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111228599.0A Active CN113963207B (zh) 2021-10-21 2021-10-21 基于空谱信息特征引导融合网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113963207B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
WO2020062360A1 (zh) * 2018-09-29 2020-04-02 深圳大学 一种图像融合分类的方法及装置
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
WO2020062360A1 (zh) * 2018-09-29 2020-04-02 深圳大学 一种图像融合分类的方法及装置
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3维卷积递归神经网络的高光谱图像分类方法;关世豪;杨桄;李豪;付严宇;;激光技术;20201231(第04期);全文 *
CNN和三维Gabor滤波器的高光谱图像分类;魏祥坡;余旭初;谭熊;刘冰;职露;;计算机辅助设计与图形学学报;20200115(第01期);全文 *
基于边缘保持滤波的高光谱影像光谱-空间联合分类;张成坤;韩敏;;自动化学报;20171211(第02期);全文 *
引导滤波联合局部判别嵌入的高光谱影像分类;张辉;刘万军;吕欢欢;;吉林大学学报(地球科学版);20200726(第04期);全文 *

Also Published As

Publication number Publication date
CN113963207A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN112750140B (zh) 基于信息挖掘的伪装目标图像分割方法
CN107145836B (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
Alharan et al. A cluster-based feature selection method for image texture classification
Ramzi et al. Classification of hyperspectral data using an AdaBoostSVM technique applied on band clusters
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
Zhong et al. Cross-scene deep transfer learning with spectral feature adaptation for hyperspectral image classification
CN110378272B (zh) 基于矩阵分块Isomap算法的高光谱遥感影像特征提取方法
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN113139512B (zh) 基于残差和注意力的深度网络高光谱影像分类方法
Fırat et al. Spatial-spectral classification of hyperspectral remote sensing images using 3D CNN based LeNet-5 architecture
CN109543546B (zh) 基于深度序分布回归的步态年龄估计方法
Giraddi et al. Flower classification using deep learning models
CN113052130B (zh) 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
Wohlfarth et al. Dense cloud classification on multispectral satellite imagery
CN113963207B (zh) 基于空谱信息特征引导融合网络的高光谱图像分类方法
CN109785302B (zh) 一种空谱联合特征学习网络及多光谱变化检测方法
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
Ataş Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images
CN111079850B (zh) 波段显著度的深度空谱联合高光谱图像分类方法
CN115115878A (zh) 一种结合随机遮挡和byol结构的高光谱图像分类方法及其装置
Gao et al. Classification of hyperspectral remote sensing images based on simulated annealing genetic algorithm and multiple instance learning
CN114299382A (zh) 高光谱遥感图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant