CN114842264A - 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 - Google Patents

一种基于多尺度空谱特征联合学习的高光谱图像分类方法 Download PDF

Info

Publication number
CN114842264A
CN114842264A CN202210539391.9A CN202210539391A CN114842264A CN 114842264 A CN114842264 A CN 114842264A CN 202210539391 A CN202210539391 A CN 202210539391A CN 114842264 A CN114842264 A CN 114842264A
Authority
CN
China
Prior art keywords
scale
spectrum
spatial
hyperspectral
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210539391.9A
Other languages
English (en)
Other versions
CN114842264B (zh
Inventor
张彦梅
徐雁冰
余诚诚
岳亭轩
李欢
赵桂宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210539391.9A priority Critical patent/CN114842264B/zh
Publication of CN114842264A publication Critical patent/CN114842264A/zh
Application granted granted Critical
Publication of CN114842264B publication Critical patent/CN114842264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多尺度空谱特征联合学习的高光谱图像分类方法，通过多尺度光谱特征提取模块和多尺度空间特征提取模块分别有效提取了不同尺度的光谱特征和空间特征，再通过光谱‑空间特征融合模块进行光谱特征和空间特征的联合提取，实现了光谱‑空间特征的联合学习，充分利用了高光谱图像中丰富的光谱和空间信息，提高了分类精度；同时，本发明将光谱‑空间特征的提取通过三组卷积神经网络来实现，且第一组三维卷积层Ⅰ中卷积核的前两维尺寸为1×1，第二组为二维卷积层，相比于全部使用三个维度均不为1的多层三维卷积神经网络，能够在保证分类性能的前提下实现模型轻量化，加快模型获取时的训练速度和模型使用时的分类速度。

Description

一种基于多尺度空谱特征联合学习的高光谱图像分类方法
技术领域
本发明属于遥感图像处理领域，尤其涉及一种基于多尺度空谱特征联合学习的高光谱图像分类方法。
背景技术
高光谱图像是由数百个光谱波段组成的三维图像数据，包含丰富的光谱信息和空间信息，已经被广泛应用在城市发展、地质勘探、环境监管、精细农业等领域。高光谱图像分类的目的在于根据获得的样本特征将图像中的每个像素点划分到一个特定的地物类别，并根据地物类别的不同生成对应的分类结果图。
随着近年来深度学习理论的快速发展，以卷积神经网络(CNN)为主的深度学习方法在高光谱图像分类领域得到了广泛的应用，并取得了不错的进展。虽然基于CNN的高光谱分类方法已经取得了优秀的分类表现，但是这些分类方法通常只关注单一尺度的特征提取而忽略了一些重要的长程空间作用，这导致单尺度CNN模型无法准确的描述高光谱像素邻域内的空间分布关系，无法获取最优的空间特征表示。此外，传统CNN模型含有大量的可训练参数，往往需要大量的标记样本进行长时间训练和优化，容易出现泛化能力差、过拟合等问题。因此，设计一种训练效率高，泛化能力强、轻量化的多尺度深度学习分类模型对高光谱图像分类领域具有重大的现实意义。
发明内容
为解决现有高光谱分类方法感受野受限，特征尺度单一的问题，本发明提供一种基于多尺度空谱特征联合学习的高光谱图像分类方法，充分利用高光谱图像中丰富的光谱和空间信息，自动提取多尺度光谱-空间融合特征，实现高光谱图像分类。
一种基于多尺度空谱特征联合学习的高光谱图像分类方法，采用基于多尺度光谱-空间特征的网络模型对高光谱图像所包含的地物类别进行分类，其中，网络模型包括：
多尺度光谱特征提取模块，用于将高光谱像素邻域立方体X分别输入三种以上不同尺度的三维卷积层Ⅰ进行不同尺度的光谱特征提取，再将得到的不同尺度的光谱特征相加，得到多尺度光谱特征图S；其中，三维卷积层Ⅰ中卷积核前两维的尺寸为1×1；
多尺度空间特征提取模块，用于将多尺度光谱特征图S分别输入三种以上不同尺度的二维卷积层进行不同尺度的空间特征提取，再将得到的不同尺度的空间特征相加，得到多尺度空间特征图H′；
光谱-空间特征融合模块，用于将多尺度空间特征图H′输入一个三维卷积层Ⅱ进行光谱特征和空间特征的联合提取，得到光谱-空间特征图F；其中，三维卷积层Ⅱ中卷积核各维的尺寸均不为1；
光谱-空间特征分类模块，用于根据光谱-空间特征图F获取高光谱图像所包含的地物类别。
进一步地，所述多尺度光谱特征提取模块将高光谱像素邻域立方体X输入到1×1卷积层进行特征降维，得到低维特征图X′后，再将低维特征图X′分别输入卷积核大小为1×1×3、1×1×5、1×1×7的三维卷积层Ⅰ进行不同尺度的光谱特征提取。
进一步地，所述多尺度空间特征提取模块将多尺度光谱特征S输入到1×1卷积层进行特征降维，得到低维特征图H后，再将低维特征图H分别输入卷积核大小为1×1、3×3、5×5的二维深度可分离卷积层进行不同尺度的空间特征提取。
进一步地，所述网络模型还包括：
样本获取模块，用于获取高光谱数据集，并将高光谱数据集按照设定比例划分为训练集和验证集，其中，所述高光谱数据集中的每一条样本均由高光谱像素邻域立方体及其中心像素对应的类别标签构成；
反向传播模块，用于当训练集中的高光谱像素邻域立方体依次经过多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块的操作后，将得到的各样本的地物类别与对应的类别标签构建交叉熵损失函数，使得多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块根据交叉熵损失函数调节自身的可学习参数，直至得到符合设定要求的网络模型。
进一步地，所述设定要求为：所有训练轮次中，总体分类精度OA最高，其中，训练轮次至少为200次，且每个训练轮次的总体分类精度OA的获取方法为：
每个训练轮次结束后，将验证集的高光谱像素邻域立方体依次经过当前网络模型所包含的多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块的操作后，根据得到的验证集各样本的地物类别的预测值与对应的类别标签真实值计算总体分类精度OA。
进一步地，所述高光谱数据集中每一条样本的高光谱像素邻域立方体及其中心像素对应的类别标签获取方法为：
对于待分类的高光谱图像I∈RH×W×C，其中，H、W分别为高光谱图像的高度和宽度，C为波段数，同时，假设高光谱图像I包含N个标记样本，以N个标记样本为中心像素，使用空间尺寸为S×S的滑动窗口逐个中心像素进行采样，且采样过程中采用边界补零策略，得到N个维度大小为S×S×C的像素邻域立方体，并组成高光谱图像样本集χ＝{X1,X2,…,Xi,…,XN}，其中Xi∈RS×S×C；每个像素邻域立方体Xi的类别标签由其中心像素xi决定，与χ对应的类别标签集合Y＝{Y1,Y2,…,Yi,…,YN}，其中Yi∈{1,2,…,M}，M为地物类别数；最后，由χ和
Figure BDA0003647663880000041
组成高光谱数据集
Figure BDA0003647663880000042
有益效果：
1、本发明提供一种基于多尺度空谱特征联合学习的高光谱图像分类方法，通过多尺度光谱特征提取模块和多尺度空间特征提取模块分别有效提取了不同尺度的光谱特征和空间特征，再通过光谱-空间特征融合模块进行光谱特征和空间特征的联合提取，实现了光谱-空间特征的联合学习，充分利用了高光谱图像中丰富的光谱和空间信息，提高了分类精度；同时，本发明将光谱-空间特征的提取通过三组不同维度的卷积神经网络来实现，且第一组三维卷积层Ⅰ中卷积核前两维的尺寸为1×1，第二组为二维深度可分离卷积层，相比于全部使用三个维度均不为1的多层三维卷积神经网络，能够在保证分类性能的前提下实现模型轻量化，加快模型获取时的训练速度和模型使用时的分类速度。
2、本发明提供一种基于多尺度空谱特征联合学习的高光谱图像分类方法，多尺度光谱特征提取模块将高光谱图像X进行特征降维后再输入三维卷积层Ⅰ进行不同尺度的光谱特征提取，能够在保证分类性能的前提下实现模型轻量化，加快训练速度。
3、本发明提供一种基于多尺度空谱特征联合学习的高光谱图像分类方法，多尺度空间特征提取模块将多尺度光谱特征S进行特征降维后再输入二维深度可分离卷积层进行不同尺度的空间特征提取，能够在保证分类性能的前提下实现模型轻量化，加快训练速度。
4、本发明提供一种基于多尺度空谱特征联合学习的高光谱图像分类方法，采用像素邻域立方体作为网络模型的训练样本，能够充分利用像素邻域立方体内丰富的光谱-空间信息，有效提高模型的分类精度。
附图说明
图1为本发明提供的基于多尺度光谱-空间特征的网络模型的原理框图；
图2为本发明提供的网络模型的训练流程示意图；
图3为本发明提供的Indian Pines数据集分类结果图；其中，(a)为伪彩色图，(b)为地面真值图，(c)为分类结果图；
图4为本发明提供的Pavia University数据集分类结果图；其中，(a)为伪彩色图，(b)为地面真值图，(c)为分类结果图；
图5为本发明提供的Salinas数据集分类结果图；其中，(a)为伪彩色图，(b)为地面真值图，(c)为分类结果图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本发明提供的一种基于多尺度空谱特征联合学习的高光谱图像分类方法，采用基于多尺度光谱-空间特征的网络模型对高光谱图像所包含的地物类别进行分类，其中，如图1所示，网络模型包括：多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块；其中，各模块的功能具体如下：
多尺度光谱特征提取模块，用于将高光谱像素邻域立方体X分别输入三种以上不同尺度的三维卷积层Ⅰ进行不同尺度的光谱特征提取，再将得到的不同尺度的光谱特征相加，得到多尺度光谱特征图S；其中，三维卷积层Ⅰ前两维的尺度为1×1。
需要说明的是，三维卷积层Ⅰ前两维属于空间维度，最后一维属于光谱维度，不同尺度指的是光谱维的尺度不同；同时，由于三维卷积层Ⅰ前两维的尺度为1×1，则可以保证高光谱像素邻域立方体X每次只有一个像素点进行卷积操作，则提取出的特征与空间特征弱相关，与光谱特征更加强相关。
需要说明的是，高光谱像素邻域立方体X的获取方法为：将待分类的高光谱图像记为I∈RH×W×C，其中，高光谱图像I每个波段包含H×W个像素点，共有C个波段，其中H、W分别为高光谱图像的高度和宽度；使用设定空间尺寸，如9×9的滑动窗口逐像素点对高光谱图像I进行采样，且采样过程中采用边界补零策略，则可以得到H×W个维度大小为9×9×C的像素邻域立方体。)
进一步地，多尺度光谱特征提取模块主要是采用多尺度3-D卷积实现多尺度光谱特征的提取；同时，为了实现模型轻量化和加快分类速度，本发明还可以将高光谱图像数据X∈R9×9×C输入到1×1卷积层进行特征降维，得到低维特征图X′∈R9×9×C′，低维特征图X′的数学表达式具体如下：
Figure BDA0003647663880000061
其中，δ(·)和Θ(·)分别表示ReLU激活函数和批量归一化操作，
Figure BDA0003647663880000062
表示2-D卷积操作，Wse∈RC′×C×1×1是卷积层
Figure BDA0003647663880000071
的权重参数，C′表示特征降维后的通道数，也即特征数；得到低维特征图X′后，再将X′分别输入卷积核大小为1×1×3，1×1×5，1×1×7的三维卷积层Ⅰ，提取不同尺度的光谱特征，将提取出的三种不同尺度的光谱特征相加得到多尺度光谱特征S∈R9×9×C′,可以用数学表达式表示为：
Figure BDA0003647663880000072
其中，
Figure BDA0003647663880000073
表示3-D卷积操作，
Figure BDA0003647663880000074
Figure BDA0003647663880000075
分别表示
Figure BDA0003647663880000076
的权重参数。
多尺度空间特征提取模块，用于将多尺度光谱特征图S分别输入三种以上不同尺度的二维卷积层进行不同尺度的空间特征提取，再将得到的不同尺度的空间特征相加，得到多尺度空间特征图H′。
需要说明的是，二维卷积层的二维属于空间维度，没有光谱维度，因此，多尺度空间特征提取模块仅提取多尺度光谱特征图S的空间特征；例如，使用卷积核大小为1×1、3×3、5×5的三种不同尺度的深度可分离卷积，即可实现多尺度空间特征提取。
进一步地，同样为了实现模型轻量化和加快分类速度，本发明将多尺度光谱特征图S∈R9×9×C′输入1×1卷积层进行通道变换，也即特征降维后得到低维特征图H∈R9×9×C″，低维特征图H的数学表达式具体如下：
Figure BDA0003647663880000077
其中，Wsa∈RC″×C′×1×1是2-D卷积
Figure BDA0003647663880000078
的权重参数，C″表示1×1卷积核的数量；将进行通道变换后的特征图H分别输入到三种不同尺度的深度可分离卷积层提取不同尺度的空间特征并相加得到多尺度空间特征图H′∈R9×9×C″，可以用数学表达式表示为：
Figure BDA0003647663880000081
其中，Ψ1(·)，Ψ2(·)，Ψ3(·)分别表示卷积核大小为1×1，3×3，5×5的分组卷积操作，
Figure BDA0003647663880000082
分别为Ψ1(·)，Ψ2(·)，Ψ3(·)的权重参数，G表示分组卷积的分组数；分组数G可以决定每个卷积核进行卷积操作的通道数，当G＝C″时，每个卷积核只与对应的一个通道进行卷积操作，利用深度可分离卷积，可以有效降低模型参数，避免过拟合问题的出现。
光谱-空间特征融合模块，用于将多尺度空间特征图H′输入一个三维卷积层Ⅱ进行光谱特征和空间特征的联合提取，得到光谱-空间特征图F；其中，三维卷积层Ⅱ中卷积核各维的尺寸均不为1。
需要说明的是，三维卷积层Ⅱ中卷积核各维的尺度均不为1，则可以同时提取多尺度空间特征图H′的光谱特征和空间特征，实现光谱-空间特征融合；例如，将多尺度空间特征图H′输入到卷积核大小为3×3×7的三维卷积层Ⅱ，联合提取光谱特征和空间特征，实现光谱-空间特征融合，可以用数学表达式表示为：
Figure BDA0003647663880000083
其中，Wss∈R1×1×7×3×3是三维卷积
Figure BDA0003647663880000084
的权重参数。
光谱-空间特征分类模块，用于根据光谱-空间特征图F获取高光谱图像所包含的地物类别。具体的，光谱-空间特征分类模块将融合后的光谱-空间特征图F∈R9×9×C″输入全局平均池化层，得到分类特征向量p∈R1×1×C″，可以用数学表达式表示为：
Figure BDA0003647663880000091
其中f(i,j)表示融合特征图F中位于(i,j)位置处的特征向量；将分类特征向量p输入带有softmax分类器的全连接分类层产生最终的高光谱图像分类结果。
基于上述网络模型对高光谱图像所包含的地物类别进行分类的具体过程，下面详细介绍基于多尺度光谱-空间特征的网络模型的训练获取方法；所述网络模型还包括样本获取模块和反向传播模块。
其中，样本获取模块，用于获取高光谱数据集，并将高光谱数据集按照设定比例划分为训练集和验证集，其中，所述高光谱数据集中的每一条样本均由高光谱像素邻域立方体以及高光谱像素邻域立方体中心像素对应的类别标签构成；其中，高光谱数据集中每一条样本的高光谱像素邻域立方体以及高光谱像素邻域立方体中心像素对应的类别标签获取方法为：
对于待分类的高光谱图像I∈RH×W×C，其中，H、W分别为高光谱图像的高度和宽度，C为波段数，同时，假设高光谱图像I包含N个标记样本，以N个标记样本为中心像素，使用空间尺寸为S×S的滑动窗口逐个中心像素进行采样，且采样过程中采用边界补零策略，得到N个维度大小为S×S×C的像素邻域立方体，并组成高光谱图像样本集χ＝{X1,X2,…,Xi,…,XN}，其中Xi∈RS×S×C；每个像素邻域立方体Xi的类别标签由其中心像素xi决定，与χ对应的类别标签集合
Figure BDA0003647663880000092
其中Yi∈{1,2,…,M}，M为地物类别数；最后，将由χ和
Figure BDA0003647663880000093
组成的高光谱图像数据集
Figure BDA0003647663880000094
按照1：1：8的比例对各个样本类别进行随机采样，将10％的标记样本划分为训练集，10％划分为验证集，80％划分为测试集。
反向传播模块，用于当训练集中的高光谱图像依次经过多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块的操作后，将得到的各样本的地物类别与对应的类别标签构建交叉熵损失函数，使得多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块根据交叉熵损失函数调节自身的可学习参数，直至得到符合设定要求的网络模型。其中，所述设定要求为：所有训练轮次中，总体分类精度OA最高，其中，训练轮次至少为200次，且每个训练轮次的总体分类精度OA的获取方法为：
每个训练轮次结束后，将验证集的高光谱像素邻域立方体依次经过当前网络模型所包含的多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块的操作后，根据得到的验证集各样本的地物类别的预测值与对应的类别标签真实值计算总体分类精度OA。
也就是说，整个网络模型的训练过程需至少迭代200个训练轮次，每个训练轮次结束后，将验证集的样本送入当前训练轮次得到的网络模型，再根据得到样本类别标签的预测值来计算总体分类精度，所有训练轮次迭代完毕后，选择在验证集上得到最高总体分类精度OA的训练轮次产生的模型参数作为最终的网络模型参数。
需要说明的是，本发明采用He正态分布对网络模型中所有可训练参数进行初始化；同时，本发明用来监督网络训练结果的交叉熵损失函数用数学表达式表示为：
Figure BDA0003647663880000101
其中，l(·)表示指示函数，当j＝Yi时，l(Yi,j)＝1，否则l(Yi,j)＝0，Yi表示第i个标记样本的真实标签值，
Figure BDA0003647663880000111
表示第i个标记样本被分为第j类的分类概率；采用Adam优化器优化模型中所有的可学习参数。
由此可见，如图2所示，本发明的基于卷积神经网络的网络模型的获取方法可以总结如下：
步骤1：读取待分类高光谱图像数据，以N个标记样本为中心像素，使用空间尺寸为9×9的滑动窗口逐像素点进行滑动窗口采样，得到N个维度大小为9×9×C的像素邻域立方体，组成标记样本集合；像素邻域立方体的类别标签由中心像素决定，将标记样本集合与中心像素所对应的类别标签集合组合得到高光谱图像数据集；按照1：1：8的比例对各个样本类别进行随机采样，将10％的标记样本划分为训练集，10％划分为验证集，80％划分为测试集。
步骤2：构建多尺度光谱特征提取模块，利用不同尺度的光谱特征核提取多尺度光谱特征信息。
步骤3：构建多尺度空间特征提取模块，利用不同尺度的空间特征核提取多尺度空间特征信息。
步骤4：构建光谱-空间特征融合模块，将提取的多尺度光谱特征和多尺度空间特征进行光谱-空间特征融合，实现多尺度光谱空间特征的联合学习。
步骤5：构建光谱-空间特征分类模块，对输入的多尺度光谱-空间融合特征进行分类，得到高光谱图像分类结果。
步骤6：模型初始化与训练优化，采用He正态分布初始化模型中所有CNN的训练参数，将训练集数据分批次输入模型进行训练，通过交叉熵损失函数对模型的分类结果进行监督，并通过Adam优化器对模型的所有训练参数进行优化
步骤7：将测试集数据送入训练完成的模型进行分类并计算最终分类精度，生成分类结果图。
进一步地，使用本发明对Indian Pines、Pavia University以及Salinas三个公开的高光谱图像数据集进行分类，不同数据集的总体分类精度(OA)，平均分类精度(AA)以及卡帕系数(κ)如表1所示，可知本发明在Indian Pines、Pavia University和Salinas三个公开高光谱数据集上分别实现了98.05％、99.39％和99.07％的总体分类精度。同时，三个数据集的分类结果图分别如图3中的(a)～(c)、图4中的(a)～(c)、图5中的(a)～(c)所示，说明本发明对多尺度光谱-空间特征的联合学习，可以实现更高的分类精度，并产生更加均匀平滑的分类结果图。
表1：不同数据集分类精度
Figure BDA0003647663880000121
综上所述，本发明通过多尺度光谱-空间特征提取模块有效提取了不同尺度的光谱-空间特征，通过光谱-空间特征融合模块实现了光谱-空间特征的联合学习，充分利用了高光谱图像中丰富的光谱和空间信息，提高了分类精度。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于多尺度空谱特征联合学习的高光谱图像分类方法，其特征在于，采用基于多尺度光谱-空间特征的网络模型对高光谱图像所包含的地物类别进行分类，其中，网络模型包括：
多尺度光谱特征提取模块，用于将高光谱像素邻域立方体X分别输入三种以上不同尺度的三维卷积层Ⅰ进行不同尺度的光谱特征提取，再将得到的不同尺度的光谱特征相加，得到多尺度光谱特征图S；其中，三维卷积层Ⅰ中卷积核前两维的尺寸为1×1；
多尺度空间特征提取模块，用于将多尺度光谱特征图S分别输入三种以上不同尺度的二维卷积层进行不同尺度的空间特征提取，再将得到的不同尺度的空间特征相加，得到多尺度空间特征图H′；
光谱-空间特征融合模块，用于将多尺度空间特征图H′输入一个三维卷积层Ⅱ进行光谱特征和空间特征的联合提取，得到光谱-空间特征图F；其中，三维卷积层Ⅱ中卷积核各维的尺寸均不为1；
光谱-空间特征分类模块，用于根据光谱-空间特征图F获取高光谱图像所包含的地物类别。
2.如权利要求1所述的一种基于多尺度空谱特征联合学习的高光谱图像分类方法，其特征在于，所述多尺度光谱特征提取模块将高光谱像素邻域立方体X输入到1×1卷积层进行特征降维，得到低维特征图X′后，再将低维特征图X′分别输入卷积核大小为1×1×3、1×1×5、1×1×7的三维卷积层Ⅰ进行不同尺度的光谱特征提取。
3.如权利要求1所述的一种基于多尺度空谱特征联合学习的高光谱图像分类方法，其特征在于，所述多尺度空间特征提取模块将多尺度光谱特征S输入到1×1卷积层进行特征降维，得到低维特征图H后，再将低维特征图H分别输入卷积核大小为1×1、3×3、5×5的二维深度可分离卷积层进行不同尺度的空间特征提取。
4.如权利要求1～3任意一个权利要求所述的一种基于多尺度空谱特征联合学习的高光谱图像分类方法，其特征在于，所述网络模型还包括：
样本获取模块，用于获取高光谱数据集，并将高光谱数据集按照设定比例划分为训练集和验证集，其中，所述高光谱数据集中的每一条样本均由高光谱像素邻域立方体及其中心像素对应的类别标签构成；
反向传播模块，用于当训练集中的高光谱像素邻域立方体依次经过多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块的操作后，将得到的各样本的地物类别与对应的类别标签构建交叉熵损失函数，使得多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块根据交叉熵损失函数调节自身的可学习参数，直至得到符合设定要求的网络模型。
5.如权利要求4所述的一种基于多尺度空谱特征联合学习的高光谱图像分类方法，其特征在于，所述设定要求为：所有训练轮次中，总体分类精度OA最高，其中，训练轮次至少为200次，且每个训练轮次的总体分类精度OA的获取方法为：
每个训练轮次结束后，将验证集的高光谱像素邻域立方体依次经过当前网络模型所包含的多尺度光谱特征提取模块、多尺度空间特征提取模块、光谱-空间特征融合模块以及光谱-空间特征分类模块的操作后，根据得到的验证集各样本的地物类别的预测值与对应的类别标签真实值计算总体分类精度OA。
6.如权利要求4所述的一种基于多尺度空谱特征联合学习的高光谱图像分类方法，其特征在于，所述高光谱数据集中每一条样本的高光谱像素邻域立方体及其中心像素对应的类别标签获取方法为：
对于待分类的高光谱图像I∈RH×W×C，其中，H、W分别为高光谱图像的高度和宽度，C为波段数，同时，假设高光谱图像I包含N个标记样本，以N个标记样本为中心像素，使用空间尺寸为S×S的滑动窗口逐个中心像素进行采样，且采样过程中采用边界补零策略，得到N个维度大小为S×S×C的像素邻域立方体，并组成高光谱图像样本集χ＝{X1,X2,…,Xi,…,XN}，其中Xi∈RS×S×C；每个像素邻域立方体Xi的类别标签由其中心像素xi决定，与χ对应的类别标签集合
Figure FDA0003647663870000032
其中Yi∈{1,2,…,M}，M为地物类别数；最后，由χ和
Figure FDA0003647663870000033
组成高光谱数据集
Figure FDA0003647663870000031
CN202210539391.9A 2022-05-17 2022-05-17 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 Active CN114842264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210539391.9A CN114842264B (zh) 2022-05-17 2022-05-17 一种基于多尺度空谱特征联合学习的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210539391.9A CN114842264B (zh) 2022-05-17 2022-05-17 一种基于多尺度空谱特征联合学习的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN114842264A true CN114842264A (zh) 2022-08-02
CN114842264B CN114842264B (zh) 2024-08-02

Family

ID=82570521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210539391.9A Active CN114842264B (zh) 2022-05-17 2022-05-17 一种基于多尺度空谱特征联合学习的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN114842264B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN116468906A (zh) * 2023-04-24 2023-07-21 中国测绘科学研究院 基于空间扩展卷积和光谱扩展卷积的高光谱数据分类方法
CN116704241A (zh) * 2023-05-22 2023-09-05 齐鲁工业大学(山东省科学院) 一种全通道3d卷积神经网络高光谱遥感图像分类方法
CN117372789A (zh) * 2023-12-07 2024-01-09 北京观微科技有限公司 图像分类方法及图像分类装置
CN117686089A (zh) * 2024-02-04 2024-03-12 中国海洋大学 双通道积分视场快照式高光谱成像系统及图像融合方法
CN118247278A (zh) * 2024-05-28 2024-06-25 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN109785302A (zh) * 2018-12-27 2019-05-21 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN110210313A (zh) * 2019-05-06 2019-09-06 河海大学 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN111160273A (zh) * 2019-12-31 2020-05-15 北京云智空间科技有限公司 一种高光谱图像空谱联合分类方法及装置
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111639587A (zh) * 2020-05-27 2020-09-08 西安电子科技大学 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置
CN113065518A (zh) * 2021-04-25 2021-07-02 中国电子科技集团公司第二十八研究所 基于lbp特征的超像素空谱多核高光谱图像分类方法
CN113963182A (zh) * 2021-10-22 2022-01-21 河海大学 基于多尺度空洞卷积注意力网络的高光谱影像分类方法
CN114065831A (zh) * 2021-08-27 2022-02-18 北京工业大学 基于多尺度随机深度残差网络的高光谱图像分类方法
DE202022101590U1 (de) * 2022-03-25 2022-04-12 Rajashree Tukaram Gadhave Ein System zur Klassifizierung von Fernerkundungsbildern unter Verwendung fusionierter Faltungsmerkmale mit maschinellem Lernen

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN109785302A (zh) * 2018-12-27 2019-05-21 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN110210313A (zh) * 2019-05-06 2019-09-06 河海大学 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置
CN111160273A (zh) * 2019-12-31 2020-05-15 北京云智空间科技有限公司 一种高光谱图像空谱联合分类方法及装置
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111639587A (zh) * 2020-05-27 2020-09-08 西安电子科技大学 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN113065518A (zh) * 2021-04-25 2021-07-02 中国电子科技集团公司第二十八研究所 基于lbp特征的超像素空谱多核高光谱图像分类方法
CN114065831A (zh) * 2021-08-27 2022-02-18 北京工业大学 基于多尺度随机深度残差网络的高光谱图像分类方法
CN113963182A (zh) * 2021-10-22 2022-01-21 河海大学 基于多尺度空洞卷积注意力网络的高光谱影像分类方法
DE202022101590U1 (de) * 2022-03-25 2022-04-12 Rajashree Tukaram Gadhave Ein System zur Klassifizierung von Fernerkundungsbildern unter Verwendung fusionierter Faltungsmerkmale mit maschinellem Lernen

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN115249332B (zh) * 2022-09-23 2023-01-20 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN116468906A (zh) * 2023-04-24 2023-07-21 中国测绘科学研究院 基于空间扩展卷积和光谱扩展卷积的高光谱数据分类方法
CN116704241A (zh) * 2023-05-22 2023-09-05 齐鲁工业大学(山东省科学院) 一种全通道3d卷积神经网络高光谱遥感图像分类方法
CN117372789A (zh) * 2023-12-07 2024-01-09 北京观微科技有限公司 图像分类方法及图像分类装置
CN117372789B (zh) * 2023-12-07 2024-03-08 北京观微科技有限公司 图像分类方法及图像分类装置
CN117686089A (zh) * 2024-02-04 2024-03-12 中国海洋大学 双通道积分视场快照式高光谱成像系统及图像融合方法
CN117686089B (zh) * 2024-02-04 2024-05-10 中国海洋大学 双通道积分视场快照式高光谱成像系统及图像融合方法
CN118247278A (zh) * 2024-05-28 2024-06-25 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法
CN118247278B (zh) * 2024-05-28 2024-08-23 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法

Also Published As

Publication number Publication date
CN114842264B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN114842264B (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN108052966B (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN112883839B (zh) 基于自适应样本集构造与深度学习的遥感影像解译方法
CN109344891A (zh) 一种基于深度神经网络的高光谱遥感数据分类方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
Zhou et al. Remote sensing scene classification based on rotation-invariant feature learning and joint decision making
CN105046272B (zh) 一种基于简洁非监督式卷积网络的图像分类方法
CN109858557B (zh) 一种新的高光谱图像数据半监督分类方法
CN112115806B (zh) 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN111738052B (zh) 基于深度学习的多特征融合高光谱遥感地物分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN112836671A (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN113139512A (zh) 基于残差和注意力的深度网络高光谱影像分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
CN117611908A (zh) 天空地一体化大场景高光谱遥感图像的农作物精准分类
Song et al. Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN114998725B (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant