CN113887656B - 一种联合深度学习与稀疏表示的高光谱图像分类方法 - Google Patents

一种联合深度学习与稀疏表示的高光谱图像分类方法 Download PDF

Info

Publication number
CN113887656B
CN113887656B CN202111226922.0A CN202111226922A CN113887656B CN 113887656 B CN113887656 B CN 113887656B CN 202111226922 A CN202111226922 A CN 202111226922A CN 113887656 B CN113887656 B CN 113887656B
Authority
CN
China
Prior art keywords
layer
sparse representation
convolution layer
hyperspectral image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111226922.0A
Other languages
English (en)
Other versions
CN113887656A (zh
Inventor
刘建军
吴喆
邵毅豪
杨金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202111226922.0A priority Critical patent/CN113887656B/zh
Publication of CN113887656A publication Critical patent/CN113887656A/zh
Application granted granted Critical
Publication of CN113887656B publication Critical patent/CN113887656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种联合深度学习与稀疏表示的高光谱图像分类方法，涉及高光谱图像处理技术领域，该方法包括：对高光谱图像数据，先用主成分分析提取光谱特征，并对主成分进行扩展形态学分析得到扩展形态学特征；划分训练集和测试集，将训练集对应的扩展形态学特征作为端元集合；将光谱特征和端元集合输入至联合稀疏表示的深度神经网络模型，输出分类概率图；根据分类概率图得到最终的分类预测结果。深度神经网络模型包含稀疏表示模块和自编码特征提取模块，深度丰度特征的求解与分类在统一的损失函数下训练，使得稀疏表示模块输出的深度丰度特征提取了样本间的相关性信息；自编码特征提取模块融合了深度丰度特征与光谱特征，可显著提高分类精度。

Description

一种联合深度学习与稀疏表示的高光谱图像分类方法
技术领域
本发明涉及高光谱图像处理技术领域，尤其是一种联合深度学习与稀疏表示的高光谱图像分类方法。
背景技术
高光谱图像是一个多维信息数据，它包含二维空间信息和一维光谱信息。值得注意的是，高光谱图像的光谱信息由数百个连续的窄波段组成，范围从电磁光谱的可见光到近红外区域。得益于丰富的光谱信息，高光谱图像技术具有广泛的应用，如地质勘探、环境监测、军事监视等。
高光谱图像分类的任务是将每个像素分类为某个确定的土地覆盖类别。在过去的几十年里，出现了大量优秀的高光谱图像分类方法。起初，基于光谱信息的数理统计分类模型非常流行，例如支持向量机、多项式逻辑回归、稀疏表示。为了进一步提高分类精度，研究人员开始利用高光谱图像的空间信息。例如扩展形态学分析、马尔可夫随机场。将空间信息通过预处理或后处理的方式合并进分类过程中能够有效的提高分类精度。
随着GPU硬件技术的发展，计算速度和算力成本大幅度降低。深度学习技术在高光谱图像分类中引起了越来越广泛的关注。深度学习方法具有更强的拟合能力，在很多领域都取得了巨大的突破。
对有监督高光谱遥感图像分类而言，数据标签的数量往往是极为有限的，数据标签的获取是一项极其费时费力且成本昂贵的工作。由于成像条件的差异性，不同数据集上标签的通用性往往较差。因此，如何充分利用有限且少量的数据标签提高高光谱遥感图像分类精度是本领域技术人员需要解决的问题。
发明内容
本发明提供了一种联合深度学习与稀疏表示的高光谱图像分类方法，利用多层感知机神经网络模拟稀疏表示，所学习的深度丰度特征挖掘了同类样本之间的相关性信息，因此仅需要较少数目的训练样本就能取得令人满意的分类精度，从而解决现有技术中存在的对训练样本数目依赖性大的技术问题。
本发明的技术方案如下：
一种联合深度学习与稀疏表示的高光谱图像分类方法，包括如下步骤：
获取一幅高光谱图像，包括k个像素、B个高光谱谱段和M类地物；
对高光谱图像数据做主成分分析，选取前第一预定数量个主成分作为光谱特征；
选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征；
将高光谱图像的每个像素作为一个样本，在每类地物样本中抽取固定数量的样本组成训练集，其余样本组成测试集；
从训练集中抽取每个样本位置对应的扩展形态学特征，组成一个端元集合；
建立联合稀疏表示的深度神经网络模型，包括稀疏表示模块和自编码特征提取模块；稀疏表示模块基于多层感知机神经网络实现，自编码特征提取模块基于自编码结构深度神经网络实现；
将训练集输入至稀疏表示模块，得到高光谱图像数据对于端元集合的深度丰度特征；
将光谱特征与深度丰度特征在光谱通道维度上进行级联，得到多维特征数据；
将多维特征数据输入至自编码特征提取模块，得到分类概率图；
设计损失函数，将分类概率图与真实地物标签做损失计算，并进行反向传播更新网络参数，对联合稀疏表示的深度神经网络模型进行训练；
训练结束后，将测试集输入至联合稀疏表示的深度神经网络模型，得到高光谱图像的最终分类结果。
其进一步的技术方案为，扩展形态学分析的公式为：
AP(X)＝{φk(X),φk-1(X),...,φ1(X),X,γ1(X),...,γk-1(X),γk(X)}
其中，X代表一个主成分的单通道图像数据，φk(X)表示对数据X进行膨胀运算，γk(X)表示对数据X进行侵蚀运算，k表示执行膨胀运算和侵蚀运算的次数；AP(X)表示对数据X进行扩展形态学滤波后的扩展形态学特征，通过扩展形态学滤波后，数据X的特征维度会从1变为2k+1维；
惯性矩属性表示为λi＝{0.2,0.3,0.4,0.5}；面积属性表示为λi，IP＝{100,500,900,1300,1700,2100,2500,2900,3300,3700,4100,4500,4900,5400}。
其进一步的技术方案为，选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征，包括：
初始化i＝0，k＝0；选取第i个主成分的单通道图像数据作为扩展形态学分析的对象，记为数据X；
通过递归迭代对数据X构建最大树和最小树；
根据预先设定的阈值对最大树进行剪枝，即为膨胀运算；同理对最小树进行剪枝，即为侵蚀运算；
根据剪枝后的层次化树型结构，重建图像得到φk(X)和γk(X)；
若i小于第二预定数量，则k＝k+1，i＝i+1，并重新执行通过递归迭代对数据X构建最大树和最小树的步骤；
若i大于等于第二预定数量，则将φk(X)和γk(X)在通道维度上级联，得到最后的扩展形态学特征。
其进一步的技术方案为，稀疏表示模块由四层全连接神经网络组成，其中前三层全连接神经网络的目标是求出深度丰度特征，将第四层全连接神经网络的参数设置为端元集合，目标是求出重构高光谱数据，从而根据重构误差对网络中的参数进行训练。
其进一步的技术方案为，自编码特征提取模块使用了针对于小样本情形重新设计并优化的U-Net结构作为骨架网络，优化后的U-Net结构包括依次相连的输入层、卷积层1、下采样层1、卷积层2、下采样层2、卷积层3、下采样层3、卷积层4、上采样层1、卷积层5、上采样层2、卷积层6、上采样层3、卷积层7和输出层；
输入层、输出层、各个下采样层和各个卷积层均使用二维卷积算子，各个上采样层使用双三次插值算子，缩放系数为2；
输入层和卷积层1的核尺寸为3×3×96，步长为1；下采样层1和卷积层2的核尺寸为3×3×128，下采样层1的步长为2，卷积层2的步长为1；下采样层2、卷积层3的核尺寸为3×3×192，下采样层2的步长为2，卷积层3的步长为1；下采样层3的核尺寸为3×3×256，步长为2；卷积层4的核尺寸为3×3×192，步长为1；卷积层5的核尺寸为3×3×128，步长为1；卷积层6和卷积层7的核尺寸为3×3×96，步长为1；输出层的核尺寸为1×1×M，步长为1；
输入层、卷积层1、卷积层2、卷积层3、卷积层4采用分组标准化，且输入层、卷积层1、下采样层1、卷积层2、下采样层2、卷积层3、下采样层3、卷积层4的激活函数为ReLu。
其进一步的技术方案为，损失函数的公式为：
Loss＝Lossrc+Losscls+μ|A|1/2
其中，Lossrc表示重构误差损失，ai表示稀疏表示模块输出的第i个深度丰度特征向量，xi表示第i个样本，N表示每一批次的样本数目；
Losscls表示交叉熵损失函数，M表示地物类别的数目，yic表示第i个样本的真实标签，pic表示第i个样本的预测标签；
A表示稀疏表示模块所求得的深度丰度特征集合，aji表示稀疏表示模块输出的第i个样本、第j个端元的深度丰度特征向量，P表示端元集合中端元的数目，也即训练样本的数目，μ为正则项系数。
其进一步的技术方案为，第一预定数量的取值范围为[10,25]，第二预定数量的取值范围为[3,5]。
相比于传统求解丰度的正交匹配追踪算法，本发明的有益技术效果是：
本申请将稀疏表示技术融入深度神经网络，针对于小样本情形重新设计并优化了U-Net结构，使其拥有更少的参数量，从而避免过拟合，深度丰度特征的求解和分类预测在统一的损失函数下训练，所有超参数都通过反向传播自动学习，避免了耗费大量时间进行交叉验证参数寻优；此外，本申请的深度丰度特征在学习过程中融入了高光谱图像的相关性信息，自编码特征提取模块融合了深度丰度特征与光谱特征，所提取的深度特征具有更强的鲁棒性和分类判别力，可以在数据样本比较少的情况下进行高精度分类，取得令人满意的效果。
附图说明
图1是本申请提供的一种联合深度学习与稀疏表示的高光谱图像分类方法流程图。
图2是本申请提供的稀疏表示模块的具体结构图。
图3是本申请提供的自编码特征提取模块的具体结构图。
图4是本申请提供的Indian Pines高光谱遥感图像及其分类图，(a)伪彩色图，(b)核稀疏表示分类(KSRC)的分类图，(c)概率化核协同表示分类(PKCRC)的分类图，(d)金字塔残差网络(pResNet)的分类图，(e)基于内容指导的卷积神经网络(CGCNN)的分类图，(f)本申请像素级分类图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请提供了一种联合深度学习与稀疏表示的高光谱图像分类方法，如图1所示，具体包括以下步骤：
步骤1：获取一幅高光谱图像，包括k个像素、B个高光谱谱段和M类地物。
步骤2：对高光谱图像数据做主成分分析，选取前第一预定数量个主成分作为光谱特征。其中第一预定数量的取值范围为[10,25]，本实施例优选20。
步骤3：选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征。其中第二预定数量的取值范围为[3,5]，本实施例优选4。
扩展形态学分析的公式为：
AP(X)＝{φk(X),φk-1(X),...,φ1(X),X,γ1(X),...,γk-1(X),γk(X)}
其中，X代表一个主成分的单通道图像数据，φk(X)表示对数据X进行膨胀运算，γk(X)表示对数据X进行侵蚀运算，k表示执行膨胀运算和侵蚀运算的次数；AP(X)表示对数据X进行扩展形态学滤波后的扩展形态学特征，通过扩展形态学滤波后，数据X的特征维度会从1变为2k+1维。
惯性矩属性表示为λi＝{0.2,0.3,0.4,0.5}，面积属性表示为λi，IP＝{100,500,900,1300,1700,2100,2500,2900,3300,3700,4100,4500,4900,5400}。
扩展形态学分析过程具体包括如下步骤：
步骤3-1：初始化i＝0，k＝0；选取第i个主成分的单通道图像数据作为扩展形态学分析的对象，记为数据X。
步骤3-2：通过递归迭代对数据X构建最大树和最小树。
步骤3-3：根据预先设定的阈值对最大树进行剪枝，即为膨胀运算；同理对最小树进行剪枝，即为侵蚀运算。
步骤3-4：根据剪枝后的层次化树型结构，重建图像得到φk(X)和γk(X)。
步骤3-5：若i<4，则k＝k+1，i＝i+1，并重新执行步骤3-2；
若i≥4，则进入步骤3-6。
步骤3-6：将φk(X)和γk(X)在通道维度上级联，得到最后的扩展形态学特征。
步骤4：将高光谱图像的每个像素作为一个样本，在每类地物样本中抽取固定数量的样本组成训练集，其余样本组成测试集。
步骤5：从训练集中抽取每个样本位置对应的扩展形态学特征，组成一个端元集合。
步骤6：建立联合稀疏表示的深度神经网络模型，包括稀疏表示模块和自编码特征提取模块。
如图2所示，稀疏表示模块基于多层感知机神经网络实现，稀疏表示模块由四层全连接神经网络组成，其中前三层全连接神经网络的目标是求出深度丰度特征，将第四层全连接神经网络的参数设置为端元集合，目标是求出重构高光谱数据，从而根据重构误差对网络中的参数进行训练。其网络超参数具体如表1所示，其中P表示端元集合中端元的数目，也即训练样本的数目。
表1稀疏表示模块网络超参数细节
如图3所示，自编码特征提取模块基于自编码结构深度神经网络实现，包含了压缩和恢复过程，有利于去除特征中的噪声影响，提取出具有鲁棒性的深度特征。该模块使用了针对于小样本情形重新设计并优化的U-Net结构作为骨架网络，优化后的U-Net结构拥有更少的参数量，从而避免过拟合，其网络超参数具体如表2所示。
表2自编码特征提取模块网络超参数细节
步骤7：将训练集输入至稀疏表示模块，得到高光谱图像数据对于端元集合的深度丰度特征。
步骤8：将光谱特征与深度丰度特征在光谱通道维度上进行级联，得到多维特征数据。
步骤9：将多维特征数据输入至自编码特征提取模块，得到分类概率图。
步骤10：设计损失函数，损失函数的公式为：
Loss＝Lossrc+Losscls+μ|A|1/2
其中，Lossrc表示重构误差损失，ai表示稀疏表示模块输出的第i个深度丰度特征向量，xi表示第i个样本，N表示每一批次的样本数目；
Losscls表示交叉熵损失函数，M表示地物类别的数目，yic表示第i个样本的真实标签，pic表示第i个样本的预测标签；
A表示稀疏表示模块所求得的深度丰度特征集合，aji表示稀疏表示模块输出的第i个样本、第j个端元的深度丰度特征向量，P表示端元集合中端元的数目，也即训练样本的数目，μ为正则项系数，本实施例中设置为1e-6。
将步骤9中自编码特征提取模块输出的分类概率图与真实地物标签做损失计算，并进行反向传播更新网络参数，对联合稀疏表示的深度神经网络模型进行训练。
步骤11：训练结束后，将测试集输入至联合稀疏表示的深度神经网络模型，得到高光谱图像的最终分类结果。
为验证本发明方法，采用Indian Pines高光谱公共数据集(参见图4-(a))，利用本申请提供的像素级分类方法进行分类。Indian Pines数据由机载可视红外成像光谱仪对美国印第安纳州一块印度松树进行成像，其大小为145像素×145像素，空间分辨率为17米，成像波长范围为0.4-2.5μm。去除噪声波段后，图像包含200个波段。
本发明仿真实验采用的平台为：Python 3.8.11，深度学习框架PyTorch，处理器Intel Core i5，主频2.8GHz，显卡Nvidia GTX 1060，显存6GB，内存16GB。
对于训练集和测试集的划分，对每类标记地物选择固定数目的样本作为训练样本，其中，Indian Pines数据集中有很严重的样本数目不平衡现象，对于样本数目少于或接近划分训练集的固定数目的类别，使用一半作为训练集，其余的作为测试集。
采用联合深度学习与稀疏表示的高光谱图像分类方法，其中对于每一类训练样本的采样的固定数目为20。同时，采用核稀疏表示分类(KSRC)，概率化核协同表示分类(PKCRC)，金字塔残差卷积网络(pResNet)、基于内容指导的卷积神经网络(CGCNN)作为对比方法，在类平均正确率(AA)、总体正确率(OA)和Kappa系数这三个指标上进行对比，具体分类图如图4(b)～4(f)所示，分类结果对比如表3所示。
表3Indian Pines数据集分类与其他方法对比情况
由结果对比可知，相比于基础的KSRC方法，本申请方法将稀疏表示联合深度学习技术，在效果上取得了巨大的提升。PKCRC通过输出概率化协同表示结果，通过后处理的方式利用空间信息优化概率化输出。而本申请方法使用扩展形态学分析将空间信息融于深度丰度特征的求解过程，取得了更为出色的结果。相比于其他深度学习方法，例如pResNet和CGCNN，本申请方法在OA、AA和Kappa系数上均有明显的提升。图4(f)是本申请方法在IndianPines数据集每类20个训练样本下的分类图。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (7)

1.一种联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述高光谱图像分类方法包括：
获取一幅高光谱图像，包括k个像素、B个高光谱谱段和M类地物；
对高光谱图像数据做主成分分析，选取前第一预定数量个主成分作为光谱特征；
选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征；
将高光谱图像的每个像素作为一个样本，在每类地物样本中抽取固定数量的样本组成训练集，其余样本组成测试集；
从所述训练集中抽取每个样本位置对应的扩展形态学特征，组成一个端元集合；
建立联合稀疏表示的深度神经网络模型，包括稀疏表示模块和自编码特征提取模块；所述稀疏表示模块基于多层感知机神经网络实现，所述自编码特征提取模块基于自编码结构深度神经网络实现；
将所述训练集输入至所述稀疏表示模块，得到高光谱图像数据对于所述端元集合的深度丰度特征；
将所述光谱特征与所述深度丰度特征在光谱通道维度上进行级联，得到多维特征数据；
将所述多维特征数据输入至所述自编码特征提取模块，得到分类概率图；
设计损失函数，将所述分类概率图与真实地物标签做损失计算，并进行反向传播更新网络参数，对所述联合稀疏表示的深度神经网络模型进行训练；
训练结束后，将所述测试集输入至所述联合稀疏表示的深度神经网络模型，得到所述高光谱图像的最终分类结果。
2.根据权利要求1所述的联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述扩展形态学分析的公式为：
AP(X)＝{φk(X),φk-1(X),…,φ1(X),X,γ1(X),…,γk-1(X),γk(X)}
其中，X代表一个主成分的单通道图像数据，φk(X)表示对数据X进行膨胀运算，γk(X)表示对数据X进行侵蚀运算，k表示执行膨胀运算和侵蚀运算的次数；AP(X)表示对数据X进行扩展形态学滤波后的扩展形态学特征，通过扩展形态学滤波后，数据X的特征维度会从1变为2k+1维；
所述惯性矩属性表示为λi＝{0.2,0.3,0.4,0.5}；所述面积属性表示为λi，IP＝{100,500,900,1300,1700,2100,2500,2900,3300,3700,4100,4500,4900,5400}。
3.根据权利要求2所述的联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征，包括：
初始化i＝0，k＝0；选取第i个主成分的单通道图像数据作为扩展形态学分析的对象，记为数据X；
通过递归迭代对所述数据X构建最大树和最小树；
根据预先设定的阈值对所述最大树进行剪枝，即为膨胀运算；同理对所述最小树进行剪枝，即为侵蚀运算；
根据剪枝后的层次化树型结构，重建图像得到φk(X)和γk(X)；
若i小于所述第二预定数量，则k＝k+1，i＝i+1，并重新执行所述通过递归迭代对所述数据X构建最大树和最小树的步骤；
若i大于等于所述第二预定数量，则将所述φk(X)和γk(X)在通道维度上级联，得到最后的扩展形态学特征。
4.根据权利要求1所述的联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述稀疏表示模块由四层全连接神经网络组成，其中前三层全连接神经网络的目标是求出深度丰度特征，将第四层全连接神经网络的参数设置为所述端元集合，目标是求出重构高光谱数据，从而根据重构误差对网络中的参数进行训练。
5.根据权利要求1所述的联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述自编码特征提取模块使用了针对于小样本情形重新设计并优化的U-Net结构作为骨架网络，所述优化后的U-Net结构包括依次相连的输入层、卷积层1、下采样层1、卷积层2、下采样层2、卷积层3、下采样层3、卷积层4、上采样层1、卷积层5、上采样层2、卷积层6、上采样层3、卷积层7和输出层；
所述输入层、输出层、各个下采样层和各个卷积层均使用二维卷积算子，各个上采样层使用双三次插值算子，缩放系数为2；
所述输入层和卷积层1的核尺寸为3×3×96，步长为1；所述下采样层1和卷积层2的核尺寸为3×3×128，所述下采样层1的步长为2，所述卷积层2的步长为1；所述下采样层2、卷积层3的核尺寸为3×3×192，所述下采样层2的步长为2，所述卷积层3的步长为1；所述下采样层3的核尺寸为3×3×256，步长为2；所述卷积层4的核尺寸为3×3×192，步长为1；所述卷积层5的核尺寸为3×3×128，步长为1；所述卷积层6和卷积层7的核尺寸为3×3×96，步长为1；所述输出层的核尺寸为1×1×M，步长为1；
所述输入层、卷积层1、卷积层2、卷积层3、卷积层4采用分组标准化，且所述输入层、卷积层1、下采样层1、卷积层2、下采样层2、卷积层3、下采样层3、卷积层4的激活函数为ReLu。
6.根据权利要求1所述的联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述损失函数的公式为：
Loss＝Lossrc+Losscls+μ|A|1/2
其中，Lossrc表示重构误差损失，ai表示所述稀疏表示模块输出的第i个深度丰度特征向量，xi表示第i个样本，N表示每一批次的样本数目；
Losscls表示交叉熵损失函数，M表示地物类别的数目，yic表示第i个样本的真实标签，pic表示第i个样本的预测标签；
A表示所述稀疏表示模块所求得的深度丰度特征集合，aji表示所述稀疏表示模块输出的第i个样本、第j个端元的深度丰度特征向量，P表示端元集合中端元的数目，也即训练样本的数目，μ为正则项系数。
7.根据权利要求1-6任一所述的联合深度学习与稀疏表示的高光谱图像分类方法，其特征在于，所述第一预定数量的取值范围为[10,25]，所述第二预定数量的取值范围为[3,5]。
CN202111226922.0A 2021-10-21 2021-10-21 一种联合深度学习与稀疏表示的高光谱图像分类方法 Active CN113887656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111226922.0A CN113887656B (zh) 2021-10-21 2021-10-21 一种联合深度学习与稀疏表示的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111226922.0A CN113887656B (zh) 2021-10-21 2021-10-21 一种联合深度学习与稀疏表示的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113887656A CN113887656A (zh) 2022-01-04
CN113887656B true CN113887656B (zh) 2024-04-05

Family

ID=79004059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111226922.0A Active CN113887656B (zh) 2021-10-21 2021-10-21 一种联合深度学习与稀疏表示的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113887656B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433534B (zh) * 2023-06-09 2023-08-22 四川工程职业技术学院 一种高光谱图像修复方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN112232280A (zh) * 2020-11-04 2021-01-15 安徽大学 基于自编码器与3d深度残差网络的高光谱图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN112232280A (zh) * 2020-11-04 2021-01-15 安徽大学 基于自编码器与3d深度残差网络的高光谱图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合随机子空间与SSAE-LR的高光谱图像分类;程圆娥;吕志慧;袁春琦;;地理空间信息;20200928(09);全文 *

Also Published As

Publication number Publication date
CN113887656A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
Xiong et al. Identification of cash crop diseases using automatic image segmentation algorithm and deep learning with expanded dataset
Lei et al. Coupled adversarial training for remote sensing image super-resolution
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
Hosseinpour et al. CMGFNet: A deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN113392931B (zh) 基于自监督学习及多任务学习的高光谱开放集分类方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
Alipourfard et al. A novel deep learning framework by combination of subspace-based feature extraction and convolutional neural networks for hyperspectral images classification
Pan et al. SQAD: Spatial-spectral quasi-attention recurrent network for hyperspectral image denoising
CN111639587A (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
Hosseiny et al. A hyperspectral anomaly detection framework based on segmentation and convolutional neural network algorithms
CN113723492A (zh) 一种改进主动深度学习的高光谱图像半监督分类方法及装置
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN112052758A (zh) 基于注意力机制和循环神经网络的高光谱图像分类方法
Li et al. An object-oriented CNN model based on improved superpixel segmentation for high-resolution remote sensing image classification
CN115187861A (zh) 一种基于深度孪生网络的高光谱图像变化检测方法及系统
Duan et al. Multi-scale convolutional neural network for SAR image semantic segmentation
Ma et al. Multifeature-based discriminative label consistent K-SVD for hyperspectral image classification
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN112784777B (zh) 基于对抗学习的无监督高光谱图像变化检测方法
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
Kishore et al. Approches and challenges in classification for hyperspectral data: a review
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
CN109460788B (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法
Tu et al. Texture pattern separation for hyperspectral image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant