CN110210313B - 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 - Google Patents

基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 Download PDF

Info

Publication number
CN110210313B
CN110210313B CN201910369586.1A CN201910369586A CN110210313B CN 110210313 B CN110210313 B CN 110210313B CN 201910369586 A CN201910369586 A CN 201910369586A CN 110210313 B CN110210313 B CN 110210313B
Authority
CN
China
Prior art keywords
convolution
scale
cnn
pca
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910369586.1A
Other languages
English (en)
Other versions
CN110210313A (zh
Inventor
杨琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910369586.1A priority Critical patent/CN110210313B/zh
Publication of CN110210313A publication Critical patent/CN110210313A/zh
Application granted granted Critical
Publication of CN110210313B publication Critical patent/CN110210313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度PCA‑3D‑CNN空谱联合的高光谱遥感影像分类方法，本发明有效缩短了模型的训练时间，高效提取高光谱影像的特征，显著提高地物分类的精度，且分类性能较传统的2D‑CNN模型相比，在遥感影像分类上有明显的优势。传统的2D‑CNN模型忽略了每个波段上的像元邻域信息，舍弃了目标地物的空间信息，而空谱联合的多尺度PCA‑3D‑CNN模型，利用PCA算法降低数据的特征维度和各波段间的相关性，有效缩短模型的训练时间，同时对高光谱影像中的数据进行三维卷积，充分利用高光谱影像空谱联合信息的优势，并设置不同尺寸的卷积核并对输入图像进行多尺度卷积，取得多尺度的特征信息，极大提高了模型的分类精度。

Description

基于多尺度PCA-3D-CNN空谱联合的高光谱遥感影像分类方法
技术领域
本发明涉及高光谱遥感影像分类技术领域，特别是涉及一种基于多尺度PCA-3D-CNN空谱联合的高光谱遥感影像分类方法。
背景技术
在深度学习领域中，卷积神经网络(CNN)在对高维数据的特征选择与提取上优于其他深度学习模型，基于卷积神经网络的方法已经在图像处理领域得到了广泛应用。在参数初始化方面，方法由最开始的恒定值初始化方法，到均匀初始化、高斯初始化方法，再到目前最新的Xavier、MSRA方法，不断优化，新方法的提出使得网络在变深时更容易收敛；在网络结构方面，构建了许多经典网络，如LeNet-5、network in network(NIN)、VGGNet、ResNet等，应用于不同的分类需求；在网络训练方面，提出了dropout、batchnormalization(BN)、Relu等新方法，使CNN模型得到更加广泛的应用。但是，目前卷积神经网络在高光谱图像的分类上仍存在着如模型训练时间较长、训练样本数较少时分类精度较低等缺点。此外，目前大多数高光谱影像分类方法仅依据光谱特征信息而忽视空间上的像元邻域信息，导致高光谱影像空间结构信息受到损失、分类精度不高。付光远等人提出的3D-CNN模型虽然改善了这一现象，但在一些小数据量情况下的训练效果仍不尽人意，不能得出较好的分类效果。
发明内容
本发明的目的是提供一种能够解决现有技术中存在的缺陷的基于多尺度PCA-3D-CNN空谱联合的遥感影像分类方法。
本发明采用如下技术方案：
本发明所述的基于多尺度PCA-3D-CNN空谱联合的遥感影像分类方法，包括以下步骤：
S1:采用PCA技术对高光谱影像的光谱维进行降维处理，将实验中的原始数据集的光谱维使用PCA方法压缩至16维，在保留96％～99％有效光谱信息的基础上大大减少数据量，从而达到减少训练时间的目的。之后将已降维数据进行标准差归一化处理。如公式(1)所示
Figure GDA0003732124230000011
其中x'为进行标准差归一化后输出值,x为降维后的输入数据值，μ为数据集样本均值，σ为标准差。
S2:将上述标准差归一化后的数据输入到多尺度PCA-3D-CNN神经网络模型中，此模型在传统CNN模型基础上进行了改进。它包含五个卷积层、三个全连接层。具体模型架构如图1所示，其中卷积层选用三维卷积核且其数目逐层翻倍，其中第一、二层卷积层采用多尺度卷积核(1*1*3,3*3*3,5*5*3)，设置不同尺寸的卷积核并对输入图像进行多尺度卷积，取得多尺度的特征信息。在本方法设计的3D-CNN模型中，在光谱维上，鉴于光谱的独特性，每次卷积选取三个波段；在空间维上，由于地物的尺寸大小不一，采用多尺度卷积(1*1,3*3,5*5)来提取多尺度邻域特征，如图2所示。鉴于光谱特征的独特性，在光谱维不采取尺度变化。为保持输出数据一致性，卷积过程中将padding设置为“SAME”，并选用Relu激活函数增加网络的非线性。第三至五层卷积层使用单一尺度的卷积核(3*3*3)，将不同尺度的特征进行统一整合，为了减少提取特征的数量，避免出现提取特征过多的问题，同时将padding设置为“Valid”。整个3D卷积过程可用公式2表示：
Figure GDA0003732124230000021
其中，h、w分别表示空谱维度上卷积点在卷积核上的长度及宽度位置，r表示卷积点在光谱维度上在卷积核上的位置，i表示网络层数变量，j表示卷积核数变量，m表示第i-1层中与当前特征图相连的特征图，Hi与Wi表示卷积核的长度和宽度，Ri表示卷积核在光谱维度上的尺寸，(x,y,z)表示卷积核上位置，
Figure GDA0003732124230000022
表示第i层网络中第j个卷积核上位置(x,y,z)的值，
Figure GDA0003732124230000023
代表与(h,w,r)相连的第m个特征图的连接权值,bi,j表示第i层第j个特征图的偏置。将经过卷积层卷积操作提取到的特征输入到全连接层中，从而实现特征整合并得到最终分类结果。值得区别的一点是为克服传统CNN模型中池化操作会减少特征映射的分辨率的缺点，本方法在CNN模型基础上不进行池化操作。
S3：进行模型的训练，将训练样本输入到上述模型中。本方法训练过程中使用dropout方法随机隐藏全连接层中的部分神经元(隐藏概率为0.5)，该方法可以有效地抑制过拟合现象，一定程度上实现了正则化，增加了对激活函数输出数据的掌控力。
S4：待多尺度PCA-3D-CNN神经网络经过样本训练之后，将测试样本输入到网络中进行测试样本的分类。其中本方法将传统CNN模型中倒数第二层激活函数设置为Sigmoid函数，并通过Softmax分类器产生最终标签。模型选用交叉熵作为损失函数，使用Adam梯度下降优化算法，确保损失迅速收敛至全局最小。
本发明的有益效果：
本发明有效地降低特征维数，得到多尺度的空间特征信息，缩短了模型的训练时间，且就模型的分类能力和分类精度较传统的单尺度卷积核2D-CNN模型相比，有明显优势。传统的2D-CNN模型忽略了每个波段上的像元邻域信息，舍弃了目标地物的空间信息，而空谱联合的多尺度PCA-3D-CNN模型，利用PCA算法降低数据的特征维度和各波段间的相关性，有效缩短模型的训练时间，同时对高光谱影像中的数据进行三维卷积，充分利用高光谱影像空谱联合信息的优势，并设置不同尺寸的卷积核并对输入图像进行多尺度卷积，取得多尺度的特征信息，极大提高了模型的分类精度。
附图说明
图1为多尺度PCA-3D-CNN空谱联合架构；
图2为多尺度卷积核示意图；
图3为对Indian Pines进行2D-CNN分类结果图；其中，3a为在Indian Pines数据集中训练集(蓝)与测试集(绿)上迭代次数与分类精度的关系，3b为对应的地物分类灰度图；
图4为对Indian Pines进行3D-CNN分类结果图；其中，4a为在Indian Pines数据集中训练集(浅色)与测试集(深色)上迭代次数与分类精度的关系，4b为对应的地物分类灰度图；
图5为对Pavia University进行2D-CNN分类结果图；其中5a为在PaviaUniversity数据集中训练集(浅色)与测试集(深色)上迭代次数与分类精度的关系，5b为对应的地物分类灰度图；
图6为对Pavia University进行3D-CNN分类结果图；其中6a为在PaviaUniversity数据集中训练集(浅色)与测试集(深色)上迭代次数与分类精度的关系，6b为对应的地物分类灰度图；
图7为对Salinas进行2D-CNN分类结果图；其中7a为在Salinas数据集中训练集(浅色)与测试集(深色)上迭代次数与分类精度的关系，7b为对应的地物分类灰度图；
图8为对Salinas进行3D-CNN分类结果图；其中8a为在Salinas数据集中训练集(浅色)与测试集(深色)上迭代次数与分类精度的关系，8b为对应的地物分类灰度图。
具体实施方式
下面结合具体实施方式和附图，对本发明的技术方案作进一步的介绍。
本发明所述一种基于多尺度PCA-3D-CNN空谱联合的高光谱遥感影像分类方法，包括以下步骤：
S1:采用PCA技术对高光谱影像的光谱维进行降维处理，将实验中的原始数据集的光谱维使用PCA方法压缩至16维，在保留96％～99％有效光谱信息的基础上大大减少数据量，从而达到减少训练时间的目的，之后将已降维数据进行标准差归一化处理。如公式(1)所示
Figure GDA0003732124230000031
其中x'为进行标准差归一化后输出值,x为降维后的输入数据值，μ为数据集样本均值，σ为标准差。
S2:将上述标准差归一化后的数据输入到多尺度PCA-3D-CNN神经网络模型中，此模型在传统CNN模型基础上进行了改进。它包含五个卷积层、三个全连接层。具体模型架构如图1所示，其中卷积层选用三维卷积核且其数目逐层翻倍，其中第一、二层卷积层采用多尺度卷积核(1*1*3,3*3*3,5*5*3)，设置不同尺寸的卷积核并对输入图像进行多尺度卷积，取得多尺度的特征信息。在本方法设计的3D-CNN模型中，在光谱维上，鉴于光谱的独特性，每次卷积选取三个波段；在空间维上，由于地物的尺寸大小不一，采用多尺度卷积(1*1,3*3,5*5)来提取多尺度邻域特征，如图2所示。鉴于光谱特征的独特性，在光谱维不采取尺度变化。为保持输出数据一致性，卷积过程中将padding设置为“SAME”，并选用Relu激活函数增加网络的非线性。第三至五层卷积层使用单一尺度的卷积核(3*3*3)，将不同尺度的特征进行统一整合，为了减少提取特征的数量，避免出现提取特征过多的问题，同时将padding设置为“Valid”。整个3D卷积过程可用公式2表示：
Figure GDA0003732124230000041
其中，h、w分别表示空谱维度上卷积点在卷积核上的长度及宽度位置，r表示卷积点在光谱维度上在卷积核上的位置，i表示网络层数变量，j表示卷积核数变量，m表示第i-1层中与当前特征图相连的特征图，Hi与Wi表示卷积核的长度和宽度，Ri表示卷积核在光谱维度上的尺寸，(x,y,z)表示卷积核上位置，
Figure GDA0003732124230000042
表示第i层网络中第j个卷积核上位置(x,y,z)的值，
Figure GDA0003732124230000043
代表与(h,w,r)相连的第m个特征图的连接权值,bi,j表示第i层第j个特征图的偏置。将经过卷积层卷积操作提取到的特征输入到全连接层中，从而实现特征整合并得到最终分类结果。值得区别的一点是为克服传统CNN模型中池化操作会减少特征映射的分辨率的缺点，本方法在CNN模型基础上不进行池化操作。
S3：进行模型的训练，将训练样本输入到上述模型中。本方法训练过程中使用dropout方法随机隐藏全连接层中的部分神经元(隐藏概率为0.5)，该方法可以有效地抑制过拟合现象，一定程度上实现了正则化，增加了对激活函数输出数据的掌控力。
S4：待多尺度PCA-3D-CNN神经网络经过样本训练之后，将测试样本输入到网络中进行测试样本的分类。其中本方法将传统CNN模型中倒数第二层激活函数设置为Sigmoid函数，并通过Softmax分类器产生最终标签。模型选用交叉熵作为损失函数，使用Adam梯度下降优化算法，确保损失迅速收敛至全局最小。
下面对实验仿真过程和结果进行介绍。
1、实验图像
实验所需的高光谱遥感影像选用Indian Pines、Pavia University、Salinas三种数据集。实验的测试环境是Intel Core i7-6700 CPU、64-bit Windows 7操作系统、内存为8GB的PC机，使用的仿真实验工具是TensorFlow框架和Spider软件，Python版本号为3.5.4。
2、实验过程
实验中，选择使用Indian Pines、Pavia University、Salinas三种数据集。表1为三种数据集的基本信息。
表1数据集特征
Figure GDA0003732124230000051
表2-1，2-2，2-3分别为各数据集的训练样本与测试样本的数目，我们从总样本中选取25％为训练样本，75％为测试样本。
表2-1Indian Pines数据集训练样本和测试样本数量
Figure GDA0003732124230000061
表2-2Pavia University数据集训练样本和测试样本数量
Figure GDA0003732124230000062
Figure GDA0003732124230000071
表2-3Salinas数据集训练样本和测试样本数量
Figure GDA0003732124230000072
本文设计模型的学习率为[2e-03 1e-03 5e-04 1e-04]共四个梯度，对应的训练迭代次数分别为1、600、800、1000,每批次的样本数量为256。表3列出了该网络的部分参数设置。为了减少随机误差对实验的影响，实验结果取五次相同实验的平均值。
表3多尺度3D卷积神经网络参数设置
Figure GDA0003732124230000073
Figure GDA0003732124230000081
为了验证3D-CNN模型相较于传统的2D-CNN模型在性能上的优越性，进行了3D-CNN模型与2D-CNN模型在网络层数、迭代次数等参数一致的条件下的高光谱影像分类对比实验，两种模型均使用了PCA方法对输入数据进行预处理。图3-8显示了2D-CNN与3D-CNN分类结果对比结果。
如图3和4所示，图3a、4a为在Indian Pines数据集中训练集(蓝)与测试集(绿)上迭代次数与分类精度的关系，可以看出2D-CNN模型的实验结果波动较大，且测试集的分类精度远低于训练集的分类精度。而3D-CNN模型的实验结果更为精细稳定，且训练集和测试集的分类精度较高，没有较大差距。
如图5-8所示，其中图5、6为在Pavia University数据集上2D-CNN与3D-CNN模型的实验结果，图7、8为在Salinas数据集上2D-CNN与3D-CNN模型的实验结果。由图可知在这两个数据集上，与2D-CNN模型相比，3D-CNN模型的实验结果更为精细稳定，且训练集和测试集的分类精度较高。但在这两个数据集上，2D-CNN模型的测试集与训练集的分类精度之间的差距并没有在Indian Pines数据集上的对比试验那么大。我们认为这是因为Indian Pines数据集的样本数量太小，而Pavia University数据集Salinas数据集的样本数量较大导致的。
由表4可以看出，在卷积神经网络层数、卷积核数、样本比例等参数相同的情况下，3D-CNN模型的分类精度要明显高于2D-CNN模型。由此可以得出结论，三维卷积神经网络能提取更多的特征，达到防止过拟合和提升模型的整体性能的效果。
表4卷积维度分类结果对比
Figure GDA0003732124230000091
为了验证多种尺度三维卷积核相较于传统的卷积核在性能上的优越性，表5列出了在卷积层数、迭代次数等条件一致的情况下，传统2D-CNN模型与多尺度2D-CNN模型分类结果的精度指标对比(这里两种模型均未使用PCA方法对输入数据进行预处理，以充分利用光谱数据)；表6列出了在卷积层数、迭代次数等条件一致的情况下，3D-CNN模型与多尺度3D-CNN模型的分类指标结果对比(这里两种模型均使用PCA方法对输入数据进行预处理以减少模型训练时间)。本方法设计的3D-CNN模型中，采用了多种尺度三维卷积核(1*1*3,3*3*3,5*5*3)对输入层进行卷积运算。
表5传统2D-CNN模型与多尺度2D-CNN模型的分类结果对比
Figure GDA0003732124230000092
由表5可以看出，在三种数据集上，使用的多尺度卷积核的2D-CNN模型的分类精度均高于使用了传统的单尺度卷积核的2D-CNN模型。其中，在Indian Pines数据集上，使用多尺度卷积核技术可以提高约3％的分类精度；在Pavia University数据集和Salina数据集上，使用多尺度卷积核技术可以提高约1％的分类精度。这表明多尺度卷积核技术可以有效提高模型的分类精度，且对Indian Pines数据集等数据量较小的使用情景有更好的效果。
表6 3D-CNN模型与多尺度3D-CNN模型的分类结果对比
Figure GDA0003732124230000101
由表6可以看出，在三种数据集上，使用的多尺度卷积核的3D-CNN模型的分类精度均高于传统的单尺度卷积核的3D-CNN模型。其中，在Indian Pines数据集上，使用多尺度卷积核技术可以提高约1％的分类精度；在Pavia University数据集和Salina数据集上，使用多尺度卷积核技术可以提高约0.5％的分类精度。这表明多尺度卷积核技术可以有效提高模型的分类精度，且对Indian Pines数据集等数据量较小的使用情景有更好的效果。
由表5与表6中的数据可以得知，无论是在2D-CNN模型还是3D-CNN模型中，多尺度卷积核的加入均可以有效提高模型的性能。其中，多尺度卷积核的应用可以使2D-CNN模型的分类精度提高1％至3％，使3D-CNN模型的分类精度提高0.2％至1％。实验表明，使用多尺度卷积方法的模型具有更好的性能。
为了验证本方法相较于其他深度学习网络在性能上的优越性，实验中均选取25％的样本作为训练像元。分类结果如表7，与本文方法相比，栈式自编码网络的分类准确率低了将近五个百分点；深度置信网络是由多个受限玻尔兹曼机(RBM)堆叠而成，基于光谱信息的5层DBN分类精度略高于栈式自编码网络；实验采用带PRetanh激活函数的RNN网络，其分类效果最差。由此可以看出，本文设计的模型具有较好的性能和分类能力。
表7深度学习方法在Pavia University上的分类精度
Figure GDA0003732124230000111
实验结果表明，本方法设计的应用于高光谱遥感影像分类的多尺度PCA-3D-CNN空谱联合模型能以较高的准确率实现地物分类，验证了此模型相较于传统分类方法或其他深度学习模型有着分类精度上的优势。

Claims (2)

1.基于多尺度PCA-3D-CNN空谱联合的高光谱遥感影像分类方法，其特征在于：包括以下步骤：
S1:采用PCA技术对高光谱影像的光谱维进行降维处理，将实验中的原始数据集的光谱维使用PCA方法压缩至16维，之后将已降维数据进行标准差归一化处理；
S2:将上述标准差归一化后的数据输入到多尺度PCA-3D-CNN神经网络模型中，取得多尺度的特征信息；多尺度PCA-3D-CNN神经网络模型包含五个卷积层、三个全连接层，其中卷积层选用三维卷积核且其数目逐层翻倍，其中第一、二层卷积层采用多尺度卷积核1*1*3,3*3*3,5*5*3，设置不同尺寸的卷积核并对输入图像进行多尺度卷积，取得多尺度的特征信息；每次卷积选取三个波段，在空间维上，采用多尺度卷积1*1,3*3,5*5来提取多尺度邻域特征；
卷积过程中将padding设置为“SAME”，并选用Relu激活函数增加网络的非线性，第三至五层卷积层使用单一尺度的卷积核3*3*3，将不同尺度的特征进行统一整合，为了减少提取特征的数量，避免出现提取特征过多的问题，同时将padding设置为“Valid”；整个3D卷积过程可用公式2表示：
Figure FDA0003717384100000011
其中，h、w分别表示空谱维度上卷积点在卷积核上的长度及宽度位置，r表示卷积点在光谱维度上在卷积核上的位置，i表示网络层数变量，j表示卷积核数变量，m表示第i-1层中与当前特征图相连的特征图，Hi与Wi表示卷积核的长度和宽度，Ri表示卷积核在光谱维度上的尺寸，(x,y,z)表示卷积核上位置，
Figure FDA0003717384100000012
表示第i层网络中第j个卷积核上位置(x,y,z)的值，
Figure FDA0003717384100000013
代表与(h,w,r)相连的第m个特征图的连接权值,bi,j表示第i层第j个特征图的偏置；将经过卷积层卷积操作提取到的特征输入到全连接层中，从而实现特征整合并得到最终分类结果；
S3：进行模型的训练，将训练样本输入到上述模型中；本方法训练过程中使用dropout方法随机隐藏全连接层中的部分神经元，隐藏概率为0.5；
S4：待多尺度PCA-3D-CNN神经网络经过样本训练之后，将测试样本输入到网络中进行测试样本的分类；其中本方法将传统CNN模型中倒数第二层激活函数设置为Sigmoid函数，并通过Softmax分类器产生最终标签，模型选用交叉熵作为损失函数，使用Adam梯度下降优化算法，确保损失迅速收敛至全局最小。
2.根据权利要求1所述的基于多尺度PCA-3D-CNN空谱联合的高光谱遥感影像分类方法，其特征在于：S1步骤中，将已降维数据进行标准差归一化处理采用如下公式(1)：
Figure FDA0003717384100000021
其中x'为进行标准差归一化后输出值,x为降维后的输入数据值，μ为数据集样本均值，σ为标准差。
CN201910369586.1A 2019-05-06 2019-05-06 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 Active CN110210313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910369586.1A CN110210313B (zh) 2019-05-06 2019-05-06 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910369586.1A CN110210313B (zh) 2019-05-06 2019-05-06 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法

Publications (2)

Publication Number Publication Date
CN110210313A CN110210313A (zh) 2019-09-06
CN110210313B true CN110210313B (zh) 2022-08-26

Family

ID=67785467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910369586.1A Active CN110210313B (zh) 2019-05-06 2019-05-06 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法

Country Status (1)

Country Link
CN (1) CN110210313B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672804B (zh) * 2019-09-30 2022-05-06 华南师范大学 一种城市河涌水体典型有机污染物智能检测方法
CN111079850B (zh) * 2019-12-20 2023-09-05 烟台大学 波段显著度的深度空谱联合高光谱图像分类方法
CN111126256B (zh) * 2019-12-23 2022-02-15 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN111144423B (zh) * 2019-12-26 2023-05-05 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据多尺度光谱特征提取方法
CN111191735B (zh) * 2020-01-04 2023-03-24 西安电子科技大学 基于数据差异和多尺度特征的卷积神经网络影像分类方法
CN111259954B (zh) * 2020-01-15 2024-05-31 北京工业大学 一种基于D-Resnet的高光谱中医舌苔舌质分类方法
CN111723838A (zh) * 2020-04-21 2020-09-29 中国人民解放军火箭军工程大学 一种多核机器学习融合多尺度特征的高光谱地物分类方法
CN111475587B (zh) * 2020-05-22 2023-06-09 支付宝(杭州)信息技术有限公司 风险识别的方法和系统
CN111914909B (zh) * 2020-07-15 2021-01-12 南京审计大学 基于空谱联合三方向卷积网络的高光谱变化检测方法
CN112101271A (zh) * 2020-09-23 2020-12-18 台州学院 一种高光谱遥感影像分类方法及装置
CN112560894A (zh) * 2020-11-16 2021-03-26 武汉光谷信息技术股份有限公司 一种改进型3d卷积网络高光谱遥感影像分类方法及装置
CN112580480B (zh) * 2020-12-14 2024-03-26 河海大学 一种高光谱遥感影像分类方法及装置
CN112733736A (zh) * 2021-01-13 2021-04-30 西安电子科技大学 基于增强过采样的类别不平衡高光谱图像分类方法
CN112767997B (zh) * 2021-02-04 2023-04-25 齐鲁工业大学 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法
CN112949725A (zh) * 2021-03-09 2021-06-11 江南大学 一种基于多尺度特征提取的小麦种子分类方法
CN114373120B (zh) * 2021-03-25 2023-05-23 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN113673556A (zh) * 2021-07-09 2021-11-19 大连海事大学 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN113628290A (zh) * 2021-07-28 2021-11-09 武汉大学 基于3d卷积自编码器的波段自适应高光谱图像压缩方法
CN114373080B (zh) * 2022-03-22 2022-07-29 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
CN114842264A (zh) * 2022-05-17 2022-08-02 北京理工大学 一种基于多尺度空谱特征联合学习的高光谱图像分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845418A (zh) * 2017-01-24 2017-06-13 北京航空航天大学 一种基于深度学习的高光谱图像分类方法
CN107292343A (zh) * 2017-06-23 2017-10-24 中南大学 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845418A (zh) * 2017-01-24 2017-06-13 北京航空航天大学 一种基于深度学习的高光谱图像分类方法
CN107292343A (zh) * 2017-06-23 2017-10-24 中南大学 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的高光谱图像谱-空联合分类;付光远等;《科学技术与工程》;20170728(第21期);第273-279页 *

Also Published As

Publication number Publication date
CN110210313A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210313B (zh) 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN112232280B (zh) 基于自编码器与3d深度残差网络的高光谱图像分类方法
Zhang et al. Spectral partitioning residual network with spatial attention mechanism for hyperspectral image classification
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN108009559B (zh) 一种基于空谱联合信息的高光谱数据分类方法
CN111126256B (zh) 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
Kong et al. Spectral–spatial feature extraction for HSI classification based on supervised hypergraph and sample expanded CNN
Russel et al. Leaf species and disease classification using multiscale parallel deep CNN architecture
CN111753828A (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN112699899A (zh) 一种基于生成对抗网络的高光谱图像特征提取方法
CN110866439B (zh) 基于多特征学习及超像素核稀疏表示的高光谱图像联合分类方法
CN110443296B (zh) 面向高光谱图像分类的数据自适应激活函数学习方法
CN111860124B (zh) 基于空谱胶囊生成对抗网络的遥感图像分类方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
Paul et al. Dimensionality reduction using band correlation and variance measure from discrete wavelet transformed hyperspectral imagery
Ge et al. Adaptive hash attention and lower triangular network for hyperspectral image classification
Rajendran et al. Hyperspectral image classification model using squeeze and excitation network with deep learning
CN110378272A (zh) 基于矩阵分块Isomap算法的高光谱遥感影像特征提取方法
CN115527056A (zh) 基于双混合卷积生成对抗网络的高光谱图像分类方法
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
Song et al. Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant