CN108460342A - 基于卷积网和循环神经网络的高光谱图像分类方法 - Google Patents

基于卷积网和循环神经网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN108460342A
CN108460342A CN201810113878.4A CN201810113878A CN108460342A CN 108460342 A CN108460342 A CN 108460342A CN 201810113878 A CN201810113878 A CN 201810113878A CN 108460342 A CN108460342 A CN 108460342A
Authority
CN
China
Prior art keywords
neural network
network
eigenmatrix
recognition
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810113878.4A
Other languages
English (en)
Other versions
CN108460342B (zh
Inventor
焦李成
唐旭
巨妍
张丹
陈璞花
古晶
张梦旋
冯婕
郭雨薇
杨淑媛
屈嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810113878.4A priority Critical patent/CN108460342B/zh
Publication of CN108460342A publication Critical patent/CN108460342A/zh
Application granted granted Critical
Publication of CN108460342B publication Critical patent/CN108460342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积网和循环神经网络的高光谱图像分类方法，主要解决现有技术中高光谱图像分类精度低的问题。本发明具体步骤如下：(1)构造三维的卷积神经网络；(2)构造循环神经网络；(3)对待分类的高光谱图像矩阵进行预处理；(4)生成训练数据集和测试数据集；(5)利用训练数据集训练网络；(6)提取测试数据集空间特征和光谱特征；(7)融合空间特征和光谱特征；(8)对测试数据集进行分类。本发明引入三维卷积神经网络和循环神经网络提取高光谱图像的空间特征和光谱特征，融合两种特征进行分类，具有针对高光谱图像分类问题精度高的优点。

Description

基于卷积网和循环神经网络的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域中的一种基于卷积网和循环神经网络的高光谱图像分类方法。本发明可用于对高光谱图像中的地物目标进行分类和资源勘探、森林覆盖、灾害监测等领域的地物目标识别。
背景技术
近几年来，高光谱图像的自动解译越来越受到重视，它具有重要的价值，可以运用到变化检测、灾害控制等农业、地质和军用方面。高光谱图像每个像素点都是利用数百个高分辨率的连续电磁波谱观测得来的，所以每个像素点蕴含了丰富的波谱信息，对不同地物的区分能力极好。近年来，基于向量的机器学习算法，比如随机森林、支撑向量机和一维的卷积网等已经应用在高光谱图像的分类上，都取得了不错的效果。然而，随着高光谱成像技术的进一步发展和应用程度的不断深入，高光谱图像分类领域依然存在以下一些问题，如高光谱图像同类像素光谱差异性大而不同类像素特性差异小，传统分类器无法正确判别；另外，近几年随着空间和光谱分辨率的提高，空间信息和光谱信息量猛增，传统的方法不能充分提取这两类信息中的高辨识性特征并进行两种特征的融合分类，导致分类精度不高。例如：
Lichao Mou等人在其发表的论文“Deep Recurrent Neural Networks forHyperspectral Image Classification”(《IEEE Transactions on Geoscience&RemoteSensing》，2017，55(7):3639-3655)中提出了一种基于深度循环网络的高光谱图像分类方法。该方法将高光谱图像每一个像素点的谱段信息单独看成一个时序信号，构造基于单个像素点的特征向量，然后利用该特征向量训练循环卷积网络(recurrent neural network，RNN)，对高光谱图像逐像素点进行分类。循环卷积网络不同于传统的前馈神经网络，可以记忆上一层网络的信息并应用于当前层的计算中，擅长处理具有时序关系的序列信号，所以将每个像素点波谱展开成序列信号输入循环神经网络中得到了不错的分类效果。该方法存在的不足之处是，利用高光谱图像单个像素点构造特征向量，仅利用了该像素点的谱段信息，忽略了该像素点与它邻域像素点的空间相关性和相似性，高光谱图像空间信息和光谱信息提取不全面，分类精度不高。
西北工业大学在其申请的专利文献“基于深度卷积神经网络的空谱联合的高光谱图像分类方法”(专利申请号：201510697372.9，公开号：105320965A)中提出了一种基于深度卷积网络的空谱联合的高光谱图像分类方法。该方法首先对待分类的高光谱图像进行归一化，并提取高光谱图像的中心像素及八邻域像素共九个像素向量的原始空谱特征，然后构造三维深度卷积神经网络自主提取高光谱图像的空间特征和光谱特征，最后将提取的特征输入分类器进行地物分类。卷积神经网络是一种基于像素级的分类网络，从而可以实现端到端的分类效果。该方法存在的不足之处是，网络训练参数太多，需要大量样本来训练，训练时间长，分类速度慢；而且，利用一个网络同时提取光谱特征和空间特征这两种不同类型的特征，忽略了光谱特征的独特性和时序性，导致提取的特征是不充分不全面的，分类精度不高。
发明内容
本发明的目的是针对上述现有技术的不足，提出了一种基于卷积网和循环神经网络的高光谱图像分类方法。本发明与现有其他高光谱图像分类方法相比，能够更全面更充分地挖掘空间和光谱信息，并将两种信息进行融合再分类；同时考虑到遥感图像类标数据的稀少，本方法利用少量有类标数据样本即可实现高精度的高光谱图像分类，同时也避免了训练网络过拟合。
实现本发明的技术思路是：先搭建基于三维卷积神经网络的空间特征提取模型和基于循环卷积网络的光谱特征提取模型并设置每层参数，再对待分类的高光谱图像进行PCA降维和归一化，然后基于向量和图像块构造两种特征矩阵，利用向量特征矩阵生成空间特征提取模型的训练数据集和测试数据集，利用图像块特征矩阵生成光谱特征提取模型的训练数据集和测试数据集，利用两种训练集分类训练上述两种模型，再将测试集分别输入训练好的空间特征提取模型和光谱特征提取模型中提取空间特征和光谱特征，并将两种特征级联进行融合，最后将融合的特征送入分类器中分类得到测试数据集中每个像素所属的类别。
实现本发明的具体步骤如下：
(1)构造三维的卷积神经网络：
(1a)搭建一个7层的三维卷积神经网络，其结构依次为：输入层→第1个卷积层→第1个池化层→第2个卷积层→第2个池化层→第1个全连接层→第2个全连接层→分类层；
(1b)设置三维卷积神经网络各层参数如下：
将输入层特征映射图总数设置为3个；
将第1个卷积层特征映射图总数设置为32、卷积核大小设置为5×5×5；
将第1个池化层下采样滤波器尺寸设置为2×2×2；
将第2个卷积层特征映射图数目设置为64，卷积核大小设置为5×5×5；
将第2个池化层下采样滤波器尺寸设置为2×2×2；
将第1个全连接层特征映射图总数设置为1024；
将第2个全连接层特征映射图总数设置为20；
(2)构造循环神经网络：
(2a)搭建一个4层的循环神经网络，其结构依次为：输入层→门限单元循环层→全连接层→分类层；
(2b)循环神经网络各层参数设置如下：
将输入层输入谱段总数设置为204；
将循环层时间步数设置为17，每个时间步单元总数设置为12，隐藏门限循环单元总数设置为100；
将全连接层特征映射图总数设置为20；
(3)对待分类的高光谱图像矩阵进行预处理：
(3a)利用主成分分析方法，对高光谱图像矩阵进行降维，选取能包含图像矩阵99％信息量的3个分量，将原始矩阵投影到该分量对应的特征空间得到降维后的特征矩阵；
(3b)对图像矩阵和特征矩阵进行归一化，将图像矩阵中的元素值归一化到[0，1]之间，得到归一化的图像矩阵；将降维后的特征矩阵中的元素值归一化到[0，1]之间，得到归一化的特征矩阵；
(4)生成训练数据集和测试数据集：
(4a)以归一化后的特征矩阵中的每一个特征值为中心点，在该中心点的左、上两个方向分别选取8个特征值，右、下两个方向分别选取8个特征值，将所选取的特征值与其周围所选的特征值，组成17×17×3的特征矩阵块；
(4b)将归一化后的图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征向量集合；
(4c)从特征矩阵块中随机选取5％的特征矩阵块，作为三维卷积神经网络训练数据集的特征矩阵，将其余的特征矩阵块作为该网络测试数据集的特征矩阵；
(4d)从特征向量集合中随机选取5％的特征向量，作为循环神经网络训练数据集的特征矩阵，将其余的特征向量作为该网络测试数据集的特征矩阵；
(5)利用训练数据集训练网络：
(5a)训练三维卷积神经网络：利用三维卷积神经网络的训练数据集训练该网络，不断调整优化网络训练参数，直到网络损失小于预先设定值0.5，得到训练好的三维卷积神经网络；
(5b)训练循环神经网络：利用循环神经网络的训练数据集训练该网络，调整训练参数，直到网络损失小于预先设定值0.8，得到训练好的循环神经网络；
(6)提取测试数据集空间特征和光谱特征：
(6a)将三维卷积神经网络的测试集输入进训练好的网络，从网络的第1个全连接层提取出测试数据集的空间特征；
(6b)将循环神经网络的测试集输入进训练好的网络，从网络的全连接层提取出测试数据集的光谱特征；
(7)融合空间特征和光谱特征：
将测试数据集的空间特征和光谱特征进行级联，融合空间特征和光谱特征；
(8)对测试数据集进行分类：
将测试数据集融合后的空间和光谱特征送入分类器分类，得到测试集中每个像素的分类结果；
本发明与现有技术相比较，具有以下优点：
第一，由于本发明构建了三维卷积神经网络提取高光谱图像空间特征，构建了循环神经网络提取高光谱图像光谱特征，使用一系列卷积层、池化层、门限单元循环层和全连接层提取高光谱图像的空间和光谱信息，两种信息互相融合，利用融合后的信息进行分类，克服了现有技术中高光谱图像空间信息和光谱信息提取不全面，分类精度不高的问题，使得本发明全面利用高光谱图像的空间和光谱信息，提高了高光谱图像的分类精度。
第二，由于本发明构建了三维卷积神经网络提取高光谱图像空间特征，构建了循环神经网络提取高光谱图像光谱特征，两个网络参数较少，大大减少了训练网络所需的样本数据量，网络可以更快收敛，提高分类速度，克服了现有技术中网络训练参数太多，需要大量样本来训练，训练时间长，分类速度慢的问题，使得本发明提高了高光谱图像的分类速度。
附图说明
图1是本发明的流程图；
图2是本发明仿真实验中对待分类图像的人工标记图；
图3是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的详细描述
参照附图1，对本发明的具体步骤做进一步的详细描述。
步骤1.构造三维的卷积神经网络。
搭建一个7层的三维卷积神经网络，其结构依次为：输入层→第1个卷积层→第1个池化层→第2个卷积层→第2个池化层→第1个全连接层→第2个全连接层→分类层。
设置三维卷积神经网络各层参数如下：
将输入层特征映射图总数设置为3个。
将第1个卷积层特征映射图总数设置为32、卷积核大小设置为5×5×5。
将第1个池化层下采样滤波器尺寸设置为2×2×2。
将第2个卷积层特征映射图数目设置为64，卷积核大小设置为5×5×5。
将第2个池化层下采样滤波器尺寸设置为2×2×2。
将第1个全连接层特征映射图总数设置为1024。
将第2个全连接层特征映射图总数设置为20。
步骤2.构造循环神经网络。
搭建一个4层的循环神经网络，其结构依次为：输入层→门限单元循环层→全连接层→分类层。
循环神经网络各层参数设置如下：
将输入层输入谱段总数设置为204。
将循环层时间步数设置为17，每个时间步单元总数设置为12，隐藏门限循环单元总数设置为100。
将全连接层特征映射图总数设置为20。
步骤3.对待分类的高光谱图像矩阵进行预处理。
利用主成分分析方法，对高光谱图像矩阵进行降维，选取能包含图像矩阵99％信息量的3个分量，将原始矩阵投影到该分量对应的特征空间得到降维后的特征矩阵。
所述的主成分分析方法的步骤如下：
第1步，将高光谱图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征矩阵。
第2步，对特征矩阵中的元素按列求平均值，用特征矩阵中的每个元素分别减去该特征矩阵其对应列的均值。
第3步，对特征矩阵中每两列元素求协方差，构造特征矩阵的协方差矩阵，依次依照下述两个公式，求特征矩阵的协方差矩阵：
σ(xj,xk)＝E[(xj-E(xj))(xk-E(xk))]
其中，σ(xj,xk)表示xj和xk之间的协方差，j,k＝1…m，m表示特征矩阵列数，E表示求矩阵期望，A代表协方差矩阵。
第4步，利用协方差矩阵的特征方程，求得与特征向量一一对应的所有协方差矩阵的特征值，求解下式，得到协方差矩阵的特征值和特征向量：
其中，A为协方差矩阵，λ0为求解得到的特征值，E为求解得到的特征向量。
第5步，将所有特征值按照从大到小排序，从排序中选择前3个特征值，将3个特征值分别对应的特征向量，按列组成特征向量矩阵。
第6步，将高光谱图像矩阵投影到选取的特征向量矩阵上，得到降维后的特征矩阵。
对高光谱图像矩阵和特征矩阵进行归一化，将高光谱图像矩阵中的元素值归一化到[0，1]之间，得到归一化的高光谱图像矩阵；将降维后的特征矩阵中的元素值归一化到[0，1]之间，得到归一化的特征矩阵。
所述的归一化方法的步骤如下：
第1步，分别求出高光谱图像矩阵和特征矩阵每一通道的最大值和最小值。
第2步，高光谱图像矩阵每一通道的所有元素均减去该通道像素最小值，再除以该通道像素最大值减像素最小值，得到归一化后的高光谱图像矩阵。
第3步，采用与第二步相同的方法，得到归一化的特征矩阵。
步骤4.生成训练数据集和测试数据集。
第1步，以归一化后的特征矩阵中的每一个特征值为中心点，在该中心点的左、上两个方向分别选取8个特征值，右、下两个方向分别选取8个特征值，将所选取的特征值与其周围所选的特征值，组成17×17×3的特征矩阵块。
第2步，将归一化后的图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征向量集合。
第3步，从特征矩阵块中随机选取5％的特征矩阵块，作为三维卷积神经网络训练数据集的特征矩阵，将其余的特征矩阵块作为该网络测试数据集的特征矩阵。
第4步，从特征向量集合中随机选取5％的特征向量，作为循环神经网络训练数据集的特征矩阵，将其余的特征向量作为该网络测试数据集的特征矩阵。
步骤5.利用训练数据集训练网络。
第1步，训练三维卷积神经网络：利用三维卷积神经网络的训练数据集训练该网络，不断调整优化网络训练参数，直到网络损失小于预先设定值0.5，得到训练好的三维卷积神经网络。
第2步，训练循环神经网络：利用循环神经网络的训练数据集训练该网络，调整训练参数，直到网络损失小于预先设定值0.8，得到训练好的循环神经网络。
步骤6.提取测试数据集空间特征和光谱特征。
第1步，将三维卷积神经网络的测试集输入进训练好的网络，从网络的第1个全连接层提取出测试数据集的空间特征。
第2步，将循环神经网络的测试集输入进训练好的网络，从网络的全连接层提取出测试数据集的光谱特征。
步骤7.融合空间特征和光谱特征。
将测试数据集的空间特征和光谱特征进行级联，融合空间特征和光谱特征。
步骤8.对测试数据集进行分类。
将测试数据集融合后的空间和光谱特征送入分类器分类，得到测试集中每个像素的分类结果。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真条件：
本发明的仿真实验的硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz*16，内存为64G。
本发明的仿真实验的软件平台为：TensorFlow。
2.仿真内容与结果分析：
本发明的仿真实验是采用本发明和两个现有技术(二维卷积神经网络CNN(convolutional nerual network)和循环神经网络RNN(recurrent nerual network))的方法，分别对遥感卫星接收的高光谱图像进行分类。
下面采用平均分类精度AA和总体分类精度OA两个指标，分别对本发明和两个现有技术(二维卷积神经网络CNN(convolutional nerual network)、循环神经网络RNN(recurrent nerual network))的三个方法的分类结果进行评价，分别统计高光谱图像分类结果中正确分类的像素总数、每类正确分类的像素数目、图像的像素总数。利用下式，分别计算本发明和两个现有技术的高光谱图像分类结果的平均分类精度AA和总体分类精度OA：
平均分类精度AA＝总分类正确像素个数/像素总数
总体分类精度OA＝每类正确分类像素个数总和/像素总数
表1.三种方法分类精度一览表
平均分类精度AA 总体分类精度OA
本发明 99.333％ 98.441％
CNN 97.669％ 95.169％
RNN 94.523％ 89.479％
表1中分别列出了本发明和两个现有技术的平均分类精度AA和总体分类精度OA计算结果，从表1可见，本发明的分类平均精度AA(average accuracy)为99.333％，总体分类精度OA(overall accuracy)为98.441％，这两个指标均高于2种现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。
图2是本发明仿真实验所使用的待分类的高光谱图像的实际人工标记图，图2中灰度值为255的区域表示背景，灰度值为158的区域表示第1类绿色杂草区域，灰度值为105的区域表示第2类绿色杂草区域，灰度值为135的区域表示休耕农田区域，灰度值为29的区域表示粗糙休耕农田区域，灰度值为35的区域表示光滑休耕农田区域，灰度值为144的区域表示农田残茬区域，灰度值为141的区域表示芹菜区域，灰度值为150的区域表示野葡萄区域，灰度值为53的区域表示葡萄园土壤区域，灰度值为94的区域表示带有绿色杂草的玉米区域，灰度值为113的区域表示第1类莴苣区域，灰度值为202的区域表示第2类莴苣区域，灰度值为158的区域表示第3类莴苣区域，灰度值为125的区域表示第4类莴苣区域，灰度值为38的区域表示未栽培葡萄园区域，灰度值为0的区域表示葡萄架区域。图3是使用本发明的方法对高光谱图像进行分类的分类结果图。
综上所述，通过对比实际人工标记图2与本发明的分类结果图3，可以看出：本发明方法分类结果较好，分类结果的区域一致性较好，不同类别之间的边缘也非常清晰，且保持了细节信息。本发明通过卷积网和循环神经网络对高光谱图像进行分类，搭建了一个7层的三维卷积神经网络和4层的循环神经网络，充分提取了高光谱图像的空间信息和光谱信息，利用融合后的空间信息和光谱信息进行分类，保留了高光谱图像特征信息的完整性，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以实现高精度的高光谱图像分类。

Claims (3)

1.一种基于卷积网和循环神经网络的高光谱图像分类方法，其特征在于，该方法利用三维卷积神经网络提取高光谱图像的空间特征，利用搭建带有门限循环单元的循环神经网络提取其光谱特征，协同训练两种网络，利用训练好的网络提取的空间特征和光谱特征，将融合的特征输入进分类器进行分类，该方法具体步骤包括如下：
(1)构造三维的卷积神经网络：
(1a)搭建一个7层的三维卷积神经网络，其结构依次为：输入层→第1个卷积层→第1个池化层→第2个卷积层→第2个池化层→第1个全连接层→第2个全连接层→分类层；
(1b)设置三维卷积神经网络各层参数如下：
将输入层特征映射图总数设置为3个；
将第1个卷积层特征映射图总数设置为32、卷积核大小设置为5×5×5；
将第1个池化层下采样滤波器尺寸设置为2×2×2；
将第2个卷积层特征映射图数目设置为64，卷积核大小设置为5×5×5；
将第2个池化层下采样滤波器尺寸设置为2×2×2；
将第1个全连接层特征映射图总数设置为1024；
将第2个全连接层特征映射图总数设置为20；
(2)构造循环神经网络：
(2a)搭建一个4层的循环神经网络，其结构依次为：输入层→门限单元循环层→全连接层→分类层；
(2b)循环神经网络各层参数设置如下：
将输入层输入谱段总数设置为204；
将循环层时间步数设置为17，每个时间步单元总数设置为12，隐藏门限循环单元总数设置为100；
将全连接层特征映射图总数设置为20；
(3)对待分类的高光谱图像矩阵进行预处理：
(3a)利用主成分分析方法，对高光谱图像矩阵进行降维，选取能包含图像矩阵99％信息量的3个分量，将原始矩阵投影到该分量对应的特征空间得到降维后的特征矩阵；
(3b)对图像矩阵和特征矩阵进行归一化，将图像矩阵中的元素值归一化到[0，1]之间，得到归一化的图像矩阵；将降维后的特征矩阵中的元素值归一化到[0，1]之间，得到归一化的特征矩阵；
(4)生成训练数据集和测试数据集：
(4a)以归一化后的特征矩阵中的每一个特征值为中心点，在该中心点的左、上两个方向分别选取8个特征值，右、下两个方向分别选取8个特征值，将所选取的特征值与其周围所选的特征值，组成17×17×3的特征矩阵块；
(4b)将归一化后的图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征向量集合；
(4c)从特征矩阵块中随机选取5％的特征矩阵块，作为三维卷积神经网络训练数据集的特征矩阵，将其余的特征矩阵块作为该网络测试数据集的特征矩阵；
(4d)从特征向量集合中随机选取5％的特征向量，作为循环神经网络训练数据集的特征矩阵，将其余的特征向量作为该网络测试数据集的特征矩阵；
(5)利用训练数据集训练网络：
(5a)训练三维卷积神经网络：利用三维卷积神经网络的训练数据集训练该网络，不断调整优化网络训练参数，直到网络损失小于预先设定值0.5，得到训练好的三维卷积神经网络；
(5b)训练循环神经网络：利用循环神经网络的训练数据集训练该网络，调整训练参数，直到网络损失小于预先设定值0.8，得到训练好的循环神经网络；
(6)提取测试数据集空间特征和光谱特征：
(6a)将三维卷积神经网络的测试集输入进训练好的网络，从网络的第1个全连接层提取出测试数据集的空间特征；
(6b)将循环神经网络的测试集输入进训练好的网络，从网络的全连接层提取出测试数据集的光谱特征；
(7)融合空间特征和光谱特征：
将测试数据集的空间特征和光谱特征进行级联，融合空间特征和光谱特征；
(8)对测试数据集进行分类：
将测试数据集融合后的空间和光谱特征送入分类器分类，得到测试集中每个像素的分类结果。
2.根据权利要求1所述的基于卷积网和循环神经网络的高光谱图像分类方法，其特征在于，步骤(3a)中所述主成分分析方法的具体步骤如下：
第一步，将高光谱图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征矩阵；
第二步，对特征矩阵中的元素按列求平均值，用特征矩阵中的每个元素分别减去该特征矩阵其对应列的均值；
第三步，对特征矩阵中每两列元素求协方差，构造特征矩阵的协方差矩阵；
第四步，利用协方差矩阵的特征方程，求得与特征向量一一对应的所有协方差矩阵的特征值；
第五步，将所有特征值按照从大到小排序，从排序中选择前3个特征值，将3个特征值分别对应的特征向量，按列组成特征向量矩阵；
第六步，将高光谱图像矩阵投影到选取的特征向量矩阵上，得到降维后的特征矩阵。
3.根据权利要求1所述的基于卷积网和循环神经网络的高光谱图像分类方法，其特征在于，步骤(3b)中所述对高光谱图像矩阵和特征矩阵进行归一化的具体步骤如下：
第一步，分别求出高光谱图像矩阵和特征矩阵每一通道的最大值和最小值；
第二步，高光谱图像矩阵每一通道的所有元素均减去该通道像素最小值，再除以该通道像素最大值减像素最小值，得到归一化后的高光谱图像矩阵；
第三步，采用与第二步相同的方法，得到归一化的特征矩阵。
CN201810113878.4A 2018-02-05 2018-02-05 基于卷积神经网络和循环神经网络的高光谱图像分类方法 Active CN108460342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810113878.4A CN108460342B (zh) 2018-02-05 2018-02-05 基于卷积神经网络和循环神经网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810113878.4A CN108460342B (zh) 2018-02-05 2018-02-05 基于卷积神经网络和循环神经网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN108460342A true CN108460342A (zh) 2018-08-28
CN108460342B CN108460342B (zh) 2021-01-01

Family

ID=63239738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810113878.4A Active CN108460342B (zh) 2018-02-05 2018-02-05 基于卷积神经网络和循环神经网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN108460342B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法
CN109295159A (zh) * 2018-10-26 2019-02-01 北京工商大学 香肠品质智能鉴别方法
CN109492593A (zh) * 2018-11-16 2019-03-19 西安电子科技大学 基于主成分分析网络和空间坐标的高光谱图像分类方法
CN109598306A (zh) * 2018-12-06 2019-04-09 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
CN109785302A (zh) * 2018-12-27 2019-05-21 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN109948742A (zh) * 2019-03-25 2019-06-28 西安电子科技大学 基于量子神经网络的手写体图片分类方法
CN109946241A (zh) * 2019-03-12 2019-06-28 北京理工大学 一种基于高光谱计算成像系统的土壤分类方法
CN109978041A (zh) * 2019-03-19 2019-07-05 上海理工大学 一种基于交替更新卷积神经网络的高光谱图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110189800A (zh) * 2019-05-06 2019-08-30 浙江大学 基于多粒度级联循环神经网络的炉氧含量软测量建模方法
CN110222773A (zh) * 2019-06-10 2019-09-10 西北工业大学 基于不对称分解卷积网络的高光谱图像小样本分类方法
CN110516727A (zh) * 2019-08-20 2019-11-29 西安电子科技大学 基于fpga深度边缘滤波器的高光谱图像分类方法
CN111027509A (zh) * 2019-12-23 2020-04-17 武汉大学 一种基于双流卷积神经网络的高光谱图像目标检测方法
CN111127433A (zh) * 2019-12-24 2020-05-08 深圳集智数字科技有限公司 一种检测火焰的方法及装置
CN111144423A (zh) * 2019-12-26 2020-05-12 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据多尺度光谱特征提取方法
CN111175239A (zh) * 2020-01-19 2020-05-19 北京科技大学 深度学习下的彩绘类文物成像高光谱无损检测与识别系统
CN111310516A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 一种行为识别方法和装置
CN111368930A (zh) * 2020-03-09 2020-07-03 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN111414922A (zh) * 2019-01-07 2020-07-14 阿里巴巴集团控股有限公司 特征提取方法、图像处理方法、模型训练方法及装置
CN111860654A (zh) * 2020-07-22 2020-10-30 河南大学 一种基于循环神经网络的高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112288721A (zh) * 2020-10-29 2021-01-29 四川九洲电器集团有限责任公司 一种用于目标检测的马赛克多光谱图像生成方法
CN112767243A (zh) * 2020-12-24 2021-05-07 深圳大学 一种高光谱图像超分辨率的实现方法及系统
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113899809A (zh) * 2021-08-20 2022-01-07 中海石油技术检测有限公司 基于cnn分类和rnn预测的管道内检测器定位方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1110168A1 (en) * 1999-07-07 2001-06-27 Renishaw plc Neural networks
EP2696191A1 (en) * 2011-04-06 2014-02-12 Universitat Autònoma De Barcelona Method for the characterisation and classification of kidney stones
CN105069468A (zh) * 2015-07-28 2015-11-18 西安电子科技大学 基于脊波和深度卷积网络的高光谱图像分类方法
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
CN106845418A (zh) * 2017-01-24 2017-06-13 北京航空航天大学 一种基于深度学习的高光谱图像分类方法
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
CN107169535A (zh) * 2017-07-06 2017-09-15 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN107273807A (zh) * 2017-05-19 2017-10-20 河海大学 一种遥感影像分类方法
CN107292343A (zh) * 2017-06-23 2017-10-24 中南大学 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法
CN107301372A (zh) * 2017-05-11 2017-10-27 中国科学院西安光学精密机械研究所 基于迁移学习的高光谱图像超分辨率方法
CN107316013A (zh) * 2017-06-14 2017-11-03 西安电子科技大学 基于nsct变换和dcnn的高光谱图像分类方法
CN107358260A (zh) * 2017-07-13 2017-11-17 西安电子科技大学 一种基于表面波cnn的多光谱图像分类方法
CN107392130A (zh) * 2017-07-13 2017-11-24 西安电子科技大学 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1110168A1 (en) * 1999-07-07 2001-06-27 Renishaw plc Neural networks
EP2696191A1 (en) * 2011-04-06 2014-02-12 Universitat Autònoma De Barcelona Method for the characterisation and classification of kidney stones
CN105069468A (zh) * 2015-07-28 2015-11-18 西安电子科技大学 基于脊波和深度卷积网络的高光谱图像分类方法
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
CN106845418A (zh) * 2017-01-24 2017-06-13 北京航空航天大学 一种基于深度学习的高光谱图像分类方法
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
CN107301372A (zh) * 2017-05-11 2017-10-27 中国科学院西安光学精密机械研究所 基于迁移学习的高光谱图像超分辨率方法
CN107273807A (zh) * 2017-05-19 2017-10-20 河海大学 一种遥感影像分类方法
CN107316013A (zh) * 2017-06-14 2017-11-03 西安电子科技大学 基于nsct变换和dcnn的高光谱图像分类方法
CN107292343A (zh) * 2017-06-23 2017-10-24 中南大学 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法
CN107169535A (zh) * 2017-07-06 2017-09-15 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN107358260A (zh) * 2017-07-13 2017-11-17 西安电子科技大学 一种基于表面波cnn的多光谱图像分类方法
CN107392130A (zh) * 2017-07-13 2017-11-24 西安电子科技大学 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LICHAO MOU ET AL: "Deep Recurrent Neural Networks for Hyperspectral Image Classification", 《 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
SAURABH MORCHHALE ET AL: "Classification of pixel-level fused hyperspectral and lidar data using deep convolutional neural networks", 《2016 8TH WORKSHOP ON HYPERSPECTRAL IMAGE AND SIGNAL PROCESSING: EVOLUTION IN REMOTE SENSING (WHISPERS)》 *
宋欣益: "基于卷积神经网络的高光谱数据分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张春森等: "高光谱影像光谱-空间多特征加权概率融合分类", 《测绘学报》 *
曲景影等: "基于CNN模型的高分辨率遥感图像目标识别", 《国外电子测量技术》 *
罗建华等: "基于深度卷积神经网络的高光谱遥感图像分类", 《西华大学学报(自然科学版)》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法
CN109295159A (zh) * 2018-10-26 2019-02-01 北京工商大学 香肠品质智能鉴别方法
CN109492593B (zh) * 2018-11-16 2021-09-10 西安电子科技大学 基于主成分分析网络和空间坐标的高光谱图像分类方法
CN109492593A (zh) * 2018-11-16 2019-03-19 西安电子科技大学 基于主成分分析网络和空间坐标的高光谱图像分类方法
CN109598306A (zh) * 2018-12-06 2019-04-09 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
CN109598306B (zh) * 2018-12-06 2021-09-03 西安电子科技大学 基于srcm和卷积神经网络的高光谱图像分类方法
CN111310516A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 一种行为识别方法和装置
CN111310516B (zh) * 2018-12-11 2023-08-29 杭州海康威视数字技术股份有限公司 一种行为识别方法和装置
CN109785302A (zh) * 2018-12-27 2019-05-21 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN111414922A (zh) * 2019-01-07 2020-07-14 阿里巴巴集团控股有限公司 特征提取方法、图像处理方法、模型训练方法及装置
CN111414922B (zh) * 2019-01-07 2022-11-15 阿里巴巴集团控股有限公司 特征提取方法、图像处理方法、模型训练方法及装置
CN109946241A (zh) * 2019-03-12 2019-06-28 北京理工大学 一种基于高光谱计算成像系统的土壤分类方法
CN109978041A (zh) * 2019-03-19 2019-07-05 上海理工大学 一种基于交替更新卷积神经网络的高光谱图像分类方法
CN109978041B (zh) * 2019-03-19 2022-11-29 上海理工大学 一种基于交替更新卷积神经网络的高光谱图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN109993220B (zh) * 2019-03-23 2022-12-06 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN109948742A (zh) * 2019-03-25 2019-06-28 西安电子科技大学 基于量子神经网络的手写体图片分类方法
CN109948742B (zh) * 2019-03-25 2022-12-02 西安电子科技大学 基于量子神经网络的手写体图片分类方法
CN110084159B (zh) * 2019-04-15 2021-11-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110189800A (zh) * 2019-05-06 2019-08-30 浙江大学 基于多粒度级联循环神经网络的炉氧含量软测量建模方法
CN110222773A (zh) * 2019-06-10 2019-09-10 西北工业大学 基于不对称分解卷积网络的高光谱图像小样本分类方法
CN110222773B (zh) * 2019-06-10 2023-03-24 西北工业大学 基于不对称分解卷积网络的高光谱图像小样本分类方法
CN110516727A (zh) * 2019-08-20 2019-11-29 西安电子科技大学 基于fpga深度边缘滤波器的高光谱图像分类方法
CN110516727B (zh) * 2019-08-20 2022-12-06 西安电子科技大学 基于fpga深度边缘滤波器的高光谱图像分类方法
CN111027509A (zh) * 2019-12-23 2020-04-17 武汉大学 一种基于双流卷积神经网络的高光谱图像目标检测方法
CN111027509B (zh) * 2019-12-23 2022-02-11 武汉大学 一种基于双流卷积神经网络的高光谱图像目标检测方法
CN111127433B (zh) * 2019-12-24 2020-09-25 深圳集智数字科技有限公司 一种检测火焰的方法及装置
CN111127433A (zh) * 2019-12-24 2020-05-08 深圳集智数字科技有限公司 一种检测火焰的方法及装置
CN111144423B (zh) * 2019-12-26 2023-05-05 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据多尺度光谱特征提取方法
CN111144423A (zh) * 2019-12-26 2020-05-12 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据多尺度光谱特征提取方法
CN111175239A (zh) * 2020-01-19 2020-05-19 北京科技大学 深度学习下的彩绘类文物成像高光谱无损检测与识别系统
CN111175239B (zh) * 2020-01-19 2021-01-15 北京科技大学 深度学习下的彩绘类文物成像高光谱无损检测与识别系统
CN111368930B (zh) * 2020-03-09 2022-11-04 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN111368930A (zh) * 2020-03-09 2020-07-03 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN111860654A (zh) * 2020-07-22 2020-10-30 河南大学 一种基于循环神经网络的高光谱图像分类方法
CN111860654B (zh) * 2020-07-22 2024-02-02 河南大学 一种基于循环神经网络的高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112052758B (zh) * 2020-08-25 2023-05-23 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112288721A (zh) * 2020-10-29 2021-01-29 四川九洲电器集团有限责任公司 一种用于目标检测的马赛克多光谱图像生成方法
CN112767243A (zh) * 2020-12-24 2021-05-07 深圳大学 一种高光谱图像超分辨率的实现方法及系统
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113899809A (zh) * 2021-08-20 2022-01-07 中海石油技术检测有限公司 基于cnn分类和rnn预测的管道内检测器定位方法
CN113899809B (zh) * 2021-08-20 2024-02-27 中海石油技术检测有限公司 基于cnn分类和rnn预测的管道内检测器定位方法

Also Published As

Publication number Publication date
CN108460342B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN108460342A (zh) 基于卷积网和循环神经网络的高光谱图像分类方法
US11783569B2 (en) Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
Farmonov et al. Crop type classification by DESIS hyperspectral imagery and machine learning algorithms
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN107944370B (zh) 基于dccgan模型的极化sar图像分类方法
CN108416307A (zh) 一种航拍图像路面裂缝检测方法、装置及设备
CN109711446A (zh) 一种基于多光谱影像和sar影像的地物分类方法及装置
CN108830243A (zh) 基于胶囊网络的高光谱图像分类方法
Liu et al. Multimorphological superpixel model for hyperspectral image classification
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN108460391A (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN111881933A (zh) 一种高光谱图像分类方法及系统
CN108764357A (zh) 基于压缩-激发的聚合残差网络高光谱图像分类方法
CN112052758B (zh) 基于注意力机制和循环神经网络的高光谱图像分类方法
Agustin et al. Deep Learning-based Method for Multi-Class Classification of Oil Palm Planted Area on Plant Ages Using Ikonos Panchromatic Imagery
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
Voelsen et al. Investigating 2D and 3D convolutions for multitemporal land cover classification using remote sensing images
CN111460943A (zh) 一种遥感影像地物分类方法及系统
CN109460788B (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant