CN113469078B - 基于自动设计长短时记忆网络的高光谱图像分类方法 - Google Patents

基于自动设计长短时记忆网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN113469078B
CN113469078B CN202110770213.2A CN202110770213A CN113469078B CN 113469078 B CN113469078 B CN 113469078B CN 202110770213 A CN202110770213 A CN 202110770213A CN 113469078 B CN113469078 B CN 113469078B
Authority
CN
China
Prior art keywords
short
long
pixel point
controller
memory network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110770213.2A
Other languages
English (en)
Other versions
CN113469078A (zh
Inventor
冯婕
白改琴
高姿卓
张向荣
尚荣华
焦李成
王蓉芳
古晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110770213.2A priority Critical patent/CN113469078B/zh
Publication of CN113469078A publication Critical patent/CN113469078A/zh
Application granted granted Critical
Publication of CN113469078B publication Critical patent/CN113469078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于自动设计长短时记忆网络的高光谱图像分类方法，其步骤为：构造搜索空间；利用循环神经网络搭建一个控制器；生成训练集和验证集；由搜索空间生成循环单元；训练由循环单元搭建的长短时记忆网络；训练控制器；迭代更新控制器的参数，判断策略损失函数是否收敛，若是，用控制器从搜索空间中生成循环单元B，训练由循环单元B搭建的长短时记忆网络NB，对待分类的高光谱图像进行分类，否则，继续由搜索空间生成循环单元。本发明自动设计的长短时记忆网络具有充分利用高光谱图像的光谱信息使得分类效果更精确的优点，可用于高光谱图像的分类。

Description

基于自动设计长短时记忆网络的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域中的一种基于自动设计长短时记忆网络高光谱图像分类方法。本发明可用于对高光谱图像中的地物目标进行分类，从而为资源勘探、森林覆盖、灾害监测领域的地物目标识别提供依据。
背景技术
近几年来，高光谱图像的应用领域越来越广泛，它具有重要的价值，可以运用到灾害监测、资源勘察等农业、地质和军用方面。高光谱图像每个像素点都是利用数百个高分辨率的连续电磁波谱观测得来的，所以每个像素点蕴含了丰富的光谱信息。丰富的光谱信息使得高光谱图像在分类任务上展现出了巨大的优势。在过去的二十年内，许多传统的机器学习算法，比如随机森林、支撑向量机和K近邻等方法已经应用在高光谱图像分类上，都取得了不错的效果。近年来，基于深度学习的光谱分类器被提出，例如一维卷积神经网络、循环神经网络等广泛应用于高光谱图像分类。然而，随着高光谱成像技术的进一步发展和应用程度的不断深入，高光谱图像分类领域依然存在以下一些问题，如高光谱图像同类像素光谱差异性大而不同类像素特性差异小，传统分类器无法正确判别；另外，近几年随着光谱分辨率的提高，光谱信息量猛增，人工设计的基于深度学习的光谱分类器不能自适用于不同的数据集，从而难以充分利用光谱之间的相关信息，无法提取到光谱中的高辨识性特征，导致分类精度不高。例如：
Lichao Mou等人在其发表的论文“Deep Recurrent Neural Networks forHyperspectral Image Classification”(《IEEE Transactions on Geoscience&RemoteSensing》，2017，55(7):3639-3655)中提出了一种基于深度循环网络的高光谱图像分类方法。该方法将高光谱图像每一个像素点的谱段信息单独看成一个时序信号，构造基于单个像素点的特征向量，然后利用该特征向量训练循环神经网络，对高光谱图像逐像素点进行分类。循环神经网络不同于传统的前馈神经网络，可以记忆上一层网络的信息并应用于当前层的计算中，擅长处理具有时序关系的序列信号，所以将每个像素点波谱展开成序列信号输入循环神经网络中得到了不错的分类效果。但是，该方法仍然存在的不足之处是，由于深度循环神经网络模型其本身的长时依赖问题，导致网络在训练反向更新时造成梯度消失或梯度爆炸的问题，从而使得网络无法学到高光谱图像光谱之间的潜在特征。
西安电子科技大学在其申请的专利文献“基于长短时记忆网络的高光谱图像分类方法”(专利申请号：201710781812.8，申请公布号：CN 107657271 A)中提出了一种基于长短时记忆网络的高光谱分类方法。该方法首先对高光谱图像进行PCA降维，获取高光谱图像的主成分灰度图并且对灰度图进行形态学滤波。然后利用高光谱图像的形态学特征矩阵构建样本数据的局部空间序列特征。最后构建好的局部空间序列特征矩阵输入到人工设计好的长短时记忆网络中，从而得到分类结果。该方法虽然在一定程度上提高了分类精度，但是，该方法仍然存在的不足之处是，用于分类的长短时记忆网络是人工设计的，需要大量的先验知识，并且网络模型结构是固定的，不能自适用于不同的高光谱图像。
发明内容
本发明的目的是针对上述现有技术的不足，提出了一种基于自动设计的长短时记忆网络的高光谱图像分类方法，用于解决需要人工设计长短时记忆网络中的循环单元需要大量先验知识、网络模型固定无法自适用于不同的高光谱图像的问题。
实现本发明的技术思路是：构建由有向无环图表示的搜索空间，搭建一个用于从搜索空间中生成循环单元的控制器，交替训练控制器和用生成的循环单元搭建的长短时记忆网络获取最终训练好的控制器,从而利用控制器可以自动生成最终的循环单元。本发明提出一种策略损失函数，计算交替训练过程中用生成的循环单元搭建的长短时记忆网络的损失值，通过迭代学习，使控制器不断从搜索空间中生成自适用于不同高光谱图像的循环单元。
实现本发明的具体步骤如下：
步骤1，构建搜索空间。
用由12个带有序号的节点构建一个有向无环图作为搜索空间，每个节点代表tanh、ReLU、sigmoid、identity四个候选模块中的任意一个，每条边从序号小的节点指向序号大的节点，代表数据处理信息的流向。
步骤2，利用循环神经网络搭建一个控制器。
搭建一个由23个时间步构成的循环神经网络，每个时间步都是由输入层，嵌入层，隐藏门限单元循环层，全连接层，Softmax层，输出层组成；设置每个输入层的单元数为1；设置每个嵌入层的单元总数与候选模块数目相等；设置每个隐藏门限循环单元总数设为100；其中，单数时间步对应的全连接层的单元总数与候选模块数目相等，双数时间步对应的全连接层的单元数量为当前输入层时间步数的一半；每个Softmax层使用归一化指数函数；设置每个输出层的单元数目为1。
步骤3，生成训练集和验证集。
将输入的一幅高光谱图像使用归一化方法归一化到[0，1]之间，得到归一化的高光谱图像；从归一化后的高光谱图像的每类地物中随机选取30％的像素点向量组成训练集，从剩余图像中随机选取30％的像素点向量组成验证集，将剩余40％的像素点组成待分类的像素点向量。
步骤4，由搜索空间生成循环单元。
(4a)将零向量输入到控制器中第一个时间步对应的输入层中。
(4b)将控制器前一个时间步输出的选中模块输入到控制器中下一个时间步的输入层中。
(4c)将所有时间步输出的选中模块组成一个循环单元。
步骤5，训练由循环单元搭建的长短时记忆网络。
(5a)将训练集中的每个像素点向量按顺序每50个划分为一个子向量，最后一个子向量长度不足50的用0补足。
(5b)搭建一个长短时记忆网络，该网络的时间步长与子向量的组数相等，每个时间步均由输入层，循环单元层，全连接层，Softmax层组成；将输入层的单元总数设置为50，循环单元层由100个循环单元并列组成；全连接的单元数目与高光谱图像的类别数相等；Softmax层使用归一化指数函数实现。
(5c)将训练集划分的子向量依次输入到长短时记忆网络中，输出每个像素点向量的预测标签，利用交叉熵损失函数计算所有像素点向量的预测标签与其真实标签之间的损失值，再利用梯度下降算法，迭代更新长短时记忆网络的参数，直至交叉熵损失函数收敛，得到训练好的长短时记忆网络。
步骤6，训练控制器。
(6a)将验证集中的每个像素点向量按顺序每50个划分为一个子向量，最后一个子向量长度不足50的用0补足。
(6b)将划分的子向量依次输入训练好的长短时记忆网络NA中，输出像素点向量的预测标签。
(6c)构建策略损失函数L：
L＝-Pθ(NA)R
其中，Pθ(NA)表示训练好的长短时记忆网络NA在参数θ的控制器中出现的概率，R表示像素点向量的预测标签与其真实标签的准确率。
(6d)利用策略损失函数计算训练好的长短时记忆网络的损失值。
步骤7，将损失值输入到控制器中，利用梯度下降算法迭代更新控制器的参数，判断策略损失函数是否收敛，若是，得到训练好的控制器后执行步骤8，否则，执行步骤4。
步骤8，利用训练好的控制器从搜索空间中生成循环单元B。
(8a)将一个零向量输入到训练好的控制器中第一个时间步对应的输入层中。
(8b)将训练好的控制器前一个时间步的输出层的结果输入到训练好的控制器中下一个时间步的输入层中。
(8c)将所有时间步输出的选中模块组成一个循环单元B。
步骤9，训练由循环单元B搭建的长短时记忆网络NB。
(9a)搭建一个长短时记忆网络NB，该网络的时间步长与步骤(5a)中子向量的组数相等，每个时间步均由输入层，循环单元层，全连接层，Softmax层组成；将输入层的单元数设置为50，循环单元层由100个循环单元B并列组成；全连接的单元数目与高光谱图像的类别数相等；Softmax层使用归一化指数函数实现。
(9b)将步骤(5a)划分的子向量依次输入到长短时记忆网络NB中，输出每个像素点向量的预测标签，利用交叉熵损失函数计算所有像素点向量的预测标签与其真实标签之间的损失值，再利用梯度下降算法，迭代更新长短时记忆网络NB的参数，直至交叉熵损失函数收敛，得到训练好的长短时记忆网络NB。
步骤10，对待分类的高光谱图像进行分类。
(10a)将待分类的像素点向量按像素点顺序每50个划分为一个子向量，最后一个子向量长度不足50用0补足。
(10b)将待分类划分的子向量依次输入到训练好的长短时记忆网络NB中，得到像素点向量的预测标签。
本发明与现有技术相比较，具有以下优点：
第一，由于本发明构建由有向无环图表示的搜索空间，搭建一个用于从搜索空间中生成循环单元的控制器，通过交替训练控制器和用生成的循环单元搭建的长短时记忆网络获取最终训练好的控制器,从而利用控制器可以自动生成最终的循环单元，克服了现有技术中人工设计长短时记忆网络中的循环单元需要大量先验知识的问题，利用提出的策略损失函数计算交替训练过程中用生成的循环单元搭建的长短时记忆网络的损失值，通过迭代学习，使控制器从搜索空间中生成自适用于不同高光谱图像的循环单元，使得本发明针对不同的高光谱图像能够自动生成长短时记忆网络中的循环单元，提高了高光谱图像的分类精度。
第二，由于本发明利用了由自动生成的循环单元搭建的长短时记忆网络，可以对输入的光谱信息进行筛选和限制，使得该光谱信息传递下去，克服了现有技术采用递归神经网络时由于长时依赖性造成的梯度消失或者梯度爆炸的缺点，使得本发明具有更充分地利用高光谱图像的光谱序列信息，提高了对高光谱图像分类的准确性。
附图说明
图1是本发明的流程图；
图2是本发明中所搭建的控制器原理图；
图3是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的详细描述
参照图1，对本发明的具体步骤做进一步的详细描述。
步骤1，构建搜索空间。
用由12个带有序号的节点构建一个有向无环图作为搜索空间，每个节点代表tanh、ReLU、sigmoid、identity四个候选模块中的任意一个，每条边从序号小的节点指向序号大的节点，代表数据处理信息的流向。
步骤2，利用循环神经网络搭建一个控制器。
下面结合图2，对搭建的一个控制器做进一步的描述。
本发明的实施例是搭建一个由23个时间步构成的循环神经网络，每个时间步的网络结构均相同。图2中每个时间步都是由输入层，嵌入层，隐藏门限循环单元层，全连接层，Softmax层，输出层组成。其中设置每个输入层的单元数为1。设置每个嵌入层的单元总数与候选模块数目相等；设置每个隐藏门限循环单元总数设为100。设置单数时间步对应的全连接层的单元总数与候选模块数目相等，双数时间步对应的全连接层的单元数量为当前输入层时间步数的一半；每个Softmax层使用归一化指数函数。设置每个输出层的单元数目为1。
步骤3，生成训练集和验证集。
将输入的一幅高光谱图像使用归一化方法归一化到[0，1]之间，得到归一化的高光谱图像。从归一化后的高光谱图像的每类地物中随机选取30％的像素点向量组成训练集，从剩余图像中随机选取30％的像素点向量组成验证集，将剩余40％的像素点组成待分类的像素点向量。
归一化方法的具体步骤如下：
Figure GDA0004080555150000061
其中，R表示归一化处理后的高光谱图像，I表示归一化处理前的高光谱图像，max(·)和min(·)分别表示取最大值和最小值操作。
步骤4，由搜索空间生成循环单元。
将零向量输入到控制器中第一个时间步对应的输入层中。
将控制器前一个时间步输出的选中模块输入到控制器中下一个时间步的输入层中。
将所有时间步输出的选中模块组成一个循环单元。
步骤5，训练由循环单元搭建的长短时记忆网络。
将训练集中的每个像素点向量按顺序每50个划分为一个子向量，最后一个子向量长度不足50的用0补足。
搭建一个长短时记忆网络，该网络的时间步长与子向量的组数相等，每个时间步均由输入层，循环单元层，全连接层，Softmax层组成。将输入层的单元数设置为50，循环单元层由100个循环单元并列组成；全连接的单元数目与高光谱图像的类别数相等；Softmax层使用归一化指数函数实现。
将训练集划分的子向量依次输入到长短时记忆网络中，输出每个像素点向量的预测标签，利用交叉熵损失函数计算所有像素点向量的预测标签与其真实标签之间的损失值，再利用梯度下降算法，迭代更新长短时记忆网络的参数，直至交叉熵损失函数收敛，得到训练好的长短时记忆网络。
所述交叉熵损失函数：
Figure GDA0004080555150000062
其中：L表示训练集中所有像素点向量的预测标签与真实标签之间的损失值，h表示训练集中像素点向量的总数，∑表示求和操作，yg表示训练集中第g个像素点向量的真实标签，ln表示以自然常数e为底的对数操作，fg表示长短时记忆网络对训练集中第g个像素点向量输出的预测标签。
步骤6，训练控制器。
将验证集中的每个像素点向量按顺序每50个划分为一个子向量，最后一个子向量长度不足50的用0补足。
将划分的子向量依次输入训练好的长短时记忆网络NA中，输出像素点向量的预测标签。
构建策略损失函数L如下：
L＝-Pθ(NA)R
其中，Pθ(NA)表示训练好的长短时记忆网络NA在参数θ的控制器中出现的概率，R表示像素点向量的预测标签与其真实标签的准确率。
所述计算准确率的具体步骤如下：
Figure GDA0004080555150000071
其中，acc表示输出像素点向量的预测标签与其真实标签的准确率，num为预测正确的像素点向量个数，h为验证集中像素点向量的总数。
利用策略损失函数计算训练好的长短时记忆网络的损失值。
步骤7，将损失值输入到控制器中，利用梯度下降算法迭代更新控制器的参数，判断策略损失函数是否收敛，若是，得到训练好的控制器后执行步骤8，否则，执行步骤4。
步骤8，利用训练好的控制器从搜索空间中生成循环单元B。
将一个零向量输入到训练好的控制器中第一个时间步对应的输入层中。
将训练好的控制器前一个时间步的输出层的结果输入到训练好的控制器中下一个时间步的输入层中。
将所有时间步输出的选中模块组成一个循环单元B。
步骤9，训练由循环单元B搭建的长短时记忆网络NB。
搭建一个长短时记忆网络NB，该网络的时间步长与步骤5中子向量的组数相等，每个时间步均由输入层，循环单元层，全连接层，Softmax层组成；将输入层的单元数设置为50，循环单元层由100个循环单元B并列组成。全连接的单元数目与高光谱图像的类别数相等；Softmax层使用归一化指数函数实现。
将步骤5划分的子向量依次输入到长短时记忆网络NB中，输出每个像素点向量的预测标签，利用交叉熵损失函数计算所有像素点向量的预测标签与其真实标签之间的损失值，再利用梯度下降算法，迭代更新长短时记忆网络NB的参数，直至交叉熵损失函数收敛，得到训练好的长短时记忆网络NB。
步骤10，对待分类的高光谱图像进行分类。
将待分类的像素点向量按像素点顺序每50个划分为一个子向量，最后一个子向量长度不足50用0补足。
将待分类划分的子向量依次输入到训练好的长短时记忆网络NB中，得到像素点向量的预测标签。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存16GB。
本发明的仿真实验的软件平台为：Windows 10操作系统和python 3.7。
本发明仿真实验所使用的输入图像为印第安松树Indian Pines高光谱图像，该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，成像时间为1992年6月，图像大小为145×145×200个像素，图像共包含220个波段和16类地物，图像格式为mat。
2.仿真内容与结果分析：
本发明仿真实验是采用本发明和两个现有技术(支撑向量机SVM分类方法、深度循环神经网络DRNN分类方法)分别对输入的印第安松树Indian Pines高光谱图像进行分类，获得分类结果图。
在仿真实验中，采用的两个现有技术是指：
现有技术支撑向量机SVM分类方法是指，Melgani等人在“Classification ofhyperspectral remote sensing images with support vector machines,IEEETrans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004”中提出的高光谱图像分类方法，简称支撑向量机SVM分类方法。
现有技术深度循环神经网络DRNN分类方法是指，Mou Lichao等人在“DeepRecurrent Neural Networks for Hyperspectral Image Classification，IEEETransactions on Geoscience&Remote Sensing，55(7):3639-3655，2017”中提出的高光谱图像分类方法，简称深度循环神经网络DRNN分类方法。。
图3为本发明的仿真图，其中，图3(a)为由高光谱图像波段中第50个，第27个和第17个波段构成的伪彩色图像。图3(b)为输入的高光谱图像印第安松树Indian Pines的真实地物分布图，其大小为145×145个像素。图3(c)为采用现有技术支撑向量机SVM分类方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。图3(d)为采用现有技术深度循环神经网络DRNN分类方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。图3(e)为利用本发明的方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。
由图3(c)可以看出，现有技术的支撑向量机SVM分类结果噪点较多，边缘平滑性不好，主要因为该方法不能充分提取高光谱图像像元的光谱特征，从而无法很好利用高光谱图像像元的光谱信息，使得分类准确性不高。
由图3(d)可以看出，现有技术的深度循环神经网络DRNN分类结果与本发明分类结果相比，噪点较多且边缘平滑性不好，主要因为该方法使用的递归神经网络是由人工搭建的，并不充分适应于该高光谱图像，导致分类准确性不高。
由图3(e)可以看出，本发明的分类结果相比于支撑向量机SVM的分类结果和深度循环神经网络DRNN方法的分类结果，其噪点较少，且具有较好的区域一致性和边缘平滑性，证明本发明的分类效果优于前两种现有技术分类方法，分类效果较理想。
为了对本发明的仿真实验结果进行评价，利用两个评价指标(总精度OA、平均精度AA)分别对分类结果进行评价。利用下式，以像素为基本单位，分别计算本发明和两个现有技术的高光谱图像分类结果的总体分类精度OA和平均分类精度AA：
Figure GDA0004080555150000091
Figure GDA0004080555150000092
将图3(c)、3(d)、3(e)中以每个像素点为基本单位，利用下述的16类地物的分类精度的计算公式，分别计算16类地物的分类精度，总精度OA，平均精度AA，将所有计算结果绘制成表1。
Figure GDA0004080555150000101
表1.仿真实验中本发明和各现有技术分类结果的定量分析表
Figure GDA0004080555150000102
结合表1可以看出，本发明的总体分类精度OA为85.0％，平均分类精度AA为87.2％，这两个指标均高于2种现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。
以上仿真实验表明：本发明构建由有向无环图表示的搜索空间，搭建一个用于从搜索空间中生成循环单元的控制器，通过交替训练控制器和用生成的循环单元搭建的长短时记忆网络获取最终训练好的控制器,从而利用控制器可以自动生成最终的循环单元，解决了现有技术中人工设计长短时记忆网络中的循环单元需要大量先验知识的问题，利用提出的策略损失函数计算交替训练过程中用生成的循环单元搭建的长短时记忆网络的损失值，通过迭代学习，使控制器从搜索空间中生成自适用于不同高光谱图像的循环单元，使得本发明针对不同的高光谱图像能够自动生成长短时记忆网络中的循环单元，提高了高光谱图像的分类精度，是一种非常实用的高光谱图像分类方法。

Claims (3)

1.一种基于自动设计长短时记忆网络的高光谱图像分类方法，其特征在于，构建搜索空间和用循环神经网络搭建的控制器，利用控制器从搜索空间中生成循环单元，通过交替训练控制器和用生成的循环单元搭建的长短时记忆网络得到最终训练好的控制器；利用训练好的控制器重新从搜索空间中生成最终循环单元，该高光谱图像分类方法的步骤包括如下：
步骤1，构建搜索空间：
用由12个带有序号的节点构建一个有向无环图作为搜索空间，每个节点代表tanh、ReLU、sigmoid、identity四个候选模块中的任意一个，每条边从序号小的节点指向序号大的节点，代表数据处理信息的流向；
步骤2，利用循环神经网络搭建一个控制器：
搭建一个由23个时间步构成的循环神经网络，每个时间步都是由输入层，嵌入层，隐藏门限单元循环层，全连接层，Softmax层，输出层组成；设置每个输入层的单元数为1；设置每个嵌入层的单元总数与候选模块数目相等；设置每个隐藏门限循环单元总数设为100；其中，单数时间步对应的全连接层的单元总数与候选模块数目相等，双数时间步对应的全连接层的单元数量为当前输入层时间步数的一半；每个Softmax层使用归一化指数函数；设置每个输出层的单元数目为1；
步骤3，生成训练集和验证集：
将输入的一幅高光谱图像使用归一化方法归一化到[0，1]之间，得到归一化的高光谱图像；从归一化后的高光谱图像的每类地物中随机选取30％的像素点向量组成训练集，从剩余图像中随机选取30％的像素点向量组成验证集，将剩余40％的像素点组成待分类的像素点向量；
步骤4，由搜索空间生成循环单元：
(4a)将零向量输入到控制器中第一个时间步对应的输入层中；
(4b)将控制器前一个时间步输出的选中模块输入到控制器中下一个时间步的输入层中；
(4c)将所有时间步输出的选中模块组成一个循环单元；
步骤5，训练由循环单元搭建的长短时记忆网络：
(5a)将训练集中的每个像素点向量按顺序每50个划分为一个子向量，最后一个子向量长度不足50的用0补足；
(5b)搭建一个长短时记忆网络，该网络的时间步长与子向量的组数相等，每个时间步均由输入层，循环单元层，全连接层，Softmax层组成；将输入层的单元数设置为50，循环单元层由100个循环单元并列组成；全连接的单元数目与高光谱图像的类别数相等；Softmax层使用归一化指数函数实现；
(5c)将训练集划分的子向量依次输入到长短时记忆网络中，输出每个像素点向量的预测标签，利用交叉熵损失函数计算所有像素点向量的预测标签与其真实标签之间的损失值，再利用梯度下降算法，迭代更新长短时记忆网络的参数，直至交叉熵损失函数收敛，得到训练好的长短时记忆网络；
步骤6，训练控制器：
(6a)将验证集中的每个像素点向量按顺序每50个划分为一个子向量，最后一个子向量长度不足50的用0补足；
(6b)将划分的子向量依次输入训练好的长短时记忆网络NA中，输出像素点向量的预测标签；
(6c)构建策略损失函数L如下：
L＝-Pθ(NA)R
其中，Pθ(NA)表示训练好的长短时记忆网络NA在参数θ的控制器中出现的概率，R表示像素点向量的预测标签与其真实标签的准确率；
所述准确率是由下式计算得到的：
Figure FDA0004231963130000021
其中，acc表示输出像素点向量的预测标签与其真实标签的准确率值，num表示预测正确的像素点向量个数，h表示验证集中像素点向量的总数；
(6d)利用策略损失函数计算训练好的长短时记忆网络的损失值；
步骤7，将损失值输入到控制器中，利用梯度下降算法迭代更新控制器的参数，判断策略损失函数是否收敛，若是，得到训练好的控制器后执行步骤8，否则，执行步骤4；
步骤8，利用训练好的控制器从搜索空间中生成循环单元B：
(8a)将一个零向量输入到训练好的控制器中第一个时间步对应的输入层中；
(8b)将训练好的控制器前一个时间步的输出层的结果输入到训练好的控制器中下一个时间步的输入层中；
(8c)将所有时间步输出的选中模块组成一个循环单元B；
步骤9，训练由循环单元B搭建的长短时记忆网络NB：
(9a)搭建一个长短时记忆网络NB，该网络的时间步长与步骤(5a)中子向量的组数相等，每个时间步均由输入层，循环单元层，全连接层，Softmax层组成；将输入层的单元总数设置为50，循环单元层由100个循环单元B并列组成；全连接的单元数目与高光谱图像的类别数相等；Softmax层使用归一化指数函数实现；
(9b)将步骤(5a)划分的子向量依次输入到长短时记忆网络NB中，输出每个像素点向量的预测标签，利用交叉熵损失函数计算所有像素点向量的预测标签与其真实标签之间的损失值，再利用梯度下降算法，迭代更新长短时记忆网络NB的参数，直至交叉熵损失函数收敛，得到训练好的长短时记忆网络NB；
步骤10，对待分类的高光谱图像进行分类：
(10a)将待分类的像素点向量按像素点顺序每50个划分为一个子向量，最后一个子向量长度不足50用0补足；
(10b)将待分类划分的子向量依次输入到训练好的长短时记忆网络NB中，得到像素点向量的预测标签。
2.根据权利要求1所述的基于自动设计长短时记忆网络的高光谱图像分类方法，其特征在于，步骤3中所述归一化方法的具体步骤如下：
Figure FDA0004231963130000031
其中，R表示归一化处理后的高光谱图像，I表示归一化处理前的高光谱图像，max(·)和min(·)分别表示取最大值和最小值操作。
3.根据权利要求1所述的基于自动设计长短时记忆网络的高光谱图像分类方法，其特征在于，步骤(5c)中所述的交叉熵损失函数如下：
Figure FDA0004231963130000041
其中，L表示训练集中所有像素点向量的预测标签与真实标签之间的损失值，h表示训练集中像素点向量的总数，∑表示求和操作，yg表示训练集中第g个像素点向量的真实标签，ln表示以自然常数e为底的对数操作，fg表示长短时记忆网络对训练集中第g个像素点向量输出的预测标签。
CN202110770213.2A 2021-07-07 2021-07-07 基于自动设计长短时记忆网络的高光谱图像分类方法 Active CN113469078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110770213.2A CN113469078B (zh) 2021-07-07 2021-07-07 基于自动设计长短时记忆网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110770213.2A CN113469078B (zh) 2021-07-07 2021-07-07 基于自动设计长短时记忆网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113469078A CN113469078A (zh) 2021-10-01
CN113469078B true CN113469078B (zh) 2023-07-04

Family

ID=77878889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110770213.2A Active CN113469078B (zh) 2021-07-07 2021-07-07 基于自动设计长短时记忆网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113469078B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657271A (zh) * 2017-09-02 2018-02-02 西安电子科技大学 基于长短时记忆网络的高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817431B2 (ja) * 2016-10-28 2021-01-20 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ ニューラルアーキテクチャ検索
CN109242098A (zh) * 2018-07-25 2019-01-18 深圳先进技术研究院 限定代价下神经网络结构搜索方法及相关产品
CN109344959A (zh) * 2018-08-27 2019-02-15 联想(北京)有限公司 神经网络训练方法、神经网络系统和计算机系统
EP3629246B1 (en) * 2018-09-27 2022-05-18 Swisscom AG Systems and methods for neural architecture search
CN110097176A (zh) * 2019-05-07 2019-08-06 东华理工大学 一种应用于空气质量大数据异常检测的神经网络结构搜索方法
CN110378346B (zh) * 2019-06-14 2021-12-24 北京百度网讯科技有限公司 建立文字识别模型的方法、装置、设备和计算机存储介质
CN110782015A (zh) * 2019-10-25 2020-02-11 腾讯科技（深圳）有限公司 神经网络的网络结构优化器的训练方法、装置及存储介质
KR102460485B1 (ko) * 2019-12-18 2022-10-27 주식회사 하나금융티아이 정책 벡터 기반 인공신경망 탐색 장치 및 방법
CN111144555A (zh) * 2019-12-31 2020-05-12 中国人民解放军国防科技大学 基于改进进化算法的循环神经网络架构搜索方法、系统及介质
CN111516700A (zh) * 2020-05-11 2020-08-11 安徽大学 一种驾驶员分心细粒度监测方法和系统
CN111899186A (zh) * 2020-06-29 2020-11-06 深圳中兴网信科技有限公司 图像数据增强方法、系统、存储介质和堆场覆盖检测方法
CN112001496B (zh) * 2020-08-27 2022-09-27 展讯通信（上海）有限公司 神经网络结构搜索方法及系统、电子设备及存储介质
CN111882048A (zh) * 2020-09-28 2020-11-03 深圳追一科技有限公司 一种神经网络结构搜索方法及相关设备
CN112784949B (zh) * 2021-01-28 2023-08-11 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种基于进化计算的神经网络架构搜索方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657271A (zh) * 2017-09-02 2018-02-02 西安电子科技大学 基于长短时记忆网络的高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法

Also Published As

Publication number Publication date
CN113469078A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
Makantasis et al. Tensor-based classification models for hyperspectral data analysis
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN109948693B (zh) 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
Zhou et al. Polarimetric SAR image classification using deep convolutional neural networks
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
Ebrahimi et al. Toward an automatic wheat purity measuring device: A machine vision-based neural networks-assisted imperialist competitive algorithm approach
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
CN107844751B (zh) 引导滤波长短记忆神经网络高光谱遥感图像的分类方法
CN110717553A (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
Qin et al. Cross-domain collaborative learning via cluster canonical correlation analysis and random walker for hyperspectral image classification
CN103886342A (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
Li et al. Hyperspectral image recognition using SVM combined deep learning
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN111914728A (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN104573699A (zh) 基于中等场强磁共振解剖成像的实蝇识别方法
Masood et al. Differential evolution based advised SVM for histopathalogical image analysis for skin cancer detection
Zhang et al. Isolation forest for anomaly detection in hyperspectral images
Anand et al. Extended morphological profiles analysis of airborne hyperspectral image classification using machine learning algorithms
CN112766161A (zh) 基于集成约束多示例学习的高光谱目标检测方法
CN104573745A (zh) 基于磁共振成像的实蝇分类方法
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant