CN111814685B - 基于双支路卷积自编码器的高光谱图像分类方法 - Google Patents

基于双支路卷积自编码器的高光谱图像分类方法 Download PDF

Info

Publication number
CN111814685B
CN111814685B CN202010657319.7A CN202010657319A CN111814685B CN 111814685 B CN111814685 B CN 111814685B CN 202010657319 A CN202010657319 A CN 202010657319A CN 111814685 B CN111814685 B CN 111814685B
Authority
CN
China
Prior art keywords
layer
convolution
encoder
samples
supervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010657319.7A
Other languages
English (en)
Other versions
CN111814685A (zh
Inventor
冯婕
叶湛伟
梁宇平
李�杰
焦李成
张向荣
尚荣华
刘若辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010657319.7A priority Critical patent/CN111814685B/zh
Publication of CN111814685A publication Critical patent/CN111814685A/zh
Application granted granted Critical
Publication of CN111814685B publication Critical patent/CN111814685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Abstract

本发明提出了一种基于双支路卷积自编码器的高光谱图像分类方法，主要解决现有技术中对高光谱数据特征提取不充分导致的分类精度偏低的问题，实现步骤为：获取高光谱数据的有监督训练样本集、有监督训练样本标签向量集、无监督训练样本集和测试样本集；构建构建双支路卷积自编码器；对双支路卷积自编码器进行迭代训练；获取高光谱图像分类结果。本发明采用的基于双支路卷积自编码器的分类方法，综合利用无监督学习和有监督学习两种方式对高光谱数据进行特征提取，充分考虑了高光谱图像的数据信息，有效提高了高光谱图像的分类精度，可用于农业监测、地质勘探、灾害环境评估等领域地物的区分和辨别。

Description

基于双支路卷积自编码器的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，涉及一种高光谱图像分类方法，具体涉及一种基于双支路卷积自编码器的高光谱图像分类方法，可用于对高光谱图像的地物进行分类。
背景技术
光谱分辨率在101数量级范围内的光谱图像称为高光谱图像，其最显著的特点就是其丰富的光谱信息。相较于普通的二维图像，高光谱数据可表示为高光谱数据立方体，是三维数据结构。高光谱数据在保证空间分辨率的同时还包含着大量的光谱维度特征，因此可以提供空间域信息和光谱域信息，具有“图谱合一”的特点。基于这些特点，高光谱图像可以实现对地物精确的辨别与细节提取，对人类认识客观世界提供了有利条件。高光谱遥感在各方面都具有巨大应用潜力，如：环境变化监测、气象预测预报化、城市变迁分析化、林业生态监测化、精准农业、地质资源勘探以及现代化军事等。分类是高光谱遥感影像处理和应用的一项重要内容，利用影像信息对观测场景中的不同地物进行精准识别，从而将复杂现象简化为少量的一般类别，再进一步进行其它应用。高光谱图像的分类是多种遥感技术应用的重要一步，具有重要意义。衡量高光谱分类性能的指标主要有三个：整体正确率(OA)、平均正确率(AA)和卡方系数(KAPPA)。OA表示正确分类的本占所有样本的比例，值越大，说明分类效果越好。AA表示每一类分类精度的平均值，值越大，说明分类效果越好。Kappa表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
高光谱图像分类的关键在于对图像信息的挖掘，深度学习方法在提取数据特征和挖掘数据信息方面具有重要优势，因此，许多基于深度学习的分类方法被用于高光谱图像分类。深度学习方法主要分为有监督学习、无监督学习和半监督学习三大类。有监督学习方法往往能提取具有判别力的特征，无监督学习方法通常能够挖掘数据的结构特征，半监督学习能综合前二者的特点，并且半监督方法的设计方式更加灵活。目前代表性的深度学习方法有栈式自编码器(SAE)和卷积神经网络(CNN)等。SAE属于典型的无监督方法，通过最小化输入层和重构层之间的误差来学习输入数据的特征。SAE通常会与其他分类方法结合，比如支持矢量机(SVM)等，将SAE编码器学习到的特征输入SVM等分类器进行分类。CNN属于有监督的深度学习方法，通常包含特征提取网络和分类器两大部分。CNN通过模仿动物的视觉通路，在特征提取网络中逐层学习输入样本的特征，并将学到的特征送入全连接网络组成的分类器进行分类，得到输入样本的预测标签。
有监督的深度学习方法需要大量的有标签样本来训练网络，而高光谱图像中的有标签样本往往数量十分有限，因此，无监督和半监督的深度学习方法在高光谱图像分类中具有独特的优势。例如：Shaohui Mei，Jingyu Ji，Yunhao Geng，Zhi Zhang，Xu Li和QianDu等人在2019年TGARS期刊发表的《Unsupervised Spatial–Spectral Feature Learningby 3D Convolutional Autoencoder for Hyperspectral Classification》中，提出了一种基于单支路卷积自编码器和SVM的高光谱图像分类方法。该方法首先获取无监督训练集、有监督训练集和测试集，然后构建包括依次级联的编码器和解码器的卷积自编码器，以及一个多分类的SVM分类器；将无监督训练集的样本输入卷积自编码器中，通过编码-解码的方式对卷积自编码器进行多次无监督训练，得到训练好的卷积自编码器；将有监督训练集输入训练好的卷积自编码器的编码器中，通过逐层特征提取的方式得到编码器输出的编码特征，利用有监督训练集的特征图和对应的标签训练SVM分类器，得到训练好的SVM分类器；最终将测试样本集输入到训练好的编码器中进行逐层特征提取，得到测试样本集的编码特征，将测试样本集的编码特征输入到SVM中进行分类，得到测试集样本的预测标签。该方法虽然较为有效地利用无标签样本提取高光谱图像特征，但是其卷积自编码网络的训练过程是完全的无监督过程，难以保证得到的卷积自编码器学习到的数据信息对分类结果有积极作用。且单支路的卷积自编码器自身对有判别力特征的提取能力比较有限，因此模型的分类表现还有一定的提升空间。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出了一种基于双支路卷积自编码器高光谱图像分类方法，用于解决现有技术存在的分类精度较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取高光谱数据的有监督训练样本集Sn、有监督训练样本标签向量集无监督训练样本集Su和测试样本集St：
(1a)输入一幅大小为W×H×B高光谱图像和对应的大小为W×H标签图，W和H表示高光谱图像和标签图的行和列像素点的个数，B代表高光谱图像的波段个数；
(1b)以高光谱图像中与标签图每个值不为0的像素的位置相同的点为中心，分别划定大小为WS×WS×B的空间立方体，得到空间立方体集合S＝{S1,S2,…,Si,…,SN}和对应的整体样本标签集合Y＝{Y1,Y2,…,Yi,…,YN}，其中WS＞0且为整数，Si表示第i个样本，Yi表示第i个空间立方体标签值，N表示空间立方体的数目，N≥1000；
(1c)对每个空间立方体Si进行归一化，并随机选取半数以上的归一化空间立方体作为测试样本集St，再从其余的归一化空间立方体中随机挑选半数以上作为无监督训练样本集Su，剩余的归一化空间立方体作为有监督训练样本集Sn；
(1d)从Y中取出与Sn中所有样本对应的标签值组成集合并将第r个样本的标签值/>转化为C维的one-hot向量/>得到标签向量集合其中l表示Yn中标签的个数，l≥100，C表示样本的类别个数，C≥10；
(2)构建双支路卷积自编码器A：
构建包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2的双支路卷积自编码器A，其中无监督卷积自编码器A1包括依次级联的编码器和解码器；有监督卷积网络支路A2包括依次级联的编码器、解码器、多个卷积-池化组合和分类器，编码器包括多个层叠的下采样卷积层，解码器包括多个层叠的逆卷积层，卷积-池化组合包括层叠的卷积层和池化层，分类器为全连接层，且A1中编码器的各下采样卷积层与A2中编码器对应位置的各下采样卷积层级联；
(3)对双支路卷积自编码网络A进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥100，当前双支路卷积自编码器、无监督卷积自编码器和有监督卷积网络分别为At、和/>并令t＝0，At＝A，/>
(3b)将从Su中随机选取的k个无监督样本作为的输入，并采用编码—解码的方式对输入的无监督样本进行重构，得到k个重构图，然后采用均方误差函数，通过k个无监督样本和k个重构图，计算/>对当前k个无监督样本的损失值/>
(3c)将从Sn中随机选取的k个有监督样本分别作为和/>的输入，并采用编码—解码的方式对输入到/>中的有监督样本进行重构，得到k个重构图和k×m个/>中编码器卷积层产生的特征图；同时/>对输入的有监督样本进行逐层特征提取并将/>中编码器卷积层产生的k×m个特征图逐层级联到/>中编码器对应卷积层产生的特征图上，前m-1层中每层级联后的特征图作为当前/>卷积层的输出和/>中下一卷积层的输入，第m层产生的级联后的特征图作为/>第一个逆卷积层的输入，通过后续多个逆卷积层和多个卷积-池化组合继续进行逐层特征提取，得到k个特征向量，利用全连接层对k个特征向量进行分类，得到k个无监督样本的预测标签向量，m表示/>中编码器内卷积层的个数，m≥1；
(3d)采用均方误差函数，并通过输入的k个无监督样本和得到的k个重构图，计算对输入的有监督样本的重构误差损失/>同时采用交叉熵损失函数，并通过k个无监督样本的预测标签向量和标签向量集/>中与k个无监督样本对应的k个真实标签向量，计算/>的对输入的k个有监督样本的交叉熵分类损失/>采用公式/>对/>和进行合并，得到At对输入的k个无监督样本和k个有监督样本的整体损失值Lt，α和β为调整最终损失值的两个常数，0＜α≤1，0＜β≤1；
(3e)采用反向传播算法，并通过Lt对中所有卷积核参数/>中的所有卷积核参数/>和/>中的所有全连接层参数θt进行更新，得到更新后的双支路卷积自编码器At；
(3f)判断t＝T是否成立，若是，得到训练好的双支路卷积自编码器A*，其中包括训练好的无监督支路和训练好的有监督支路/>否则，令t＝t+1，并执行步骤(3b)；
(4)获取高光谱图像的分类结果：
将测试集St中的样本依次输入A*中，其中采用编码-解码的方式，对测试样本进行重构；/>结合/>中的前m层的特征图，对测试样本逐层提取特征并用全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。
本发明与现有的技术相比，具有以下优点：
第一，本发明所构建的双支路卷积自编码器包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2，无监督卷积自编码器A1通过无监督学习方式，对高光谱图像的结构特征进行挖掘，有监督卷积网络A2通过有监督学习方式，对高光谱图像中具有判别力的特征进行提取，充分考虑了高光谱图像的数据信息，克服了单支路卷积编码器对样本特征提取不充分的问题，有效地提升了高光谱图像的分类精度。
第二，本发明将无监督卷积自编码器A1中编码器的各下采样卷积层与有监督卷积网络A2中编码器对应位置的各下采样卷积层级联，使得有监督支路能够结合无监督支路获得的特征，从而保证了无监督支路获得的特征对最终分类的有效性，进一步提升高光谱图像的分类精度。
附图说明
图1是本发明的实现流程图；
图2(a)是本发明仿真使用的Indian Pines高光谱图像的三维真实图像，图2(b)是Indian Pines高光谱图像的伪彩图，图2(c)是Indian Pines高光谱图像的分类参考图；
图3是本发明与现有技术对Indian Pines高光谱图像的分类结果对比图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取高光谱数据的有监督训练样本集Sn、有监督训练样本标签向量集无监督训练样本集Su和测试样本集St：
(1a)输入一幅大小为W×H×B高光谱图像和对应的大小为W×H标签图，W和H表示高光谱图像和标签图的行和列像素点的个数，B代表高光谱图像的波段个数，本实例中，输入的高光谱图像为Indian Pines高光谱图像，W＝145，H＝145，B＝220；
(1b)以高光谱图像中与标签图每个值不为0的像素的位置相同的点为中心，分别划定大小为WS×WS×B的空间立方体，由于高光谱图像分类是对每个像素逐个分类且需要结合每个中心像素周围领域像素的信息，故需要对高光谱图像进行空间立方体划定，得到空间立方体集合S＝{S1,S2,…,Si,…,SN}和对应的整体样本标签集合Y＝{Y1,Y2,…,Yi,…,YN}，其中WS＞0且为整数，Si表示第i个样本，Yi表示第i个空间立方体标签值，N表示空间立方体的数目，N≥1000，本实例中，Ws＝31，N＝10249；
(1c)对每个空间立方体Si进行归一化，使得每个立方体中的所有的值在0和1之间，从而有助于提升网络训练的效率；随机选取半数以上的归一化空间立方体作为测试样本集St，再从其余的归一化空间立方体中随机挑选半数以上作为无监督训练样本集Su，剩余的归一化空间立方体作为有监督训练样本集Sn，本实例中，归一化计算公式为：其中/>表示归一化后第i个样本中第e行、第v列、第d个通道的值，/>表示原样本第i个样本中第e行、第v列、第d个通道的值，/>表示所有样本中第d个通道的最小值，/>表示所有样本中第d个通道的最大值；测试集St的样本数、有监督训练集Sn的样本数和无监督训练集Su的样本数占总样本数的比例分别为80％、5％和15％
(1d)从Y中取出与Sn中所有样本对应的标签值组成集合原始的标签值无法直接进行交叉熵损失的计算，故将第r个样本的标签值/>转化为C维的one-hot向量/>得到标签向量集合/>其中l表示Yn中标签的个数，l≥100，C表示样本的类别个数，C≥10，本实例中，C＝16，l＝512；
步骤2)构建双支路卷积自编码器A：
构建包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2的双支路卷积自编码器A，其中无监督卷积自编码器A1包括依次级联的编码器和解码器，对高光谱图像的结构信息进行挖掘；有监督卷积网络支路A2包括依次级联的编码器、解码器、多个卷积-池化组合和分类器，对高光谱图像具有判别力的特征进行提取；编码器包括多个层叠的下采样卷积层，解码器包括多个层叠的逆卷积层，卷积-池化组合包括层叠的卷积层和池化层，分类器为全连接层，且A1中编码器的各下采样卷积层与A2中编码器对应位置的各下采样卷积层级联，使得无监督卷积自编码器A1能够结合有监督卷积网络A2中获得的特征；
本实例中，无监督卷积自编码器A1的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层，卷积层的卷积核大小为3×3，步长为1，逆卷积层的卷积核大小为3×3，步长为1；
有监督卷积网络A2的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层→第四卷积层→第一池化层→第五卷积层→第二池化层→第六卷积层→第三池化层→第一全连接层；所有卷积层的卷积核大小为3×3，步长为1；逆卷积层的卷积核大小为3×3，步长为1；第一组和第二组的池化层的池化窗大小设置为2×2，步长设为1，第三组池化层为大小为12×12的全局平均池化；全连接层个数为1，输入节点数为64，输出节点个数为16；
步骤3)对双支路卷积自编码器A进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥100，当前双支路卷积自编码器、无监督卷积自编码器和有监督卷积网络分别为At、和/>并令t＝0，At＝A，/> 本实例中，T＝150；
(3b)将从Su中随机选取的k个无监督样本作为的输入，并采用编码—解码的方式对输入的无监督样本进行重构，得到k个重构图，重构图与对应输入样本的大小完全一致；为了使得输出的重构图与输入样本尽可能相似，本方法采用均方误差函数，通过k个无监督样本和k个重构图，计算/>对当前k个无监督样本的损失值/>本实例中，k＝16，/>的计算方式为：/>其中xg表示当前训练第t次训练时的第g个无监督样本，x′g表示/>输出的xg的重构图；
(3c)将从Sn中随机选取的k个有监督样本分别作为和/>的输入，并采用编码—解码的方式对输入到/>中的有监督样本进行重构，得到k个重构图和k×m个/>中编码器卷积层产生的特征图；同时/>对输入的有监督样本进行逐层特征提取并将/>中编码器卷积层产生的k×m个特征图逐层级联到/>中编码器对应卷积层产生的特征图上，前m-1层中每层级联后的特征图作为当前/>卷积层的输出和/>中下一卷积层的输入，第m层产生的级联后的特征图作为/>第一个逆卷积层的输入，通过后续多个逆卷积层和多个卷积-池化组合继续进行逐层特征提取，此时/>后续结构处理的特征图是两个支路共同获得的，在计算分类的交叉熵损失并反向传播更新参数时，/>中的编码器的卷积核参数也会根据分类损失进行更新，保证了/>中编码器的卷积层在挖掘结构信息的同时也能够提取到具有一定判别力的特征，/>的特征提取结束后，得到k个特征向量，利用全连接层对k个特征向量进行分类，得到k个无监督样本的预测标签向量，m表示/>中编码器内卷积层的个数，m≥1，本实例中，m＝3，/>和/>中编码器特征图级联的具体方式为：将A1的编码器中在重构过程中第j层卷积产生的特征图/>与A2编码器在特征提取过程中的第j层卷积产生的特征图/>进行级联，/>和/>的大小都为wj×hj×bj，wj，hj和bj分别代表/>和/>的行数、列数和通道数，级联后的/>变为大小为wj×hj×2bj的/>w1＝h1＝29，w2＝h2＝27，w3＝h3＝25，b1＝32，b2＝64，b3＝128；
(3d)采用均方误差函数，并通过输入的k个无监督样本和得到的k个重构图，计算对输入的有监督样本的重构误差损失/>同时采用交叉熵损失函数，并通过k个无监督样本的预测标签向量和标签向量集/>中与k个无监督样本对应的k个真实标签向量，计算的对输入的k个有监督样本的交叉熵分类损失/>采用公式/>对/>和/>进行合并，得到At对输入的k个无监督样本和k个有监督样本的整体损失值Lt，α和β为调整最终损失值的两个常数，0＜α≤1，0＜β≤1，本实例中，/>和/>的计算方式为：其中qh表示表示当前训练第t次训练时的第h个有监督样本，q′h表示/>输出的qh的重构图；/>表示qh的标签向量的第a个元素，/>表示/>输出的第h个有监督样本预测标签向量的第a个元素，ln表示以e为底的对数运算；α＝β＝0.4；
(3e)采用反向传播算法，并通过Lt对中所有卷积核参数/>中的所有卷积核参数/>和/>中的所有全连接层参数θt进行更新，得到更新后的双支路卷积自编码网络At，本实例中，参数更新的具体计算方式为：/>其中η表示学习步长，η＝0.001，/>和θt+1分别表示/>和θt更新后的结果，/>表示求导操作；
(3f)判断t＝T是否成立，若是，得到训练好的双支路卷积自编码器A*，其中包括训练好的无监督支路和训练好的有监督支路/>否则，令t＝t+1，并执行步骤(3b)；
步骤4)获取高光谱图像的分类结果：
将测试集St中的样本依次输入A*中，其中采用编码-解码的方式，对测试样本进行重构，由于测试过程中不再需要重构图进行损失计算，故只保留/>中的前m层的特征图；结合/>中的前m层的特征图，结合方式与步骤(3c)相同，对测试样本逐层提取特征并用全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。
下面结合仿真实验对本发明的效果作进一步的说明。
1.仿真条件：
参见图2，本发明的仿真实验采用的数据是Indian Pines高光谱图像，参见图2(a)：该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，成像时间为1992年6月。数据共有145×145像素点和220个波段，共计16类地物。由第50个，第27个和第17个波段构成伪彩色图像，如图2(b)所示。该图像的真实标记图如图2(c)所示。Indian Pines图像由16类地物组成，具体包括：alfalfa,corn-notill,corn-mintill,corn,grass-pasture,grass-trees,grass-pasture-mowed,hay-windrowed,oats,soybean-notill,soybean-mintill,soybean-clean,wheat,woods,building-grass-trees-drives,stone-steel-towers种类。
本发明的仿真实验的硬件测试平台是：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存16GB。
本发明的仿真实验的软件平台为：Windows 10操作系统和python 3.6。
2.仿真内容与结果分析：
本发明的仿真实验是采用本发明方法和现有技术的基于单支路卷积自编码器和SVM的高光谱图像分类方法进行仿真，在上述仿真条件下，分别进行了两个仿真实验。对输入的高光谱图像Indian Pines，见图2(a)进行分类，获得分类结果图参见图3，同时利用三个评价指标(总精度OA、平均精度AA、卡方系数Kappa)对分类结果进行评价。
图3为仿真实验结果图。图3(a)为采用基于单支路卷积自编码器和SVM的高光谱图像分类方法对高光谱图像Indian Pines进行分类的结果图。图3(b)为本发明对高光谱图像Indian Pines进行分类的结果图。
统计附图3中本发明和现有技术对高光谱图像Indian Pines的分类结果，包括每类地物的分类精度，总精度OA、平均精度AA和卡方系数Kappa，最后把统计到的每类地物的分类精度和各评价指标的值绘制成表1。
表1本发明与现有技术对Indian Pines高光谱图像的分类结果
通过表1可以看出，相对于现有技术，本发明在分类精度上取得了很大的提高。其中具体的指标提升有：OA提高了6.3％，AA提高了3.7％,Kappa提高了5.0％。本发明通过双支路卷积自编码器的构建，充分挖掘高光谱图像数据的结构信息，并提取出具有判别力的特征，从而提升了高光谱图像的分类精度。
综上，本发明通过构建包含无监督卷积自编码器和有监督卷积网络的双支路卷积自编码器，利用编码-解码和逐层特征提取两种方式挖掘高光谱图像信息，克服了单支路卷积编码器对样本特征提取不充分的问题，同时通过将无监督卷积自编码器产生的部分特征图级联到有监督卷积网络对应特征图的方法，确保了无监督卷积自编码器获得的特征对分类的有效性，从而有效地提升了高光谱图像的分类精度。

Claims (4)

1.一种基于双支路卷积自编码器的高光谱图像分类方法，其特征在于，包括如下步骤：
(1)获取高光谱数据的有监督训练样本集Sn、有监督训练样本标签向量集无监督训练样本集Su和测试样本集St：
(1a)输入一幅大小为W×H×B高光谱图像和对应的大小为W×H标签图，W和H表示高光谱图像和标签图的行和列像素点的个数，B代表高光谱图像的波段个数；
(1b)以高光谱图像中与标签图每个值不为0的像素的位置相同的点为中心，分别划定大小为WS×WS×B的空间立方体，得到空间立方体集合S＝{S1,S2,···,Si,···,SN}和对应的整体样本标签集合Y＝{Y1,Y2,···,Yi,···,YN}，其中WS＞0且为整数，Si表示第i个样本，Yi表示第i个空间立方体标签值，N表示空间立方体的数目，N≥1000；
(1c)对每个空间立方体Si进行归一化，并随机选取半数以上的归一化空间立方体作为测试样本集St，再从其余的归一化空间立方体中随机挑选半数以上作为无监督训练样本集Su，剩余的归一化空间立方体作为有监督训练样本集Sn；
(1d)从Y中取出与Sn中所有样本对应的标签值组成集合并将第r个样本的标签值/>转化为C维的one-hot向量/>得到标签向量集合/>其中l表示Yn中标签的个数，l≥100，C表示样本的类别个数，C≥10；
(2)构建双支路卷积自编码器A：
构建包括并行排布的无监督卷积自编码器A1和有监督卷积网络A2的双支路卷积自编码器A，其中无监督卷积自编码器A1包括依次级联的编码器和解码器；有监督卷积网络支路A2包括依次级联的编码器、解码器、多个卷积-池化组合和分类器，编码器包括多个层叠的下采样卷积层，解码器包括多个层叠的逆卷积层，卷积-池化组合包括层叠的卷积层和池化层，分类器为全连接层，且A1中编码器的各下采样卷积层与A2中编码器对应位置的各下采样卷积层级联；
(3)对双支路卷积自编码器A进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥100，当前双支路卷积自编码网络、无监督卷积自编码器和有监督卷积网络分别为At、和/>并令t＝0，At＝A，/>
(3b)将从Su中随机选取的k个无监督样本作为的输入，并采用编码—解码的方式对输入的无监督样本进行重构，得到k个重构图，然后采用均方误差函数，通过k个无监督样本和k个重构图，计算/>对当前k个无监督样本的损失值/>
(3c)将从Sn中随机选取的k个有监督样本分别作为和/>的输入，并采用编码—解码的方式对输入到/>中的有监督样本进行重构，得到k个重构图和k×m个/>中编码器卷积层产生的特征图；同时/>对输入的有监督样本进行逐层特征提取并将/>中编码器卷积层产生的k×m个特征图逐层级联到/>中编码器对应卷积层产生的特征图上，前m-1层中每层级联后的特征图作为当前/>卷积层的输出和/>中下一卷积层的输入，第m层产生的级联后的特征图作为/>第一个逆卷积层的输入，通过后续多个逆卷积层和多个卷积-池化组合继续进行逐层特征提取，得到k个特征向量，利用全连接层对k个特征向量进行分类，得到k个无监督样本的预测标签向量，m表示/>中编码器内卷积层的个数，m≥1；将/>中编码器卷积层产生的k×m个特征图逐层级联到/>中编码器对应卷积层产生的特征图上，实现方法为：对k个有监督样本中每个样本进行重构和特征提取，将A1的编码器中在重构过程中第j层卷积产生的特征图/>与A2编码器在特征提取过程中的第j层卷积产生的特征图/>进行级联，/>和/>的大小都为wj×hj×bj，wj，hj和bj分别代表/>和/>的行数、列数和通道数，级联后的变为大小为wj×hj×2bj的/>将/>作为A2第j层卷积层的输出；
(3d)采用均方误差函数，并通过输入的k个无监督样本和得到的k个重构图，计算对输入的有监督样本的重构误差损失/>同时采用交叉熵损失函数，并通过k个无监督样本的预测标签向量和标签向量集/>中与k个无监督样本对应的k个真实标签向量，计算/>的对输入的k个有监督样本的交叉熵分类损失/>采用公式/>对/>和/>进行合并，得到At对输入的k个无监督样本和k个有监督样本的整体损失值Lt，α和β为调整最终损失值的两个常数，0＜α≤1，0＜β≤1；
(3e)采用反向传播算法，并通过Lt对中所有卷积核参数/>中的所有卷积核参数和/>中的所有全连接层参数θt进行更新，得到更新后的双支路卷积自编码网络At；
(3f)判断t＝T是否成立，若是，得到训练好的双支路卷积自编码网络A*，其中包括训练好的无监督支路和训练好的有监督支路/>否则，令t＝t+1，并执行步骤(3b)；
(4)获取高光谱图像的分类结果：
将测试集St中的样本依次输入A*中，其中采用编码-解码的方式，对测试样本进行重构；/>结合/>中的前m层的特征图，对测试样本逐层提取特征并用全连接层对最后的特征向量进行分类，得到所有测试样本的预测标签。
2.根据权利要求1所述的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(2)中所述的无监督卷积自编码器A1和有监督卷积网络A2，其中：
无监督卷积自编码器A1中编码器包括的下采样卷积层的个数为3，卷积层的卷积核大小为3×3，步长为1；解码器包括的逆卷积层的个数为3，逆卷积层的卷积核大小为3×3，步长为1；该无监督卷积自编码器A1的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层；
有监督卷积网络A2中编码器包括的下采样卷积层的个数为3，卷积层的卷积核大小为3×3，步长为1；解码器包括的逆卷积层的个数为3，逆卷积层的卷积核大小为3×3，步长为1；卷积-池化层的个数为3，其中卷积层的卷积核大小为3×3，步长为1，第一组和第二组的池化层的池化窗大小设置为2×2，步长设为1，第三组池化层为大小为12×12的全局平均池化；全连接层个数为1，输入节点数为64，输出节点个数为高光谱数据的类别个数；该有监督卷积网络A2的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一逆卷积层→第二逆卷积层→第三逆卷积层→第四卷积层→第一池化层→第五卷积层→第二池化层→第六卷积层→第三池化层→第一全连接层。
3.根据权利要求1所述的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(3d)中所述的无监督样本重构损失/>有监督样本的重构损失/>和/>有监督样本的交叉熵损失/>计算公式分别为：
其中xg表示当前训练第t次训练时的第g个无监督样本，x′g表示输出的xg的重构图，qh表示表示当前训练第t次训练时的第h个有监督样本，q′h表示/>输出的qh的重构图；/>表示qh的标签向量的第a个元素，/>表示/>输出的第h个有监督样本预测标签向量的第a个元素，ln表示以e为底的对数运算。
4.根据权利要求1所述的基于双支路卷积自编码器的高光谱图像分类方法，其特征在于：步骤(3c)中所述的通过Lt对中所有卷积核参数/>中的所有卷积核参数/>和/>中的所有全连接层参数θt进行更新，更新公式分别为：
其中η表示学习步长，0＜η≤0.1，和θt+1分别表示/>和θt更新后的结果，表示求导操作。
CN202010657319.7A 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法 Active CN111814685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010657319.7A CN111814685B (zh) 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010657319.7A CN111814685B (zh) 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111814685A CN111814685A (zh) 2020-10-23
CN111814685B true CN111814685B (zh) 2024-02-09

Family

ID=72842121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010657319.7A Active CN111814685B (zh) 2020-07-09 2020-07-09 基于双支路卷积自编码器的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111814685B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364831B (zh) * 2020-11-30 2022-02-25 北京智慧荣升科技有限公司 人脸识别方法及在线教育系统
CN112597826A (zh) * 2020-12-08 2021-04-02 核工业北京地质研究院 一种对高光谱sasi数据进行岩性分类的方法
CN112529678B (zh) * 2020-12-23 2023-06-23 华南理工大学 一种基于自监督判别式网络的金融指数时序异常检测方法
CN112818920B (zh) * 2021-02-25 2022-09-20 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113030001B (zh) * 2021-03-19 2022-08-23 北京农业智能装备技术研究中心 一种水果糖度检测方法及系统
CN113298746B (zh) * 2021-07-05 2022-10-28 北京邮电大学 一种基于机器学习算法的有监督假彩色图像合成方法
CN114187477A (zh) * 2021-12-16 2022-03-15 西安交通大学 一种基于监督自对比学习的小样本高光谱图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN107590515A (zh) * 2017-09-14 2018-01-16 西安电子科技大学 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110717617A (zh) * 2019-09-09 2020-01-21 广东工业大学 一种基于深度图网络自编码器的无监督关系预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN107590515A (zh) * 2017-09-14 2018-01-16 西安电子科技大学 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110717617A (zh) * 2019-09-09 2020-01-21 广东工业大学 一种基于深度图网络自编码器的无监督关系预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘启超 ; 肖亮 ; 刘芳 ; 徐金环 ; .SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法.电子学报.2020,(第04期),全文. *
周云成 ; 邓寒冰 ; 许童羽 ; 苗腾 ; 吴琼 ; .基于稠密自编码器的无监督番茄植株图像深度估计模型.农业工程学报.2020,(第11期),全文. *

Also Published As

Publication number Publication date
CN111814685A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814685B (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
Noroozi et al. Representation learning by learning to count
CN107145836B (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
Audebert et al. Generative adversarial networks for realistic synthesis of hyperspectral samples
CN107590515B (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN110309868A (zh) 结合无监督学习的高光谱图像分类方法
CN109858557B (zh) 一种新的高光谱图像数据半监督分类方法
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN112200090A (zh) 基于交叉分组空谱特征增强网络的高光谱图像分类方法
Yang et al. Data-driven compressive sampling and learning sparse coding for hyperspectral image classification
CN113222068B (zh) 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法
Alkan et al. A smart agricultural application: automated detection of diseases in vine leaves usinghybrid deep learning
CN103761537A (zh) 基于低秩优化特征字典模型的图像分类方法
Bajpai et al. Feature extraction & classification of hyperspectral images using singular spectrum analysis & multinomial logistic regression classifiers
Hosseiny et al. A hyperspectral anomaly detection framework based on segmentation and convolutional neural network algorithms
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Thanammal Indu et al. Crossover-based wind-driven optimized convolutional neural network model for tomato leaf disease classification
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Gao et al. Deep transformer network for hyperspectral image classification
CN113052130B (zh) 基于深度残差网络和边缘保护滤波的高光谱影像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant