CN108090447A - 双分支深层结构下的高光谱图像分类方法及装置 - Google Patents

双分支深层结构下的高光谱图像分类方法及装置 Download PDF

Info

Publication number
CN108090447A
CN108090447A CN201711372365.7A CN201711372365A CN108090447A CN 108090447 A CN108090447 A CN 108090447A CN 201711372365 A CN201711372365 A CN 201711372365A CN 108090447 A CN108090447 A CN 108090447A
Authority
CN
China
Prior art keywords
branch
layer
classification
deep
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711372365.7A
Other languages
English (en)
Inventor
郝思媛
张芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201711372365.7A priority Critical patent/CN108090447A/zh
Publication of CN108090447A publication Critical patent/CN108090447A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Abstract

本发明提供的是一种双分支深层结构下的高光谱图像分类方法及装置，可以显著提高图像的分类精度。一方面，提出方法包括影像预处理、特征提取、空‑谱特征融合、分类四个步骤。影像预处理用于选取两个分支所需的训练集和测试集，且进行归一化处理；特征提取是用于构建双分支深层结构来提取高光谱遥感影像的深层语义信息；空‑谱特征融合是在两个分支网络结构末端分别加入soft‑max分类器，分别获取样本的概率矩阵，然后利用多源特征融合技术将双分支深层结构获取的光谱特征和空间特征融合；分类是利用支持向量机对融合后的特征进行分类。另一方面，相对应的装置包括该预处理模块、双分支深层结构模块、融合模块、分类评估模块四个模块。

Description

双分支深层结构下的高光谱图像分类方法及装置
技术领域
本发明涉及一种双分支深层结构下的高光谱图像分类方法及装置，属于遥感信息处理技术领域。
背景技术
目前，高光谱遥感影像智能解译已经广泛应用于农业、林业、地质、星体考察、军事等领域，如在星体考察中，通过研究高光谱传感器收集到的土壤矿物成分的光谱信息可获知星球的地质状况；在军事上，高光谱传感器能够检测出普通相机或摄像机无法捕获的各种伪装，可应用于战场情报侦察和目标识别(Kumar et al.,2001；童庆禧等,2006)。特征提取和融合技术是实现影像智能解译过程中一个非常重要的环节，直接影响到影像解译精度。然而，当前的图像特征提取方法往往忽略了图像的深层语义信息，解译准确度受到了极大的影响。深度学习理论的出现可以有效地解决这一问题，为图像特征提取提供可靠的技术支撑，提取的特征更为抽象、鲁棒性更强且不受周围环境变化的影响(Hinton et al.,2006；Bengio et al.,2013)。同时，完备的深度学习理论体系、丰富的网络模型、有效的在线研发工具、开放的应用案例都为建立深层网络结构下的高光谱图像特征提取提供了必要条件。
光谱特征和空间特征对图像分类问题具有重要意义，在分类过程中融入了空间特征可以显著提高图像的分类精度(Zhang et al.,2013；Huang et al.,2013)，因此有效的空-谱特征融合方案成为学者们争相研究的重要课题。最简单的特征融合方法是将光谱特征向量和空间特征向量级联后进行特征选择。这种融合方式通常伴随着冗余和噪声，且没有针对性的特征选取方法忽略了特征间的相关性。为保留光谱特征和空间特征之间的相关性，许多改进方法相继提出，如Fauvel(2008)提出特征加权求和融合方法、Camps-Valls(2005)提出了基于核函数的融合方法、Zhang(2015)提出可分稀疏性多模式学习的融合方法，自动地学习出包含独立特征信息和特征间相关信息的权重矩阵，有效地保留了特征间的相关性。然而，这些改进的融合方案都与特征提取过程相独立。
在此背景下，本发明提出一种新的双分支深层结构下的高光谱图像分类方法及装置，更加有效地提取了包含深层语义信息的光谱特征和空间特征，与此同时将提取特征进行融合。在后续的分类问题中，利用融合后的特征可以显著地提升分类装置的精度。
发明内容
本发明目的在于提高高光谱遥感影像的分类精度，提出一种双分支深层结构下的高光谱图像分类方法及装置。
本发明的第一个目的是提出一种双分支深层结构下的高光谱图像分类方法，包括影像预处理、特征提取、空-谱特征融合、分类四个步骤。具体步骤如下：
步骤S1：影像预处理。选取两个分支所需的训练集和测试集，且进行归一化处理。
步骤S2：特征提取。构建光谱特征提取分支：利用堆栈式降噪自编码器提取图像的光谱特征。构建空间特征提取分支：利用深层卷积神经网络提取图像的空间特征。
步骤S3：空-谱特征融合。在两个分支网络结构末端分别加入soft-max分类器，分别获取样本的概率矩阵(光谱概率矩阵和空间信息概率矩阵)。利用多源特征融合技术将双分支深层结构获取的光谱特征和空间特征融合。
步骤S4：分类。利用支持向量机对融合后的特征进行分类，进而得到对应测试样本的预测标签。
本发明的第二个目的在于提出相应的高光谱遥感图像分类装置。该装置包括预处理模块、双分支深层结构模块、融合模块、分类评估模块，各模块功能介绍如下：
装置模块M1：预处理模块。用于将光谱成像仪收集到高光谱影像进行校正、去噪、归一化处理。同时根据双分支深层结构模块对输入数据的要求对图像进行处理。
装置模块M2：双分支深层结构模块。由深层堆栈式降噪自编码器和深层卷积神经网络构成，提取预处理模块输出图像的光谱特征和空间特征。
装置模块M3：融合模块。用于融合光谱特征和空间特征。
装置模块M4：分类评估模块。该模块以支持向量机和评估装置为核心，对融合后的特征进行分类，同时计算分类性能指标。
通过本发明的实施，提供了一种双分支深层结构下的高光谱图像分类方法及其实现装置。通过将深度学习理论引入高光谱遥感影像处理领域，利用深层堆栈式降噪自编码器和深层卷积神经网络并行地提取影像的光谱特征和空间特征，随后利用后期特征融合策略将两类特征进行融合，最后输入分类模型。该发明可以有效地提取高光谱遥感影像的深层语义信息，同时提高装置的分类准确性。
附图说明
图1、双分支深层结构下高光谱图像分类方法实现框图。
图2、双分支深层结构下高光谱图像分类装置示意图。
图3、利用自编码器和降噪自编码器重构印第安纳农林数据集中像元的效果示意图。
图4、不同训练样本比例和输入图像块邻域宽度对提出方法整体分类精度影响的示意图。
图5、针对印第安纳农林数据集各方法分类结果示意图。
具体实施方式
下面结合附图举例对本发明做更详细地描述。
本发明提出方法包括影像预处理、特征提取、空-谱特征融合、分类四个步骤。具体分析步骤如下：
步骤S1：影像预处理。选取两个分支所需的训练集和测试集，且进行归一化处理。该步骤进一步包括以下步骤：
步骤S1.1：选取实验平台(i5内核、2.70-GHz处理器)，配置实验环境(Theano、Keras)。
步骤S1.2：对成像光谱仪采集的高光谱遥感影像进行校正、去噪、标注、归一化。
步骤S1.3：为双分支深层结构准备数据(光谱特征提取分支的输入为像元，空间特征提取分支的输入是包含邻域信息的图像块)。从高光谱影像中随机选取一定比例的像元组成光谱分支的训练集，剩余样本构成光谱分支的测试集。设定图像块的邻域宽度，以训练集和测试集中的每个像元为中心剪切出相应的邻域图像块，从而获取空间分支的训练集和测试集。
步骤S2：特征提取。构建光谱特征提取分支：利用堆栈式降噪自编码器提取图像的光谱特征。构建空间特征提取分支：利用深层卷积神经网络提取图像的空间特征。该步骤进一步包括以下步骤：
步骤S2.1：设置双分支深层结构的网络的参数，包括堆栈式降噪自编码器的层数以及每层包含隐层神经元的个数，卷积神经网络的卷积层和池化层的层数，卷积层中滤波器的大小和个数，随机地初始化网络参数。
步骤S2.2：构建基于堆栈式降噪自编码器的光谱特征提取分支。堆栈式降噪自编码器是通过将多个降噪自编码器层叠起来构成的，即将前一层降噪自编码器的隐层表示作为下一层降噪自编码器的输入，随后利用Pretraining优化初始参数，进而获取每层的最优参数。降噪自编码器核心思想是将“被污染/破坏”的原始数据先编码然后再通过解码来恢复原始数据的过程。假定输入高光谱像元为其中d为波段数。表示为被“污染”的高光谱像元，作为降噪自编码器的输入，对应的隐层表示h为：
其中d1为隐层神经元个数，W和b分别表示编码权重矩阵和偏差向量，s则表示激活函数(如sigmoid、Relu函数等)。随后，降噪自编码器再通过下式将h重构为不包含噪声的像元z：
z＝s(W′h+b′) (2)
W′和b′分别表示解码权重矩阵和偏差向量。通常，采用交叉熵来计算重构误差，通过最小化重构误差获取最优的参数Θ*＝{W,W′,b,b′}，公式如下：
步骤S2.3：构建基于卷积神经网络的空间特征提取分支。假定表示以像元x为中心的图像块，且第i层滤波器的个数为ni。图像块S经过第i层卷积层后得到ni个特征图，表示为：
Fi(S)＝max(0，Wi*Fi-1(S)+Bi) (4)
其中“*”为卷积运算符，Wi和Bi分别表示第i层卷积层的滤波器和偏差。随后特征图Fi(S)输入全连接层后得到：
Fi+1(S)＝s(Wi+1Fi(S)+Bi+1) (5)
其中Wi+1和Bi+1表示全连接层的滤波器和偏差。由于全连接层只能对矩阵进行操作，因此在Fi(S)进入全连接层之前应该将其转化矩阵。此外，在每个卷积层后都可以加入池化层。
步骤S3：空-谱特征融合。该步骤进一步包括以下步骤：
步骤S3.1：在光谱特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的光谱特征概率向量。
步骤S3.2：在空间特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的空间特征概率向量。
步骤S3.3：利用加权求和的方式将上述光谱特征概率向量和空间特征概率向量融合。
步骤S4：分类。利用支持向量机对融合后的特征进行分类，进而得到对应测试样本的预测标签。该步骤进一步包括以下步骤：
步骤S4.1：重新随机选取一定比例的样本，将其对应的融合特征组成支持向量机的训练集，剩余特征向量组成测试集，且采用十字交叉验证的方法确定惩罚因子和核宽度。
步骤S4.2：利用训练好的支持向量机对测试集进行分类，得到测试样本的预测标签。
步骤S4.3：选取整体分类精度(Overall accuracy,OA)、平均分类精度(Averageaccuracy,AA)、Kappa系数(κ)对提出方法进行评价。
为了实现上述方法，本发明另一方面还提出了相对应的高光谱遥感影像分类装置，其包含依次连接的预处理模块、双分支深层结构模块、融合模块、分类评估模块。下面参考说明书附图2描述该装置。
装置模块M1：预处理模块。用于将光谱成像仪收集到高光谱影像进行校正、去噪、归一化处理。同时根据双分支深层结构模块对输入数据的要求对图像进行处理。该模块进一步包括以下步骤：
步骤1：选取实验平台(i5内核、2.70-GHz处理器)，配置实验环境(Theano、Keras)。
步骤2：对成像光谱仪采集的高光谱遥感影像进行校正、去噪、标注、归一化。
步骤3：为双分支深层结构准备数据(光谱特征提取分支的输入为像元，空间特征提取分支的输入是包含邻域信息的图像块)。从高光谱影像中随机选取一定比例的像元组成光谱分支的训练集，剩余样本构成光谱分支的测试集。设定图像块的邻域宽度，以训练集和测试集中的每个像元为中心剪切出相应的邻域图像块，从而获取空间分支的训练集和测试集。
装置模块M2：双分支深层结构模块。由深层堆栈式降噪自编码器和深层卷积神经网络构成，提取预处理模块输出图像的光谱特征和空间特征。该模块进一步包括以下步骤：
步骤1：设置双分支深层结构的网络的参数，包括堆栈式降噪自编码器的层数以及每层包含隐层神经元的个数，卷积神经网络的卷积层和池化层的层数，卷积层中滤波器的大小和个数，随机地初始化网络参数。
步骤2：构建基于堆栈式降噪自编码器的光谱特征提取分支。堆栈式降噪自编码器是通过将多个降噪自编码器层叠起来构成的，即将前一层降噪自编码器的隐层表示作为下一层降噪自编码器的输入，随后利用Pretraining优化初始参数，进而获取每层的最优参数。降噪自编码器核心思想是将“被污染/破坏”的原始数据先编码然后再通过解码来恢复原始数据的过程。假定输入高光谱像元为其中d为波段数。表示为被“污染”的高光谱像元，作为降噪自编码器的输入，对应的隐层表示h为：
其中d1为隐层神经元个数，W和b分别表示编码权重矩阵和偏差向量，s则表示激活函数(如sigmoid、Relu函数等)。随后，降噪自编码器再通过下式将h重构为不包含噪声的像元z：
z＝s(W′h+b′) (7)
W′和b′分别表示解码权重矩阵和偏差向量。通常，采用交叉熵来计算重构误差，通过最小化重构误差获取最优的参数Θ*＝{W,W′,b,b′}Θ*＝{W,W′,b,b′}，公式如下：
步骤3：构建基于卷积神经网络的空间特征提取分支。假定表示以像元x为中心的图像块，且第i层滤波器的个数为ni。图像块S经过第i层卷积层后得到ni个特征图，表示为：
Fi(S)＝max(0，Wi*Fi-1(S)+Bi) (9)
其中“*”为卷积运算符，Wi和Bi分别表示第i层卷积层的滤波器和偏差。随后特征图Fi(S)输入全连接层后得到：
Fi+1(S)＝s(Wi+1Fi(S)+Bi+1) (10)
其中Wi+1和Bi+1表示全连接层的滤波器和偏差。由于全连接层只能对矩阵进行操作，因此在Fi(S)进入全连接层之前应该将其转化矩阵。此外，在每个卷积层后都可以加入池化层。
装置模块M3：融合模块。用于融合光谱特征和空间特征，该模块进一步包括以下步骤：
步骤1：在光谱特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的光谱特征概率向量。
步骤2：在空间特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的空间特征概率向量。
步骤3：利用加权求和的方式将上述光谱特征概率向量和空间特征概率向量融合。
装置模块M4：分类评估模块。该模块以支持向量机和评估装置为核心，对融合后的特征进行分类，同时计算分类性能指标。该模块进一步包括以下步骤：
步骤1：重新随机选取一定比例的样本，将其对应的融合特征组成支持向量机的训练集，剩余特征向量组成测试集，且采用十字交叉验证的方法确定惩罚因子和核宽度。
步骤2：利用训练好的支持向量机对测试集进行分类，得到测试样本的预测标签。
步骤3：选取整体分类精度(Overall accuracy,OA)、平均分类精度(Averageaccuracy,AA)、Kappa系数(κ)对提出方法进行评价。
为了说明本发明的有效性，进行如下实验论证。实验数据来自1992年获取的美国印第安纳州西北部印第安农林AVIRIS高光谱遥感图像，其包含144×144个像元，16个类别，220个波段，由于噪声等因素除去其中的20个波段。
设置本发明的参数：
输入：图像块的邻域宽度为7×7，训练集、验证集和测试集的样本比例为3:1:1。光谱特征提取分支：由三个降噪自编码器层构成的，其中每层的隐藏神经元数设置为100，腐蚀级别在{0.1,0.2,0.3}中进行变化。利用小批量随机梯度下降法对网络参数进行了学习。预训练和微调的循环次数均设置为1000，且在预训练和微调阶段的初始学习速率均设置为0.1，权重衰减为0.5。空间特征提取分支：由两层卷积层(其中每个卷积层后接池化层)和一个全连接层构成，其中全连接层的隐层神经元个数为100。支持向量机采用高斯核函数，利用十字交叉验证估计惩罚因子以及核宽度，且利用“一对余”多分类器策略。为了进一步验证本发明提出方法的优越性，选取SS-LPSVM，SCS3VM，SdAE，CNNs，MLR，ppMLR，MLRpr，ppMLRpr为对比方法。
第一组实验重点研究本发明涉及的降噪自编码器可以有效地重构出具有鲁棒性的特征向量。实验结果如图3所示：(a)印第安纳农林数据中随机选取的任意像元的光谱反射率曲线；(b)采用自编码器重构的像元；(c)采用降噪自编码器重构的像元。可以观察到，与自编码器对比，降噪自编码器可以更好的重构光谱特征，且具有较强的鲁棒性能。表明提出发明采用降噪自编码器提取光谱特征具有一定的可行性。
第二组实验重点研究训练样本比例(r)和输入图像块邻域宽度(s)对于本发明性能的影响。实验结果如图4所示，r分别设置为10％,20％,30％,40％,50％,60％，s在{3×3,5×5,7×7}范围内变化，可以观察到随着r增大曲线s＝7×7和s＝5×5的分类性能随之增大。曲线s＝3×3的性能首先随着r的增加而增加，直到r＝50％时候，分类性能随着r的增大线性减小。当r＝40％时，随着邻域宽度s的不断增大，提出方法的分类性能也不断增大。实验表示，发明性能与训练样本比例(r)和输入图像块邻域宽度(s)有关，因此确定这两个参数对于本发明至关重要。
第三组实验重点比较本发明与其他分类方法的性能对比。实验结果概括见表1，本发明提出方法较CNNs,MLRpr,SdAE,SC3SVM,SS-LPSVM方法，整体分类精度OA分别提升了3.19％,8.94％,12.51％,26.13％和14.44％，而与ppMLRpr和ppMLR相比，本发明提出方法也有微小的改进。与此同时，本发明提出方法的平均分类精度可以达到98.76％，表明提出双分支深层结构可以有效地反映数据的分布信息。充分说明了提出结构的优越性，对应的视觉分类结果见图5，与图5(i)相比，图5(b)-(e)的噪声很明显。左上角Soybeans-no类的样本在图5(f)-(h)中常被错分为Soybeans-clean，而本发明方法产生的视觉图5(i)最接近参考物。
以上仅是本申请的具体实施方式而已，并非对本申请做任何形式上的限定，凡是依据本申请的技术实质对以上实施方式所做的任意简单修改、等同变化或修饰，均仍属于本申请技术方案的保护范围。
表1

Claims (10)

1.一种双分支深层结构下的高光谱图像分类装置，其特征在于，装置包含依次连接的预处理模块、双分支深层结构模块、融合模块、分类评估模块，其中，
所述预处理模块用于将光谱成像仪收集到高光谱影像进行校正、去噪、归一化处理。同时根据双分支深层结构模块对输入数据的要求对图像进行处理；
所述双分支深层结构模块用于提取预处理模块输出图像的光谱特征和空间特征；
所述融合模块用于融合光谱特征和空间特征；
所述分类评估模块用于对融合后的特征进行分类，同时计算分类性能指标。
2.根据权利要求1所述的双分支深层结构下的高光谱图像分类装置，其特征在于，所述预处理模块还执行如下步骤：
(1)选取实验平台(i5内核、2.70-GHz处理器)，配置实验环境(Theano、Keras)。
(2)对成像光谱仪采集的高光谱遥感影像进行校正、去噪、标注、归一化。
(3)为双分支深层结构准备数据(光谱特征提取分支的输入为像元，空间特征提取分支的输入是包含邻域信息的图像块)。从高光谱影像中随机选取一定比例的像元组成光谱分支的训练集，剩余样本构成光谱分支的测试集。设定图像块的邻域宽度，以训练集和测试集中的每个像元为中心剪切出相应的邻域图像块，从而获取空间分支的训练集和测试集。
3.根据权利要求1所述的双分支深层结构下的高光谱图像分类装置，其特征在于，所述双分支深层结构模块还执行如下步骤：
(1)设置双分支深层结构的网络的参数，包括堆栈式降噪自编码器的层数以及每层包含隐层神经元的个数，卷积神经网络的卷积层和池化层的层数，卷积层中滤波器的大小和个数，随机地初始化网络参数。
(2)构建基于堆栈式降噪自编码器的光谱特征提取分支。堆栈式降噪自编码器是通过将多个降噪自编码器层叠起来构成的，即将前一层降噪自编码器的隐层表示作为下一层降噪自编码器的输入，随后利用Pretraining优化初始参数，进而获取每层的最优参数。
(3)构建基于卷积神经网络的空间特征提取分支。假定表示以像元x为中心的图像块，且第i层滤波器的个数为ni。图像块S经过第i层卷积层后得到ni个特征图，表示为：
Fi(S)＝max(0，Wi*Fi-1(S)+Bi) (1)
其中“*”为卷积运算符，Wi和Bi分别表示第i层卷积层的滤波器和偏差。随后特征图Fi(S)输入全连接层后得到：
Fi+1(S)＝s(Wi+1Fi(S)+Bi+1) (2)
其中Wi+1和Bi+1表示全连接层的滤波器和偏差。由于全连接层只能对矩阵进行操作，因此在Fi(S)进入全连接层之前应该将其转化矩阵。此外，在每个卷积层后都可以加入池化层。
4.根据权利要求1所述的双分支深层结构下的高光谱图像分类装置，其特征在于，所述融合模块还执行如下步骤：
(1)在光谱特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的光谱特征概率向量。
(2)在空间特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的空间特征概率向量。
(3)利用加权求和的方式将上述光谱特征概率向量和空间特征概率向量融合。
5.根据权利要求1所述的双分支深层结构下的高光谱图像分类装置，其特征在于，所述分类评估模块还执行如下步骤：
(1)重新随机选取一定比例的样本，将其对应的融合特征组成支持向量机的训练集，剩余特征向量组成测试集，且采用十字交叉验证的方法确定惩罚因子和核宽度。
(2)利用训练好的支持向量机对测试集进行分类，得到测试样本的预测标签。
(3)选取整体分类精度(Overallaccuracy,OA)、平均分类精度(Averageaccuracy,AA)、Kappa系数(κ)对提出方法进行评价。
6.一种双分支深层结构下的高光谱图像分类方法，其特征在于，方法包括下列步骤：
(1)影像预处理：选取两个分支所需的训练集和测试集，且进行归一化处理。
(2)特征提取：构建光谱特征提取分支：利用堆栈式降噪自编码器提取图像的光谱特征。构建空间特征提取分支：利用深层卷积神经网络提取图像的空间特征。
(3)空-谱特征融合：在两个分支网络结构末端分别加入soft-max分类器，分别获取样本的概率矩阵(光谱概率矩阵和空间信息概率矩阵)。利用多源特征融合技术将双分支深层结构获取的光谱特征和空间特征融合。
(4)分类：利用支持向量机对融合后的特征分类，进而得到对应测试样本的预测标签。
7.根据权利要求6所述的双分支深层结构下的高光谱图像分类方法，其特征在于，步骤(1)还包括以下步骤：
(1)选取实验平台(i5内核、2.70-GHz处理器)，配置实验环境(Theano、Keras)。
(2)对成像光谱仪采集的高光谱遥感影像进行校正、去噪、标注、归一化。
(3)为双分支深层结构准备数据(光谱特征提取分支的输入为像元，空间特征提取分支的输入是包含邻域信息的图像块)。从高光谱影像中随机选取一定比例的像元组成光谱分支的训练集，剩余样本构成光谱分支的测试集。设定图像块的邻域宽度，以训练集和测试集中的每个像元为中心剪切出相应的邻域图像块，从而获取空间分支的训练集和测试集。
8.根据权利要求6所述双分支深层结构下的高光谱图像分类方法，其特征在于，步骤(2)还包括以下步骤：
(1)设置双分支深层结构的网络的参数，包括堆栈式降噪自编码器的层数以及每层包含隐层神经元的个数，卷积神经网络的卷积层和池化层的层数，卷积层中滤波器的大小和个数，随机地初始化网络参数。
(2)构建基于堆栈式降噪自编码器的光谱特征提取分支。堆栈式降噪自编码器是通过将多个降噪自编码器层叠起来构成的，即将前一层降噪自编码器的隐层表示作为下一层降噪自编码器的输入，随后利用Pretraining优化初始参数，进而获取每层的最优参数。
(3)构建基于卷积神经网络的空间特征提取分支。假定表示以像元x为中心的图像块，且第i层滤波器的个数为ni。图像块S经过第i层卷积层后得到ni个特征图，表示为：
Fi(S)＝max(0，Wi*Fi-1(S)+Bi) (a)
其中“*”为卷积运算符，Wi和Bi分别表示第i层卷积层的滤波器和偏差。随后特征图Fi(S)输入全连接层后得到：
Fi+1(S)＝s(Wi+1Fi(S)+Bi+1) (b)
其中Wi+1和Bi+1表示全连接层的滤波器和偏差。由于全连接层只能对矩阵进行操作，因此在Fi(S)进入全连接层之前应该将其转化矩阵。此外，在每个卷积层后都可以加入池化层。
9.根据权利要求6所述的双分支深层结构下的高光谱图像分类方法，其特征在于，步骤(3)还包括以下步骤：
(1)在光谱特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的光谱特征概率向量。
(2)在空间特征提取分支末端加soft-max层，同时计算分类误差且通过最小化分类误差来对整个网络的参数进行微调(Fine-tuning)，获取每个样本的空间特征概率向量。
(3)利用加权求和的方式将上述光谱特征概率向量和空间特征概率向量融合。
10.根据权利要求6所述的双分支深层结构下的高光谱图像分类方法，其特征在于，步骤(4)还包括以下步骤：
(1)重新随机选取一定比例的样本，将其对应的融合特征组成支持向量机的训练集，剩余特征向量组成测试集，且采用十字交叉验证的方法确定惩罚因子和核宽度。
(2)利用训练好的支持向量机对测试集进行分类，得到测试样本的预测标签。
(3)选取整体分类精度(Overall accuracy,OA)、平均分类精度(Average accuracy,AA)、Kappa系数(κ)对提出方法进行评价。
CN201711372365.7A 2017-12-19 2017-12-19 双分支深层结构下的高光谱图像分类方法及装置 Pending CN108090447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711372365.7A CN108090447A (zh) 2017-12-19 2017-12-19 双分支深层结构下的高光谱图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711372365.7A CN108090447A (zh) 2017-12-19 2017-12-19 双分支深层结构下的高光谱图像分类方法及装置

Publications (1)

Publication Number Publication Date
CN108090447A true CN108090447A (zh) 2018-05-29

Family

ID=62176107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711372365.7A Pending CN108090447A (zh) 2017-12-19 2017-12-19 双分支深层结构下的高光谱图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN108090447A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034224A (zh) * 2018-07-16 2018-12-18 西安电子科技大学 基于双分支网络的高光谱分类方法
CN109271898A (zh) * 2018-08-31 2019-01-25 电子科技大学 基于优化卷积神经网络的溶洞体识别算法
CN109389034A (zh) * 2018-08-29 2019-02-26 北京理工大学 一种基于机器学习的驻极体薄膜穿透识别方法
CN109785302A (zh) * 2018-12-27 2019-05-21 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110147403A (zh) * 2019-05-23 2019-08-20 中国农业科学院农业信息研究所 农业大数据融合方法、装置、设备及存储介质
CN110503191A (zh) * 2019-08-27 2019-11-26 四川博文讯通科技有限公司 一种面向视频分析的多层神经网络模型
CN110663971A (zh) * 2018-07-02 2020-01-10 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112579816A (zh) * 2020-12-29 2021-03-30 二十一世纪空间技术应用股份有限公司 遥感图像的检索方法、装置、电子设备及存储介质
CN113327304A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于端到端神经网络的高光谱图像显著图生成方法
CN114549863A (zh) * 2022-04-27 2022-05-27 西安电子科技大学 一种基于像素级噪声标签监督的光场显著性目标检测方法
CN115187819A (zh) * 2022-08-23 2022-10-14 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115240074A (zh) * 2022-09-22 2022-10-25 山东锋士信息技术有限公司 一种基于协方差表示的高光谱图像分类方法及设备
CN115294639A (zh) * 2022-07-11 2022-11-04 惠州市慧昊光电有限公司 色温可调灯带及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903007A (zh) * 2014-03-10 2014-07-02 哈尔滨工程大学 一种基于空-谱信息的高光谱半监督分类方法
CN105354584A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于波段不相似性的高光谱数据波段表征选择方法
CN106557782A (zh) * 2016-11-22 2017-04-05 青岛理工大学 基于类字典的高光谱图像分类方法及装置
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107066959A (zh) * 2017-03-29 2017-08-18 广东交通职业技术学院 一种基于导向滤波和线性空间相关性信息的高光谱图像分类方法
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903007A (zh) * 2014-03-10 2014-07-02 哈尔滨工程大学 一种基于空-谱信息的高光谱半监督分类方法
CN105354584A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于波段不相似性的高光谱数据波段表征选择方法
CN106557782A (zh) * 2016-11-22 2017-04-05 青岛理工大学 基于类字典的高光谱图像分类方法及装置
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107066959A (zh) * 2017-03-29 2017-08-18 广东交通职业技术学院 一种基于导向滤波和线性空间相关性信息的高光谱图像分类方法
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PRASHANTH R MARPU等: ""Hyperspectral data classification using an ensemble of class-dependent neural networks"", 《2009 FIRST WORKSHOP ON HYPERSPECTRAL IMAGE AND SIGNAL PROCESSING: EVOLUTION IN REMOTE SENSING》 *
何同弟: ""高光谱图像的分类技术研究"", 《中国博士学位论文全文数据库（电子期刊）信息科技辑》 *
廖建尚等: ""基于双边滤波和空间邻域信息的高光谱图像分类方法"", 《农业机械学报》 *
林洲汉: ""基于自动编码机的高光谱图像特征提取及分类方法研究"", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110663971A (zh) * 2018-07-02 2020-01-10 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法
CN109034224A (zh) * 2018-07-16 2018-12-18 西安电子科技大学 基于双分支网络的高光谱分类方法
CN109034224B (zh) * 2018-07-16 2022-03-11 西安电子科技大学 基于双分支网络的高光谱分类方法
CN109389034B (zh) * 2018-08-29 2021-07-09 北京理工大学 一种基于机器学习的驻极体薄膜穿透识别方法
CN109389034A (zh) * 2018-08-29 2019-02-26 北京理工大学 一种基于机器学习的驻极体薄膜穿透识别方法
CN109271898A (zh) * 2018-08-31 2019-01-25 电子科技大学 基于优化卷积神经网络的溶洞体识别算法
CN109785302A (zh) * 2018-12-27 2019-05-21 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN109886986B (zh) * 2019-01-23 2020-09-08 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110147403A (zh) * 2019-05-23 2019-08-20 中国农业科学院农业信息研究所 农业大数据融合方法、装置、设备及存储介质
CN110503191A (zh) * 2019-08-27 2019-11-26 四川博文讯通科技有限公司 一种面向视频分析的多层神经网络模型
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112052758B (zh) * 2020-08-25 2023-05-23 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112579816A (zh) * 2020-12-29 2021-03-30 二十一世纪空间技术应用股份有限公司 遥感图像的检索方法、装置、电子设备及存储介质
CN113327304A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于端到端神经网络的高光谱图像显著图生成方法
CN114549863A (zh) * 2022-04-27 2022-05-27 西安电子科技大学 一种基于像素级噪声标签监督的光场显著性目标检测方法
CN115294639A (zh) * 2022-07-11 2022-11-04 惠州市慧昊光电有限公司 色温可调灯带及其控制方法
CN115187819A (zh) * 2022-08-23 2022-10-14 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115240074A (zh) * 2022-09-22 2022-10-25 山东锋士信息技术有限公司 一种基于协方差表示的高光谱图像分类方法及设备
CN115240074B (zh) * 2022-09-22 2023-08-11 山东锋士信息技术有限公司 一种基于协方差表示的高光谱图像分类方法及设备

Similar Documents

Publication Publication Date Title
CN108090447A (zh) 双分支深层结构下的高光谱图像分类方法及装置
Mei et al. Hyperspectral image classification using group-aware hierarchical transformer
Li et al. Automatic fabric defect detection with a wide-and-compact network
Durmuş et al. Disease detection on the leaves of the tomato plants by using deep learning
Shaheen et al. Impact of automatic feature extraction in deep learning architecture
Xie et al. Multilayer global spectral–spatial attention network for wetland hyperspectral image classification
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
Yu et al. Leaf spot attention network for apple leaf disease identification
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
Qi et al. Tea chrysanthemum detection under unstructured environments using the TC-YOLO model
CN107092883A (zh) 物体识别追踪方法
CN108734199A (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN107239759A (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
Chen et al. Mobile convolution neural network for the recognition of potato leaf disease images
Xu et al. Robust self-ensembling network for hyperspectral image classification
CN107423747A (zh) 一种基于深度卷积网络的显著性目标检测方法
CN108830130A (zh) 一种偏振高光谱低空侦察图像典型目标检测方法
CN110222592A (zh) 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
CN115205590A (zh) 一种基于互补集成Transformer网络的高光谱图像分类方法
CN112464766A (zh) 一种农田地头自动识别方法及系统
CN113657294A (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
CN114972208A (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
Li et al. EMFNet: Enhanced multisource fusion network for land cover classification
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
CN116434012A (zh) 一种基于边缘感知的轻量型棉铃检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529

WD01 Invention patent application deemed withdrawn after publication