CN110210412B - 一种基于深度学习和多示例学习的高光谱影像分类方法 - Google Patents

一种基于深度学习和多示例学习的高光谱影像分类方法 Download PDF

Info

Publication number
CN110210412B
CN110210412B CN201910482614.0A CN201910482614A CN110210412B CN 110210412 B CN110210412 B CN 110210412B CN 201910482614 A CN201910482614 A CN 201910482614A CN 110210412 B CN110210412 B CN 110210412B
Authority
CN
China
Prior art keywords
layer
activation function
image
convolution
full connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910482614.0A
Other languages
English (en)
Other versions
CN110210412A (zh
Inventor
高红民
姚丹
杜星熠
李臣明
杨耀
王明霞
缪雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910482614.0A priority Critical patent/CN110210412B/zh
Publication of CN110210412A publication Critical patent/CN110210412A/zh
Application granted granted Critical
Publication of CN110210412B publication Critical patent/CN110210412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和多示例学习的高光谱影像分类方法，包括以下步骤：S1：对高光谱影像进行预处理，删去部分冗余的波段；S2：对步骤S1得到的预处理后的高光谱影像进行特征提取，得到示例特征；S3：将步骤S2得到的示例特征映射为图像包的示例特征；S4：对步骤S3得到的图像包的示例特征进行分类。本发明能够提高特征提取效率和分类精度。

Description

一种基于深度学习和多示例学习的高光谱影像分类方法
技术领域
本发明涉及高光谱影像分类方法，特别是涉及一种基于深度学习和多示例学习的高光谱影像分类方法。
背景技术
一般来说，高光谱数据分类过程包括特征提取和分类两个过程。经特征提取后得到的特征对地物特性的描述更加精确，测度更加细致，对分类器性能的发挥起到至关重要的作用。
目前常用的监督分类方法有最小距离分类、支持向量机及神经网络等。在较长的一段时间内，SVM在处理高光谱图像分类任务中占主导地位。Joachims等人提出了基于转导推理的SVM方法，在训练过程中不断改变SVM的超平面和其两边某些样本的标签，使SVM在已知样本和未知样本在特征空间中的距离最大。在传统的分类方法中，如神经网络、支持向量机等，它们只考虑了高光谱遥感图像的光谱特征信息，忽视了光谱数据的复杂性与多样性，追求了分类的高效性却忽视了数据的复杂从而可能带来的拟合现象。
多示例学习(multiple nstance learning)是20世纪90年代(Dietterich)等人在研究药物活性预测(drug activity prediction)问题时提出来的。每个特征向量称为一个示例，由一组示例组成的具有标记信息的样本称为包。如果包中所有的示例都为负标记，则将此包记作负包；如果包中至少有一个示例为正标记，则将此包记作正包。多示例学习的目的在于通过对由正包反包的训练数据集进行学习来预测未知包是正包还是负包，即对未知的包进行正确的分类。对多示例学习的现有运用中，多为医学中的三通道算法，此算法通道数和数据运算量较少，所以转化效率尚可，运用SVM分类的效果也尚可，但对于高光谱影像高达几百通道的数据来说，简单的包转化函数并不能起到原有的效果，并且分类器的选择也有了新的要求。现有技术中的高光谱影像分类方法的特征提取效率和分类精度都不够。
发明内容
发明目的：本发明的目的是提供一种基于深度学习和多示例学习的高光谱影像分类方法，能够提高特征提取效率和分类精度。
技术方案：为达到此目的，本发明采用以下技术方案：
本发明所述的基于深度学习和多示例学习的高光谱影像分类方法，包括以下步骤：
S1：对高光谱影像进行预处理，删去部分冗余的波段；
S2：对步骤S1得到的预处理后的高光谱影像进行特征提取，得到示例特征；
S3：将步骤S2得到的示例特征映射为图像包的示例特征；
S4：对步骤S3得到的图像包的示例特征进行分类。
所述步骤S2具体包括以下步骤：
S21：将卷积神经网络从输入到输出的方向上设置第一卷积层、第一池化层、第二卷积层和第二池化层，第一卷积层与第一池化层之间设置第一BN层和第一激活函数层，第二卷积层和第二池化层之间设置第二BN层和第二激活函数层；
S22：第一卷积层和第二卷积层进行卷积操作之后不再进行卷积操作，判断第二激活函数层输出数据的维数是否为一：如果第二激活函数层输出数据的维数是一，则结束；如果第二激活函数层输出数据的维数不是一，则在第二激活函数层与第二池化层之间增加Flatten层，然后进行步骤S23；
S23：在Flatten层后增加第一全连接层、第二全连接层和第三全连接层，在第一全连接层与第二全连接层之间增加第三BN层，在第二全连接层与第三全连接层之间增加第四BN层，每个全连接层的标准差取2/w，第三全连接层的输出数据即为示例特征；其中，w为相应全连接层的前一层输出数据的维数。
所述步骤S3中，通过包转化函数将步骤S2得到的示例特征映射为图像包的示例特征，包转化函数如式(1)所示：
Figure GDA0003719883690000021
式(1)中，Bu为映射得到的第u个图像包的示例特征，huv为第u个图像包第v维的所有示例特征，x1为第一BN层的输入数据的第一个示例特征，xp为第一BN层的输入数据的第p个示例特征，nu为第u个图像包的总维数。
进一步，所述步骤S21中，第一激活函数层和第二激活函数层中均设有激活函数，其中第一激活函数层的激活函数的表达式如式(2)所示：
f(x)＝max(0，x) (2)
式(2)中，f(x)为第一激活函数层的激活函数的表达式，也即为第一激活函数层的输出数据；x为第一BN层的输入数据。
进一步，所述第一卷积层的输出为第一特征图，第一特征图的第i行第j列元素通过式(3)得到：
Figure GDA0003719883690000031
式(3)中，ai，j为第一特征图的第i行第j列元素，wm，n为第一卷积核的第m行第n列权重，li+m，j+n为步骤S1中高光谱影像的第i+m行第j+n列元素，wb为第一卷积核的偏置项。
进一步，所述步骤S4中，通过式(4)所示函数对图像包的示例特征进行分类：
Figure GDA0003719883690000032
式(4)中，Bv为映射得到的第v个图像包的示例特征，k为图像包的示例特征的维数。
有益效果：本发明公开了一种基于深度学习和多示例学习的高光谱影像分类方法，在使用同等数据量的情况下，能够一定程度的提高特征提取效率和分类精度，有一定的实际应用价值。
附图说明
图1为本发明具体实施方式中方法的流程图；
图2为本发明具体实施方式中四组实验的分类精度曲线图；
图2(a)为实验一的分类精度曲线图；
图2(b)为实验二的分类精度曲线图；
图2(c)为实验三的分类精度曲线图；
图2(d)为实验四的分类精度曲线图；
图3为本发明具体实施方式中Softmax分类器与SVM-BRF分类器的分类精度对比图。
具体实施方式
下面结合具体实施方式对本发明的技术方案作进一步的介绍。
本具体实施方式公开了一种基于深度学习和多示例学习的高光谱影像分类方法，如图1所示，包括以下步骤：
S1：对高光谱影像进行预处理，删去部分冗余的波段；本具体实施方式选择了Indian_pines影像，选择了删去水吸收波段以及严重破坏的波段103～～107、149～～162，共选择196个波段进行实验；
S2：对步骤S1得到的预处理后的高光谱影像进行特征提取，得到示例特征；
S3：将步骤S2得到的示例特征映射为图像包的示例特征；
S4：对步骤S3得到的图像包的示例特征进行分类。
步骤S2具体包括以下步骤：
S21：将卷积神经网络从输入到输出的方向上设置第一卷积层、第一池化层、第二卷积层和第二池化层，第一卷积层与第一池化层之间设置第一BN层和第一激活函数层，第二卷积层和第二池化层之间设置第二BN层和第二激活函数层；
S22：第一卷积层和第二卷积层进行卷积操作之后不再进行卷积操作，判断第二激活函数层输出数据的维数是否为一：如果第二激活函数层输出数据的维数是一，则结束；如果第二激活函数层输出数据的维数不是一，则在第二激活函数层与第二池化层之间增加Flatten层，然后进行步骤S23；
S23：在Flatten层后增加第一全连接层、第二全连接层和第三全连接层，在第一全连接层与第二全连接层之间增加第三BN层，在第二全连接层与第三全连接层之间增加第四BN层，每个全连接层的标准差取2/w，第三全连接层的输出数据即为示例特征；其中，w为相应全连接层的前一层输出数据的维数。
步骤S3中，通过包转化函数将步骤S2得到的示例特征映射为图像包的示例特征，包转化函数如式(1)所示：
Figure GDA0003719883690000041
式(1)中，Bu为映射得到的第u个图像包的示例特征，huv为第u个图像包第v维的所有示例特征，x1为第一BN层的输入数据的第一个示例特征，xp为第一BN层的输入数据的第p个示例特征，nu为第u个图像包的总维数。
步骤S21中，第一激活函数层和第二激活函数层中均设有激活函数，其中第一激活函数层的激活函数的表达式如式(2)所示：
f(x)＝max(0，x) (2)
式(2)中，f(x)为第一激活函数层的激活函数的表达式，也即为第一激活函数层的输出数据；x为第一BN层的输入数据。
第一卷积层的输出为第一特征图，第一特征图的第i行第j列元素通过式(2)得到：
Figure GDA0003719883690000051
式(3)中，ai，j为第一特征图的第i行第j列元素，wm，n为第一卷积核的第m行第n列权重，li+m，j+n为步骤S1中高光谱影像的第i+m行第j+n列元素，wb为第一卷积核的偏置项。
步骤S4中，通过式(4)所示函数对图像包的示例特征进行分类：
Figure GDA0003719883690000052
式(4)中，Bv为映射得到的第v个图像包的示例特征，k为图像包的示例特征的维数。
本具体实施方式通过对比四组不同的实验来说明本方法的有效性，第一组为无BN层、无激活函数；第二组为有BN层、无激活函数；第三组为无BN层、有激活函数；第四组为有BN层、有激活函数，为保证实验的客观性，分类器使用Softmax分类器；迭代次数为200，初始学习率为0.01，训练样本和测试样本为3∶1，四组实验的对比结果如表1所示：
表1结果对比
Figure GDA0003719883690000053
实验从四种不同的卷积部分进行实验，并充分考虑无关因素对实验造成的影像，保证了无关变量的统一性，通过多次实验求取的平均值可以看出实验四虽花费的时间最长但分类精度效果最好；实验三虽总时长较实验四有所优势但缺少激活函数提升非线性表达能力使得分类精度略有下降；实验二缺少了BN层的归一化对实验的约束，效果不太理想；实验一为单纯的卷积的特征提取，缺少相应函数对数据的改造，分类效果最差；可以看出具有归一化及激活函数的卷积方法效果较其他方法有了明显的提升。
四组实验的分类结果图如图2(a)-图2(d)所示，可以直观的看出，本实验采取的方法优于其他三种方法。
在前述实验的效果较好的卷积层的基础上，将转化过的包特征转化后的特征分别通过Sofimax分类器以及RBF-SVM分类器进行对比，实验采取Indian_pines遥感影像数据集作为输入，用于对比的SVM算法采取的是libsvm实现的，采用RBF作为核函数，具体对比结果如表2所示：
表2分类结果
Figure GDA0003719883690000061
实验从两种不同分类器的分类情况作了对比，为了保持实验的外部无关性，保持的无关变量的相同，有实验数据可以看出Softmax分类器与SVM-BRF分类器相比，时间的优势明显，并且如图3所示，精度也有所提升。故本方法可以较为明显的提高分类效率及其分类精度。
由上述实验结果可以看出，本方法较常规方法相比效率较高分类效果较好。

Claims (4)

1.一种基于深度学习和多示例学习的高光谱影像分类方法，其特征在于：包括以下步骤：
S1：对高光谱影像进行预处理，删去部分冗余的波段；
S2：对步骤S1得到的预处理后的高光谱影像进行特征提取，得到示例特征；
S3：将步骤S2得到的示例特征映射为图像包的示例特征；
S4：对步骤S3得到的图像包的示例特征进行分类，
所述步骤S2具体包括以下步骤：
S21：将卷积神经网络从输入到输出的方向上设置第一卷积层、第一池化层、第二卷积层和第二池化层，第一卷积层与第一池化层之间设置第一BN层和第一激活函数层，第二卷积层和第二池化层之间设置第二BN层和第二激活函数层；
S22：第一卷积层和第二卷积层进行卷积操作之后不再进行卷积操作，判断第二激活函数层输出数据的维数是否为一：如果第二激活函数层输出数据的维数是一，则结束；如果第二激活函数层输出数据的维数不是一，则在第二激活函数层与第二池化层之间增加Flatten层，然后进行步骤S23；
S23：在Flatten层后增加第一全连接层、第二全连接层和第三全连接层，在第一全连接层与第二全连接层之间增加第三BN层，在第二全连接层与第三全连接层之间增加第四BN层，每个全连接层的标准差取2/w，第三全连接层的输出数据即为示例特征；其中，w为相应全连接层的前一层输出数据的维数，
所述步骤S3中，通过包转化函数将步骤S2得到的示例特征映射为图像包的示例特征，包转化函数如式(1)所示：
Figure FDA0003719883680000011
式(1)中，Bu为映射得到的第u个图像包的示例特征，huv为第u个图像包第v维的所有示例特征，x1为第一BN层的输入数据的第一个示例特征，xp为第一BN层的输入数据的第p个示例特征，nu为第u个图像包的总维数。
2.根据权利要求1所述的基于深度学习和多示例学习的高光谱影像分类方法，其特征在于：所述步骤S21中，第一激活函数层和第二激活函数层中均设有激活函数，其中第一激活函数层的激活函数的表达式如式(2)所示：
f(x)＝max(0，x) (2)
式(2)中，f(x)为第一激活函数层的激活函数的表达式，也即为第一激活函数层的输出数据；x为第一BN层的输入数据。
3.根据权利要求2所述的基于深度学习和多示例学习的高光谱影像分类方法，其特征在于：所述第一卷积层的输出为第一特征图，第一特征图的第i行第j列元素通过式(3)得到：
Figure FDA0003719883680000021
式(3)中，ai，j为第一特征图的第i行第j列元素，wm，n为第一卷积核的第m行第n列权重，li+m，j+n为步骤S1中高光谱影像的第i+m行第j+n列元素，wb为第一卷积核的偏置项。
4.根据权利要求1所述的基于深度学习和多示例学习的高光谱影像分类方法，其特征在于：所述步骤S4中，通过式(4)所示函数对图像包的示例特征进行分类：
Figure FDA0003719883680000022
式(4)中，Bv为映射得到的第v个图像包的示例特征，k为图像包的示例特征的维数。
CN201910482614.0A 2019-06-04 2019-06-04 一种基于深度学习和多示例学习的高光谱影像分类方法 Active CN110210412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910482614.0A CN110210412B (zh) 2019-06-04 2019-06-04 一种基于深度学习和多示例学习的高光谱影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910482614.0A CN110210412B (zh) 2019-06-04 2019-06-04 一种基于深度学习和多示例学习的高光谱影像分类方法

Publications (2)

Publication Number Publication Date
CN110210412A CN110210412A (zh) 2019-09-06
CN110210412B true CN110210412B (zh) 2022-08-26

Family

ID=67790807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910482614.0A Active CN110210412B (zh) 2019-06-04 2019-06-04 一种基于深度学习和多示例学习的高光谱影像分类方法

Country Status (1)

Country Link
CN (1) CN110210412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733661B (zh) * 2020-12-31 2023-08-18 西安电子科技大学 多示例能量约束最小化的高光谱目标描述与检测方法
CN112766161B (zh) * 2021-01-20 2022-12-02 西安电子科技大学 基于集成约束多示例学习的高光谱目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
CN105678309B (zh) * 2016-02-03 2019-01-01 山东工商学院 一种基于多示例包特征学习的图像多标签标注算法
CN108388917A (zh) * 2018-02-26 2018-08-10 东北大学 一种基于改进深度学习模型的高光谱图像分类方法
CN108830296B (zh) * 2018-05-18 2021-08-10 河海大学 一种改进的基于深度学习的高分遥感影像分类方法

Also Published As

Publication number Publication date
CN110210412A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
US11562591B2 (en) Computer vision systems and methods for information extraction from text images using evidence grounding techniques
US20210089922A1 (en) Joint pruning and quantization scheme for deep neural networks
Feng et al. Convolutional neural network based on bandwise-independent convolution and hard thresholding for hyperspectral band selection
US20220108157A1 (en) Hardware architecture for introducing activation sparsity in neural network
CN107844751B (zh) 引导滤波长短记忆神经网络高光谱遥感图像的分类方法
CN109783879B (zh) 一种雷达辐射源信号识别效能评估方法及系统
CN103942749B (zh) 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法
CN106295694A (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
CN110210412B (zh) 一种基于深度学习和多示例学习的高光谱影像分类方法
CN113541834B (zh) 一种异常信号半监督分类方法、系统、数据处理终端
CN114155443A (zh) 一种基于多感受野图注意力网络的高光谱图像分类方法
WO2023201772A1 (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
Xiang-rong et al. Multiple kernel support vector regression for economic forecasting
CN109063750B (zh) 基于cnn和svm决策融合的sar目标分类方法
Li et al. SeedSortNet: a rapid and highly effificient lightweight CNN based on visual attention for seed sorting
CN107169407A (zh) 基于联合双边滤波与极限学习机的高光谱图像分类方法
CN113343801A (zh) 基于轻量化卷积神经网络的无线信号自动调制识别方法
Cheng et al. Diagnosing the variance shifts signal in multivariate process control using ensemble classifiers
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
Liu et al. Automatic labeling of large amounts of handwritten characters with gate-guided dynamic deep learning
CN115348182A (zh) 一种基于深度堆栈自编码器的长期频谱预测方法
CN104573727A (zh) 一种手写体数字图像降维方法
Abhilasa et al. Classification of agricultural leaf images using hybrid combination of activation functions
CN112884038A (zh) 基于多距离度量学习的多标签特征选择方法
Wang et al. TIToK: A solution for bi-imbalanced unsupervised domain adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant