CN112633401A - 一种高光谱遥感图像分类方法、装置、设备及存储介质 - Google Patents

一种高光谱遥感图像分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112633401A
CN112633401A CN202011604177.4A CN202011604177A CN112633401A CN 112633401 A CN112633401 A CN 112633401A CN 202011604177 A CN202011604177 A CN 202011604177A CN 112633401 A CN112633401 A CN 112633401A
Authority
CN
China
Prior art keywords
hyperspectral
remote sensing
sensing image
image classification
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011604177.4A
Other languages
English (en)
Other versions
CN112633401B (zh
Inventor
王永成
张欣
张宁
徐东东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202011604177.4A priority Critical patent/CN112633401B/zh
Publication of CN112633401A publication Critical patent/CN112633401A/zh
Application granted granted Critical
Publication of CN112633401B publication Critical patent/CN112633401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请公开了一种高光谱遥感图像分类方法、装置、设备及存储介质，包括：采集高光谱数据及对应的标签，获取三维数据立方体作为样本集，并将样本集划分为训练集和测试集；根据训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算每个类别的扩增因子；根据计算得到的扩增因子，采用旋转和插值的方法对训练集进行扩增，得到扩增后的训练样本和对应的标签；以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；将待测高光谱图像输入至该模型，对待测高光谱图像进行分类。这样给不同类别分配不同的扩增因子，在轻量化参数的情况下充分学习高光谱的空谱信息，有效防止细节信息的损失。

Description

一种高光谱遥感图像分类方法、装置、设备及存储介质
技术领域
本发明涉及遥感图像分类领域，特别是涉及一种高光谱遥感图像分类方法、装置、设备及存储介质。
背景技术
高光谱图像由于包含空间和光谱信息，能够精确地对相关地物进行分类和识别。高光谱分类已经广泛地应用于矿产资源勘探、信息监测、农业种植等领域。
深度学习的发展为高光谱分类带来了新的发展前景。但是高光谱分类领域仍然面临着重大的挑战，主要问题有两点：第一点是高光谱空间分布复杂且存在同物异谱和同谱异物的现象；第二点是有标签样本过少，有标签样本数量不能与高维数据相平衡容易造成维度诅咒的问题。
因此，如何有效解决高光谱数据空间分布复杂和有标签样本过少的问题，提升高光谱图像的分类性能，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种高光谱遥感图像分类方法、装置、设备及存储介质，可以有效防止细节信息的损失，提升高光谱图像的分类性能。其具体方案如下：
一种高光谱遥感图像分类方法，包括：
采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将所述样本集划分为训练集和测试集；
根据所述训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算所述训练集中每个类别的扩增因子；
根据计算得到的所述扩增因子，采用旋转和插值的方法对所述训练集进行扩增，得到扩增后的训练样本和对应的标签；
以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；
将待测高光谱图像输入至训练好的所述高光谱遥感图像分类模型，对所述待测高光谱图像进行分类。
优选地，在本发明实施例提供的上述高光谱遥感图像分类方法中，所述高光谱遥感图像分类模型包括初始模块、三组交替连接的空谱残差分型模块和空谱维度变换模块、全局特征模块以及输出模块；其中，
所述初始模块，用于提取高光谱图像的底层特征；
所述空谱残差分型模块，用于提取高光谱图像的空谱特征；
所述空谱维度变换模块，用于降低高光谱特征图的维度；
所述全局特征模块，用于将提取的所述底层特征和所述空谱特征进行整合；
所述输出模块，用于输出不同类别的概率。
优选地，在本发明实施例提供的上述高光谱遥感图像分类方法中，所述初始模块由卷积核大小为3×3×3、滑动步长为(2,2,2)的三维卷积、L2正则化层、批归一化层以及ReLU层构成。
优选地，在本发明实施例提供的上述高光谱遥感图像分类方法中，所述空谱残差分型模块由五个子路径组成；其中，两个子路径分别包含两个空谱残差块，剩余的三个路径分别包含一个空谱残差块；
所述空谱残差块的输入经过复合函数后通过跳跃连接的方式与输入进行相加，并通过ReLU函数得到输出；其中，所述复合函数由用于提取高光谱图像的空间特征且卷积核大小为3×3×1的三维卷积、L2正则化层、批归一化层、ReLU层以及用于提取高光谱图像的光谱特征且卷积核大小为1×1×3的三维卷积构成。
优选地，在本发明实施例提供的上述高光谱遥感图像分类方法中，所述空谱维度变换模块由卷积核大小为1×1×1的三维卷积、L2正则化层、滤波器大小为2×2×2的三维平均池化层、批归一化层以及ReLU层构成。
优选地，在本发明实施例提供的上述高光谱遥感图像分类方法中，所述全局特征模块由卷积核大小为1×1×12的三维卷积、L2正则化层、批归一化层、平展操作以及ReLU层构成。
优选地，在本发明实施例提供的上述高光谱遥感图像分类方法中，所述输出模块由全连接操作、L2正则化层以及Dropout层构成。
本发明实施例还提供了一种高光谱遥感图像分类装置，包括：
样本集获取模块，用于采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将所述样本集划分为训练集和测试集；
扩增因子计算模块，用于根据所述训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算所述训练集中每个类别的扩增因子；
数据扩增模块，用于根据计算得到的所述扩增因子，采用旋转和插值的方法对所述训练集进行扩增，得到扩增后的训练样本和对应的标签；
模型构建模块，用于以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；
高光谱分类模块，用于将待测高光谱图像输入至训练好的所述高光谱遥感图像分类模型，对所述待测高光谱图像进行分类。
本发明实施例还提供了一种高光谱遥感图像分类设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述高光谱遥感图像分类方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述高光谱遥感图像分类方法。
从上述技术方案可以看出，本发明所提供的一种高光谱遥感图像分类方法，包括：采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将样本集划分为训练集和测试集；根据训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算训练集中每个类别的扩增因子；根据计算得到的扩增因子，采用旋转和插值的方法对训练集进行扩增，得到扩增后的训练样本和对应的标签；以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；将待测高光谱图像输入至训练好的高光谱遥感图像分类模型，对待测高光谱图像进行分类。
在本发明提出的上述高光谱遥感图像分类方法中，采用了基于高光谱遥感图像的数据平衡策略以及基于三维卷积神经网络的高光谱遥感图像分类模型，数据平衡扩增策略目的在于给不同类别分配不同的扩增因子，并采用旋转和插值的策略来解决高光谱图像中有标签样本少以及类别不平衡的问题，高光谱遥感图像分类模型可以在轻量化参数的情况下充分学习高光谱的空谱信息，并且能够有效地防止细节信息的损失，提升高光谱图像的分类性能。此外，本发明还针对高光谱遥感图像分类方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的高光谱遥感图像分类方法的流程图；
图2为本发明实施例提供的高光谱遥感图像分类模型的结构示意图；
图3为本发明实施例提供的初始模块的结构示意图；
图4为本发明实施例提供的空谱残差块的结构示意图；
图5为本发明实施例提供的空谱残差分型模块的结构示意图；
图6为本发明实施例提供的空谱维度变换模块的结构示意图；
图7为本发明实施例提供的全局特征模块的结构示意图；
图8为本发明实施例提供的输出模块的结构示意图；
图9为本发明实施例提供的高光谱遥感图像分类装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种高光谱遥感图像分类方法，如图1所示，包括以下步骤：
S101、采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将样本集划分为训练集和测试集；
具体地，将高光谱数据以及对应的标签作为输入；为了充分利用高光谱图像的空谱特征，大小为15×15×N的三维立方体作为一个样本；其中，N对应高光谱的波段数，得到样本集S；随机选取样本集S中20％样本作为训练集Strain，剩余样本作为测试集Stest；
S102、根据训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算训练集中每个类别的扩增因子；
具体地，统计训练集Strain中不同类别的样本个数
Figure BDA0002870049330000051
其中，C表示高光谱数据集中类别个数；比较训练集Strain中不同类别的样本个数得到最大值
Figure BDA0002870049330000052
计算每个类别的扩增因子，扩增因子Φ可以由类别个数最大值除以每个类别的个数计算得到：
Figure BDA0002870049330000053
S103、根据计算得到的扩增因子，采用旋转和插值的方法对训练集进行扩增，得到扩增后的训练样本和对应的标签；
需要说明的是，现有的方法只是简单地把训练样本按某一倍数来扩增，而忽略了不同样本数量不平衡的问题，而本申请是采用数据平衡扩增策略来解决有标签样本过少的问题。具体地，训练集中不同的类别按照对应的扩增因子Φ来扩增；在扩增的过程中，对于每个类别，不同类别的扩增因子
Figure BDA0002870049330000054
每增大1，对应类别的样本旋转度数就增加10度，并插值为原始样本大小；
S104、以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；
S105、将待测高光谱图像输入至训练好的高光谱遥感图像分类模型，对待测高光谱图像进行分类。
在本发明实施例提供的上述高光谱遥感图像分类方法中，采用了基于高光谱遥感图像的数据平衡策略以及基于三维卷积神经网络的高光谱遥感图像分类模型，数据平衡扩增策略目的在于给不同类别分配不同的扩增因子，并采用旋转和插值的策略来解决高光谱图像中有标签样本少以及类别不平衡的问题，高光谱遥感图像分类模型可以在轻量化参数的情况下充分学习高光谱的空谱信息，并且能够有效地防止细节信息的损失，提升高光谱图像的分类性能。
进一步地，在具体实施时，在本发明实施例提供的上述高光谱遥感图像分类方法中，如图2所示，高光谱遥感图像分类模型可以包括初始模块、三组交替连接的空谱残差分型模块和空谱维度变换模块、全局特征模块以及输出模块；其中，初始模块，用于提取高光谱图像的粗略的底层特征；空谱残差分型模块，用于提取高光谱图像的精细的空谱特征，有效地保证信息的完整性；空谱维度变换模块，用于降低高光谱特征图的维度；全局特征模块，用于将提取的底层特征和空谱特征进行整合；输出模块，用于输出不同类别的概率。
本发明构建的高光谱遥感图像分类模型可以充分地学习高光谱遥感图像的光谱和空间特征，提升系统的分类性能。需要说明的是，现有的方法只是关注于增加模型的深度而忽略了模型的宽度，容易造成细节信息的丢失，而本发明则考虑到了模型的宽度，以避免细节信息的丢失。另外，模型中也采用了一些优化方法从而能够有效地缓解三维卷积神经网络中由于参数量过多造成的过拟合问题。
具体地，在具体实施时，在本发明实施例提供的上述高光谱遥感图像分类方法中，如图3所示，初始模块可以由卷积核大小为3×3×3、滑动步长为(2,2,2)的三维卷积、L2正则化层、批归一化层以及ReLU层构成；其中，三维卷积用于提取高光谱图像的空谱信息；L2正则化层以及批归一化层用于对模型进行优化；ReLU层用于增强模型的非线性表达能力。
具体地，在具体实施时，在本发明实施例提供的上述高光谱遥感图像分类方法中，空谱残差分型模块可以由五个子路径(包含不同空谱残差块数目)组成，它能够使得模型变得更宽并防止细节信息的丢失；其中，两个子路径分别包含两个空谱残差块，剩余的三个路径分别包含一个空谱残差块。空谱残差块的输入经过复合函数后通过跳跃连接的方式与输入进行相加，并通过一个ReLU函数得到输出；其中，复合函数主要由用于提取高光谱图像的空间特征且卷积核大小为3×3×1的三维卷积、用于降低过拟合问题的L2正则化层、用于增强网络性能的批归一化层、用于增强网络非线性表达能力的ReLU层以及用于提取高光谱图像的光谱特征且卷积核大小为1×1×3的三维卷积构成。通过这种不同卷积核大小将能够提取空间特征以及能够提取光谱特征的三维卷积级联的方式，可以在轻量化参数量的情况下有效地获得高光谱的空谱特征。同时，空谱残差块中的跳跃连接结构能够有效地防止模型加深过程中的梯度消失的问题。
如图4所示，在空谱残差块中，输入Xl经过由3×3×1卷积核构成的三维卷积、L2正则化层、批归一化层、ReLU层、1×1×3卷积核构成的三维卷积、L2正则化层、批归一化层构成的复合函数F(·)与输入通过跳跃连接的方式进行相加，并采用ReLU函数σ(·)进行激活，最终得到输出Xl+1。若R(·)表示空谱残差块的函数，则输出可以采用如下式子表示：
Xl+1＝R(Xl)＝σ[F(Xl)+Xl]
其中，卷积核为3×3×1的三维卷积用于提取高光谱图像的空间特征，卷积核为1×1×3的三维卷积用于提取高光谱图像的光谱特征。
如图5所示，空谱残差分型模块由不同数量的空谱残差块连接构成，它能够有效地增加模型的宽度并且防止细节信息的丢失。它由5个子路径构成；其中，子路径①和③分别包含两个空谱残差块；子路径②、④、⑤分别包含一个空谱残差块。在空谱残差分型模块中每个空谱残差块的设置都是相同的，均采用R(·)表示。假设输入为Xf，Xf经过子路径①和子路径②之后，将得到的特征按深度进行连接，获得中间输出Xtemp。Xtemp可由下式计算得到：
Xtemp＝R[R(Xf)]∪R(Xf)
其中，∪表示连接操作。之后，Xtemp经过子路径③得到的特征、Xtemp经过子路径④得到的特征以及Xf经过子路径⑤得到的特征按深度进行连接，获得输出Xf+1。Xf+1计算公式如下：
Xf+1＝R[R(Xtemp)]∪R(Xtemp)∪R(Xf)
具体地，在具体实施时，在本发明实施例提供的上述高光谱遥感图像分类方法中，空谱维度变换模块可以由卷积核大小为1×1×1的三维卷积、L2正则化层、滤波器大小为2×2×2的三维平均池化层、批归一化层以及ReLU层构成。如图6所示，假设输入为Xd，经过卷积核大小为1×1×1的三维卷积、L2正则化层、滤波器大小为2×2×2的三维平均池化层、批归一化层、ReLU层之后得到输出Xd+1。其中，三维卷积用于降低特征图的数量，L2正则化层用于缓解过拟合问题，三维平均池化层用于降低特征图的大小，批归一化层用于对于提出模型进行优化。这样的空谱维度变换模块不仅能够降低高光谱特征图的数量还能有效地降低特征图的维度。
具体地，在具体实施时，在本发明实施例提供的上述高光谱遥感图像分类方法中，如图7所示，全局特征模块可以由卷积核大小为1×1×12的三维卷积、L2正则化层、批归一化层、平展操作以及ReLU层构成。全局特征模块可以将高光谱特征汇聚为一维向量。
具体地，在具体实施时，在本发明实施例提供的上述高光谱遥感图像分类方法中，如图8所示，输出模块可以由全连接操作、L2正则化层以及Dropout层构成；其中，L2正则化层以及Dropout层都是为了缓解三维卷积神经网络由于参数量过大造成的过拟合问题。
基于同一发明构思，本发明实施例还提供了一种高光谱遥感图像分类装置，由于该装置解决问题的原理与前述一种高光谱遥感图像分类方法相似，因此该装置的实施可以参见高光谱遥感图像分类方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的高光谱遥感图像分类装置，如图9所示，具体包括：
样本集获取模块11，用于采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将样本集划分为训练集和测试集；
扩增因子计算模块12，用于根据训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算训练集中每个类别的扩增因子；
数据扩增模块13，用于根据计算得到的扩增因子，采用旋转和插值的方法对训练集进行扩增，得到扩增后的训练样本和对应的标签；
模型构建模块14，用于以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；
高光谱分类模块15，用于将待测高光谱图像输入至训练好的高光谱遥感图像分类模型，对待测高光谱图像进行分类。
在本发明实施例提供的上述高光谱遥感图像分类装置中，可以通过上述五个模块的相互作用，给不同类别分配不同的扩增因子，并采用旋转和插值的策略来解决高光谱图像中有标签样本少以及类别不平衡的问题，训练的高光谱遥感图像分类模型可以在轻量化参数的情况下充分学习高光谱的空谱信息，并且能够有效地防止细节信息的损失，提升高光谱图像的分类性能。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种高光谱遥感图像分类设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的高光谱遥感图像分类方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的高光谱遥感图像分类方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
在实际应用中，本发明的硬件实施平台可以为基于Tesla V100 GPU以及XeonGold 6139CPU的服务器；软件实施平台可以为带有Python3.6.9、Tensorflow1.13.1以及Cuda10.0.13的Ubuntu18.04系统。
为了对验证本发明的性能，在Indian pines数据集、Pavia University数据集以及Kennedy Space Center数据集上进行了实验，并采用了总体准确率、平均准确率、kappa系数来进行评价。表一是本发明系统在Indian pines数据集上与不同方法分类结果对比结果；表二是本发明系统在Pavia University数据集上与不同方法分类结果对比结果；表三是本发明系统在Kennedy Space Center数据集上与不同方法分类结果对比结果，具体如下：
表一
Figure BDA0002870049330000101
表二
Figure BDA0002870049330000102
表三
Figure BDA0002870049330000111
在表一、表二和表三中，Decision Tree、Naive Bayes、KNN、SVM均属于传统的高光谱分类方法；1-D CNN、2-D CNN、3-D CNN、HybridSN、SSRN均属于基于深度学习的高光谱分类方法。从图中可以看出，本发明的总体准确率、平均准确率、kappa系数均超过99％，优于传统的高光谱分类方法以及部分基于深度学习的高光谱分类方法，达到了目前该领域的领先水平。也就是说，本发明提出的高光谱分类系统在三个基准的高光谱数据集——IndianPines数据集、Pavia University数据集以及Kennedy Space Center数据集上均达到了该领域的领先水平。
综上，本发明实施例提供的一种高光谱遥感图像分类方法，包括：采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将样本集划分为训练集和测试集；根据训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算训练集中每个类别的扩增因子；根据计算得到的扩增因子，采用旋转和插值的方法对训练集进行扩增，得到扩增后的训练样本和对应的标签；以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；将待测高光谱图像输入至训练好的高光谱遥感图像分类模型，对待测高光谱图像进行分类。在该方法中，采用了基于高光谱遥感图像的数据平衡策略以及基于三维卷积神经网络的高光谱遥感图像分类模型，数据平衡扩增策略目的在于给不同类别分配不同的扩增因子，并采用旋转和插值的策略来解决高光谱图像中有标签样本少以及类别不平衡的问题，高光谱遥感图像分类模型可以在轻量化参数的情况下充分学习高光谱的空谱信息，并且能够有效地防止细节信息的损失。此外，本发明还针对高光谱遥感图像分类方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的高光谱遥感图像分类方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种高光谱遥感图像分类方法，其特征在于，包括：
采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将所述样本集划分为训练集和测试集；
根据所述训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算所述训练集中每个类别的扩增因子；
根据计算得到的所述扩增因子，采用旋转和插值的方法对所述训练集进行扩增，得到扩增后的训练样本和对应的标签；
以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；
将待测高光谱图像输入至训练好的所述高光谱遥感图像分类模型，对所述待测高光谱图像进行分类。
2.根据权利要求1所述的高光谱遥感图像分类方法，其特征在于，所述高光谱遥感图像分类模型包括初始模块、三组交替连接的空谱残差分型模块和空谱维度变换模块、全局特征模块以及输出模块；其中，
所述初始模块，用于提取高光谱图像的底层特征；
所述空谱残差分型模块，用于提取高光谱图像的空谱特征；
所述空谱维度变换模块，用于降低高光谱特征图的维度；
所述全局特征模块，用于将提取的所述底层特征和所述空谱特征进行整合；
所述输出模块，用于输出不同类别的概率。
3.根据权利要求2所述的高光谱遥感图像分类方法，其特征在于，所述初始模块由卷积核大小为3×3×3、滑动步长为(2,2,2)的三维卷积、L2正则化层、批归一化层以及ReLU层构成。
4.根据权利要求2所述的高光谱遥感图像分类方法，其特征在于，所述空谱残差分型模块由五个子路径组成；其中，两个子路径分别包含两个空谱残差块，剩余的三个路径分别包含一个空谱残差块；
所述空谱残差块的输入经过复合函数后通过跳跃连接的方式与输入进行相加，并通过ReLU函数得到输出；其中，所述复合函数由用于提取高光谱图像的空间特征且卷积核大小为3×3×1的三维卷积、L2正则化层、批归一化层、ReLU层以及用于提取高光谱图像的光谱特征且卷积核大小为1×1×3的三维卷积构成。
5.根据权利要求2所述的高光谱遥感图像分类方法，其特征在于，所述空谱维度变换模块由卷积核大小为1×1×1的三维卷积、L2正则化层、滤波器大小为2×2×2的三维平均池化层、批归一化层以及ReLU层构成。
6.根据权利要求2所述的高光谱遥感图像分类方法，其特征在于，所述全局特征模块由卷积核大小为1×1×12的三维卷积、L2正则化层、批归一化层、平展操作以及ReLU层构成。
7.根据权利要求2所述的高光谱遥感图像分类方法，其特征在于，所述输出模块由全连接操作、L2正则化层以及Dropout层构成。
8.一种高光谱遥感图像分类装置，其特征在于，包括：
样本集获取模块，用于采集高光谱数据以及对应的标签，获取三维数据立方体作为样本集，并将所述样本集划分为训练集和测试集；
扩增因子计算模块，用于根据所述训练集中不同类别的样本个数中的最大值和每个类别的样本个数，计算所述训练集中每个类别的扩增因子；
数据扩增模块，用于根据计算得到的所述扩增因子，采用旋转和插值的方法对所述训练集进行扩增，得到扩增后的训练样本和对应的标签；
模型构建模块，用于以扩增后的训练样本和对应的标签为输入，以不同类别的概率为输出，构建并训练高光谱遥感图像分类模型；
高光谱分类模块，用于将待测高光谱图像输入至训练好的所述高光谱遥感图像分类模型，对所述待测高光谱图像进行分类。
9.一种高光谱遥感图像分类设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的高光谱遥感图像分类方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的高光谱遥感图像分类方法。
CN202011604177.4A 2020-12-29 2020-12-29 一种高光谱遥感图像分类方法、装置、设备及存储介质 Active CN112633401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011604177.4A CN112633401B (zh) 2020-12-29 2020-12-29 一种高光谱遥感图像分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011604177.4A CN112633401B (zh) 2020-12-29 2020-12-29 一种高光谱遥感图像分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112633401A true CN112633401A (zh) 2021-04-09
CN112633401B CN112633401B (zh) 2022-11-08

Family

ID=75287535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011604177.4A Active CN112633401B (zh) 2020-12-29 2020-12-29 一种高光谱遥感图像分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112633401B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516191A (zh) * 2021-07-19 2021-10-19 海南长光卫星信息技术有限公司 一种高光谱遥感影像半监督分类方法、装置、设备及介质
CN113535549A (zh) * 2021-06-22 2021-10-22 科大讯飞股份有限公司 测试数据的扩充方法、装置、设备及计算机可读存储介质
CN115187870A (zh) * 2022-09-13 2022-10-14 浙江蓝景科技有限公司杭州分公司 海洋塑料垃圾材质识别方法、系统、电子设备和存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106327A1 (en) * 2013-01-04 2014-07-10 Mediatek Singapore Pte. Ltd. Method and apparatus for inter-view residual prediction in multiview video coding
CN108491849A (zh) * 2018-03-23 2018-09-04 上海理工大学 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109871830A (zh) * 2019-03-15 2019-06-11 中国人民解放军国防科技大学 基于三维深度残差网络的空谱融合高光谱图像分类方法
CN110232361A (zh) * 2019-06-18 2019-09-13 中国科学院合肥物质科学研究院 基于三维残差稠密网络的人体行为意图识别方法与系统
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
CN110852369A (zh) * 2019-11-06 2020-02-28 西北工业大学 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN110866552A (zh) * 2019-11-06 2020-03-06 西北工业大学 基于全卷积空间传播网络的高光谱图像分类方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111476178A (zh) * 2020-04-10 2020-07-31 大连海事大学 一种基于2d-3d cnn的微表情识别方法
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN111814865A (zh) * 2020-07-02 2020-10-23 苏州交驰人工智能研究院有限公司 一种图像识别方法、装置、设备及存储介质
CN112101271A (zh) * 2020-09-23 2020-12-18 台州学院 一种高光谱遥感影像分类方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106327A1 (en) * 2013-01-04 2014-07-10 Mediatek Singapore Pte. Ltd. Method and apparatus for inter-view residual prediction in multiview video coding
CN108491849A (zh) * 2018-03-23 2018-09-04 上海理工大学 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109871830A (zh) * 2019-03-15 2019-06-11 中国人民解放军国防科技大学 基于三维深度残差网络的空谱融合高光谱图像分类方法
CN110232361A (zh) * 2019-06-18 2019-09-13 中国科学院合肥物质科学研究院 基于三维残差稠密网络的人体行为意图识别方法与系统
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
CN110852369A (zh) * 2019-11-06 2020-02-28 西北工业大学 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN110866552A (zh) * 2019-11-06 2020-03-06 西北工业大学 基于全卷积空间传播网络的高光谱图像分类方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111476178A (zh) * 2020-04-10 2020-07-31 大连海事大学 一种基于2d-3d cnn的微表情识别方法
CN111814865A (zh) * 2020-07-02 2020-10-23 苏州交驰人工智能研究院有限公司 一种图像识别方法、装置、设备及存储介质
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112101271A (zh) * 2020-09-23 2020-12-18 台州学院 一种高光谱遥感影像分类方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BAI YUTONG等: "SSDC-DenseNet: A cost-effective end-to-end spectral-spatial dual-channel dense network for hyperspectral image classification", 《IEEE ACCESS》 *
UM T T等: "Data augmentation of wearable sensor data for parkinson’s disease monitoring using convolutional neural networks", 《PROCEEDINGS OF THE 19TH ACM INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION》 *
ZHANG XIN等: "Spectral–Spatial Fractal Residual Convolutional Neural Network With Data Balance Augmentation for Hyperspectral Classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
ZHANG XIN等: "SSDANet: Spectral-Spatial Three-Dimensional Convolutional Neural Network for Hyperspectral Image Classification", 《IEEE ACCESS》 *
刘冰等: "联合空-谱信息的高光谱影像深度三维卷积网络分类", 《测绘学报》 *
张欣: "基于三维卷积神经网络的高光谱遥感图像分类技术研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 *
龚祎垄等: "针对TT100K交通标志数据集的扩增策略", 《福建电脑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535549A (zh) * 2021-06-22 2021-10-22 科大讯飞股份有限公司 测试数据的扩充方法、装置、设备及计算机可读存储介质
CN113516191A (zh) * 2021-07-19 2021-10-19 海南长光卫星信息技术有限公司 一种高光谱遥感影像半监督分类方法、装置、设备及介质
CN115187870A (zh) * 2022-09-13 2022-10-14 浙江蓝景科技有限公司杭州分公司 海洋塑料垃圾材质识别方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN112633401B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN112633401B (zh) 一种高光谱遥感图像分类方法、装置、设备及存储介质
CN109344618B (zh) 一种基于深度森林的恶意代码分类方法
Jia et al. Feature mining for hyperspectral image classification
WO2018112900A1 (zh) 一种车牌识别方法及装置、用户设备
CN102938072B (zh) 一种基于分块低秩张量分析的高光谱图像降维和分类方法
Champagne et al. A bootstrap method for assessing classification accuracy and confidence for agricultural land use mapping in Canada
CN108197650B (zh) 局部相似性保持的高光谱图像极限学习机聚类方法
CN103632155B (zh) 基于慢特征分析的遥感影像变化检测方法
Bouaziz et al. Semiautomatic approach for land cover classification: a remote sensing study for arid climate in southeastern Tunisia
CN111191735B (zh) 基于数据差异和多尺度特征的卷积神经网络影像分类方法
Lavanya et al. An improved band selection technique for hyperspectral data using factor analysis
CN103500343A (zh) 基于mnf变换结合扩展属性滤波的高光谱影像分类方法
CN114529826B (zh) 一种基于遥感影像数据的水稻估产方法、装置及设备
CN111474117A (zh) 作物病害监测的方法及装置
Mantripragada et al. The effects of spectral dimensionality reduction on hyperspectral pixel classification: A case study
Datta et al. Computational intelligence for observation and monitoring: a case study of imbalanced hyperspectral image data classification
CN112434662A (zh) 一种基于多尺度卷积神经网络的茶叶病斑自动识别算法
AlAfandy et al. Artificial neural networks optimization and convolution neural networks to classifying images in remote sensing: A review
CN105046286A (zh) 基于自动视图生成和联合l1，2范数最小化的监督多视图特征选择方法
CN111199251A (zh) 一种基于加权邻域的多尺度高光谱图像分类方法
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
Lin et al. Hyperspectral estimation of soil composition contents based on kernel principal component analysis and machine learning model
CN115019215A (zh) 一种基于高光谱图像的大豆病虫害识别方法和装置
Medjahed et al. A hybrid approach for supervised spectral band selection in hyperspectral images classification
Bao et al. Hyperspectral unmixing algorithm based on nonnegative matrix factorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant