CN111126256A - 一种基于自适应空谱多尺度网络的高光谱图像分类方法 - Google Patents

一种基于自适应空谱多尺度网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN111126256A
CN111126256A CN201911336874.3A CN201911336874A CN111126256A CN 111126256 A CN111126256 A CN 111126256A CN 201911336874 A CN201911336874 A CN 201911336874A CN 111126256 A CN111126256 A CN 111126256A
Authority
CN
China
Prior art keywords
spatial
data
hyperspectral image
network
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911336874.3A
Other languages
English (en)
Other versions
CN111126256B (zh
Inventor
杜博
王迪
张良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201911336874.3A priority Critical patent/CN111126256B/zh
Publication of CN111126256A publication Critical patent/CN111126256A/zh
Application granted granted Critical
Publication of CN111126256B publication Critical patent/CN111126256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本发明公开了一种基于自适应空谱多尺度网络的高光谱图像分类方法，包括训练阶段和预测阶段。训练阶段包括图像预处理，样本的选取和网络训练。首先将高光谱图像进行降维处理。在样本选取阶段，从原始和降维高光谱图像上每类随机选取适当比例的带有标记的样本，然后使用设计好网络进行训练。在预测阶段，直接将整幅图像输入网络后得到最终的分类结果。

Description

一种基于自适应空谱多尺度网络的高光谱图像分类方法
技术领域
本发明属于遥感影像处理技术领域，尤其涉及一种基于自适应空谱多尺度网络方法。
背景技术
随着传感器技术的发展，可以获得每个像素具有数百个通道的高光谱图像，它包含非常丰富的信息。对高光谱图像进行土地覆盖分类一直是近年来的热点问题，它的目标是对高光谱图像中的每一个像元赋予一个唯一的语义标签，进而生成一幅精确完整的分类图。这种分类图可以为农业，环境监测，材料分析等行业的决策者提供指导。然而，由于高光谱图像本身所存在的光谱和空间结构的复杂性，使得这一任务仍然具有一定挑战性。
传统的分类方法直接将原始光谱向量输入到分类器中。这意味着分类器在高维特征空间直接处理这上百个波段的特征。然而，高光谱图像往往数据量有限，有限的样本在高维空间中分布的极为稀疏，并且这种稀疏程度随特征维数增加而增大，这对分类器判别样本的类别造成了困难，从而造成了分类精度的下降，这种现象叫维数灾难。除此以外，高光谱图像还具有像素间光谱冗余及空间变异如同物异谱等问题，这些都会对分类精度造成影响。。
近年来，利用深度神经网络自动获取出目标深层特征的“深度学习”方法逐渐显示出其强大的威力，其不仅在计算机视觉领域崭露头角并逐渐占据主流，也被应用于高光谱分类领域并且取得了非常好的效果。卷积神经网络则由于其具有局部感知和权重共享的良好特性，在提取特征时不破坏原有的空间结构，因此得到了人们的广泛关注。除了将高光谱图像的像元作为光谱向量处理以外，因为高光谱图像中包含数百个波段，这些波段往往在狭窄的波长范围内，这意味着相近波段之间可能会存在关联，这一思想催生了将高光谱图像作为序列数据进行处理的一系列模型。此类模型旨在提取上下文信息来丰富提取到的特征。
然而，上述工作最终提取到的特征是往往单一尺度的，这意味着输入分类器的特征图中每一个像素的感受野大小均相同，这限制了分类精度的提高，而地物不论怎样缩放其类别应该是保持不变的，因此不同尺度特征应该被考虑在内，这有助于提高模型的鲁棒性。此外，在深度学习发展起来以后，已经有大量工作利用空谱融合网络进行高光谱分类，然而，这些工作在空间部分存在一个共性就是单纯依赖CNN局部感知的能力，在CNN的卷积操作中，相邻像素值是利用点乘并行处理的，这意味着CNN难以感知到相邻像元间存在的空间上下文信息，这限制了分类精度的提高。
发明内容
针对现有技术存在的不足，本发明提供了一种高精度基于自适应空谱多尺度网络的高光谱图像分类方法。
本发明提供一种基于自适应空谱多尺度网络的高光谱遥感图像分类方法，该方法主要包含光谱特征提取与空间特征提取两个分支，并将两个分支的特征进行融合，实现空谱联合分类。在空间特征提取部分，在已有的多尺度特征提取的基础上，添加了空间上下文信息提取部分，提取出更有效的多尺度空间上下文特征。在光谱特征提取部分，针对卷积神经网络中信息传播的特性，添加了光谱上下文信息提取分支，获得了更有效的多尺度光谱上下文特征。最后，提出了一种有效的特征融合手段将提取出的光谱与空间特征结合起来联合分类，进一步改善了高光谱图像分类效果。本发明具体包括以下步骤：
步骤1，将高光谱图像复制一份，取其中一份数据进行归一化处理；
步骤2，从步骤1的另一份高光谱图像，使用PCA进行降维处理，并进行归一化，接着采用镜像方式进行边界延展；
步骤3，获取空间数据块，从降维并归一化后的高光谱图像中分别提取以待分类像元为中心的w×w×k邻域范围内的数据块Pw×w×k作为输入的空间特征，k是降维后高光谱图像通道数，
步骤4，获取光谱数据，将步骤1中高光谱图像中每个像元所在处的1×1×L维度的向量作为该像元的光谱特征，L数据的通道数；
步骤5，将步骤3、4中提取的含有标签的数据中随机抽取一部分数据作为训练集，剩下的数据则用于处理待分类像元；
步骤6，构建自适应空谱多尺度网络，分为光谱特征提取分支和空间特征提分支，其中光谱特征提取分支的输入为原始的光谱数据，输出为光谱特征Vspec；空间特征提取分支的输入为空间数据块，输出为空间特征Vspat；
然后将Vspec与Vspat分别通过一个全连接层，得到分数向量Uspec与Uspat，将二者进行特征加权，得到高光谱图像空谱分数向量Uss，最后再经过一个softmax得到分类图；
步骤7，利用训练数据对上述网络进行训练，网络参数采用Xavier初始化，参数优化时则采用带有动量的随机梯度下降法最小化网络的损失函数，训练完成后，该网络能够有效提取高光谱图像的空谱特征并进行分类；
步骤8，将待分类数据输入训练好的网络，完成高光谱图像全图的分类。
进一步的，步骤1中归一化处理的方式如下，
Figure BDA0002331206270000031
其中xijc表示高光谱数据S1中像元xij在波段c处的值，xcmin,xcmax则是S1中波段c的最小值与最大值。
进一步的，步骤2的具体实现方式如下，
设高光谱数据为S2，首先进行PCA降维，并采用步骤1方式进行归一化，接着采用镜像方式先进行上下翻转与左右翻转分别得到
Figure BDA0002331206270000032
与
Figure BDA0002331206270000033
将
Figure BDA0002331206270000034
左右翻转或者将
Figure BDA0002331206270000035
上下翻转得到
Figure BDA0002331206270000036
根据
Figure BDA0002331206270000037
Figure BDA0002331206270000038
和
Figure BDA0002331206270000039
按如下方式拼接得到大图
Figure BDA00023312062700000310
从
Figure BDA00023312062700000311
截取以S2为中心的图像，截取边界拓展若干个像素的图像S′2；
Figure BDA00023312062700000312
进一步的，步骤5中光谱特征提取分支包括若干一维卷积层，优选三层，每层卷积层后接一个一维池化层，然后再把每个池化层后的特征图分组送入一维序列模型，优选LSTM；另外将原始光谱数据不分组也直接输入LSTM；将从LSTM输出的所有特征相加，并通过一层全连接层后得到光谱特征Vspec。
进一步的，步骤5中空间特征提取分支包含偶数个卷积层，优选六个，其顺序为卷积-扩张卷积-卷积-扩张卷积-卷积-扩张卷积，每个扩张卷积层后均有一个空间上下文信息提取分支，首先将数据块Pw×w×k通过上述卷积层生成特征图，然后将经过每个扩张卷积层后的特征图输入空间上下文信息提取分支；
所述空间上下文信息提取分支包含空间分组和空间上下文信息提取两部分：首先对特征图在空间维上进行分组，具体如下，假设特征图尺寸为H×W×C，假设在行列方向分别分t组，则最终会得到t2组，且分组后每个时间步输入多维序列模型的特征图大小为
Figure BDA0002331206270000041
多维序列模型优选为ConvLSTM；空间分组完毕后，接下来确定将各组在不同时间步输入ConvLSTM的顺序：首先利用t个具有t时间步的ConvLSTM在列方向上提取行方向t个组的特征；接着再利用1个具有t个时间步ConvLSTM在行方向上提取列方向的已获得的上下文信息的上下文信息，完成整个特征图空间上下文信息的提取；将所有分支经过ConvLSTM提取出的空间上下文特征展平，并分别输入不同的全连接层中，再将这些全连接层的输出相加，然后再经过一个全连接层，得到最终的空间特征Vspat。
进一步的，步骤7中网络的整体损失函数为如下，
L＝Lss+Lspec+Lspat
其中Lss、Lspec和Lspat分别是通过Uss,Uspec与Uspat计算得到的loss，L■均为交叉熵损失函数，■＝ss、spec或spat；
Figure BDA0002331206270000042
其中
Figure BDA0002331206270000046
是输出的样本i的概率向量，大小为1×C，N为训练样本数，C为类别数，
Figure BDA0002331206270000043
是
Figure BDA0002331206270000044
的第j个值，
Figure BDA0002331206270000045
yi是样本i真实类别标签的独热编码。
本发明的有益效果为：
(1)本发明提出了光谱多尺度提取模型，在光谱上下文信息提取的基础上获得多尺度特征，提升了模型鲁棒性。
(2)本发明提出了空间上下文信息提取模块，该模块能够在大尺寸空间块上提取空间上下文信息。
(3)本发明提出了一种有效的特征融合方式，能够有效的增强网络的数据表征能力。
(4)本发明基于上述模型构建了多尺度空谱联合分类框架，端到端的实现了高精度的高光谱图像分类。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明光谱特征提取示意图；
图3为本发明空间特征提取示意图；
图4为本发明的自适应空谱多尺度联合分类框架。
图5为本发明空间上下文信息提取分支中空间分组的示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明技术方案，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明公开了一种基于自适应空谱多尺度网络的高光谱图像分类方法，包括训练阶段和预测阶段。训练阶段包括图像预处理，样本的选取和网络训练。首先将高光谱图像进行降维处理。在样本选取阶段，从原始和降维高光谱图像上每类随机选取适当比例的带有标记的样本，然后使用设计好网络进行训练。在预测阶段，直接将整幅图像输入网络后得到最终的分类结果。包括以下步骤：
步骤1：将高光谱数据S1复制一份得到S2，对S1按公式
Figure BDA0002331206270000051
进行归一化处理，其中xijc表示S1中像元xij在波段c处的值,xcmin,xcmax则是S1中波段c的最小值与最大值，得到S′1。
步骤2：对S2首先进行PCA降维，优选降至4维，并采用步骤1方式进行归一化，接着采用镜像方式先进行上下翻转与左右翻转分别得到
Figure BDA0002331206270000052
与
Figure BDA0002331206270000053
将
Figure BDA0002331206270000054
左右翻转或者将
Figure BDA0002331206270000055
上下翻转得到
Figure BDA0002331206270000056
根据
Figure BDA0002331206270000057
Figure BDA0002331206270000058
和
Figure BDA0002331206270000059
按如下方式拼接得到大图
Figure BDA00023312062700000510
从
Figure BDA00023312062700000511
截取以S2为中心的图像，优选截取边界拓展13个像素的图像S′2。
Figure BDA00023312062700000512
步骤3：获取空间数据块，从S′2中分别提取以待分类像元为中心的w×w×k邻域范围内的数据块Pw×w×k作为空间分支的输入数据，w建议取27，k是S′2通道数。
步骤4：获取光谱数据，将S′1中每个像元所在处的1×1×L维度的向量作为该像元的光谱分支输入，L为S′1通道数。
步骤5：将步骤3、4中提取的含有标签的数据中随机抽取一半或少于一半的数据作为训练集，剩下的数据则用于处理待分类像元。
步骤6：构建自适应空谱多尺度网络，网络整体结构分为特征提取和分类两部分，而特征提取又分为光谱特征提取和空间特征提取两个分支，其中光谱特征提取分支是直接将输入的原始光谱特征通过若干一维卷积层，优选三层(单核，优选建议size＝3,padding＝1)，每层卷积层后接一个一维池化层(优选size＝2,stride＝2)，然后再把每个池化层后的特征图分组送入一维序列模型，优选LSTM(隐层神经元数均相同，优选128)，分组方式详见文献(Xu et al,“Spectral-spatial unified networks for hyperspectral imageclassification,”IEEE Transactions on Geoscience and Remote Sensing.2018.)，另外将原始光谱向量不分组直接输入LSTM，将从LSTM输出的所有特征相加，并通过一层全连接层(神经元个数同上)后得到光谱特征Vspec；空间特征提取分支包含偶数个卷积层，优选六个。其顺序为卷积-扩张卷积-卷积-扩张卷积-卷积-扩张卷积(每层卷积核数相同，优选32，建议kernel size＝3。为了保证特征图大小不变，普通卷积中的padding建议为1，扩张卷积的padding则优选取2，扩张卷积的扩张率则建议为2)，每个扩张卷积层后均有一个空间上下文信息提取分支：首先将数据块Pw×w×k通过上述卷积层生成特征图，然后将经过每个扩张卷积层后的特征图输入空间上下文信息提取分支。
空间上下文信息提取分支包含空间分组和空间上下文信息提取两部分：首先对特征图在空间维上进行分组。具体如下，假设特征图尺寸为H×W×C，通常H＝W，假设在行列方向分别分t组，则最终会得到t2组，且分组后每个时间步输入多维序列模型，优选ConvLSTM(卷积核设置与普通卷积层相同)的特征图大小为
Figure BDA0002331206270000061
图5展示了一个4×4大小的特征图在行列方向均分两组的情况，最终将得到4组，如(C)所示，表中数字代表各像素所属的组别号。其可以看做先在行方向上分两组(A)，再在列方向分两组(B)。空间分组完毕后，接下来确定将各组在不同时间步输入ConvLSTM的顺序：首先利用t个具有t时间步的ConvLSTM在列方向上提取行方向t个组的特征(上例中t＝2，第一个ConvLSTM的两个时间步输入分别为：[组1，组2]，第二个ConvLSTM的两个时间步输入分别为[组3，组4])。接着再利用1个具有t个时间步ConvLSTM在行方向上提取列方向的已获得的上下文信息的上下文信息，这样就完成了整个特征图空间上下文信息的提取。将所有分支经过ConvLSTM提取出的空间上下文特征展平，并分别输入不同的全连接层中(神经元个数优选128)，再将这些全连接层的输出相加，然后再经过一个全连接层(神经元个数优选128)，得到最终的空间特征Vspat，然后将Vspec与Vspat分别通过一个全连接层(神经元个数等于类别数C)得到将分数向量Uspec与Uspat，将二者按下式结合得到高光谱图像空谱分数向量Uss：
Uss＝Fs(m)Uspec+(1-Fs(m))Uspat
其中m为权重系数，可以通过网络学习获得，而
Figure BDA0002331206270000071
至此特征提取阶段结束。
分类阶段包括三层softmax分类层，分别对应于Uspec,Uspat与Uss。网络除了LSTM和ConvLSTM，空间部分所有的卷积、扩张卷积和最后全连接层，以及光谱部分最后的全连接层之后连接激励函数ReLU；网络的整体运算过程由前向运算，误差计算，反向传播，参数更新四部分构成。
步骤7：利用训练数据对上述网络进行训练，网络参数采用Xavier初始化，参数优化时则采用带有动量的随机梯度下降法最小化网络的损失函数，训练完成后该网络能够有效提取高光谱图像的多尺度空谱上下文特征并进行分类。
网络的整体损失为：
L＝Lss+Lspec+Lspat
其中Lss、Lspec和Lspat分别是通过Uss,Uspec与Uspat计算得到的loss，L■均为交叉熵损失函数(■＝ss、spec或spat)
Figure BDA0002331206270000081
其中
Figure BDA0002331206270000082
是最后一层全连接层输出的样本i的概率向量，大小为1×C。N为训练样本数，C为类别数，
Figure BDA0002331206270000083
是
Figure BDA0002331206270000084
的第j个值，
Figure BDA0002331206270000085
yi是样本i真实类别标签的独热编码。
步骤8：将待分类的数据输入训练好的网络，完成高光谱图像全图的分类。
以上是本发明涉及的高光谱图像分类方法的具体实现步骤。整个流程综合考虑了数据预处理、多尺度空谱特征提取，及分类过程。通过构建端到端网络，实现高光谱图像的高精度分类。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于，包含以下步骤：
步骤1，将高光谱图像复制一份，取其中一份数据进行归一化处理；
步骤2，从步骤1的另一份高光谱图像，使用PCA进行降维处理，并进行归一化，接着采用镜像方式进行边界延展；
步骤3，获取空间数据块，从降维并归一化后的高光谱图像中分别提取以待分类像元为中心的w×w×k邻域范围内的数据块Pw×w×k作为输入的空间特征，k是降维后高光谱图像通道数，
步骤4，获取光谱数据，将步骤1中高光谱图像中每个像元所在处的1×1×L维度的向量作为该像元的光谱特征，L数据的通道数；
步骤5，将步骤3、4中提取的含有标签的数据中随机抽取一部分数据作为训练集，剩下的数据则用于处理待分类像元；
步骤6，构建自适应空谱多尺度网络，分为光谱特征提取分支和空间特征提分支，其中光谱特征提取分支的输入为原始的光谱数据，输出为光谱特征Vspec；空间特征提取分支的输入为空间数据块，输出为空间特征Vspat；
然后将Vspec与Vspat分别通过一个全连接层，得到分数向量Uspec与Uspat，将二者进行特征加权，得到高光谱图像空谱分数向量Uss，最后再经过一个softmax得到分类图；
步骤7，利用训练数据对上述网络进行训练，网络参数采用Xavier初始化，参数优化时则采用带有动量的随机梯度下降法最小化网络的损失函数，训练完成后，该网络能够有效提取高光谱图像的空谱特征并进行分类；
步骤8，将待分类数据输入训练好的网络，完成高光谱图像全图的分类。
2.如权利要求1所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：步骤1中归一化处理的方式如下，
Figure FDA0002331206260000011
其中xijc表示高光谱数据S1中像元xij在波段c处的值，xcmin,xcmax则是S1中波段c的最小值与最大值。
3.如权利要求1所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：步骤2的具体实现方式如下，
设高光谱数据为S2，首先进行PCA降维，并采用步骤1方式进行归一化，接着采用镜像方式先进行上下翻转与左右翻转分别得到
Figure FDA0002331206260000021
与
Figure FDA0002331206260000022
将
Figure FDA0002331206260000023
左右翻转或者将
Figure FDA0002331206260000024
上下翻转得到
Figure FDA0002331206260000025
根据
Figure FDA0002331206260000026
和
Figure FDA0002331206260000027
按如下方式拼接得到大图
Figure FDA0002331206260000028
从
Figure FDA0002331206260000029
截取以S2为中心的图像，截取边界拓展若干个像素的图像S2 ′；
Figure FDA00023312062600000210
4.如权利要求1所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：步骤5中光谱特征提取分支包括p个一维卷积层，每层卷积层后接一个一维池化层，然后再把每个池化层后的特征图分组送入一维序列模型；另外将原始光谱数据不分组也直接输入一维序列模型；将从一维序列模型输出的所有特征相加，并通过一层全连接层后得到光谱特征Vspec。
5.如权利要求4所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：所述p为3，所述一维序列模型为LSTM。
6.如权利要求1所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：步骤5中空间特征提取分支包含偶数个卷积层，包含q个卷积层-扩张卷积层单元，每个扩张卷积层后均有一个空间上下文信息提取分支，首先将数据块Pw×w×k通过上述卷积层生成特征图，然后将经过每个扩张卷积层后的特征图输入空间上下文信息提取分支；
所述空间上下文信息提取分支包含空间分组和空间上下文信息提取两部分：首先对特征图在空间维上进行分组，具体如下，假设特征图尺寸为H×W×C，假设在行列方向分别分t组，则最终会得到t2组，且分组后每个时间步输入多维序列模型的特征图大小为
Figure FDA00023312062600000211
空间分组完毕后，接下来确定将各组在不同时间步输入多维序列模型的顺序：首先利用t个具有t时间步的多维序列模型在列方向上提取行方向t个组的特征；接着再利用1个具有t个时间步多维序列模型在行方向上提取列方向的已获得的上下文信息的上下文信息，完成整个特征图空间上下文信息的提取；将所有分支经过多维序列模型提取出的空间上下文特征展平，并分别输入不同的全连接层中，再将这些全连接层的输出相加，然后再经过一个全连接层，得到最终的空间特征Vspat。
7.如权利要求6所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：所述q为3，所述多维序列模型为ConvLSTM。
8.如权利要求1所述的一种基于自适应空谱多尺度网络的高光谱图像分类方法，其特征在于：步骤7中网络的整体损失函数为如下，
L＝Lss+Lspec+Lspat
其中Lss、Lspec和Lspat分别是通过Uss,Uspec与Uspat计算得到的loss，L■均为交叉熵损失函数，■＝ss、spec或spat；
Figure FDA0002331206260000031
其中
Figure FDA0002331206260000032
是输出的样本i的概率向量，大小为1×C，N为训练样本数，C为类别数，
Figure FDA0002331206260000033
是
Figure FDA0002331206260000034
的第j个值，
Figure FDA0002331206260000035
yi是样本i真实类别标签的独热编码。
CN201911336874.3A 2019-12-23 2019-12-23 一种基于自适应空谱多尺度网络的高光谱图像分类方法 Active CN111126256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336874.3A CN111126256B (zh) 2019-12-23 2019-12-23 一种基于自适应空谱多尺度网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336874.3A CN111126256B (zh) 2019-12-23 2019-12-23 一种基于自适应空谱多尺度网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111126256A true CN111126256A (zh) 2020-05-08
CN111126256B CN111126256B (zh) 2022-02-15

Family

ID=70501154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336874.3A Active CN111126256B (zh) 2019-12-23 2019-12-23 一种基于自适应空谱多尺度网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111126256B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738329A (zh) * 2020-06-19 2020-10-02 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN111783865A (zh) * 2020-06-23 2020-10-16 西北工业大学 基于空谱邻域嵌入和最优相似图的高光谱分类方法
CN111865702A (zh) * 2020-08-04 2020-10-30 北京航空航天大学 基于卷积神经网络的网络故障诊断方法及装置
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN112766199A (zh) * 2021-01-26 2021-05-07 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN113128601A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 分类模型的训练方法和对图像进行分类的方法
CN113705641A (zh) * 2021-08-16 2021-11-26 武汉大学 基于富上下文网络的高光谱图像分类方法
CN114112945A (zh) * 2021-12-31 2022-03-01 安徽大学 一种新型巢湖蓝藻水华监测系统
CN114429638A (zh) * 2022-04-06 2022-05-03 四川省大数据中心 一种施工图审查管理系统
CN117274725A (zh) * 2023-11-23 2023-12-22 西南交通大学 基于张量ConvLSTM的高光谱图像分类方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320965A (zh) * 2015-10-23 2016-02-10 西北工业大学 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
WO2018081929A1 (zh) * 2016-11-01 2018-05-11 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN110210313A (zh) * 2019-05-06 2019-09-06 河海大学 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN110298396A (zh) * 2019-06-25 2019-10-01 北京工业大学 基于深度学习多特征融合的高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110598594A (zh) * 2019-08-29 2019-12-20 武汉大学 基于空谱自适应双向长短时记忆模型的高光谱分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320965A (zh) * 2015-10-23 2016-02-10 西北工业大学 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
WO2018081929A1 (zh) * 2016-11-01 2018-05-11 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN110210313A (zh) * 2019-05-06 2019-09-06 河海大学 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN110298396A (zh) * 2019-06-25 2019-10-01 北京工业大学 基于深度学习多特征融合的高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110598594A (zh) * 2019-08-29 2019-12-20 武汉大学 基于空谱自适应双向长短时记忆模型的高光谱分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M. E. PAOLETTI ET.AL: "Multicore implementation of the multi-scale adaptive deep pyramid matching model for remotely sensed image classification", 《2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS)》 *
SHENG WAN ET.AL: "Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classification", 《ARXIV》 *
余立付: "基于深度自编码网络的高光谱图像空谱联合分类", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
徐敏: "基于深度卷积神经网络的高光谱图像分类", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738329A (zh) * 2020-06-19 2020-10-02 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN111783865A (zh) * 2020-06-23 2020-10-16 西北工业大学 基于空谱邻域嵌入和最优相似图的高光谱分类方法
CN111865702A (zh) * 2020-08-04 2020-10-30 北京航空航天大学 基于卷积神经网络的网络故障诊断方法及装置
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112132864B (zh) * 2020-09-21 2024-04-09 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
WO2022160771A1 (zh) * 2021-01-26 2022-08-04 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN112766199A (zh) * 2021-01-26 2021-05-07 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
US11783569B2 (en) 2021-01-26 2023-10-10 Wuhan University Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model
CN112766199B (zh) * 2021-01-26 2022-04-29 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN113128601A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 分类模型的训练方法和对图像进行分类的方法
WO2023019698A1 (zh) * 2021-08-16 2023-02-23 武汉大学 基于富上下文网络的高光谱图像分类方法
CN113705641B (zh) * 2021-08-16 2023-11-10 武汉大学 基于富上下文网络的高光谱图像分类方法
US11941865B2 (en) 2021-08-16 2024-03-26 Wuhan University Hyperspectral image classification method based on context-rich networks
CN113705641A (zh) * 2021-08-16 2021-11-26 武汉大学 基于富上下文网络的高光谱图像分类方法
CN114112945A (zh) * 2021-12-31 2022-03-01 安徽大学 一种新型巢湖蓝藻水华监测系统
CN114429638A (zh) * 2022-04-06 2022-05-03 四川省大数据中心 一种施工图审查管理系统
CN117274725A (zh) * 2023-11-23 2023-12-22 西南交通大学 基于张量ConvLSTM的高光谱图像分类方法和装置
CN117274725B (zh) * 2023-11-23 2024-04-12 西南交通大学 基于张量ConvLSTM的高光谱图像分类方法和装置

Also Published As

Publication number Publication date
CN111126256B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN111126256B (zh) 一种基于自适应空谱多尺度网络的高光谱图像分类方法
US10713563B2 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN110210313B (zh) 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法
CN108052911B (zh) 基于深度学习的多模态遥感影像高层特征融合分类方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
Kang et al. Dual-path network-based hyperspectral image classification
CN108154194B (zh) 一种用基于张量的卷积网络提取高维特征的方法
CN105740894B (zh) 一种高光谱遥感图像的语义标注方法
CN110929697B (zh) 一种基于残差结构的神经网络目标识别方法及系统
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN113486851B (zh) 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
CN111079795B (zh) 基于cnn的分片多尺度特征融合的图像分类方法
CN112348191B (zh) 一种基于多模态表示学习的知识库补全方法
CN112347888A (zh) 基于双向特征迭代融合的遥感图像场景分类方法
Roy et al. Hyperspectral and LiDAR data classification using joint CNNs and morphological feature learning
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
Cao et al. Rotation-based deep forest for hyperspectral imagery classification
CN112200090A (zh) 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN113902622B (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
Lv et al. ESSINet: Efficient spatial–spectral interaction network for hyperspectral image classification
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN115331110A (zh) 遥感高光谱图像与激光雷达图像融合分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant