CN113642445A - 一种基于全卷积神经网络的高光谱影像分类方法 - Google Patents

一种基于全卷积神经网络的高光谱影像分类方法 Download PDF

Info

Publication number
CN113642445A
CN113642445A CN202110903710.5A CN202110903710A CN113642445A CN 113642445 A CN113642445 A CN 113642445A CN 202110903710 A CN202110903710 A CN 202110903710A CN 113642445 A CN113642445 A CN 113642445A
Authority
CN
China
Prior art keywords
layer
channel
neural network
hyperspectral image
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110903710.5A
Other languages
English (en)
Other versions
CN113642445B (zh
Inventor
刘冰
江刚武
孙一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202110903710.5A priority Critical patent/CN113642445B/zh
Publication of CN113642445A publication Critical patent/CN113642445A/zh
Application granted granted Critical
Publication of CN113642445B publication Critical patent/CN113642445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于全卷积神经网络的高光谱影像分类方法,该方法包括获取高光谱影像;将高光谱影像输入训练好的全卷积神经网络模型进行分类获得分类结果,全卷积神经网络模型包括编码器和解码器,编码器用于接收高光谱影像,并对高光谱影像进行高维特征学习,解码器用于对编码器学习的高维特征进行分类,编码器采用包括通道注意力部分和空间注意力部分的通道‑空间注意力模块。在本发明中,通过通道‑空间注意力模块用于对高光谱影像在通道维度和空间维度上增强了特征表达,结合了通道‑空间注意力模块的编码器可以在不经任何预处理的情况下直接对任意尺寸的输入图像进行处理,能够解决现有技术中将原始高光谱数据进行切分处理导致的问题。

Description

一种基于全卷积神经网络的高光谱影像分类方法
技术领域
本发明属于遥感图像处理与应用技术领域,具体涉及一种基于全卷积神经网络的高光谱影像分类方法。
背景技术
高光谱技术是遥感领域的重要组成部分之一。高光谱图像不仅能够提供空间细节信息,而且包含丰富的目标光谱特征,对地物识别和分类具有重要意义。近年来,深度学习在高光谱遥感图像分类领域受到越来越多的关注,并取得了巨大的成功。与传统分类方法相比,基于深度学习的分类方法可以自动提取不同层级的深度特征,通过对网络进行训练来完成分类,以一种更直接的方式实现端到端分类。基于深度学习模型的高光谱影像分类方法,在分类精度上取得了显著的提高。
然而,在现有的方法中,均需要将原始高光谱数据切分成有着固定尺寸的数据立方体作为模型的输入,从而有效提取中心像元的邻域空间信息,从而使得现有的高光谱遥感图像处理存在计算冗余、空间依赖范围限制等问题。
发明内容
本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,用以解决现有技术中将原始高光谱数据进行切分处理导致的问题。
为解决上述技术问题,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,其包括获取高光谱影像;将高光谱影像输入训练好的全卷积神经网络模型进行分类获得分类结果,所述全卷积神经网络模型采用编码器加解码器的架构,所述编码器用于接收高光谱影像,并对所述高光谱影像进行高维特征学习,所述解码器用于对编码器学习的高维特征进行分类,编码器包括多个注意力机制层,各注意力机制层包括多个基础块,各基础块设置有通道-空间注意力模块,各通道-空间注意力模块包括通道注意力部分和空间注意力部分,通道注意力部分用于对通道-空间注意力模块的输入数据分别进行最大池化和平均池化,并分别将最大池化后的结果和平均池化后的结果输入对应的MLP层处理,对经过各自MLP层处理的结果进行加运算,并将加运算的结果与通道-空间注意力模块的输入数据进行乘运算后输入至空间注意力部分,空间注意力部分用于对通道注意力部分的输出结果分别进行最大池化和平均池化,并对最大池化后的结果和平均池化后的结果进行卷积运算,对卷积运算后的结果与通道注意力部分的输出结果进行乘运算,并将乘运算的结果与通道-空间注意力模块的输入数据进行加运算,加运算结果为该通道-空间注意力模块的输出结果。
上述技术方案的有益效果为:由于训练好的全卷积神经网络模型包括编码器,编码器包括多个注意力机制层,各注意力机制层包括多个基础块,各基础块包括通道-空间注意力模块,各通道-空间注意力模块包括通道注意力部分和空间注意力部分。在这种情况下,通道-空间注意力模块用于对高光谱影像在通道维度和空间维度上增强了特征表达,结合了通道-空间注意力模块的编码器可以在不经任何预处理的情况下直接对任意尺寸的输入图像进行处理,由此,能够避免因为对模型的数据输入进行切分而导致的计算冗余问题,并且能够获得较高的分类精度。由于可以对图像直接进行处理,在这种情况下通过全幅影像输入和特征转换,建立长距离和大范围的依赖,实现了全局范围内的信息流动,更好地利用了全局上下文信息进行分类,降低了空间依赖范围限制。
进一步地,为了更加准确地进行分类,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括各基础块包括设置在通道-空间注意力模块之前的2个卷积模块。
进一步地,为了更加准确地进行分类,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括注意力机制层的层数是4个,各注意力机制层顺次连接,且各注意力机制层的各基础块的各卷积模块的输出通道不一样,且4个注意力机制层的输出通道呈上升趋势。
进一步地,为了更加准确地进行分类,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括第一个注意力机制层包括3个基础块,第二个注意力机制层包括4个基础块,第三个注意力机制层包括6个基础块,第四个注意力机制层包括3个基础块。
进一步地,为了更加准确地进行分类,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括各基础块顺次连接,每一个基础块的输入数据包括上一个基础块的输出结果和上一个基础块的输入数据。
进一步地,为了逐层得到高维特征图,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括第一个注意力机制层的各基础块的各卷积模块的输出通道为64,第二个注意力机制层的各基础块的各卷积模块的输出通道为128,第三个注意力机制层的各基础块的各卷积模块的输出通道为256,第四个注意力机制层的各基础块的各卷积模块的输出通道为512。
进一步地,为了更加准确地进行分类,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括编码器还包括设置在第一个注意力机制层之前的卷积层,卷积层包括卷积模块、BN层、Relu激活层和最大池化层。
进一步地,为了更加准确地进行分类,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括各注意力机制层的各基础块的每个卷积模块伴随批标准化和激活函数处理。
进一步地,为了逐步扩大特征图大小,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括解码器包括依次连接的4个反卷积层。
进一步地,为了能够对不同的高光谱数据进行端到端训练和测试,本发明提供了一种基于全卷积神经网络的高光谱影像分类方法,还包括解码器还包括设置在第四个反卷积层之后的双线性插值层,所述双线性插值层将模型的输出大小扩大到与模型的输入图像的大小一致。
附图说明
图1为本发明的基于全卷积神经网络的高光谱影像分类方法的流程示意图;
图2为本发明的全卷积神经网络模型的原理图;
图3为本发明的编码器残差块堆叠示意图;
图4为本发明的通道-空间注意力机制的结构示意图;
图5(a)为高光谱影像的示意图;
图5(b)为高光谱影像的地面真实标记图;
图5(c)为SVM在Salinas数据集上的分类图;
图5(d)为CDCNN在Salinas数据集上的分类图;
图5(e)为SSRN在Salinas数据集上的分类图;
图5(f)为FDSSC在Salinas数据集上的分类图;
图5(g)为DBDA在Salinas数据集上的分类图;
图5(h)为本发明在Salinas数据集上的分类图。
具体实施方式
为了使本发明的目的、技术方案及技术效果更加清楚明白,以下结合附图及具体实施例对本发明进行进一步详细说明。
基于全卷积神经网络的高光谱影像分类方法实施例:
本实施例提供一种基于全卷积神经网络的高光谱影像分类方法。基于全卷积神经网络的高光谱影像分类方法可以简称为高光谱影像分类方法。根据本实施例的高光谱影像分类方法能够解决现有的基于切分数据输入的高光谱影像分类技术上存在的问题。
图1为本发明的基于全卷积神经网络的高光谱影像分类方法的流程示意图;图2为本发明的全卷积神经网络模型的原理图;图3为本发明的编码器残差块堆叠示意图;图4为本发明的通道-空间注意力机制的结构示意图。
在本实施例中,如图1所示,基于全卷积神经网络的高光谱影像分类方法具体过程如下:
步骤一:获取高光谱影像。
具体地,在步骤一中,高光谱影像可以为任意尺寸。高光谱影像可以用I表示。其中,I∈RH×W×D,H、W代表高光谱影像的高度和宽度,D代表高光谱影像的波段数。
步骤二:将高光谱影像输入训练好的全卷积神经网络模型进行分类获得分类结果。
在步骤二中,可以将高光谱影像I全幅输入训练好的全卷积神经网络模型。获得的分类结果可以是分类图。如图2所示,全卷积神经网络模型可以由编码器(Encoder)和解码器(Decoder)构成。编码器用于对高光谱影像进行高维特征学习,解码器用于对编码器学习的高维特征进行分类。
具体地,在步骤二中,编码器可以是以残差-注意力机制为基础。如图2所示,编码器可以包括卷积层1和多个注意力机制层。多个注意力机制层包括层1(Layer1)、层2(Layer2)、层3(Layer3)和层4(Layer4)。各个注意力机制层顺次相连。卷积层1设置在层1(Layer1)之前。卷积层1可以包括卷积模块(Conv1)、BN(Bath Normalization)层、Relu激活层和最大池化层(Maxpool)。编码器各层的设置详情如表1所示。其中,在编码器设置中,方括号中表示构建的基础块细节,方括号外的数字表示基础块的个数。同一层中多个基础块被堆叠。
表1
Figure BDA0003200875200000041
Figure BDA0003200875200000051
在本实施例中,各个注意力机制层包括多个基础块。各个基础块顺次相互堆叠。每一个基础块的输出结果输入至相连的下一个基础块。每一个基础块的输入数据包括上一个基础块的输出结果和上一个基础块的输入数据。例如,基于表1可知,编码器中的层1(Layer1)包括3个基础块。层1(Layer1)的堆叠方式如图3所示。如图3所示,第二个基础块的输入数据包括第一个基础块的输入数据和第一个基础块的输出结果。第三个基础块的输入数据包括第二个基础块的输入数据和第二个基础块的输出结果。基于表1可知,编码器中的层2(Layer2)、层3(Layer3)和层4(Layer4)分别包括4个、6个和3个基础块。层2(Layer2)、层3(Layer3)和层4(Layer4)的基础块与层1(Layer1)的基础块的区别主要是输出通道由64调整为128、256或512。层2(Layer2)、层3(Layer3)和层4(Layer4)中各个基础块的堆叠方式可以参照层1(Layer1)的基础块的堆叠方式。
在本实施例中,各基础块基于残差-注意力机制生成。如图3所示,每个基础块包括2个卷积模块(conv)和一个通道-空间注意力模块(Attention)。2个卷积模块设置在通道-空间注意力模块之前。如图3所示,层1(Layer1)的第一个基础块的第一个卷积模块的步长stride设置为2。由此,能够减小特征图的大小。此外,层2(Layer2)、层3(Layer3)和层4(Layer4)的每一层的第一个基础块的第一个卷积模块通过设置步长stride为2,以逐层最小化特征图的大小。另外,编码器中的各注意力机制层中的基础块的卷积模块的输出通道从64、128、256、到512逐渐增大,从而逐层得到高维特征图。具体地,层1(Layer1)中的各基础块的各卷积模块的输出通道为64,层2(Layer2)的各基础块的各卷积模块的输出通道为128,层3(Layer3)的各基础块的各卷积模块的输出通道为256,层4(Layer4)的各基础块的各卷积模块的输出通道为512。由此,能够基于编码器获得最小尺寸、最大维数(512)的特征图,从而实现了信息的聚合和全局流动。在本实施例中,层1(Layer1)、层2(Layer2)、层3(Layer3)和层4(Layer4)的各个基础块中的各卷积模块也可以伴随批标准化BN和Relu激活函数处理。由此,能够更加准确地进行分类。
在步骤二中,编码器包括通道-空间注意力模块。通道-空间注意力模块用于增强光谱特征和全局上下文空间特征。具体地,基于表1和图3可知,层1(Layer1)、层2(Layer2)、层3(Layer3)和层4(Layer4)的各个基础块中包括通道-空间注意力模块(Attention)。由此,能够更好地进行特征增强。
具体地,如图4所示,通道-空间注意力模块包括通道注意力(Channel Attention)和空间注意力(Spatial Attention)两个部分。在通道注意力部分,对输入的数据F进行最大池化(MaxPool)和MLP(多层感知机)层处理获得第一中间结果,同时对输入的数据进行平均池化(AvgPool)和MLP(多层感知机)层获得第二中间结果,将第一中间结果和第二中间结果进行加运算(element-wise summation),并对进行加运算的结果Mc结合输入的数据F进行乘运算(element-wise multiplication)获得第三中间结果F’,将第三中间结果F’输入至空间注意力部分。在空间注意力部分,对第三中间结果F’进行最大池化(MaxPool)处理获得第四中间结果,同时对第三中间结果进行平均池化(AvgPool)处理获得第五中间结果,将第四中间结果和第五中间结果进行卷积运算(Conv)获得卷积结果Ms,同时将卷积结果Ms结合第三中间结果F’进行乘运算(element-wise multiplication)获得第六中间结果F”,将第六中间结果F”和通道注意力部分输入的数据F进行加运算(element-wise summation)获得通道-空间注意力模块的输出结果。由此,通道注意力部分通过学习光谱信息来重新校准通道影响力。空间注意力部分通过学习空间信息来聚焦空间同质区域同时抑制干扰区域。在这种情况下,在编码器的层1(Layer1)、层2(Layer2)、层3(Layer3)和层4(Layer4)的各基础块上均嵌入通道-空间注意力模块,由此,能够在通道维度和空间维度上增强特征表达,且不改变输入输出大小,以及使得全卷积神经网络模型能够更加准确地进行分类。
具体地,解码器可以包括多个反卷积层。多个反卷积层为顺次连接的四个反卷积层(Deconv)。如图2所示,解码器的可以包括层1(Deconv1)、层2(Deconv 2)、层3(Deconv3)、层4(Deconv 4)和双线性插值层(Bilinear Interpolation)。双线性插值层设置在层4(Deconv4)之后。解码器各层的设置详情如表1所示。其中,在解码器设置中,括号中的值依次表示输入通道数、输出通道数、卷积核尺寸、填充(padding)、膨胀系数(dilation)、步幅(stride),其中C表示高光谱数据中的类总数。
在本实施例中,基于图2和表1可知,编码器最终输出的数据的输出通道是512。基于表1可知,解码器的层1(Deconv1)的输出通道为256,层2(Deconv 2)的输出通道为128,层3(Deconv 3)的输出通道为64,层4(Deconv 4)的输出通道为C。经过解码器的层1(Deconv1)、层2(Deconv 2)、层3(Deconv 3)、层4(Deconv 4),输出通道从512、256、128、64逐层递减到C。多个特定的分步卷积(即反卷积)会逐步扩大特征图大小,从而逐步恢复有利于区分对象类别的图像细节信息和图像大小。另外,在解码器中,利用双线性插值层将模型(训练好的全卷积神经网络模型)的输出大小扩大到与模型的输入图像的大小一致。在这种情况下,即使在输入大小随机,及由于网络配置固定导致输出大小任意的情况下,仍然能够对不同的高光谱数据进行端到端训练和测试。解码器的输出为L∈RH×W×C,其中C代表数据的类总数。若取L中C维向量像素的最大索引值,则得到完整的分类图。
在本实施例中,获取图像数据集,并利用获取的图像数据集对全卷积神经网络模型进行训练得到训练好的全卷积神经网络模型。获取的图像数据集包括多张高光谱图像。对每张高光谱图像进行标记。例如,获取的图像数据集可以是常用的Salinas影像集,对Salinas影像集中高光谱图像上的16类地物进行标记。将带标记的图像数据集可以分为训练集和测试集。利用训练集对全卷积神经网络模型进行初步训练,利用少量测试集对初步训练后的全卷积神经网络模型进行优化(例如参数调整),从而获得效果最佳的全卷积神经网络模型。由此,能够更好地提高训练好的全卷积神经网络模型的准确度。
在本实施方式中,当全幅图像数据输入到训练好的全卷积神经网络模型后,编码器处理全幅高光谱图像数据,以逐步提取全局光谱和空间特征。然后编码器通过多层渐进地学习更高维的特征嵌入,减少特征映射尺寸,并将空间特征转化为有利于分类的高级特征。图像数据经过编码器后,特征映射的维度增加而空间范围减小。全卷积运算通过在特征图上滑动有限大小的卷积核,可以建立初始长距离信息依赖,实现全局信息的充分传输和流动。解码器用于利用编码器学习到的高维特征进行分类。具体地,解码器用于利用编码器学习到的高维特征嵌入来恢复光谱和空间信息,并扩大特征图的大小,以得到分类结果(例如完整的分类图)。
基于本实施例的基于全卷积神经网络的高光谱影像分类方法,通过构建基于全卷积神经网络的分类框架,结合空间-通道注意力机制,实现了高效且准确的分类。由于输入图像的尺寸可以是任意的,因此基于本实施例的分类方法能够不用切分模型的数据输入,不经任何预处理直接对任何来源的原始高光谱影像数据进行分类并且获得较高的分类精度,能够通过端到端的训练和分类得到与输入相一致的分类图;同时大幅提升了模型训练和分类的效率,大大降低了分类时长,使得本实施例的分类方法在分类时能够具备较好的实时性,在实际应用中具有重要价值,推动高光谱影像分类技术向实际应用更进一步。另外,能够克服传统卷积神经网络限制区域的信息流动,通过全幅影像输入和特征转换,建立长距离和大范围的依赖,增强在提取特征时特征的表达力,实现了全局范围内的信息流动,更好地利用了全局上下文信息进行分类;全幅图像输入的方式避免了基于数据立方体输入方式的冗余计算,从而大幅提升了训练效率同时降低分类时长,在分类上更具备实时性,具有重要应用价值。
下面利用Salinas影像集对本实施例的基于全卷积神经网络的高光谱影像分类方法的上述效果进行验证,具体过程如下:
假定获取的高光谱影像为常用的Salinas影像。Salinas影像中的高光谱影像的维度为512×217×204,也即I(512×217×204)。Salinas影像中包括16类地物和54129个待分类像素。将高光谱影像I(512×217×204)直接作为全卷积神经网络模型中编码器的输入,经过卷积层(Conv1)输出尺寸为128×55×64的特征图,随后经批标准化BN层和Relu激活层(也即Relu激活函数)和最大池化层(Maxpool)处理,随后特征图依次通过层1(Layer1)、层2(Layer2)、层3(Layer3)和层4(Layer4),所有卷积操作后也伴随批标准化BN和Relu激活函数处理,依次得到尺寸为128×55×64、64×28×128、32×14×256、16×7×512的特征图。其中,各尺寸特征图分别在经过卷积操作以及相应的处理后进入相应的各基础块中的通道-空间注意力模块,通道-空间注意力模块并不改变输入输出的大小。编码器输出尺寸16×7×512的特征图,以此作为解码器的输入。特征图经过层1(Deconv1)、层2(Deconv 2)、层3(Deconv 3)和层4(Deconv 4)这4个反卷积层,通过各层反卷积操作中填充(padding)、膨胀系数(dilation)、步长(stride)等参数大小的改变以逐渐扩大特征图的尺寸,从而恢复有利于区分类别的信息,最终得到尺寸为96×87×16的特征图,其输出通道数与地物类别总数一致。另外,由于固定的反卷积层配置无法保证输出与原始影像(编码器的输入图像)尺寸的一致性,利用双线性插值层将输出大小恢复至与原始图像大小一致,则输出为L(512×217×16)。另外,逐像元选取L中16维向量的最大索引值,即代表该像元的类别标记,最终得到输出全幅分类标记(512×217×1),按颜色编码索引,将其转换为三通道图片即得到分类图(512×217×3)。
本实施例中的仿真条件为:英特尔酷睿i7-10750H,2.6GHz中央处理器,GeForceGTX2070Super图形处理器,16GB内存。在Salinas数据集上,随机选取每类地物的80个标记样本作为训练集,20个样本作为验证集,其余样本作为测试集。采用总体分类精度OA(Overall Accuracy)、平均分类精度AA(Average Accuracy),以及Kappa系数(Kappacoefficient)作为评价指标。利用支持向量机SVM(Support Vehicle Machine)、上下文深度卷积神经网络CDCNN(Contextual Deeper Convolution Neural Network)、空谱残差网络SSRN(Spectral-Spatial Residual Network)、快速稠密空谱卷积网络FDSSC(FastDense Spectral-Spatial Convolution Network)、双支双注意力机制网络DBDA(Double-Branch Dual-Attention Mechanism Network)和本发明的基于全卷积神经网络的高光谱影像分类方法分别进行20次实验,实验的最终分类结果以平均值形式呈现。其中,图5(a)为高光谱影像的示意图(例如是伪彩色图像的灰度图);图5(b)为高光谱影像的地面真实标记图;图5(c)为SVM在Salinas数据集上的分类图;图5(d)为CDCNN在Salinas数据集上的分类图;图5(e)为SSRN在Salinas数据集上的分类图;图5(f)为FDSSC在Salinas数据集上的分类图;图5(g)为DBDA在Salinas数据集上的分类图;图5(h)为本发明在Salinas数据集上的分类图。表2为各种方法的最终分类结果对比表。图5(c)至图5(h)的各分类图的总体分类精度OA值对应表2中的数值。实验结果表明,相比于像素级和数据立方体级的分类方法,本发明能够取得更高分类精度的同时,大幅减少训练时间和测试时间,尤其是在测试时间上具有显著优势。具体结果如表2、图5(c)至图5(h)所示。
表2各种方法的最终分类结果对比表
Figure BDA0003200875200000091

Claims (10)

1.一种基于全卷积神经网络的高光谱影像分类方法,其特征在于,包括:
获取高光谱影像;将高光谱影像输入训练好的全卷积神经网络模型进行分类获得分类结果,所述全卷积神经网络模型采用编码器加解码器的架构,所述编码器用于接收高光谱影像,并对所述高光谱影像进行高维特征学习,所述解码器用于对编码器学习的高维特征进行分类,编码器包括多个注意力机制层,各注意力机制层包括多个基础块,各基础块设置有通道-空间注意力模块,各通道-空间注意力模块包括通道注意力部分和空间注意力部分,通道注意力部分用于对通道-空间注意力模块的输入数据分别进行最大池化和平均池化,并分别将最大池化后的结果和平均池化后的结果输入对应的MLP层处理,对经过各自MLP层处理的结果进行加运算,并将加运算的结果与通道-空间注意力模块的输入数据进行乘运算后输入至空间注意力部分,空间注意力部分用于对通道注意力部分的输出结果分别进行最大池化和平均池化,并对最大池化后的结果和平均池化后的结果进行卷积运算,对卷积运算后的结果与通道注意力部分的输出结果进行乘运算,并将乘运算的结果与通道-空间注意力模块的输入数据进行加运算,加运算结果为该通道-空间注意力模块的输出结果。
2.根据权利要求1所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,各基础块包括设置在通道-空间注意力模块之前的2个卷积模块。
3.根据权利要求2所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,注意力机制层的层数是4个,各注意力机制层顺次连接,且各注意力机制层的各基础块的各卷积模块的输出通道不一样,且4个注意力机制层的输出通道呈上升趋势。
4.根据权利要求3所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,第一个注意力机制层包括3个基础块,第二个注意力机制层包括4个基础块,第三个注意力机制层包括6个基础块,第四个注意力机制层包括3个基础块。
5.根据权利要求4所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,各基础块顺次连接,每一个基础块的输入数据包括上一个基础块的输出结果和上一个基础块的输入数据。
6.根据权利要求3所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,第一个注意力机制层的各基础块的各卷积模块的输出通道为64,第二个注意力机制层的各基础块的各卷积模块的输出通道为128,第三个注意力机制层的各基础块的各卷积模块的输出通道为256,第四个注意力机制层的各基础块的各卷积模块的输出通道为512。
7.根据权利要求3所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,编码器还包括设置在第一个注意力机制层之前的卷积层,卷积层包括卷积模块、BN层、Relu激活层和最大池化层。
8.根据权利要求2所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,各注意力机制层的各基础块的每个卷积模块伴随批标准化和激活函数处理。
9.根据权利要求3所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,解码器包括依次连接的4个反卷积层。
10.根据权利要求9所述的基于全卷积神经网络的高光谱影像分类方法,其特征在于,解码器还包括设置在第四个反卷积层之后的双线性插值层,所述双线性插值层将模型的输出大小扩大到与模型的输入图像的大小一致。
CN202110903710.5A 2021-08-06 2021-08-06 一种基于全卷积神经网络的高光谱影像分类方法 Active CN113642445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110903710.5A CN113642445B (zh) 2021-08-06 2021-08-06 一种基于全卷积神经网络的高光谱影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110903710.5A CN113642445B (zh) 2021-08-06 2021-08-06 一种基于全卷积神经网络的高光谱影像分类方法

Publications (2)

Publication Number Publication Date
CN113642445A true CN113642445A (zh) 2021-11-12
CN113642445B CN113642445B (zh) 2022-10-18

Family

ID=78420054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110903710.5A Active CN113642445B (zh) 2021-08-06 2021-08-06 一种基于全卷积神经网络的高光谱影像分类方法

Country Status (1)

Country Link
CN (1) CN113642445B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202690A (zh) * 2021-12-09 2022-03-18 东北林业大学 以混合多层感知器为基础的多尺度网络分析方法
CN114418027A (zh) * 2022-01-26 2022-04-29 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
CN114781534A (zh) * 2022-04-29 2022-07-22 中国人民解放军战略支援部队信息工程大学 一种图像级的高光谱影像分类方法
CN116612333A (zh) * 2023-07-17 2023-08-18 山东大学 一种基于快速全卷积网络的医学高光谱影像分类方法
CN117705740A (zh) * 2023-12-15 2024-03-15 安徽山合远景科技发展有限公司 基于遥感监测的大气污染物实时监测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428718A (zh) * 2020-03-30 2020-07-17 南京大学 一种基于图像增强的自然场景文本识别方法
CN112183545A (zh) * 2020-09-29 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种任意形状的自然场景文本识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428718A (zh) * 2020-03-30 2020-07-17 南京大学 一种基于图像增强的自然场景文本识别方法
CN112183545A (zh) * 2020-09-29 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种任意形状的自然场景文本识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐富勇: "基于注意力增强网络的场景文字识别", 《现代计算机》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202690A (zh) * 2021-12-09 2022-03-18 东北林业大学 以混合多层感知器为基础的多尺度网络分析方法
CN114202690B (zh) * 2021-12-09 2024-04-12 东北林业大学 以混合多层感知器为基础的多尺度网络分析方法
CN114418027A (zh) * 2022-01-26 2022-04-29 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
CN114418027B (zh) * 2022-01-26 2024-03-26 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
CN114781534A (zh) * 2022-04-29 2022-07-22 中国人民解放军战略支援部队信息工程大学 一种图像级的高光谱影像分类方法
CN116612333A (zh) * 2023-07-17 2023-08-18 山东大学 一种基于快速全卷积网络的医学高光谱影像分类方法
CN116612333B (zh) * 2023-07-17 2023-09-29 山东大学 一种基于快速全卷积网络的医学高光谱影像分类方法
CN117705740A (zh) * 2023-12-15 2024-03-15 安徽山合远景科技发展有限公司 基于遥感监测的大气污染物实时监测系统及方法

Also Published As

Publication number Publication date
CN113642445B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN113642445B (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
US20220382553A1 (en) Fine-grained image recognition method and apparatus using graph structure represented high-order relation discovery
CN111695467A (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN113239954B (zh) 基于注意力机制的图像语义分割特征融合方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN113326930A (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN111401380A (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN114998756B (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN116469100A (zh) 一种基于Transformer的双波段图像语义分割方法
CN111860683A (zh) 一种基于特征融合的目标检测方法
CN110837808A (zh) 一种基于改进的胶囊网络模型的高光谱图像分类方法
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN108491863A (zh) 基于非负矩阵分解和卷积神经网络的彩色图像处理方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN114926691A (zh) 基于卷积神经网络的虫害智能化识别方法及系统
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN116363372B (zh) 弱监督语义分割方法、装置、设备和存储介质
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN114998725B (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
CN111274936A (zh) 多光谱图像地物分类方法、系统、介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant