CN112966598B - 一种双路径小卷积网络的高光谱图像分类方法 - Google Patents

一种双路径小卷积网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN112966598B
CN112966598B CN202110241601.1A CN202110241601A CN112966598B CN 112966598 B CN112966598 B CN 112966598B CN 202110241601 A CN202110241601 A CN 202110241601A CN 112966598 B CN112966598 B CN 112966598B
Authority
CN
China
Prior art keywords
path
convolution
dual
layer
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110241601.1A
Other languages
English (en)
Other versions
CN112966598A (zh
Inventor
党兰学
庞沛东
侯彦娥
左宪禹
葛强
刘扬
林英豪
谢毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202110241601.1A priority Critical patent/CN112966598B/zh
Publication of CN112966598A publication Critical patent/CN112966598A/zh
Application granted granted Critical
Publication of CN112966598B publication Critical patent/CN112966598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双路径小卷积网络的高光谱图像分类方法，包括使用两个1×1小卷积堆叠构成复合层，并采用两个复合层构建双路径小卷积特征提取模块，双路径小卷积特征提取模块设置有用于特征提取的残差路径和稠密路径，通过残差路径和稠密路径将一个复合层的最后一层输出划分为两组特征图，并使用融合Concatenate操作将两组特征图合并，作为下一复合层特征提取的输入，基于双路径小卷积特征提取模块构建双路径小卷积网络分类模型，双路径小卷积网络分类模型包括数据预处理，光谱特征提取和空‑谱特征融合，通过双路径小卷积网络分类模型使用1×1卷积结合全局平均池化层完成最终分类。本发明在能够提高影像分类精度的同时兼顾简化网络复杂度。

Description

一种双路径小卷积网络的高光谱图像分类方法
技术领域
本发明属于高光谱图像分类技术领域，具体涉及一种双路径小卷积网络的高光谱图像分类方法。
背景技术
高光谱遥感可以收集到从可见光到近红外波长范围的电磁光谱，这种成像特点使得高光谱图像拥有目标物体的几何空间信息，同时又具有众多连续光谱信息。高光谱遥感被广泛用在土地监测，陆地植被识别，湖泊水质检测等场景。图像分类一直以来都是高光谱遥感应用中的一个核心环节，分类结果的好坏会直接影响到后续工作。因此，构建一个精准、高效的高光谱图像分类模型至关重要。
对于一些传统的分类算法而言，如支持向量机(SVM)，K近邻算法(KNN)，稀疏表示法等，这类算法结构较为简单，如专利文献CN110135399A公开的一种基于稀疏表示的遥感图像特征提取与场景分类方法，采用K近邻算法获得欧氏距离，将稀疏重构残差和欧式距离进行线性加权，以获得的结果作为类别标签，并根据最小化重构误差准则对待测样本进行分类；
这类方法在对光谱波段连续、空间复杂的高光谱数据进行处理时，其特征提取能力略显不足，影响了分类精度。
近年来，卷积神经网络(CNN)在自然图像分类，语音识别，目标检测和图像语义分割等领域中得到成功应用，这些研究表明CNN具有强劲的特征提取能力。为了能够有效提取高光谱图像中的丰富信息，进一步提高分类精度，相当一部分研究者使用CNN致力于高光谱图像分类，并取得优异效果。
当前，3D卷积网络流行于高光谱分类中。从特征学习的角度而言，3D卷积相对于2D卷积网络，可控范围扩大到时域，能学习到更多的时域信息，但是相应的这种模式的计算开销和训练耗时严重；
另一方面，大部分研究者往往使用带有3×3，5×5或更大尺寸卷积核的残差连接，稠密连接等学习策略来构建高光谱分类模型，从而忽略了模型结构的复杂度，其分类效率较低。
发明内容
本发明为解决传统分类算法导致影像分类精度低以及分类效率低的问题，提供一种双路径小卷积网络的高光谱分类方法，本发明利用1×1小卷积结合残差路径和稠密路径连接完成影像分类，在提高了影像分类精度的同时简化了网络的复杂度。
本发明提出了一种双路径小卷积网络的高光谱图像分类方法所述方法包括以下步骤：
步骤1：使用两个1×1小卷积堆叠构成复合层，并采用两个所述复合层构建双路径小卷积特征提取模块；
所述双路径小卷积特征提取模块设置有用于特征提取的残差路径和稠密路径，通过所述残差路径和稠密路径将一个所述复合层的最后一层输出划分为两组特征图，并使用融合Concatenate操作将所述两组特征图合并，作为下一所述复合层特征提取的输入；
步骤2：基于双路径小卷积特征提取模块构建双路径小卷积网络分类模型，所述双路径小卷积网络分类模型包括数据预处理，光谱特征提取和空-谱特征融合；
通过双路径小卷积网络分类模型使用1×1卷积结合全局平均池化层完成最终分类。
进一步地，每个所述复合层中1×1小卷积顺次执行BN、ReLU和Conv卷积操作。
进一步地，所述残差路径为1×1小卷积采用identify mapping策略的跳跃连接方式构成，所述稠密路径为1×1小卷积采用稠密连接方式构成。
进一步地，通过公式(1)计算获取每个双路径小卷积特征提取模块的输出特征图数量：
Cout＝Cin+2×C×(1-r) (1)；
其中，Cin和Cout分别为双路径小卷积特征提取模块的输入和输出特征图的通道数，C为模块中每个1×1卷积核个数，r为残差通道率，表示模块中末端进行残差连接的通道数占总通道数的比例，0≤r≤1。
进一步地，所述空-谱特征融合包括初始阶段，所述初始阶段使用3×3卷积的特征学习方式。
进一步地，步骤2所述的数据预处理具体包括：
S1：输入高光谱图像的标记样本进行零-均值标准化操作；
S2：逐次提取大小为S×S×B的邻域立方体作为分类模型的输入；
其中，S×S表示以第i个像素为中心的空间大小，B表示高光谱图像的波段数量；
S3：将各邻域立方体分别划分为训练集、验证集和测试集。
进一步地，步骤2所述的光谱特征提取具体包括：
S1：在首层位置利用1×1卷积核压缩像素立方体的维度，并通过后接的ReLU层增加特征的非线性，得到非线性特征；
S2：将所述非线性特征输入双路径小卷积特征提取模块中，提取更加抽象的光谱信息。
进一步地，步骤2所述的空-谱特征融合具体包括：
S1：在首层位置利用3×3卷积提取像素立方体的邻域空间信息；
S2：将空-谱组合信息输入双路径小卷积特征提取模块中，深度学习空-谱融合特征；
S3：采用1×1卷积层与全局平均池化层相结合的方式融合所述空-谱特征完成最终的分类。
进一步地，所述1×1卷积层和全局平均池化层中间设置有一个核为3×3，步长为2的平均池化层，所述平均池化层用于压缩特征图尺寸。
进一步地，所述方法还包括：
步骤3：基于所述训练集，采用随机梯度下降算法训练模型参数；
定义在验证集上损失率最小的模型为最佳模型，并将其保存；
输入高光谱数据，并利用训练后的最佳模型完成分类。
通过上述技术方案，本发明的有益效果为：
1.在本发明中，创建了双路径小卷积特征提取模块，并设置有用于特征提取的残差路径和稠密路径，通过所述残差路径和稠密路径将一个所述复合层的最后一层输出划分为两组特征图，并使用融合操作将所述两组特征图合并，作为下一所述复合层特征提取的输入；
本方法继承了残差路径和稠密路径两种连接的优势，能够同时有效地实现特征复用和新的特征探索，所述双路径小卷积特征提取模块采用1×1小卷积构建，此网络模型拥有较少的训练参数，复杂度低，提高了分类效率。
2.本发明利用所述双路径小卷积特征提取模块，先后使用该模块学习了高光谱数据的光谱和空-谱融合的特征，从而构建了一种双路径小卷积网络，在进行分类时，仅使用2D卷积就表现出强大的特征提取能力，本发明具有高精度，低复杂度特性，即使在小量样本和空间不相交样本集上，仍表现出较高的分类效果，在具有高分类效率的同时兼顾了鲁棒性要求。
附图说明
图1为本发明一种双路径小卷积网络的高光谱图像分类方法的基本流程图；
图2为本发明一种双路径小卷积网络的高光谱图像分类方法的特征提取模块结构图；
图3为本发明一种双路径小卷积网络的高光谱图像分类方法的模型结构图；
图4为Indian Pines数据集上不同模型的分类结果图；
图5为Pavia University数据集上不同模型的分类结果图；
图6为Kennedy Space Center数据集上不同模型的分类结果图；
图7为不同模型在三个数据集的训练参数和FLOPs图；
图8为在三个数据上不同阈值T下的总体分类精度(OA)图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种双路径小卷积网络的高光谱图像分类方法，包括：
步骤1：使用两个1×1小卷积堆叠构成复合层，并采用两个所述复合层构建双路径小卷积特征提取模块；
所述双路径小卷积特征提取模块设置有用于特征提取的残差路径和稠密路径，通过所述残差路径和稠密路径将一个所述复合层的最后一层输出划分为两组特征图，并使用融合Concatenate操作将所述两组特征图合并，作为下一所述复合层特征提取的输入；
步骤2：基于双路径小卷积特征提取模块构建双路径小卷积网络分类模型，所述双路径小卷积网络分类模型包括数据预处理，光谱特征提取和空-谱特征融合；
通过双路径小卷积网络分类模型使用1×1卷积结合全局平均池化层完成最终分类。
作为一种可实施方式，每个所述复合层中1×1小卷积顺次执行BN、ReLU和Conv卷积操作。
作为一种可实施方式，所述残差路径为1×1小卷积采用identify mapping策略的跳跃连接方式构成，所述稠密路径为1×1小卷积采用稠密连接方式构成。
作为一种可实施方式，通过公式(1)计算获取每个双路径小卷积特征提取模块的输出特征图数量：
Cout＝Cin+2×C×(1-r) (1)；
其中，Cin和out分别为双路径小卷积特征提取模块的输入和输出特征图的通道数，C为模块中每个1×1卷积核个数，r为残差通道率，表示模块中末端进行残差连接的通道数占总通道数的比例，0≤r≤1。
在本实施例中，双路径小卷积特征提取模块，如图2所示，在首层位置输入被分为两个分支，其中跳跃连接与卷积层构成了残差路径(Resduial Path)，另外稠密连接与卷积层组成了稠密路径(Densely Path)。经过若干层卷积(这些层被两个路径所共享)后的输出由双路径产生的特征图串联而成；
定义Zi为双路径结构的第i层输出，通过公式(2)表示其基本结构：
Zi＝[Xi，Yi] (2)；
其中，i∈N+，Xi和Yi分别是第i层的残差路径和稠密路径的输出。
所述双路径小卷积网络分类模型如图3所示，由数据预处理(图中标号Block 1)，光谱特征提取(图中标号Block 2)和空-谱特征融合(图中标号Block 3)组成，最后，网络的末端使用了1×1卷积结合全局平均池化层完成最终分类。
在本方法中，双路径小卷积特征提取模块作为残差连接和稠密连接的结合体，双路径结构继承了两种连接的优势，能够同时，且有效地实现特征复用和新的特征探索。
实施例2
基于上述实施例，为了实现双路径小卷积网络分类模型构建，在本实施例中对步骤2所述数据预处理进行优化，具体的：
步骤2所述的数据预处理具体包括：
S1：输入高光谱图像的标记样本进行零-均值标准化操作；
S2：逐次提取大小为S×S×B的邻域立方体作为分类模型的输入；
其中，S×S表示以第i个像素为中心的空间大小，B表示高光谱图像的波段数量；
S3：将各邻域立方体分别划分为训练集、验证集和测试集。
在本实施例中，如图3所示，数据预处理(图中标号Block 1)包括对整个高光谱数据进行零-均值标准化(zero-mean)，如公式(3)所示：
Figure BDA0002962412280000061
其中，
Figure BDA0002962412280000062
表示第n个波段特征图中第i行、第j列的像素值，Xn表示第n个波段中所有像素的均值，σn表示第n个波段像素值的标准差，(1≤i≤W，1≤j≤H，1≤n≤B)W，H分别表示高光谱遥感图像的宽度，高度和波段总数。
为同时利用高光谱图像的光谱和空间信息，将原始高光谱图像预处理为尺寸为S×S×B的邻域像素块作为模型的输入；
为便于理解，以下述实验分析中选取的Indian Pines数据集为例，Indian Pines数据集的邻域像素立方体为9×9×200；
最终将各邻域立方体划分为训练集、验证集和测试集。
实施例3
基于上述实施例，为了实现双路径小卷积网络分类模型构建，在本实施例中对步骤2所述的光谱特征提取进行优化，具体的：
S1：在首层位置利用1×1卷积核压缩像素立方体的维度，并通过后接的ReLU层增加特征的非线性，得到非线性特征；
S2：将所述非线性特征输入双路径小卷积特征提取模块中，提取更加抽象的光谱信息。
如图3所示在本实施例中，光谱特征提取(图中标号Block 2)包含了一个1×1卷积层和一个双路径小卷积(DPSC)模块，考虑到输入的数据立方体包含有大量的冗余波段。因此，模型首层利用了1×1卷积核压缩了原始通道数，也即输入的HSI立方体的波段数。然后通过后接的ReLU层增加了特征的非线性。这种1×1小卷积方式提取了数据立方体的底层光谱特征，却仍然保留了原始尺寸的空间信息；
进一步地，当1×1核卷积图像中特定的单个像素立方块为1×1×B，这可以实现与全连层相同的效果。这对高光谱图像而言，1×1卷积仅作用在了光谱维度，其空间信息留给了Block 3处理；
定义X为光谱特征提取Block 2的首层1×1卷积的输入和输出的数据立方体，其中Xi表示输入立方体的第i个特征图，定义卷积核数为N，光谱特征提取Block2的首层操作输出的每层特征图Yi如公式(4)所示：
Figure BDA0002962412280000071
其中，j＝1，2，…，N，Wij和bi分别表示核上相应的权重值和偏置值；
这样，输入的数量立方体S×S×B经过小卷积后，波段信息得到了压缩，被重组成S×S×N，本实施例中，固定首层1×1卷积核的数量N为64。
实施例4
基于上述实施例，为了实现双路径小卷积网络分类模型构建，在本实施例中对步骤2所述的空-谱特征融合进行优化，具体的：
S1：在首层位置利用3×3卷积提取像素立方体的邻域空间信息；
S2：将空-谱组合信息输入双路径小卷积特征提取模块中，深度学习空-谱融合特征；
S3：采用1×1卷积层与全局平均池化层相结合的方式融合所述空-谱特征完成最终的分类。
作为一种可实施方式，所述1×1卷积层和全局平均池化层中间设置有一个核为3×3，步长为2的平均池化层，所述平均池化层用于压缩特征图尺寸。
在本实施例中，如图3所示，空-谱特征融合(图中标号Block3)，首层仅使用了一层3×3卷积(Stride＝1，Padding＝0)进行了下采样的卷积操作，经过位于空-谱特征融合Block 3的首层卷积，通过公式(5)计算获得第i个特征图上索引位置(x，y)的元素值：
Figure BDA0002962412280000081
其中，Wi (p，q)表示位于卷积核(p，q)位置上的权重值，bi为偏置，xi (x+p，y+q)为输入的第i层特征图在索引位置(x+p，y+p)上的元素值，P，Q分别为卷积核的高和宽，这里的卷积核大小为3×3，数量与光谱特征提取Block 2输出的特征图数量保持一致，与光谱特征提取Block 2类似，空-谱特征融合Block 3中同样采用了DPSC模块进行特征的提取，但是这里的DPSC模块主要用于空-谱融合特征的探索。
在本实施例中，双路径小卷积网络分类模型末端，使用1×1卷积联合全局平均池化层(GAP)的方式代替了全连接层，这种方式进一步减少了模型参数，使得网络具有更快的收敛速度，最后，将输出的特征向量X送入Softmax分类器，如公式(6)所示：
Figure BDA0002962412280000082
其中，i＝1，2，…，m，m为地物类别总数，Xi为特征向量第i个元素在概率向量中的最大元素值的索引即输入像素的预测标签。
实施例5
基于上述多个实施例，为优化分类结果本方法还包括：
步骤3：基于所述训练集，采用随机梯度下降算法训练模型参数；
定义在验证集上损失率最小的模型为最佳模型，并将其保存；
输入高光谱数据，并利用训练后的最佳模型完成分类。
为证明本发明效果进行如下实验
1.实验环境
硬件设备：CPU为Intel(R)Xeon(R)E5-2697 v3@2.60GHz，内存大小为32GB，GPU型号为NVIDIA Tesla K20M；
软件平台：Python版本为3.6.5，CUDA版本为10.1，使用PyTorch版本为1.0.0的深度学习框架进行模型结构搭建。
2.实验数据集
为衡量本发明最终效果，选取Indian Pines(IP)，Pavia University(PU)和Kennedy Space Center(KSC)三个基准高光谱数据集进行实验研究。三个数据集详细信息如表1所示。
表1高光谱数据详细信息
Figure BDA0002962412280000091
3.实验设置
设置Batch Size大小为64，设置学习率为0.01，每次实验执行200次Epoch，采用随机梯度下降算法(SGD)优化训练参数。另外，在模型训练开始之前所有卷积层采用MSRA方法进行权值初始化。
实验中从每类地物中随机选择50个作为训练样本。但是在Indian Pines和Kennedy Space Center数据集中，存在样本分布不均衡问题。因此，设置一个阈值T，从每类样本中随机选择数量为T的样本作为训练集。若样本数不足到T，设该类样本数量的30％为Q，选择Q和T的最小值作为该类的训练集样本数。此外，对于三个数据集随机选择其训练样本数量的50％用于验证模型，其余用于测试。如果没有特殊说明，以下实验中IP，PU数据集的阈值T设置为50，KSC数据集设置为25。
在Indian Pines，Pavia University和Kennedy Space Center数据集上，设置模型的输入的邻域像素大小分别为9×9；首层1×1卷积核的数量设置为64；双路径小卷积特征提取模块中的卷积核数量设置为32；实验结果采用总体分类精度(OA)，平均分类精度(AA)和Kappa系数作为衡量指标，三个指标的值越高表明分类结果越好。为保证实验的准确性，每组实验进行10次，取10次结果的平均值作为本组实验的结果。
4.不同分类模型对比
选取了当前几种较优的分类方法模型：SVM，MLP，SSDC，SCFR-CNN，pResNet，SSRN，FDSSC与本发明模型(简称DPSCN)进行了详细对比。在这些模型中，SVM和MLP是基于光谱信息的方法；pResNet、SCFR-CNN是基于空间信息的方法；FDSSC、SSRN以及所提出的是光谱-空间方法。
其中，IP，PU和KSC数据集上不同模型的最终分类结果如表2，表3和表4所示。
在三个数据集上，基于光谱分类的SVM和MLP表现出相似地较低的精度，而其他基于空间或空-谱分类的模型表现出优异的精度，这一方面是由于空间信息的利用，另外一方面是由于CNN天生具备的特征提取能力，同时所提供的充足训练样本也能够支撑特征学习。可以看出，本发明模型分类精度是最高的，相较于其他CNN模型，DPSCN的OA值在IP，PU和KSC上分别大约提升了3.90％，5.16％，5.20％。另外，SCFR-CNN，SSRN，FDSSC和DPSCN在IP和PU的OA值都高达90％，这些模型表现优异效果，但是深层网络pResNet的精度表现相对劣势，核心因素是由于高光谱的有限训练样本不适用于深层网络，另外一个原因是该模型过于依赖空间信息的利用。
值得注意的是，在IP数据集上，SSRN几乎达到了与本发明模型相当的精度。但是，当面对IP数据集中如第7类和第9类地的小量训练本时，本发明模型表现出明显优势，其精度高达100％，而在SSRN模型上发生了过拟合，仅有98.57％和76.36％的精度，导致评价分类精度(AA)不理想，低于所提出的模型。同样，DPSCN在PU和KSC数据集中的类精度总体上优于其他模型，OA、AA、Kappa三个指标的标准差较低于其他模型，这表明本发明设计模型更具稳定性。整体上来说，本发明模型在分类精度上具有明显优势。
表2不同模型在Indian Pines数据上的分类精度
Figure BDA0002962412280000111
表3不同模型在PU数据上的分类精度
Figure BDA0002962412280000112
表4不同模型在Kennedy Space Center数据上的分类精度
Figure BDA0002962412280000113
进一步地，如图5～7所示，图4为Indian Pines数据集上不同模型的分类结果图：
其中，标号(a)为假彩色图像，标号(b)为标记图像，标号(c)为SVM，标号(d)为MLP，标号(e)为pResNet，标号(f)为SCFR-CNN，标号(g)为SSRN，标号(h)为SSDC，标号(i)为FDSSC，标号(j)为DPSCN；
图5为Pavia University数据集上不同模型的分类结果图：
其中，标号(a)为假彩色图像，标号(b)为标记图像，标号(c)为SVM，标号(d)为MLP，标号(e)为pResNet，标号(f)为SCFR-CNN，标号(g)为SSRN，标号(h)为SSDC，标号(i)为FDSSC，标号(j)为DPSCN；
图6为Kennedy Space Center数据集上不同模型的分类结果图：其中，标号(a)为假彩色图像，标号(b)为标记图像，标号(c)为SVM，标号(d)为MLP，标号(e)为pResNet，标号(f)为SCFR-CNN，标号(g)为SSRN，标号(h)为SSDC，标号(i)为FDSSC，标号(j)为DPSCN；
图7为不同模型在三个数据集的训练参数和浮点运算数(Floating PointOperations，FLOPs)：
其中，标号(a)为不同模型的训练参数，标号(b)为不同模型的FLOPs。
图4～6包含了该数据集的假彩色图像和标签图像，从以下分类的结果图中，可以清楚的看到，仅考虑光谱信息的分类模型SVM和MLP表现出糟糕的噪声像素点，同时pResNet和SCFR-CNN模型的分类结果图中也存在有明显的类似噪声的错误分类。其中，SCFR-CNN将KSC数据集上的部分cattail marsh误分成了water，这很大影响了此类的分类精度和总体分类精度。相比之下，其他模型表现出较好的平滑和紧密效果，特别本发明模型在处理图像上的某些细节像素时更突出，如在IP数据集上，本发明对于Soybean-mintill错误分类较少；在PU数据集上，相比于SSRN，SSDC和FDSSC，本发明方法对Meadows的分类更充分，这也与表2-4中的分类结果保持一致。
如图7所示的(a)和(b)分别为几个CNN模型的参数量和FLOPs，从(a)可以看出，FDSSC和pResNet模型在三个数据集上的参数量位都居前列，这主要是因为FDSSC使用3D卷积层堆叠而成，尽管pResNet并未使用3D卷积，但是该网络的卷积层共计26层，整个模型的深度约75层(包含BN，ReLU层)，以至于参数量巨多，而其他几种模型均未有如此之深。另外，SSRN和SSDC模型的参数量基本处于同一梯度，它们次于FDSSC和pResNet，SSRN同样是一个3D卷积模型，它参数量却少于FDSSC，这主要是因为该模型卷积核数量与深度均小于FDSSC模型；
图7(b)为不同模型的FLOPs，3D网络的FDSSC和SSRN几乎处于同一级别，超越了所有模型，网络复杂的度和高负载运算被暴露出来。DPSCN模型与SCFR-CNN训练参数和FLOPs基本相当，远低于其他几种模型；
主要有以下两个原因，第一两者都没有堆叠较深的卷积层，如SCFR-CNN的卷积层仅有7层，它们主要靠跨路径的稠密连接进行提取，DPSCN有11层，依赖双路径的连接，两者都从纵向加深模型；
第二两个模型结构都利用2D卷积核，并且核心部分都采用1×1小卷积，这大大减少了参数量。
进而，对训练及测试时长进行对比，其对比结果，如表5所示，所述表5为不同模型分类时间的展示，其中包括训练时间和测试时间。
表5不同模型在三个数据上的训练和测试时间(s)
Figure BDA0002962412280000131
可以看出网络的训练时间与自身的FLOPs成正相关，尤其是3D网络，3D卷积构建的FDSSC和SSRN是明显高于2D卷积模型SSDC，SCFR-CNN和本发明提出的DPSCN模型；
就IP数据集而言，FDSSC和SSRN花费的训练时间都高达1000s，约是本发明模型的2倍。
此外，本发明的分类时间仅次于SCFR-CNN，需要指出SCFR-CNN并非是一个端到端的分类模型，它利用了主成分分析(PCA)进行光谱信息的提取，以至于减少了一定量的训练参数，时间得到了缩短，但是这种方式无法充分提取光谱之间的关联信息。所以，它的分类精度不如本发明模型的分类精度。最后，同样是2D卷积，相比与SSDC和SCFR-CNN，深层模型的pResNet也消耗了较长的训练和测试时间。
为验证所提出模型在小训练样本上的表现，在三个数据集上随机选择每类样本的不同阈值进行实验；
如图8所示，随着样本数量的增加，所有模型的总体分类精度(OA)呈上升趋势，这是因为增加的样本支撑了模型的学习能力，在三个数据集上，SVM和MLP整体不及基于CNN的分类方法，一般来说当深层网络面对小样本时，过多的训练参数导致特征能力过于死板，限制了特征表示能力，如pResNet在IP数据集上的精度总是次于其他模型。需要指出的是，在IP和PU数据集上的不同样本数量下，所提出的模型与3D模型(FDSSC、SSRN)基本取得了可竞争性的表现，在KSC数据集上，DPSCN的结果超过了所有的模型。此外，即使遇到小样本训练数据，结果也是如此。
在上述的对比实验中，随机选取了固定数量的每一类样本来输入到模型，这也是大多数研究者所采取的方式。实际上，这种方式很可能使得测试集中的像素块的单个像素已经在被用作在训练像素的相邻区域(S×S)的一部分，在这种情况下模型的泛化能力被过于评估，尤其在空间邻域像素大小逐渐增大时；
为此进行空间不相交样本数据集实验，为了观测随机选择的样本(Joint)与空间不相交数据集(Disjoint)对模型结果的影响，实验中设置两种方式的每一类地物数量都相同(T＝200)；
实验结果(就OA而言)如表6所示，使用相交样本和空间不相交样本的实验结果有着明显的差异。
表6不同模型在随机选择下相交样本及不相交样本总体分类精度(％)差异
Figure BDA0002962412280000141
Figure BDA0002962412280000151
以IP数据集为例，除光谱分类的SVM和MLP，基于空间或空-谱分类算法受到了最大影响，由于这些模型过于考虑了空间上下文信息，尤其是pResNet重复堆叠7×7或8×8的大卷积核。基于光谱分类的模型SVM和MLP精度也受到了一定的影响，这有可能是样本选择的问题：同一类训练和测试样本受到了如照明的变化、云层遮蔽以及噪声失真影响，存在波段间的差异。不过这些影响要比那些空-谱模型稍低。另外，在IP空间不相交数据集上，所提出的模型DPSCN取得最高的精度，且比同类的CNN模型实现了更小的差异。对PU数据集而言，本发明模型在所有模型中取得了最小的差异。这进一步表明本发明模型更具通用性和稳定性，这完全归功于本发明中构建的DPSC模块，即1×1小卷积构建的双路径连接具有更强的泛化能力。
因此本方法采用1×1小卷积构建双路径小卷积特征提取模块，通过学习高光谱数据的光谱和空-谱融合的特征，从而构建了一种双路径小卷积网络，仅使用2D卷积就表现出强大的特征提取能力；
本发明具有高精度，低复杂度特性，即使在小量样本和空间不相交样本集上，仍表现出较高的分类效果，在具有高分类效率的同时兼顾了鲁棒性要求。
以上所述之实施例，只是本发明的较佳实施例而已，并非限制本发明的实施范围，故凡依本发明专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明申请专利范围内。

Claims (7)

1.一种双路径小卷积网络的高光谱图像分类方法，其特征在于，包括：
步骤1：使用两个1×1小卷积堆叠构成复合层，并采用两个所述复合层构建双路径小卷积特征提取模块；
所述双路径小卷积特征提取模块设置有用于特征提取的残差路径和稠密路径，通过所述残差路径和稠密路径将一个所述复合层的最后一层输出划分为两组特征图，并使用融合Concatenate操作将所述两组特征图合并，作为下一所述复合层特征提取的输入；
步骤2：基于双路径小卷积特征提取模块构建双路径小卷积网络分类模型，所述双路径小卷积网络分类模型包括数据预处理，光谱特征提取和空-谱特征融合；
通过双路径小卷积网络分类模型使用1×1卷积结合全局平均池化层完成最终分类；
每个所述复合层中1×1小卷积顺次执行BN、ReLU和Conv卷积操作；
所述残差路径为1×1小卷积采用identify mapping策略的跳跃连接方式构成，所述稠密路径为1×1小卷积采用稠密连接方式构成；
通过公式(1)计算获取每个双路径小卷积特征提取模块的输出特征图数量：
Cout＝Cin+2×C×(1-r) (1)；
其中，Cin和Cout分别为双路径小卷积特征提取模块的输入和输出特征图的通道数，C为模块中每个1×1卷积核个数，r为残差通道率，表示模块中末端进行残差连接的通道数占总通道数的比例，0≤r≤1。
2.根据权利要求1所述的一种双路径小卷积网络的高光谱图像分类方法，其特征在于，所述空-谱特征融合包括初始阶段，所述初始阶段使用3×3卷积的特征学习方式。
3.根据权利要求1所述的一种双路径小卷积网络的高光谱图像分类方法，其特征在于，步骤2所述的数据预处理具体包括：
S1：输入高光谱图像的标记样本进行零-均值标准化操作；
S2：逐次提取大小为S×S×B的邻域立方体作为分类模型的输入；
其中，S×S表示以第i个像素为中心的空间大小，B表示高光谱图像的波段数量；
S3：将各邻域立方体分别划分为训练集、验证集和测试集。
4.根据权利要求1所述的一种双路径小卷积网络的高光谱图像分类方法，其特征在于，步骤2所述的光谱特征提取具体包括：
S1：在首层位置利用1×1卷积核压缩像素立方体的维度，并通过后接的ReLU层增加特征的非线性，得到非线性特征；
S2：将所述非线性特征输入双路径小卷积特征提取模块中，提取更加抽象的光谱信息。
5.根据权利要求2所述的一种双路径小卷积网络的高光谱图像分类方法，其特征在于，步骤2所述的空-谱特征融合具体包括：
S1：在首层位置利用3×3卷积提取像素立方体的邻域空间信息；
S2：将空-谱组合信息输入双路径小卷积特征提取模块中，深度学习空-谱融合特征；
S3：采用1×1卷积层与全局平均池化层相结合的方式融合所述空-谱特征完成最终的分类。
6.根据权利要求5所述的一种双路径小卷积网络的高光谱图像分类方法，其特征在于，所述1×1卷积层和全局平均池化层中间设置有一个核为3×3，步长为2的平均池化层，所述平均池化层用于压缩特征图尺寸。
7.根据权利要求1～6任一所述的一种双路径小卷积网络的高光谱图像分类方法，其特征在于，方法还包括：
步骤3：基于训练集，采用随机梯度下降算法训练模型参数；
定义在验证集上损失率最小的模型为最佳模型，并将其保存；
输入高光谱数据，并利用训练后的最佳模型完成分类。
CN202110241601.1A 2021-03-04 2021-03-04 一种双路径小卷积网络的高光谱图像分类方法 Active CN112966598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110241601.1A CN112966598B (zh) 2021-03-04 2021-03-04 一种双路径小卷积网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110241601.1A CN112966598B (zh) 2021-03-04 2021-03-04 一种双路径小卷积网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN112966598A CN112966598A (zh) 2021-06-15
CN112966598B true CN112966598B (zh) 2022-08-30

Family

ID=76276523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110241601.1A Active CN112966598B (zh) 2021-03-04 2021-03-04 一种双路径小卷积网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN112966598B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491849A (zh) * 2018-03-23 2018-09-04 上海理工大学 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN111353463A (zh) * 2020-03-12 2020-06-30 北京工业大学 基于随机深度残差网络的高光谱图像分类方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491849A (zh) * 2018-03-23 2018-09-04 上海理工大学 基于三维稠密连接卷积神经网络的高光谱图像分类方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111353463A (zh) * 2020-03-12 2020-06-30 北京工业大学 基于随机深度残差网络的高光谱图像分类方法
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Depth-Wise Separable Convolution Neural Network with Residual Connection for Hyperspectral Image Classification;Lanxue Dang et al;《remote sensing》;20201017;1-20页 *
Spatial–Spectral Feature Extraction via Deep ConvLSTM Neural Networks for Hyperspectral Image Classification;Wen-Shuai Hu et al;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20200630;第58卷(第6期);4237-4250页 *
基于DenseNet-Attention模型的高光谱图像分类;张永鹏等;《图学学报》;20201231;第41卷(第6期);897-904页 *

Also Published As

Publication number Publication date
CN112966598A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
Li et al. Adaptive multiscale deep fusion residual network for remote sensing image classification
Wang et al. Discriminative multiple kernel learning for hyperspectral image classification
Huang et al. Hyperspectral remote sensing image change detection based on tensor and deep learning
Lin et al. Spectral-spatial classification of hyperspectral image using autoencoders
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN106023065A (zh) 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
Du et al. A novel binary tree support vector machine for hyperspectral remote sensing image classification
He et al. A dual global–local attention network for hyperspectral band selection
Wang et al. Classification of hyperspectral imagery with a 3D convolutional neural network and JM distance
CN111767800A (zh) 遥感影像场景分类得分融合方法、系统、设备及存储介质
Ma et al. A novel adaptive hybrid fusion network for multiresolution remote sensing images classification
CN113139512B (zh) 基于残差和注意力的深度网络高光谱影像分类方法
Zhang et al. MATNet: A combining multi-attention and transformer network for hyperspectral image classification
Zhu et al. Multiscale short and long range graph convolutional network for hyperspectral image classification
CN104881682A (zh) 一种基于保局映射与主成分分析的图像分类方法
CN103729652A (zh) 基于稀疏保持流形嵌入的高光谱遥感影像分类方法
CN115512162A (zh) 基于注意力孪生网络与多模态融合特征的地物分类方法
CN105678342B (zh) 基于联合偏度的玉米种子高光谱图像波段选择方法
Xue et al. Grafting transformer on automatically designed convolutional neural network for hyperspectral image classification
CN114511012A (zh) 基于特征匹配和位置匹配的sar图像与光学图像匹配方法
Yang et al. GTFN: GCN and transformer fusion with spatial-spectral features for hyperspectral image classification
Li et al. SPFormer: Self-pooling transformer for few-shot hyperspectral image classification
CN112966598B (zh) 一种双路径小卷积网络的高光谱图像分类方法
Li et al. Deep dynamic adaptation network based on joint correlation alignment for cross-scene hyperspectral image classification
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant