CN115249332A - 基于空谱双分支卷积网络的高光谱图像分类方法及设备 - Google Patents

基于空谱双分支卷积网络的高光谱图像分类方法及设备 Download PDF

Info

Publication number
CN115249332A
CN115249332A CN202211161120.0A CN202211161120A CN115249332A CN 115249332 A CN115249332 A CN 115249332A CN 202211161120 A CN202211161120 A CN 202211161120A CN 115249332 A CN115249332 A CN 115249332A
Authority
CN
China
Prior art keywords
spectrum
spectral
space
spatial
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211161120.0A
Other languages
English (en)
Other versions
CN115249332B (zh
Inventor
孙启玉
刘玉峰
孙平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Fengshi Information Technology Co ltd
Original Assignee
Shandong Fengshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Fengshi Information Technology Co ltd filed Critical Shandong Fengshi Information Technology Co ltd
Priority to CN202211161120.0A priority Critical patent/CN115249332B/zh
Publication of CN115249332A publication Critical patent/CN115249332A/zh
Application granted granted Critical
Publication of CN115249332B publication Critical patent/CN115249332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于空谱双分支卷积网络的高光谱图像分类方法及设备，属于遥感图像技术领域。方法包步骤：S1.将图像进行标准化预处理；S2.对图像进行一维光谱向量和三维光谱‑空间图像块的裁剪，并拆分训练集、验证集和测试集；S3.将图像块输入构建的空间子网分支进行空间特征提取，将一维向量图像输入光谱子网分支进行光谱特征提取；S4.引入权重系数和Sigmoid函数对得到的空间特征和光谱特征进行自适应光谱‑空间特征的加权融合；S5.将融合后的特征映射送入分类器进行像元标签预测，并根据产生标签分类概率计算损失值；S6.迭代训练与优化模型，获得最终高光谱图像分类映射结果。该方法具有高效和优越的分类性能。

Description

基于空谱双分支卷积网络的高光谱图像分类方法及设备
技术领域
本发明涉及一种高光谱图像分类方法，特别涉及一种基于空谱双分支卷积网络的高光谱图像分类方法及设备，属于卷积神经网络和遥感图像技术领域。
背景技术
近年来，受益于地球观测任务的发展，高光谱传感器受到了广泛关注，使得高光谱图像可以更加便捷地获取。高光谱图像中的每个像元包含数百个连续光谱通道的地物判别信息，此外，高光谱图像还包含丰富的空间信息。因此，高光谱图像在地物变化检测、城市规划、环境工程与资源管理等多个领域中有十分广泛的应用。高光谱图像分类任务旨在对高光谱图像的每一个像元指派唯一的地物语义标签，是众多高光谱任务的基础，包括高光谱图像目标检测、高光谱图像异常检测和高光谱图像变化检测等。
在高光图像分类任务中，光谱-空间特征的发掘与利用是实现更优的地物判别性能的关键。由于浅层的特征提取步骤与手动设置的参数系统，传统的特征工程范式下的高光谱图像分类方法在提取判别性的光谱-空间特征方面难以取得比较满意的分类效果。当前，以非线性层叠范式为特征的深度学习方法由于强大的特征提取能力在高光谱图像分类任务上取得较大的进展。在众多的深度学习模型中，卷积神经网络由于其对网格式图像处理的适配性在包括高光谱图像分类在内的众多视觉任务上取得了理想的结果。
但是对于高光谱图像分类任务来说，如何充分地利用像元的类内特征和邻域内类间特征是现存的难题之一。一方面，由于每个高光谱像元本身是一个包含上百个通道信息的一维向量，每个光谱维度的强度值都是地物特性的统一反映。所以，细致地提取光谱维度的信息对于充分挖掘光谱特征十分重要。另一方面，地物信息总是聚簇地记录在高光谱图像中，所以光谱像元周围的邻域像元有很大概率与该像元属于同一地物类别，因此空间邻域信息的合理利用会极大地促进地物类别的判定。利用光谱-空间双分支架构若能够分别对一维光谱向量和三维光谱-空间图像块进行针对性处理，可以更加细致地完成高光谱图像分类任务。
尽管如此，以光谱向量作为输入的光谱分支和以光谱-空间图像块作为输入的空间分支的具体特征提取机理存在差异，使得融合对应生成的深层次特征存在困难，合理并高效地进行双分支特征的融合也是在光谱-空间双分支架构存在的一个障碍。 此外，对于层叠式的深度模型，模型的效率也是影响模型适用性的一个重要因素，高效的模型可以更加便捷地应用到实际的应用场景中，提高模型效率对模型应用的扩展有重要意义。
发明内容
本发明的目的是克服上述不足而提供一种基于空谱双分支卷积网络的高光谱图像分类方法，该方法具有高效和优越的分类性能。
本发明采取的技术方案为：
基于空谱双分支卷积网络的高光谱图像分类方法，包括步骤如下：
S1.将图像进行标准化预处理；
S2.对图像根据采样分别进行一维光谱向量和三维光谱-空间图像块的裁剪，并拆分训练集、验证集和测试集；
S3.将图像块输入构建的空间子网分支进行空间特征提取，将一维光谱向量图像输入构建的光谱子网分支进行光谱特征提取；所述的空间子网分支提取空间特征的步骤包括深度分离卷积组的空间细化特征提取，空间细化特征提取后的进一步特征的提取；所述的光谱子网分支提取光谱特征的步骤包括通过卷积组进行光谱维度方向的特征提取、利用通道注意力模块进行通道特征的强调与抑制、利用特征抽象模块进行高阶光谱特征表示的获取；
S4. 引入权重系数
Figure 100002_DEST_PATH_IMAGE001
和Sigmoid函数对得到的空间特征和光谱特征进行自适应光谱-空间特征的加权融合；
S5.将融合后的特征映射送入分类器进行像元标签预测，并根据预测产生标签分类概率计算损失值；
S6. 迭代训练与优化模型，利用训练好的模型获得最终高光谱图像分类映射结果。
上述方法中，步骤S2所述的一维光谱向量的剪裁进行逐像元的光谱向量(1×1×b)提取即可。三维光谱-空间图像块的裁剪，首先对图像的边界进行0填充，具体对每个像元样本采样时，优选以该像元为中心裁剪9×9×b大小的图像块，其中9×9代表图像块的空间窗大小，b是图像原始光谱维数。
步骤S3所述的深度分离卷积组包括一个点卷积组完成通道之间的交互和一个深度卷积组完成各个通道的空间特征细化，点卷积组包括逐光谱通道的批归一化、1×1的2D卷积和LeakyReLU非线性激活函数；深度卷积组由k×k的2D卷积和LeakyReLU非线性激活函数组成，其中使用的2D卷积每个通道为一组，组间不进行通道交互。深度分离卷积组优选依次采用1×1、3×3和5×5的深度分离卷积组成的卷积组进行特征提取。步骤S3所述的空间细化特征提取后的进一步特征的提取为2D批归一化操作、均值池化处理、特征展平、1D批归一化层-全连接层-Sigmoid函数组合进行的进一步特征的提取。深度分离卷积较大地简化了卷积操作的复杂度，进而提升对应模型的效率。
步骤S3通过1D卷积、1D批归一化和ReLU激活函数组成的卷积组进行光谱维度方向的特征提取。步骤S3所述的利用通道注意力模块进行的通道特征的强调与抑制步骤为：通道注意力模块的输入经过均值池化获得通道的描述向量，之后衔接一个小型的双层全连接组，实现通道特征的升维度和降维度提取，其中嵌入的非线性激活函数是ReLU函数；之后使用Sigmoid非线性函数做进一步非线性激活来得到通道注意力映射，利用得到的通道注意力映射与通道注意力模块原始输入的光谱特征图在通道维度进行逐元素相乘，进行自适应的通道特征的增强。
步骤S3所述的利用特征抽象模块进行的高阶光谱特征表示的获取步骤为：使用1D批归一化进行批次内的数据去偏移量，分别使用最大值池化和均值池化进行两路并行的数据抽象，并分别特征展平，之后完成两路特征图的通道维度上的拼接。
步骤S3所述的光谱子网分支提取光谱特征的步骤还包括高阶光谱特征表示的获取之后的进一步特征提取，即由1D批归一化-全连接层-Dropout正则化-ReLU和全连接层-Dropout正则化-Sigmoid组合进行的进一步特征提取。
步骤S4所述的权重系数
Figure 958412DEST_PATH_IMAGE001
设置初始值为0.5，对空间子网分支获得的空间特征映射使用
Figure 577612DEST_PATH_IMAGE001
加权，对光谱子网分支获得的光谱特征映射使用(1-
Figure 906962DEST_PATH_IMAGE001
)加权，这样两组特征映射可以通过加权和的方式进行融合，权重系数
Figure 666714DEST_PATH_IMAGE001
在每次网络迭代首先经过Sigmoid函数进行非线性激活，之后完成加权融合。这样可以随着所提出网络模型进行训练和优化，进而自适应地调整两个子网分支输出特征映射的相对权重。
步骤S5所述的损失值计算使用的交叉熵损失函数表示为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示计算得出的损失值，N表示模型采用小批次训练模式中的单批次训练集的样本数目， K代表数据场景中的类别数，n和k分别索引当前批次训练集的第n个样本和类别标签集中的第k个类别，y n 代表当前批次训练集中第n个高光谱图像块样本的真值，
Figure DEST_PATH_IMAGE004
表示指示函数，当y n 为k时，
Figure 86325DEST_PATH_IMAGE004
为1，否则，
Figure 876427DEST_PATH_IMAGE004
为0；
Figure DEST_PATH_IMAGE005
代表所考虑的第n个高光谱图像块样本属于类别k的softmax函数输出概率值。
步骤S6所述的迭代训练与优化模型使用Adam优化器，学习率设置为0.001，小批次训练模式中的单批次训练集大小为32，模型训练中，每轮次迭代完成之后计算训练集和验证集对应损失值，使用100次迭代之后的模型作为最终模型。
本发明的另一目的是提供基于空谱双分支卷积网络的高光谱图像分类设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于空谱双分支卷积网络的高光谱图像分类方法中的步骤。
本发明还提供一种存储设备，其为计算机可读存储设备，所述的计算机可读存储设备上存储有计算机程序用于实现如上所述的基于空谱双分支卷积网络的高光谱图像分类方法。
本发明以光谱-空间双分支卷积网络作为核心特征提取模块，通过光谱分支与空间分支分别处理不同的分支输入，即一维光谱向量和三维光谱-空间图像块，并使用自适应权重的融合方法完成不同分支提取特征的融合，可以高效地实现高光谱地物类别的指派。
本发明的有益效果是：
（1）空间子网分支使用的深度分离卷积组，在卷积神经网络模型中，深度分离卷积衍生自分组卷积，将卷积操作分为不涉及通道交互的深度卷积和专注于通道交互的点卷积，极大地降低网络模型的复杂度，进而优化了模型效率。
（2）光谱子网分支使用的通道注意力和特征抽象模式充分地挖掘了光谱向量在光谱域的丰富特征，从而获取更加细致的特征表达。
（3）采用的自适应权重融合的方法可以跟随所提出模型进行训练与优化，极大地缓解了现存光谱-空间分支架构中双分支特征映射难以高效融合的问题，促进本发明实现高效和优越的分类性能。
（4）本发明以光谱-空间双分支作为核心架构来细致地提取光谱-空间特征的高光谱图像分类方法，一定程度上弥补了现有基于深度学习的方法在高光谱图像分类任务上的不足，对光谱特征和光谱-空间特征通过光谱子网分支和空间子网分支分别进行针对性地提取和优化，并使用自适应融合方法进行特征映射的融合，进一步提高模型在高光谱图像分类任务上的模型性能和泛化能力。
附图说明
图1为本发明方法的网络模型结构示意图；
图2为本发明方法的流程图；
图3为本发明深度分离卷积组结构图；
图4为本发明通道注意力模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
实施例1
基于空谱双分支卷积网络的高光谱图像分类方法，包括步骤如下：
S1.将图像进行标准化预处理
对加载的原始图像中所有的像元样本的每个光谱维度分别进行均值-方差标准化处理，以加速提出的分类模型在训练过程中的收敛速度。
S2.对图像进行一维光谱向量和三维光谱-空间图像块的裁剪，并拆分训练集、验证集和测试集
由于所提出模型的空间子网分支和光谱子网分支的输入分别是三维光谱-空间图像块和一维光谱向量，首先将预处理后的图像进行对应的剪裁，得到光谱-空间图像块和光谱向量分别作为空间子网分支和光谱子网分支的输入单元协同地完成地物类别的判定。正如图1所示，是针对每个像元样本裁剪出两种输入模式，分别是一维的光谱向量输入(1×1×b)和三维的图像块输入（9×9×b），光谱向量的剪裁比较直接，进行逐像元的光谱向量(1×1×b)提取即可。而对于光谱-空间图像块的剪裁还是按照高光谱图像分类任务中流行的剪裁方式进行。具体来讲，首先对图像的边界进行0填充，具体对每个像元样本采样时，以该像元为中心裁剪9×9×b大小的图像块，其中9×9代表图像块的空间窗大小，b是图像原始光谱维数。
确定输入单元的裁剪模式之后，需要完成数据集的拆分。具体而言，对每个数据场景中的每个类别按照设定比例进行随机采样获取训练样本、验证样本和测试样本。例如，对于Indian Pines数据集和Kennedy Space Center数据集，训练样本和验证样本分别占10%和1%，其余用作样本测试。对于Pavia University数据集，训练样本和验证样本分别占5%和0.5%，其余用作样本测试。当某个样本类别数量过少难以达到验证集的采样要求时，通过设置最低采样数量来保证每个类别大体按照类别样本数量比例均衡采样。最后，每个类别的训练样本、验证样本和测试样本分别聚合成为训练集、验证集和测试集。
S3.将图像块输入构建的空间子网分支进行空间特征提取，将一维向量图像输入构建的光谱子网分支进行光谱特征提取
用所设计的模型空间子网分支和光谱子网分支分别针对性的处理三维光谱-空间图像块和一维光谱向量，在空间维度和光谱维度来获取更加细致的特征表达。
1)空间子网分支
如图1所示，所提出的高光谱图像分类模型采用光谱-空间双分支架构细致地提取光谱-空间特征。对于空间子网分支，采用三维光谱-空间图像块作为该分支的输入，并采用一组深度分离卷积组作为核心的光谱-空间特征提取单元。图3以k×k深度分离卷积为例展示了卷积组中深度分离卷积的基本架构，深度分离卷积包括一个点卷积组完成通道之间的交互和一个深度卷积组完成各个通道的空间特征细化。具体而言，点卷积组依次包括逐光谱通道的批归一化、1×1的2D卷积和LeakyReLU非线性激活函数。其中，相比ReLU函数，LeakyReLU函数在负数区域具有很小的斜率对负值更加友好。而深度卷积组由k×k的2D卷积和LeakyReLU非线性激活函数组成，其中使用的2D卷积中每个通道为一组，组间不进行通道交互。因此深度分离卷积较大地简化了卷积操作的复杂度，进而提升对应模型的效率。在所提出的空间子网分支中依次采用1×1、3×3和5×5的深度分离卷积组成的卷积组进行光谱-空间特征提取。
经过深度分离卷积组之后的光谱-空间特征图进一步经过2D批归一化进行批次内去偏移，之后经过均值池化和特征的展平得到一维的光谱-空间特征向量。之后使用1D批归一化-全连接层-Sigmoid组合进行进一步的特征提取，进而得到空间子网的输出。
2)光谱子网分支
而对于光谱子网，一维光谱向量图像作为输入首先经过1D卷积、1D批归一化和ReLU激活函数进行光谱维度方向的特征提取，其中卷积核大小设置为24。之后送入经典的SE注意力模块的一维实现，进行自适应的通道特征的强调与抑制，其模型图如图4所示。首先，通道注意力模块的输入经过均值池化获得通道的描述向量，之后衔接一个小型的双层全连接组，实现通道特征的升维度和降维度提取，其中嵌入的非线性激活函数是ReLU函数。之后使用Sigmoid非线性函数做进一步非线性激活来得到通道注意力映射。最终，利用得到的通道注意力映射与通道注意力模块原始输入的光谱特征图在通道维度进行逐元素相乘，进行自适应的通道特征的增强。
之后光谱特征图送入所提出的特征抽象模块来获取高阶的光谱特征表示。首先，使用1D批归一化进行批次内的数据去偏移量，并分别使用核为5的最大值池化和均值池化进行两路并行的数据抽象，并分别进行特征展平之后，完成特征图的通道维度上的拼接。之后进行进一步的全连接层组，即1D批归一化-全连接层-Dropout正则化-ReLU和全连接层-Dropout正则化-Sigmoid组合进行进一步的特征提取，进而得到光谱子网的输出。
S4. 引入权重系数
Figure 20969DEST_PATH_IMAGE001
和Sigmoid函数对得到的空间特征和光谱特征进行自适应光谱-空间特征的加权融合
在空间子网分支和光谱子网分支分别进行空间特征和光谱特征的提取之后，但是高效并合理地将两种特征映射融合是光谱-空间双分支结构的重要问题。在本步骤采用自适应加法的融合方式进行两组特征映射的融合。这里，首先设置初始值为0.5的融合权重
Figure 324692DEST_PATH_IMAGE001
，对空间子网分支的空间特征映射使用
Figure 644815DEST_PATH_IMAGE001
加权，对光谱子网分支的光谱特征映射使用(1-
Figure 136977DEST_PATH_IMAGE001
)加权，这样两组特征映射可以通过加权和的方式进行融合。进一步的，这里的权重系数
Figure 175340DEST_PATH_IMAGE001
在每次网络迭代首先经过Sigmoid函数进行非线性激活，之后完成加权融合，这样可以随着所提出网络模型进行训练和优化，进而自适应地调整两个子网分支输出特征映射的相对权重。
S5.将融合后的特征映射送入分类器进行像元标签预测，并根据预测产生标签分类概率计算损失值
如图1所示，本发明对自适应融合后的特征映射使用一层全连接层进行最终的高光谱图像像元分类。最终分类器使用
Figure DEST_PATH_IMAGE007
激活函数预测产生标签分类概率向量，进而使用交叉熵损失函数计算损失值，而模型使用的交叉熵损失函数表示为：
Figure 545403DEST_PATH_IMAGE002
其中，
Figure 985612DEST_PATH_IMAGE003
表示计算得出的损失值，N表示模型采用小批次训练模式中的单批次训练集的样本数目， K代表数据场景中的类别数，n和k分别索引当前批次训练集的第n个样本和类别标签集中的第k个类别，y n 代表当前批次训练集中第n个高光谱图像块样本的真值，
Figure 383095DEST_PATH_IMAGE004
表示指示函数，当y n 为k时，
Figure 174334DEST_PATH_IMAGE004
为1，否则，
Figure 814000DEST_PATH_IMAGE004
为0；
Figure 108715DEST_PATH_IMAGE005
代表所考虑的第n个高光谱图像块样本属于类别k的softmax函数输出概率值。
S6. 迭代训练与优化模型，利用训练好的模型获得最终高光谱图像分类映射结果
根据损失值采用反向传播的方式迭代训练提出的模型，更新模型的参数。使用Adam优化器，学习率设置为0.001，小批次训练模式中的单批次训练集大小为32。模型训练中，每轮次迭代完成之后计算训练集和验证集对应损失值，使用100次迭代之后的模型作为最终模型。在模型测试阶段，使用已经裁剪好的sa三维图像块和一维光谱向量测试集在不同的高光谱场景下进行模型测试，根据对应的真值标签可以定量衡量模型在各个高光谱场景中的分类性能，并且模型可以通过对场景中每个像元进行类别标签指派来得到整个场景的可视化图像。
实施例2
本实施例提供了实现本发明的硬件设备：
一种存储设备，其为计算机可读存储设备，所述的计算机可读存储设备上存储有计算机程序用于实现如实施例1所述的基于空谱双分支卷积网络的高光谱图像分类方法。
一种基于协方差表示的高光谱图像分类设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例1所述的基于空谱双分支卷积网络的高光谱图像分类方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，包括步骤如下：
S1.将图像进行标准化预处理；
S2.对图像根据采样分别进行一维光谱向量和三维光谱-空间图像块的裁剪，并拆分训练集、验证集和测试集；
S3.将图像块输入构建的空间子网分支进行空间特征提取，将一维光谱向量图像输入光谱子网分支进行光谱特征提取；所述的空间子网分支提取空间特征的步骤包括深度分离卷积组的空间细化特征提取，空间细化特征提取后的进一步特征的提取；所述的光谱子网分支提取光谱特征的步骤包括通过卷积组进行光谱维度方向的特征提取、利用通道注意力模块进行通道特征的强调与抑制、利用特征抽象模块进行高阶光谱特征表示的获取；
S4. 引入权重系数
Figure DEST_PATH_IMAGE001
和Sigmoid函数对得到的空间特征和光谱特征进行自适应光谱-空间特征的加权融合；
S5.将融合后的特征映射送入分类器进行像元标签预测，并根据预测产生标签分类概率计算损失值；
S6. 迭代训练与优化模型，利用训练好的模型获得最终高光谱图像分类映射结果。
2.根据权利要求1所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S3所述的深度分离卷积组包括一个点卷积组完成通道之间的交互和一个深度卷积组完成各个通道的空间特征细化，点卷积组包括逐光谱通道的批归一化、1×1的2D卷积和LeakyReLU非线性激活函数；深度卷积组由k×k的2D卷积和LeakyReLU非线性激活函数组成，其中使用的2D卷积每个通道为一组，组间不进行通道交互。
3.根据权利要求2所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S3所述的深度卷积分离模组依次采用1×1、3×3和5×5的深度分离卷积组成的卷积组进行特征提取。
4.根据权利要求1所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S3所述的空间细化特征提取后的进一步特征的提取为2D批归一化操作、均值池化处理、特征展平、1D批归一化层-全连接层-Sigmoid函数组合进行的进一步特征的提取。
5.根据权利要求1所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S3所述的利用通道注意力模块进行的通道特征的强调与抑制步骤为：通道注意力模块的输入经过均值池化获得通道的描述向量，之后衔接一个小型的双层全连接组，实现通道特征的升维度和降维度提取，其中嵌入的非线性激活函数是ReLU函数；之后使用Sigmoid非线性函数做进一步非线性激活来得到通道注意力映射，利用得到的通道注意力映射与通道注意力模块原始输入的光谱特征图在通道维度进行逐元素相乘，进行自适应的通道特征的增强。
6.根据权利要求1所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S3所述的利用特征抽象模块进行的高阶光谱特征表示的获取步骤为：使用1D批归一化进行批次内的数据去偏移量，分别使用最大值池化和均值池化进行两路并行的数据抽象，并分别特征展平，之后完成两路特征图的通道维度上的拼接。
7.根据权利要求1所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S3所述的光谱子网分支提取光谱特征的步骤还包括高阶光谱特征表示的获取之后的进一步特征提取，即由1D批归一化-全连接层-Dropout正则化-ReLU和全连接层-Dropout正则化-Sigmoid组合进行的进一步特征提取。
8.根据权利要求1所述的基于空谱双分支卷积网络的高光谱图像分类方法，其特征是，步骤S4所述的权重系数
Figure 831860DEST_PATH_IMAGE001
设置初始值为0.5，对空间子网分支获得的空间特征映射使用
Figure 155525DEST_PATH_IMAGE001
加权，对光谱子网分支获得的光谱特征映射使用(1-
Figure 732000DEST_PATH_IMAGE001
)加权，两组特征映射通过加权和的方式进行融合，权重系数
Figure 799313DEST_PATH_IMAGE001
在每次网络迭代首先经过Sigmoid函数进行非线性激活，之后完成加权融合。
9.基于空谱双分支卷积网络的高光谱图像分类设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-8任一项所述的基于空谱双分支卷积网络的高光谱图像分类方法中的步骤。
10.一种存储设备，其为计算机可读存储设备，其特征是，所述的计算机可读存储设备上存储有计算机程序用于实现如权利要求1-8任一项所述的基于空谱双分支卷积网络的高光谱图像分类方法。
CN202211161120.0A 2022-09-23 2022-09-23 基于空谱双分支卷积网络的高光谱图像分类方法及设备 Active CN115249332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211161120.0A CN115249332B (zh) 2022-09-23 2022-09-23 基于空谱双分支卷积网络的高光谱图像分类方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211161120.0A CN115249332B (zh) 2022-09-23 2022-09-23 基于空谱双分支卷积网络的高光谱图像分类方法及设备

Publications (2)

Publication Number Publication Date
CN115249332A true CN115249332A (zh) 2022-10-28
CN115249332B CN115249332B (zh) 2023-01-20

Family

ID=83700406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211161120.0A Active CN115249332B (zh) 2022-09-23 2022-09-23 基于空谱双分支卷积网络的高光谱图像分类方法及设备

Country Status (1)

Country Link
CN (1) CN115249332B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965823A (zh) * 2023-02-13 2023-04-14 山东锋士信息技术有限公司 一种基于Focal损失函数的在线困难样本挖掘方法及系统
CN116229194A (zh) * 2023-05-09 2023-06-06 江西云眼视界科技股份有限公司 一种显著性目标检测方法、系统、计算机及可读存储介质
CN116895050A (zh) * 2023-09-11 2023-10-17 四川高速公路建设开发集团有限公司 一种隧道火灾识别方法及装置
CN117237341A (zh) * 2023-11-13 2023-12-15 山东第一医科大学第一附属医院(山东省千佛山医院) 基于高光谱图像的人体外周血样本检测方法及系统
CN117765410A (zh) * 2024-01-05 2024-03-26 浙江时空智子大数据有限公司 遥感影像双分支特征融合固废识别方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN113723255A (zh) * 2021-08-24 2021-11-30 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质
CN113780147A (zh) * 2021-09-06 2021-12-10 西安电子科技大学 一种轻量化动态融合卷积网的高光谱地物分类方法及系统
CN114092832A (zh) * 2022-01-20 2022-02-25 武汉大学 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN114842264A (zh) * 2022-05-17 2022-08-02 北京理工大学 一种基于多尺度空谱特征联合学习的高光谱图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN113723255A (zh) * 2021-08-24 2021-11-30 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质
CN113780147A (zh) * 2021-09-06 2021-12-10 西安电子科技大学 一种轻量化动态融合卷积网的高光谱地物分类方法及系统
CN114092832A (zh) * 2022-01-20 2022-02-25 武汉大学 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN114842264A (zh) * 2022-05-17 2022-08-02 北京理工大学 一种基于多尺度空谱特征联合学习的高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUFEI YANG 等: "A Deep Multiscale Pyramid Network Enhanced With Spatial–Spectral Residual Attention for Hyperspectral Image Change Detection", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
李忠伟 等: "融合空谱-梯度特征的深度高光谱图像去噪", 《光学精密工程》 *
郭南南: "用于高光谱图像分类的轻量级空间注意力网络", 《软件导刊》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965823A (zh) * 2023-02-13 2023-04-14 山东锋士信息技术有限公司 一种基于Focal损失函数的在线困难样本挖掘方法及系统
CN116229194A (zh) * 2023-05-09 2023-06-06 江西云眼视界科技股份有限公司 一种显著性目标检测方法、系统、计算机及可读存储介质
CN116895050A (zh) * 2023-09-11 2023-10-17 四川高速公路建设开发集团有限公司 一种隧道火灾识别方法及装置
CN116895050B (zh) * 2023-09-11 2023-12-08 四川高速公路建设开发集团有限公司 一种隧道火灾识别方法及装置
CN117237341A (zh) * 2023-11-13 2023-12-15 山东第一医科大学第一附属医院(山东省千佛山医院) 基于高光谱图像的人体外周血样本检测方法及系统
CN117765410A (zh) * 2024-01-05 2024-03-26 浙江时空智子大数据有限公司 遥感影像双分支特征融合固废识别方法、系统及电子设备
CN117765410B (zh) * 2024-01-05 2024-05-28 浙江时空智子大数据有限公司 遥感影像双分支特征融合固废识别方法、系统及电子设备

Also Published As

Publication number Publication date
CN115249332B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN115249332B (zh) 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN111259828B (zh) 基于高分辨率遥感图像多特征的识别方法
CN111797779A (zh) 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN111695467A (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN111915592A (zh) 基于深度学习的遥感图像云检测方法
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Zuo et al. HF-FCN: Hierarchically fused fully convolutional network for robust building extraction
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN112598076B (zh) 一种机动车属性识别方法及系统
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111986193A (zh) 一种遥感影像变化检测方法、电子设备及存储介质
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN111639697A (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN115272776B (zh) 基于双路卷积与双注意的高光谱图像分类方法及存储介质
CN112330562A (zh) 一种异构遥感图像变换方法及系统
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN117079005A (zh) 一种光缆故障监测方法、系统、装置及可读存储介质
Ebert-Uphoff et al. Evaluation, tuning and interpretation of neural networks for meteorological applications
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
CN111626373B (zh) 多尺度加宽残差网络、小目标识别检测网络及其优化方法
CN115035408A (zh) 基于迁移学习和注意力机制的无人机影像树种分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant