CN113780147A - 一种轻量化动态融合卷积网的高光谱地物分类方法及系统 - Google Patents
一种轻量化动态融合卷积网的高光谱地物分类方法及系统 Download PDFInfo
- Publication number
- CN113780147A CN113780147A CN202111039222.0A CN202111039222A CN113780147A CN 113780147 A CN113780147 A CN 113780147A CN 202111039222 A CN202111039222 A CN 202111039222A CN 113780147 A CN113780147 A CN 113780147A
- Authority
- CN
- China
- Prior art keywords
- classification
- module
- network
- training
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims description 63
- 238000000605 extraction Methods 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000012795 verification Methods 0.000 claims abstract description 53
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000013145 classification model Methods 0.000 claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 66
- 230000006870 function Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 2
- 238000011161 development Methods 0.000 claims 1
- 230000018109 developmental process Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 20
- 238000003860 storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000011160 research Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种轻量化动态融合卷积网的高光谱地物分类方法及系统，对高光谱图像进行归一化处理，划分训练集，验证集和测试集；设置双路互连特征提取模块和分类模块，构建网络模型；利用训练集训练网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；将测试集输入精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。本发明进一步降低了网络参数量，减少了网络训练时间，并在较少的训练样本条件下取得了更优的分类效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种轻量化动态融合卷积网的高光谱地物分类方法及系统。
背景技术
高光谱图像因其一物一谱的特有性质，在土地使用性质分类，军事监控，物体识别等领域得到大量应用。近年来高光谱图像采集设备的不断发展与广泛应用，高光谱图像处理需求随之上升。高光谱图像具有数据量大、光谱维数多、光谱相似度高等特点，给高光谱图像分类造成了极大的挑战。而随着深度学习在传统图像分类任务中展现出优良效果，因此将深度学习引入高光谱图像分类，也取得了与传统图像相同的良好分类效果。而深度学习在高光谱图像分类任务应用过程中，存在标记样本数量较少，模型参数量计算量较大，运行效率不高等问题。如何解决上述问题是目前高光谱图像分类领域的迫切需求。
高光谱图像包含丰富的光谱和空间信息。在高光谱图像分类早期，仅使用光谱信息进行高光谱图像分类，未能获取重要的空间信息，导致分类效果不佳。近年来，卷积神经网络在高光谱图像分类任务中广泛使用并展现出优良的分类性能。原因在于卷积神经网络可联合提取高光谱图像光谱信息和空间信息。
一般而言，随着模型深度和参数量的增大，模型的特征提取能力随之增强，可取得更为良好的分类效果。然而更大的模型需要更多的有标记样本进行训练，若有标记训练样本过少容易导致模型的过拟合。但进行大量样本标记在实际情况中并不现实。同时较大的模型其训练和测试时间往往较长，将诸如此类的模型应用于边缘或移动设备较为困难。由于上述原因，以前在高光谱图像分类中使用的网络仅采用几个卷积层，更深层次的区分特征无法充分提取，对卷积神经网络性能造成了影响。且传统设计的网络是固定化网络，针对不同高光谱数据集其网络结构未发生改变，可能存在无法良好适应不同数据集的问题。
在近期研究工作中，对网络进行轻量化处理成为解决上述问题的重要研究方向。轻量化网络，指通过改进或重新设计卷积神经网络中某些结构，在使用更少参数量的情况下，提高网络运行效率，取得较传统网络更优的网络性能。通过对网络轻量化处理，降低网络对训练样本数量的需求，提高网络运行效率并改进网络分类性能。
尽管近期已有诸多轻量化研究应用于高光谱图像分类领域，但模型参数量仍在数十万量级，且仍需较多的训练样本量才能达到较好的分类精度。因此如何设计更为轻量化且特征提取能力更好的网络以降低对标记样本数量的需求和如何针对不同数据集数据自适应的改进网络仍是有待解决的问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种轻量化动态融合卷积网的高光谱地物分类方法及系统，充分利用点卷积提取光谱信息，轻量化动态融合卷积提取空间信息，两者皆为轻量化结构，降低模型参数量，提高网络运行效率，并使用较少的训练样本得到良好的分类效果。
本发明采用以下技术方案：
一种轻量化动态融合卷积网的高光谱地物分类方法，包括以下步骤：
S1、对高光谱图像进行归一化处理，划分训练集，验证集和测试集；
S2、设置双路互连特征提取模块和分类模块，构建网络模型；
S3、利用步骤S1划分的训练集训练步骤S2构建的网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；
S4、将步骤S1划分的测试集输入步骤S3精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
具体的，步骤S1具体为：
S101、采用min-max归一化对样本数据进行线性变换，使结果映射到[0,1]之间；
S102、设置高光谱图像采样窗口，采样窗口为patch块空间大小，从归一化后的高光谱图像中采样样本集；
S103、以patch块中心像素点的标签作为该patch块标签，将所有带标签patch块随机划分为训练集、验证集和测试集，训练集和验证集不重叠。
具体的，步骤S2中，双路互连特征提取模块分为两路并行的光谱特征提取分支网络和空间特征特征提取分支网络，在网络不同深度通过两路分支网络中的交互连接层进行特征的流通融合；双路互连特征提取模块共3个stage，在stage1尾部将光谱特征提取分支网络输出特征
和空间特征提取分支网络输出特征
进行融合得到融合特征Fstage1，将Fstage1作为stage2的输入特征，在stage2尾部采用相同方法得到融合特征Fstage2输入stage3；将stage3的尾部融合特征Fstage3输入分类模块进行样本分类。
进一步的，光谱特征提取分支网络由多层点卷积和残差连接组成，用于提取光谱特征作为融合特征阶段的输入光谱特征。
进一步的，空间特征提取分支网络由多个轻量化动态融合卷积模块和残差连接组成，每个模块提取的空间特征作为融合特征阶段的输入空间特征，轻量化动态融合卷积模块包括点卷积、多组轻量化卷积和注意力机制。
更进一步的，将输入特征通过点卷积进行通道间信息的流通，然后经多个轻量化卷积提取空间信息，各轻量化卷积提取的空间信息分别经注意力模块调节通道重要性，最后将多个注意力模块的输出进行融合处理。
进一步的，双路互连特征提取模块所有卷积输出通道数均相同，分类模块中点卷积输出通道数为双路互连特征提取模块输出通道数的二分之一。
具体的，步骤S2中，分类模块包括点卷积，全局平均池化和全连接层，分类模块的输入为双路互连特征提取模块最后阶段的输出融合特征，输出为分类预测值pred。
具体的，步骤S3中，设置训练代数为4000，单次训练集的输入量为72，损失函数为交叉熵损失函数，学习率初始为0.0001，使用训练集训练网络更新网络参数，每训练10代模型将全部验证集样本输入当前代训练网络得到网络模型在验证集上的分类精度，保存在验证集上分类精度最高的一代网络参数作为最终的分类网络参数。
本发明的另一技术方案是，一种轻量化动态融合卷积网的高光谱地物分类系统，包括：
划分模块，对高光谱图像进行归一化处理，划分训练集，验证集和测试集；
网络模块，设置双路互连特征提取模块和分类模块，构建网络模型；
验证模块，利用划分模块划分的训练集训练网络模块构建的网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；
分类模块，将划分模块划分的测试集输入验证模块精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种轻量化动态融合卷积网的高光谱地物分类方法，能够通过轻量化结构点卷积与轻量化动态融合卷积分别进行光谱信息与空间信息提取，然后在网络不同深度融合提取的光谱特征和空间特征以增强特征，将双路互连特征提取模块的提取特征输入分类模块得到分类结果。
进一步的，采用min-max归一化原始高光谱图像，保留图像连续光谱信息，高光谱图像具有数百维光谱通道，不同类别的物体光谱曲线有所不同，保留光谱曲线整体连续形态信息与变化特性对高光谱图像分类具有重要意义，因此在归一化处理中应尽可能保留原始高光谱图像光谱信息的连续性及变化特性与趋势。
进一步的，双路互连特征提取模块中使用轻量化点卷积和轻量化动态融合卷积模块并行提取光谱信息和空间信息，以增强特征提取的专一性，提高提取特征质量，有利于提取更优的光谱特征和空间特征，同时在网络不同深度融合光谱特征和空间特征，得到光谱空间联合特征作为下一阶段的输入特征。双路互连特征提取模块分为两路并行的光谱特征提取分支网络和空间特征提取分支网络，将光谱特征和空间特征独立并行化提取，在特征提取阶段相互独立互不干扰，增强专一性。并行化网络降低了网络深度，与串行化深度网络相比减少了输入特征信息损失，有利于提取更优的光谱特征和空间特征。此外经研究证实光谱空间联合特征的使用相比于单独使用光谱特征或空间特征进行高光谱图像分类具有更好的分类效果。
进一步的，光谱特征提取分支网络由多层点卷积和残差连接组成，仅单独提取光谱特征而不涉及空间特征，增强特征提取的专一性，残差连接用以缓解特征提取过程中的信息损失，增强信息流通。点卷积由空间尺寸为1×1的卷积核构成，在特征提取过程中仅处理特征图上某一点上的连续光谱特征，而对这一点周围空间特征不作任何处理，因此更有利于专注有效的提取光谱区分性特征。
进一步的，空间特征提取分支网络由多个轻量化动态融合卷积模块和残差连接组成，每个模块提取的空间特征作为融合特征阶段的输入空间特征。轻量化动态融合卷积模块相比于传统标准卷积，降低了参数量和计算量，有效提升了网络运行效率。在轻量化动态融合卷积模块中同时使用多组轻量化卷积和注意力机制，不同组的轻量化卷积和注意力机制提取不同的空间特征，增强了该模块所提取空间特征的多样性和空间差异性。
进一步的，将输入特征通过点卷积进行通道间信息的流通融合，弥补轻量化卷积仅提取空间信息，通道信息交流能力的不足。多组轻量化卷积提取空间信息，各轻量化卷积提取的空间信息分别经注意力模块调节通道重要性。由于各组轻量化卷积提取了不同的空间特征，为提高高质量空间特征的重要性，降低低质量空间特征的重要性，使用注意力模块根据输入自适应调节各组空间特征的通道重要性。完成重要性调节后，将多个注意力模块的输出进行融合处理，使不同重要性的空间特征相互补充。
进一步的，双路互连特征提取模块所有卷积输出通道数均相同，由于该网络残差连接和特征融合操作较多，设置相同输出通道数可节省维度调整的时间。分类模块中点卷积输出通道数为双路互连特征提取模块输出通道数的二分之一，渐进降低网络通道数，防止通道数骤降造成较大的特征损失。
进一步的，分类模块中点卷积输出通道数为双路互连特征提取模块输出通道数的二分之一，渐进降低网络通道数，防止通道数骤降造成较大的特征损失。
进一步的，训练代数，单次训练样本输入量，学习率是通过参数寻优设置的效果优良的超参，验证集的设置是为了使更新的网络参数更适应整体样本集。在该超参数设置下，在较低网络参数量条件下使用较少训练样本即取得了较优良的的分类效果。
综上所述，本发明通过轻量化结构提取光谱信息与空间信息，克服传统方法只利用高光谱图像光谱信息的缺点，采用光谱信息与空间信息相融合的方法，降低参数数量，提升网络运行效率，在使用较少训练样本条件下即取得了较优良的的分类效果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为全局结构图；
图2为图1各模块详细结构；
图3为本发明Pavia University分类效果图，其中，(a)为DcCapsGAN分类效果图，(b)为LMAFN分类效果图，(c)为DWDFCN分类效果图；
图4为本发明流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种轻量化动态融合卷积网的高光谱地物分类方法，对高光谱图像进行预处理，将其分为训练集，验证集和测试集，经归一化处理后划分为固定大小的patch块。使用训练集数据训练网络，保存在验证集上精度最高的一代模型参数对测试集进行测试。为降低网络深度，增强网络提取光谱特征和空间特征的专一性，本网络并行提取输入样本光谱特征和空间特征，并在不同网络深度对空谱特征进行融合处理，可在较浅的网络深度下提取到较好的分类特征。分别使用点卷积和轻量化动态融合卷积进行光谱特征和空间特征提取。轻量化动态融合卷积由点卷积，多尺度卷积融合，注意力机制组成，相较于传统卷积大大降低了参数数量，多尺度卷积融合增强了卷积核的特征提取能力，可提取较优良的空间特征，注意力机制可根据输入自适应调整不同组卷积核重要性。本发明相较于之前的方法进一步降低了网络参数量，减少了网络训练时间，并在较低的训练样本数条件下取得了更优的分类效果。
请参阅图4，本发明一种轻量化动态融合卷积网的高光谱地物分类方法，包括以下步骤：
S1、对高光谱图像进行归一化处理，划分训练集，验证集和测试集，完成数据预处理；
S101、为保留高光谱图像光谱信息的连续性，采用min-max归一化，对样本数据进行线性变换，使结果映射到[0,1]之间；
S102、设置高光谱图像采样窗口，该采样窗口为patch块空间大小，从归一化后的高光谱图像中采样样本集；
S103、以patch块中心像素点的标签作为该patch块标签，将所有带标签patch块随机划分为训练集、验证集和测试集。其中训练集和验证集样本不相重叠。
S2、设置双路互连特征提取双路互连特征提取模块，分类模块，构建网络模型；
请参阅图1和图2，双路互连特征提取双路互连特征提取模块分为两路并行的光谱特征提取路分支网络和空间特征特征提取路，分支网络，在网络不同深度通过两路分支网络中的交互连接层进行特征的流通融合。双路互连特征提取模块共3个stage，在每个stage尾部将提取的光谱特征和空间特征进行融合作为下一stage的输入，stage3尾部融合特征输入分类模块进行分类。
最终的网络模型是双路互连特征提取模块+分类模块。以下几个步骤首先介绍双路互连特征提取模块，双路互连特征提取模块由两路并行的光谱特征提取分支网络和空间特征提取分支网络组成，且分为三个阶段(即stage1，stage2，stage3)。每一阶段由点卷积组成光谱特征提取分支网络，轻量化动态融合卷积模块组成空间特征提取分支网络。stage1的输入是样本X，stage2的输入是stage1的输出，stage3的输入是stage2的输出，stage3的输出是分类模块的输入。
设置双路互连特征提取模块
双路互连特征提取模块包括两路并行的光谱特征提取分支网络和空间特征提取分支网络，分别提取光谱特征和空间特征以增强其提取特征能力的专一性。同时在网络某些层融合提取到的光谱特征和空间特征以互相补充。将双路互连特征提取模块提取到的特征输入分类模块进行分类；
将样本X分别输入双路互连特征提取模块stage1的光谱特征提取分支网络和空间特征提取分支网络。两路输出通道数相同。在stage1尾部将光谱特征提取分支网络输出特征
和空间特征提取分支网络输出特征
进行融合得到融合特征Fstage1，即
将Fstage1作为stage2的输入特征，在stage2尾部采用上述相同方法得到融合特征Fstage2输入stage3；将stage3的尾部融合特征Fstage3输入分类模块进行样本分类。
光谱特征提取分支网络
光谱特征提取分支网络由多层点卷积和残差连接组成，用以提取光谱特征作为融合特征阶段的输入光谱特征；设输入为Fstage1，对于stage1
其中，
指stage1中光谱特征提取分支网络第一个点卷积对输入进行卷积，输出为光谱特征Fspe1，Fspe2为stage1中第二个点卷积的卷积输出结果。stage1的尾部待融合光谱特征
为Fspe1和Fspe2的残差相加。。
设输入为Fstage1，对于stage2
Fspe3＝Fspe3+Fstage1 (6)
设输入为Fstage2，对于stage3
Fspe5＝Fspe5+Fstage2 (10)
空间特征提取分支网络
空间特征提取分支网络由多个轻量化动态融合卷积模块和残差连接组成，每个模块提取的空间特征作为融合特征阶段的输入空间特征；轻量化动态融合卷积模块由点卷积、多个轻量化卷积、注意力机制组成。
将输入特征通过点卷积进行通道间信息的流通，然后经多个轻量化卷积提取空间信息，各轻量化卷积提取的空间信息分别经注意力模块调节通道重要性。最后将多个注意力模块的输出进行融合处理。该模块大大降低了参数数量，提高了运行效率，同时保持了良好的空间特征提取能力。此外注意力机制可自适应的根据输入进行动态调节。而融合卷积相较于传统相同尺寸卷积，可自适应改变不同组卷积核的重要性，具有更强的空间特征提取能力；
请参阅图3，仅以stage1中的轻量化动态融合卷积模块为例，设输入为X
然后将Fspa1输入三个并行的深度可分离卷积
和
分别输出FDW1，FDW2和FDW3；
再将FDW1，FDW2和FDW3分别经三个注意力卷积
和
调节输入的重要性，分别输出FECA1，FECA2和FECA3；
最后将FECA1，FECA2和FECA3融合相加输出stage1的空间待融合特征
双路互连特征提取模块分为多个阶段。每一阶段均由点卷积和轻量化动态融合卷积模块组成。stage1的输入为训练集样本，点卷积提取的光谱信息和轻量化动态融合卷积模块提取的空间信息在stage1尾部进行融合，即add操作，融合后的特征作为下一阶段的输入。
分类模块
分类模块包括点卷积，全局平均池化(GAP)和全连接层，其输入为双路互连特征提取模块最后阶段的输出融合特征，将该特征通过上述操作处理输出分类预测值pred；将双路互连特征提取模块stage3的尾部融合特征Fstage3输入分类模块。先通过一层点卷积将输出通道数降为输入的一半，再是用全局平均池化(GAP)压缩输入至通道特征向量，然后通过全连接层将特征向量长度变为待分类样本类别数，最后使用sigmoid对向量进行归一化处理，其即为分类概率向量。
为保留连续光谱信息，在使用点卷积提取光谱信息后使用ReLU作为非线性激活层。提取空间信息时，在使用轻量化动态融合卷积提取空间信息后使用ReLU6作为非线性激活层。
双路互连特征提取模块所有卷积输出通道数均相同，分类模块中点卷积输出通道数为双路互连特征提取模块输出通道数的二分之一。
S3、训练步骤S2构建的网络模型；
取一定比例有标记样本作为验证集，设置训练代数为4000，单次样本输入量为72，损失函数为交叉熵损失函数，学习率初始为0.0001，每训练10代模型将全部验证集样本输入网络得到模型在验证集上的分类精度。保存模型在验证集上分类精度最高的一代模型参数作为最终的分类模型。
S4、步骤S3完成后，对测试集进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
模型训练完成后，导入保存的最好一代的模型参数，将测试集输入模型，得到分类精度。将图像全图按顺序进行像素点的patch分割输入网络进行分类，输出全图分类结果。
评估指标包括总体精度OA，平均精度AA，卡帕系数KAPPA；总体精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好；平均精度AA表示每一类分类精度的平均值，值越大，说明分类效果越好；卡帕系数KAPPA表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
本发明再一个实施例中，提供一种轻量化动态融合卷积网的高光谱地物分类系统，该系统能够用于实现上述轻量化动态融合卷积网的高光谱地物分类方法，具体的，该轻量化动态融合卷积网的高光谱地物分类系统包括划分模块、网络模块、验证模块以及分类模块。
其中，划分模块，对高光谱图像进行归一化处理，划分训练集，验证集和测试集；
网络模块，设置双路互连特征提取模块和分类模块，构建网络模型；
验证模块，利用划分模块划分的训练集训练网络模块构建的网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；
分类模块，将划分模块划分的测试集输入验证模块精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于轻量化动态融合卷积网的高光谱地物分类方法的操作，包括：
对高光谱图像进行归一化处理，划分训练集，验证集和测试集；设置双路互连特征提取模块和分类模块，构建网络模型；利用训练集训练网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；将测试集输入精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关轻量化动态融合卷积网的高光谱地物分类方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
对高光谱图像进行归一化处理，划分训练集，验证集和测试集；设置双路互连特征提取模块和分类模块，构建网络模型；利用训练集训练网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；将测试集输入精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
使用Pavia University高光谱图像数据，每类取2％有标记样本，1％作为训练集，1％作为验证集，其余有标记样本作为测试集进行高光谱图像分类。
1、将原始图像进行min-max归一化；
2、从归一化图像上通过7×7窗口截取样本集，每类取2％有标记样本，1％作为训练集，1％作为验证集，其余有标记样本作为测试集进行高光谱图像分类；
3、设置训练代数为4000，单次样本输入量为72，损失函数为交叉熵损失函数，学习率初始为0.0001，每训练10代模型将全部验证集样本输入网络得到模型在验证集上的分类精度。保存模型在验证集上分类精度最高的一代模型参数作为最终的分类模型；
4、将训练样本输入训练模型进行训练；
5、训练模型完成，并进行测试，获得在测试集上的分类精度；
6、全图像素点patch分割输入网络得到全图分类图。
表1 DcCapsGAN、LMAFN和所提出的DWDFCN结果对比
表2 DcCapsGAN、LMAFN和所提出的DWDFCN参数量、计算量、时间对比
| DcCapsGAN | LMAFN | DWDFCN | |
| 参数量 | 21468326 | 153060 | 63144 |
| 计算量(Millon) | 342.85 | 7.001 | 3.115 |
| 训练时间(s) | 766.54 | 280.33 | 103.52 |
| 测试时间(s) | 22.17 | 3.53 | 2.53 |
请参阅表1和表2，本发明提出的高光谱图像分类方法，在相同标记样本使用量条件下，相比于DcCapsGAN和LMAFN，其OA值高1.27％和0.7％，参数量减少了99.70％和58.74％，计算量分别减少了99.09％和55.51％，训练时间减少了86.50％和63.07％，测试时间减少了88.59％和28.33％。由此可知，在更少的参数使用量条件下，本发明提出的网络结构取得了比DcCapsGAN和LMAFN更好的分类效果，同时计算量更低，网络运行速度更快。
请参阅图3，图3(a)(b)(c)分别为表1中的三个分类结果图，由图可知本发明在更少的参数量，更低的计算资源需求，更高的运行效率的情况下取得了比DcCapsGAN和LMAFN更好的分类效果。
综上所述，本发明一种轻量化动态融合卷积网的高光谱地物分类方法及系统，通过点卷积和轻量化动态融合卷积分别提取光谱特征和空间特征，在网络不同深度融合光谱特征和空间特征以互相增强。轻量化动态融合卷积中使用注意力机制动态调整不同组深度可分离卷积的重要性。实验结果表明，在更少的参数量，更低的计算资源需求，更高的运行效率的情况下，本发明取得了与现有技术更优的分类精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种轻量化动态融合卷积网的高光谱地物分类方法，其特征在于，包括以下步骤：
S1、对高光谱图像进行归一化处理，划分训练集，验证集和测试集；
S2、设置双路互连特征提取模块和分类模块，构建网络模型；
S3、利用步骤S1划分的训练集训练步骤S2构建的网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；
S4、将步骤S1划分的测试集输入步骤S3精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
S101、采用min-max归一化对样本数据进行线性变换，使结果映射到[0，1]之间；
S102、设置高光谱图像采样窗口，采样窗口为patch块空间大小，从归一化后的高光谱图像中采样样本集；
S103、以patch块中心像素点的标签作为该patch块标签，将所有带标签patch块随机划分为训练集、验证集和测试集，训练集和验证集不重叠。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，双路互连特征提取模块分为两路并行的光谱特征提取分支网络和空间特征特征提取分支网络，在网络不同深度通过两路分支网络中的交互连接层进行特征的流通融合；双路互连特征提取模块共3个stage，在stage1尾部将光谱特征提取分支网络输出特征
和空间特征提取分支网络输出特征
进行融合得到融合特征Fstage1，将Fstage1作为stage2的输入特征，在stage2尾部采用相同方法得到融合特征Fstage2输入stage3；将stage3的尾部融合特征Fstage3输入分类模块进行样本分类。
4.根据权利要求3所述的方法，其特征在于，光谱特征提取分支网络由多层点卷积和残差连接组成，用于提取光谱特征作为融合特征阶段的输入光谱特征。
5.根据权利要求3所述的方法，其特征在于，空间特征提取分支网络由多个轻量化动态融合卷积模块和残差连接组成，每个模块提取的空间特征作为融合特征阶段的输入空间特征，轻量化动态融合卷积模块包括点卷积、多组轻量化卷积和注意力机制。
6.根据权利要求5所述的方法，其特征在于，将输入特征通过点卷积进行通道间信息的流通，然后经多个轻量化卷积提取空间信息，各轻量化卷积提取的空间信息分别经注意力模块调节通道重要性，最后将多个注意力模块的输出进行融合处理。
7.根据权利要求3所述的方法，其特征在于，双路互连特征提取模块所有卷积输出通道数均相同，分类模块中点卷积输出通道数为双路互连特征提取模块输出通道数的二分之一。
8.根据权利要求1所述的方法，其特征在于，步骤S2中，分类模块包括点卷积，全局平均池化和全连接层，分类模块的输入为双路互连特征提取模块最后阶段的输出融合特征，输出为分类预测值pred。
9.根据权利要求1所述的分类方法，其特征在于，步骤S3中，设置训练代数为4000，单次训练集的输入量为72，损失函数为交叉熵损失函数，学习率初始为0.0001，使用训练集训练网络更新网络参数，每训练10代模型将全部验证集样本输入当前代训练网络得到网络模型在验证集上的分类精度，保存在验证集上分类精度最高的一代网络参数作为最终的分类网络参数。
10.一种轻量化动态融合卷积网的高光谱地物分类系统，其特征在于，包括：
划分模块，对高光谱图像进行归一化处理，划分训练集，验证集和测试集；
网络模块，设置双路互连特征提取模块和分类模块，构建网络模型；
验证模块，利用划分模块划分的训练集训练网络模块构建的网络模型，并利用验证集对网络模型进行验证，将验证集上精度最高的一代网络模型权重作为最终的分类模型权重；
分类模块，将划分模块划分的测试集输入验证模块精度最高的一代网络模型中进行测试得到最终的分类结果，进行高光谱图像分类，根据分类结果输出分类图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111039222.0A CN113780147A (zh) | 2021-09-06 | 2021-09-06 | 一种轻量化动态融合卷积网的高光谱地物分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111039222.0A CN113780147A (zh) | 2021-09-06 | 2021-09-06 | 一种轻量化动态融合卷积网的高光谱地物分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780147A true CN113780147A (zh) | 2021-12-10 |
Family
ID=78841337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111039222.0A Pending CN113780147A (zh) | 2021-09-06 | 2021-09-06 | 一种轻量化动态融合卷积网的高光谱地物分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780147A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418003A (zh) * | 2022-01-20 | 2022-04-29 | 北京科技大学 | 基于注意力机制及多尺寸信息提取的双图像识别分类方法 |
| CN115249332A (zh) * | 2022-09-23 | 2022-10-28 | 山东锋士信息技术有限公司 | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN111695469A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 |
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
-
2021
- 2021-09-06 CN CN202111039222.0A patent/CN113780147A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
| CN111695469A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANING WANG ET AL.: ""NAS-Guided Lightweight Multiscale Attention Fusion Network for Hyperspectral Image Classification"", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 王彩云等: ""基于稀疏性深度学习的航拍图像超分辨重构"", 《系统工程与电子技术》, vol. 43, no. 8 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418003A (zh) * | 2022-01-20 | 2022-04-29 | 北京科技大学 | 基于注意力机制及多尺寸信息提取的双图像识别分类方法 |
| CN114418003B (zh) * | 2022-01-20 | 2022-09-16 | 北京科技大学 | 基于注意力机制及多尺寸信息提取的双图像识别分类方法 |
| CN115249332A (zh) * | 2022-09-23 | 2022-10-28 | 山东锋士信息技术有限公司 | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 |
| CN115249332B (zh) * | 2022-09-23 | 2023-01-20 | 山东锋士信息技术有限公司 | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113011499B (zh) | 一种基于双注意力机制的高光谱遥感图像分类方法 | |
| CN111626300B (zh) | 基于上下文感知的图像语义分割模型的图像分割方法及建模方法 | |
| CN111523521B (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
| CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
| CN113780147A (zh) | 一种轻量化动态融合卷积网的高光谱地物分类方法及系统 | |
| CN111310598B (zh) | 一种基于3维和2维混合卷积的高光谱遥感图像分类方法 | |
| CN111723915B (zh) | 一种基于深度卷积神经网络的目标检测方法 | |
| CN113066065B (zh) | 无参考图像质量检测方法、系统、终端及介质 | |
| CN115331110A (zh) | 遥感高光谱图像与激光雷达图像融合分类方法及装置 | |
| Guo et al. | UNet-2022: Exploring dynamics in non-isomorphic architecture | |
| Gehlot et al. | Ednfc-net: Convolutional neural network with nested feature concatenation for nuclei-instance segmentation | |
| CN111860683A (zh) | 一种基于特征融合的目标检测方法 | |
| CN110568445A (zh) | 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法 | |
| CN110837808A (zh) | 一种基于改进的胶囊网络模型的高光谱图像分类方法 | |
| CN112365511A (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
| CN116740538A (zh) | 一种基于YOLOv8改进的轻量化目标检测方法及系统 | |
| Zhang et al. | Fsanet: Frequency self-attention for semantic segmentation | |
| Liu et al. | A fast and accurate super-resolution network using progressive residual learning | |
| CN116227556A (zh) | 获取目标网络模型的方法、装置、计算机设备及存储介质 | |
| CN116402761A (zh) | 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法 | |
| CN113744220B (zh) | 一种基于pynq的无预选框检测系统 | |
| CN114495269A (zh) | 一种行人重识别方法 | |
| CN114332103A (zh) | 一种基于改进FastFCN的图像分割方法 | |
| CN112949771A (zh) | 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法 | |
| CN112950638B (zh) | 图像分割方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |