CN114005003A - 基于通道多分组融合的遥感场景图像分类方法 - Google Patents

基于通道多分组融合的遥感场景图像分类方法 Download PDF

Info

Publication number
CN114005003A
CN114005003A CN202111502098.7A CN202111502098A CN114005003A CN 114005003 A CN114005003 A CN 114005003A CN 202111502098 A CN202111502098 A CN 202111502098A CN 114005003 A CN114005003 A CN 114005003A
Authority
CN
China
Prior art keywords
convolution
depth separable
fusion
convolution unit
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111502098.7A
Other languages
English (en)
Other versions
CN114005003B (zh
Inventor
石翠萍
张鑫磊
王丽婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiqihar University
Original Assignee
Qiqihar University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qiqihar University filed Critical Qiqihar University
Priority to CN202111502098.7A priority Critical patent/CN114005003B/zh
Priority claimed from CN202111502098.7A external-priority patent/CN114005003B/zh
Publication of CN114005003A publication Critical patent/CN114005003A/zh
Application granted granted Critical
Publication of CN114005003B publication Critical patent/CN114005003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于通道多分组融合的遥感场景图像分类方法，本发明涉及遥感场景图像分类方法。本发明的目的是为了解决现有通道融合中通道分组都是使用单一的分组形式，导致特征的提取准确率低的问题。过程为：步骤一、获取高光谱图像；步骤二、建立基于通道多分组融合的轻量级卷积神经网络模型；步骤三、将高光谱图像输入建立的基于通道多分组融合的轻量级卷积神经网络模型进行训练，得到训练好的基于通道多分组融合的轻量级卷积神经网络模型；步骤四、将待测高光谱图像输入练好的基于通道多分组融合的轻量级卷积神经网络模型得到分类结果。本发明用于遥感场景图像分类领域。

Description

基于通道多分组融合的遥感场景图像分类方法
技术领域
本发明涉及遥感场景图像分类方法。
背景技术
遥感场景图像分类的目标是将输入的遥感图像进行正确的分类。由于遥感图像分类在自然灾害检测，土地覆盖分析，城市规划和国防安全[1,2,3,4]等方面的广泛应用，引起了大家的关注。到目前为止，已经提出了许多用于遥感场景图像分类的方法。其中，卷积神经网络凭借自身强大的特征提取能力，成为公认的最成功深度学习方法，被广泛应用于图像分类[5],目标检测[6]等方向。很多优秀的神经网络被设计用来进行图像分类。例如，Li等人[7]提出了一种用于遥感场景分类的深度特征融合网络。赵等人[8]提出了一个结合局部光谱特征、全局纹理特征和局部结构特征的PTM框架对特征进行融合。王等人[9]利用注意机制自适应地选择每个图像的关键部分，然后进行特征融合生成强大的特征。
近年来，设计一个在分类精度和运行速度之间实现最优权衡的卷积神经网络成为了一个热门的研究方向。SqueezeNet[10]通过挤压和扩展模块来降低参数量实现轻量级网络。挤压部分是由一组连续的1×1卷积组成，扩展部分是由一组连续的1×1卷积和一组连续的3×3卷积进行通道连接组成。MobileNetV1[11]引入了深度可分离卷积来替代传统的卷积，深度可分离卷积分成两个独立的过程：用于空间滤波的轻量级深度卷积和用于生成特征的1×1卷积，将空间滤波从特征产生机制中分离出来，有效的分解了传统卷积。MobileNetV2[12]在MobileNetV1的基础上增加了线形瓶颈和倒残差结构，进一步提升了网络的性能。SENet[13]提出了SE模块，该模块包括挤压和扩展两个部分。首先通过全局平均池化实现挤压操作，将输入的二维特征通道变成一个具有全局感受野的实数，接着通过全连接层实现扩展操作，得到一组权重参数，最后通过乘法逐通道加权，完成在通道维度上对原始特征的重新标定。NASNet[14]利用强化学习和模型搜索结构先在小数据集上学习一个网络单元，然后在大数据集上将学习好的单元进行堆叠，解决了之前神经网络搜索结构无法应用到大数据集上的缺点。MobileNetV3[15]添加了SE模块，并且利用神经结构搜索来搜索网络的配置和参数。ResNet[16]利用残差连接解决了因为网络深度引起的性能下降问题，并且提出了一种高效的瓶颈结构取得了令人满意的结果。Xception[17]采用深度可分离卷积替代了Inception模块中的卷积操作，取得了更好的性能。GoogleNet[18]使用Inception模块使得网络变得更深更宽，精度更高。Inception模块由3个卷积分支和一个池化分支组成，最后将四个分支进行通道融合来实现。
分组卷积最早应用在AlexNet[19]中，由于当时硬件条件的限制，在AlexNet中使用分组卷积来对网络进行切分，使其在两个GPU上并行运行，实现了很好的性能表现。在ResNeXt[20]中很好的证明了分组卷积的有效性。ResNeXt将网络结构高度模块化，通过重复的堆叠模块来进行搭建网络架构。该模块由若干个瓶颈结构组成，在不增加参数量的情况下提升了模型的准确率。传统的通道分组都是使用单一的分组形式(例如，输入特征的通道数为C，g是分组数，则每个组中的通道数都是C/g)，使用单一的通道分组不利于特征的提取。
发明内容
本发明的目的是为了解决现有通道融合中通道分组都是使用单一的分组形式，导致特征的提取准确率低的问题，而提出基于通道多分组融合的遥感场景图像分类方法。
基于通道多分组融合的遥感场景图像分类方法具体过程为：
步骤一、获取高光谱图像；
步骤二、建立基于通道多分组融合的轻量级卷积神经网络模型；
步骤三、将高光谱图像输入建立的基于通道多分组融合的轻量级卷积神经网络模型进行训练，得到训练好的基于通道多分组融合的轻量级卷积神经网络模型；
所述基于通道多分组融合的轻量级卷积神经网络模型包括输入层、第一组、第二组、第三组、第四组、第五组、第六组、第七组、第八组和输出层；
第一组和第二组分别包括分支1、分支2和分支3；
分支1依次包括第一步长为2卷积核大小是3×3的卷积层、批标准化、Rule激活函数、第二步长为1卷积核大小是3×3的卷积层、批标准化、Rule激活函数；
分支2依次包括步长为2池化核大小为2的最大池化层、第三步长为1卷积核大小是3×3的卷积层；
分支3包括第四步长为1卷积核大小是1×1的卷积层；
将分支1和分支2得到的特征进行融合；
将融合之后的特征和分支3得到的特征进行特征融合，得到最终的输出特征；
第三组依次包括第五步长为1卷积核大小是1×1的卷积层、第六步长为1卷积核大小是3×3的卷积层和第一步长为2卷积核大小是3×3的深度可分离卷积层；
第四组至第七组分别包括第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元、第二深度可分离卷积单元、第三深度可分离卷积单元、第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元、第七深度可分离卷积单元、第八深度可分离卷积单元、第九深度可分离卷积单元、第十深度可分离卷积单元；
所述第七卷积单元依次包括第七卷积层、批标准化、Rule激活函数；所述第八卷积单元依次包括第八卷积层、批标准化、Rule激活函数；所述第九卷积单元依次包括第九卷积层、批标准化、Rule激活函数；所述第十卷积单元依次包括第十卷积层、批标准化、Rule激活函数；
所述第二深度可分离卷积单元依次包括第二深度可分离卷积层、批标准化、Rule激活函数；所述第三深度可分离卷积单元依次包括第三深度可分离卷积层、批标准化、Rule激活函数；所述第四深度可分离卷积单元依次包括第四深度可分离卷积层、批标准化、Rule激活函数；所述第五深度可分离卷积单元依次包括第五深度可分离卷积层、批标准化、Rule激活函数；所述第六深度可分离卷积单元依次包括第六深度可分离卷积层、批标准化、Rule激活函数；所述第七深度可分离卷积单元依次包括第七深度可分离卷积层、批标准化、Rule激活函数；所述第八深度可分离卷积单元依次包括第八深度可分离卷积层、批标准化、Rule激活函数；所述第九深度可分离卷积单元依次包括第九深度可分离卷积层、批标准化、Rule激活函数；所述第十深度可分离卷积单元依次包括第十深度可分离卷积层、批标准化、Rule激活函数；
将通道数是C的输入特征划分成两个部分，一部分由4个通道数为
Figure BDA0003402131520000031
的特征组成，另一部分由2个通道数为
Figure BDA0003402131520000032
的特征组成；
将通道数是
Figure BDA0003402131520000033
的特征分别输入第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元进行卷积操作；
将第七卷积单元卷积操作结果和第八卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure BDA0003402131520000034
将特征通道数是
Figure BDA0003402131520000035
的特征输入第二深度可分离卷积单元进行卷积操作；
将第八卷积单元卷积操作结果和第九卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure BDA0003402131520000036
将特征通道数是
Figure BDA0003402131520000037
的特征输入第三深度可分离卷积单元进行卷积操作；
将第九卷积单元卷积操作结果和第十卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure BDA0003402131520000038
将特征通道数是
Figure BDA0003402131520000039
的特征输入第四深度可分离卷积单元进行卷积操作；
将通道数是
Figure BDA00034021315200000310
的特征分别输入第五深度可分离卷积单元和第六深度可分离卷积单元进行卷积操作；
将第二深度可分离卷积单元的卷积操作结果和第三深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第七深度可分离卷积单元进行卷积操作；
将第三深度可分离卷积单元的卷积操作结果和第四深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第八深度可分离卷积单元进行卷积操作；
将第四深度可分离卷积单元的卷积操作结果和第五深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第九深度可分离卷积单元进行卷积操作；
将第五深度可分离卷积单元的卷积操作结果和第六深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第十深度可分离卷积单元进行卷积操作；
将第七深度可分离卷积单元输出结果、第八深度可分离卷积单元输出结果、第九深度可分离卷积单元输出结果、第十深度可分离卷积单元输出结果进行特征融合，特征融合结果和输入特征进行短连接得到输出特征；
第八组依次包括全局平均池化层和SoftMax分类器；
输入层连接第一组，第一组输出连接第二组，第二组输出连接第三组，第三组输出连接第四组，第四组输出连接第五组，第五组输出连接第六组，第六组输出连接第七组，第七组输出连接第八组，第八组连接输出层；
步骤四、将待测高光谱图像输入练好的基于通道多分组融合的轻量级卷积神经网络模型得到分类结果。
本发明的有益效果为：
近年来，卷积神经网络凭借其强大的特征提取能力成为了遥感图像场景分类领域最常用的分类方法。为了提高卷积神经网络的分类性能，许多研究通过增加卷积神经网络的深度和宽度以提取更深层的特征，在提高分类性能的同时也增加了模型的复杂性。为了解决这一问题，本文提出了一个基于通道多分组融合的轻量级卷积神经网络(lightweightconvolution neural network based on channel multigroup fusion，LCNN-CMGF)。在提出的方法中，三分支降采样结构用于提取遥感图像浅层特征。通道多分组融合结构用来提取遥感图像深层次抽象特征，该结构通过对相邻特征进行通道融合来减少分组卷积导致的各个组之间缺乏信息交流的问题。在四个开放且具有挑战性的遥感图像场景数据集上进行了一系列实验，实验结果表明，和现有的先进方法相比较，提出的方法可以凭借较少的参数量和较低的计算复杂度取得更高的分类精度。
为了解决传统的通道分组都是使用单一的分组形式(例如，输入特征的通道数为C，g是分组数，则每个组中的通道数都是C/g)，使用单一的通道分组不利于特征的提取的问题，本发明提出了通道多分组结构。该结构将输入特征进行两种分组，第一组中每组特征的通道数为C/g，另一组中每组特征的通道数为2C/g，通道多分组结构在进一步降低参数的同时还增加了特征的多样性，为了减少分组卷积过程中特征信息的丢失，在通道多分组结构中加入了残差连接，加入残差连接也可以有效避免由于网络加深而导致梯度消失的问题。为了解决分组卷积过程中各个组之间由于缺乏信息交互导致的神经网络性能下降的问题，对相邻两个特征进行通道融合来增加信息交互，提高网络特征表达能力。综上所述，本文的主要贡献如下：
1)构造了一个三分支浅层特征提取模块，该模块由三个分支组成，分支1通过两个连续的3×3卷积进行降采样和特征提取，分支2通过最大池化和3×3卷积进行降采样和特征提取，分支3是短接分支，分支1，分支2融合后的特征和分支3进行短接，该模块可以充分提取浅层特征信息，从而准确的判别目标场景。
2)在网络的深层，构造了通道多分组融合模块用于深层特征的提取，该模块将输入特征划分为通道数为C/g和通道数为2C/g的特征，增加了特征的多样性。
3)为了减少分组卷积导致的组间特征缺乏信息交互的问题，在通道多分组模块中，通过对相邻特征进行通道融合来增加不同特征之间的信息交流，显著提高了网络的性能。
4)基于通道多分组融合结构提出了一个模块化的轻量级卷积神经网络，该网络包括浅层特征提取模块和通道多分组融合模块，一系列实验结果证明提出的方法实现了模型分类精度与运行速度之间的权衡。
本文提出了一个基于通道多分组融合的轻量级卷积神经网路用来进行遥感场景图像分类。在提出的方法中，三分支降采样结构用于提取遥感图像浅层特征。通道多分组融合结构用来高效的提取遥感图像深层次抽象的特征，该结构通过对相邻特征进行通道融合来减少分组卷积导致的各个组之间缺乏信息交流的问题。实验结果表明，和一些先进的方法相比，提出的方法可以凭借较少的参数量和计算复杂度取得更高的分类精度，尤其是在UCM21数据集上，该方法的OA值高达99.52％，超过了大多数现有的先进方法。此外，在其他数据集上也有良好的性能表现。
附图说明
图1为本发明提出的LCNN-CMGF网络模型图，第一组和第二组是降采样模块，第三组是混合卷积，第四组到第七组是通道多分组融合模块，第八组是全局平均池化和分类器；
图2为传统浅层采样模块的结构，(a)为卷积降采样，(b)为最大池化降采样；
图3为本发明提出的三分支浅层降采样模块结构图；图4为通道多分组融合结构图；图5为本发明提出方法在UCM21上的混淆矩阵图；图6为本发明提出方法在RSSCN上的混淆矩阵图；图7为本发明提出方法在AID(50/50)上的混淆矩阵图；图8为本发明提出方法在NWPU45(20/80)上的混淆矩阵图；
图9a为在UCM21数据集上的热力1图；图9b为在UCM21数据集上的热力2图；
图10a为本发明提出的方法在UCM21数据集上的T-SNE可视化结果图；图10b为本发明提出的方法在RSSCN7数据集上的T-SNE可视化结果图；
图11a为随机分类预测结果图；图11b为随机分类预测结果图；图11c为随机分类预测结果图；图11d为随机分类预测结果图；图11e为随机分类预测结果图；图11f为随机分类预测结果图。
具体实施方式
具体实施方式一：本实施方式基于通道多分组融合的遥感场景图像分类方法具体过程为：
步骤一、获取高光谱图像(带标签的)；
步骤二、建立基于通道多分组融合的轻量级卷积神经网络(lightweightconvolution neural networkbased on channel multigroup fusion，LCNN-CMGF)模型；
步骤三、将高光谱图像(带标签的)输入建立的基于通道多分组融合的轻量级卷积神经网络(lightweight convolution neural network based on channel multigroupfusion，LCNN-CMGF)模型进行训练，得到训练好的基于通道多分组融合的轻量级卷积神经网络(lightweight convolution neural network based on channel multigroupfusion，LCNN-CMGF)模型；
所述基于通道多分组融合的轻量级卷积神经网络模型包括输入层、第一组(Group1)、第二组(Group2)、第三组(Group3)、第四组(Group4)、第五组(Group5)、第六组(Group6)、第七组(Group7)、第八组(Group8)和输出层；
第一组和第二组分别包括分支1、分支2和分支3；
分支1依次包括第一步长为2卷积核大小是3×3的卷积层、批标准化、Rule激活函数、第二步长为1卷积核大小是3×3的卷积层、批标准化、Rule激活函数；
分支2依次包括步长为2池化核大小为2的最大池化层、第三步长为1卷积核大小是3×3的卷积层；
分支3包括第四步长为1卷积核大小是1×1的卷积层；
将分支1和分支2得到的特征进行融合；
将融合之后的特征和分支3得到的特征进行特征融合，得到最终的输出特征；
第三组依次包括第五步长为1卷积核大小是1×1的卷积层、第六步长为1卷积核大小是3×3的卷积层和第一步长为2卷积核大小是3×3的深度可分离卷积层；
第四组至第七组分别包括第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元、第二深度可分离卷积单元、第三深度可分离卷积单元、第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元、第七深度可分离卷积单元、第八深度可分离卷积单元、第九深度可分离卷积单元、第十深度可分离卷积单元；
所述第七卷积单元依次包括第七卷积层、批标准化、Rule激活函数；所述第八卷积单元依次包括第八卷积层、批标准化、Rule激活函数；所述第九卷积单元依次包括第九卷积层、批标准化、Rule激活函数；所述第十卷积单元依次包括第十卷积层、批标准化、Rule激活函数；
所述第二深度可分离卷积单元依次包括第二深度可分离卷积层、批标准化、Rule激活函数；所述第三深度可分离卷积单元依次包括第三深度可分离卷积层、批标准化、Rule激活函数；所述第四深度可分离卷积单元依次包括第四深度可分离卷积层、批标准化、Rule激活函数；所述第五深度可分离卷积单元依次包括第五深度可分离卷积层、批标准化、Rule激活函数；所述第六深度可分离卷积单元依次包括第六深度可分离卷积层、批标准化、Rule激活函数；所述第七深度可分离卷积单元依次包括第七深度可分离卷积层、批标准化、Rule激活函数；所述第八深度可分离卷积单元依次包括第八深度可分离卷积层、批标准化、Rule激活函数；所述第九深度可分离卷积单元依次包括第九深度可分离卷积层、批标准化、Rule激活函数；所述第十深度可分离卷积单元依次包括第十深度可分离卷积层、批标准化、Rule激活函数；
通道多分组融合模块
本发明提出的通道多分组融合结构如图4所示。该结构将通道数是C的输入特征划分成两个部分，一部分由4个通道数为
Figure BDA0003402131520000061
的特征组成，另一部分由2个通道数为
Figure BDA0003402131520000062
的特征组成；
首先，对通道数是
Figure BDA0003402131520000063
的特征进行卷积操作，将相邻两个特征卷积结果进行通道融合，融合后特征通道数是
Figure BDA0003402131520000064
然后，对通道数是
Figure BDA0003402131520000065
的特征进行深度可分离卷积操作，将相邻两个特征卷积结果进行通道融合，融合后每个特征的通道数是C，对通道数为C的特征进行深度可分离卷积操作，将卷积后的结果进行融合得到输出特征；
将通道数是
Figure BDA0003402131520000066
的特征分别输入第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元进行卷积操作；
将第七卷积单元卷积操作结果和第八卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure BDA0003402131520000067
将特征通道数是
Figure BDA0003402131520000068
的特征输入第二深度可分离卷积单元进行卷积操作；
将第八卷积单元卷积操作结果和第九卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure BDA0003402131520000069
将特征通道数是
Figure BDA00034021315200000610
的特征输入第三深度可分离卷积单元进行卷积操作；
将第九卷积单元卷积操作结果和第十卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure BDA00034021315200000611
将特征通道数是
Figure BDA00034021315200000612
的特征输入第四深度可分离卷积单元进行卷积操作；
将通道数是
Figure BDA00034021315200000613
的特征分别输入第五深度可分离卷积单元和第六深度可分离卷积单元进行卷积操作；
将第二深度可分离卷积单元的卷积操作结果和第三深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第七深度可分离卷积单元进行卷积操作；
将第三深度可分离卷积单元的卷积操作结果和第四深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第八深度可分离卷积单元进行卷积操作；
将第四深度可分离卷积单元的卷积操作结果和第五深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第九深度可分离卷积单元进行卷积操作；
将第五深度可分离卷积单元的卷积操作结果和第六深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第十深度可分离卷积单元进行卷积操作；
将第七深度可分离卷积单元输出结果、第八深度可分离卷积单元输出结果、第九深度可分离卷积单元输出结果、第十深度可分离卷积单元输出结果(输入第七卷积层卷、第七卷积层卷、第七卷积层卷、第七卷积层卷的输入)进行特征融合，特征融合结果和输入特征进行短连接得到输出特征；
第八组依次包括全局平均池化层和SoftMax分类器；
在第八组中，使用了全局平均池化来替代传统的全连接层。假设最后一个卷积层的输出结果是
Figure BDA0003402131520000071
[；；；]表示沿着批处理维度进行的级联操作，
Figure BDA0003402131520000072
表示实数集。此外，N,H,W,C分别表示每次训练的样本数，特征的高度，宽度和通道数。如果全局平均池化的结果是
Figure BDA0003402131520000073
则全局平均池化层对任意的
Figure BDA0003402131520000074
的处理过程可以表示为：
Figure BDA0003402131520000075
从公式(6)中可以看出，全局平均池化将最后一层卷积输出的特征更直观地映射到每个类别。并且全局平均池化层不需要权重参数，可以减少训练模型过程中的过拟合现象。最后使用SoftMax分类器进行分类。
输入层连接第一组，第一组输出连接第二组，第二组输出连接第三组，第三组输出连接第四组，第四组输出连接第五组，第五组输出连接第六组，第六组输出连接第七组，第七组输出连接第八组，第八组连接输出层；
步骤四、将待测高光谱图像输入练好的基于通道多分组融合的轻量级卷积神经网络(lightweight convolution neural network based on channel multigroup fusion，LCNN-CMGF)模型得到分类结果。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述
前三组用来提取遥感图像的浅层信息；
其中，第一组和第二组采用提出的三分支浅层降采样结构；
第一组和第二组分别包括分支1、分支2和分支3；
分支1依次包括第一步长为2卷积核大小是3×3的卷积层、批标准化、Rule激活函数、第二步长为1卷积核大小是3×3的卷积层、批标准化、Rule激活函数；
分支2依次包括步长为2池化核大小为2的最大池化层、第三步长为1卷积核大小是3×3的卷积层；
分支3包括第四步长为1卷积核大小是1×1的卷积层；
将分支1和分支2得到的特征进行融合；
将融合之后的特征和分支3得到的特征进行特征融合，得到最终的输出特征；
具体过程为：
三分支浅层降采样结构
最大池化降采样是一种非线性降采样方式，在小型卷积神经网络中，使用最大池化降采样会获得更好的非线性，相反，在深层神经网络中，多层叠加的卷积降采样能根据训练集学到比最大池化更好的非线性，如图2所示，图2中(a)和(b)分别表示卷积降采样和最大池化降采样，图2中(a)中的卷积降采样首先对输入特征使用步长为1的3×3卷积进行特征提取，然后使用步长为2的3×3卷积进行降采样；图2中(b)中的最大池化降采样，首先使用步长为1的3×3卷积对输入特征进行特征提取，然后使用步长为2的最大池化进行降采样。
在权衡了两种降采样的优缺点之后，本发明提出了如图3所示的三分支降采样结构进行特征提取，同时使用输入特征对降采样后的特征进行补偿，在提取到较强语义特征的同时也能保留浅层信息。
在网络的第一组和第二组我们使用了如图3所示的结构来提取浅层特征。该结构分为三个分支。
分支1是使用第一步长为2卷积核大小是3×3的卷积层进行降采样操作得到fdown(x)，然后使用第二步长为1卷积核大小是3×3的卷积层提取图像的浅层特征得到f1(x)：
fdown(x)＝δ(BN(F*Ks＝2)) (7)
f1(x)＝δ(BN(fdown(x)*Ks＝1)) (8)
公式(7)和公式(8)中，δ表示激活函数Rule，BN表示批标准化，F表示输入特征，Ks表示步长是s的3×3卷积核，*表示卷积操作；
分支2是使用步长为2池化核大小为2的最大池化层对输入特征进行降采样得到fmij，最大池化层选择特征中响应最强烈的部分进入下一层，减少了网络中的冗余信息，使得网络更容易被优化，最大池化降采样还可以减少因卷积层参数误差造成的估计均值偏移，保留更多的纹理信息；然后使用第三步长为1卷积核大小是3×3的卷积层提取图像的浅层特征得到f2(x)：
Figure BDA0003402131520000081
其中，fmij表示在矩形区域Rij中和第m个特征有关的最大池化输出值，xmst表示矩形区域Rij中位于(s,t)位置处的元素；
f2(x)＝δ(BN(fmij(x)*Ks＝1)) (10)
将分支1和分支2得到的特征进行融合得到f(x)；
分支3是使用第四步长为1卷积核大小是1×1的卷积层提取图像的浅层特征得到g(x)；
为了减少前两个分支造成的特征信息损失，使用一个残差分支来弥补了信息的丢失。
将融合之后的特征f(x)和分支3得到的特征g(x)进行特征融合，得到最终的输出特征y(x)；
y(x)＝g(x)+f(x) (11)。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述第三组依次包括第五步长为1卷积核大小是1×1的卷积层、第六步长为1卷积核大小是3×3的卷积层和第一步长为2卷积核大小是3×3的深度可分离卷积层；具体过程为：
第三组采用标准卷积和深度可分离卷积结合的混合卷积方式来进行特征的提取。
深度可分离卷积和标准卷积相比，参数量有了很大程度的减少。
假设输入特征尺寸是H×W×C1，卷积核尺寸是H1×W1×C1，输出特征尺寸是H×W×C2，则标准卷积层卷积的参数量是：
paramsconv＝(H1×W1×C1)×C2 (1)
深度可分离卷积层卷积的参数量是：
paramsdsc＝H1×W1×C1+C1×C2 (2)
深度可分离卷积层卷积和标准卷积层卷积的比值paramsdsc/paramsconv是：
Figure BDA0003402131520000091
其中H为特征高度，W为特征宽度，C1为通道数，H1为特征高度，W1为特征宽度，C2为通道数；
由公式(3)可知，当卷积核尺寸H1×W2等于3×3时，由于C2＞＞H1×H2，所以标准卷积的参数量大约是深度可分离卷积的9倍，当卷积核尺寸H1×W2等于5×5时，标准卷积的参数量大约是深度可分离卷积的25倍，随着卷积核尺寸的增大，参数量会进一步减少。但是由于权重参数的大幅度减少，可能会导致特征信息的丢失，使得模型的学习能力下降。所以我们提出了使用标准卷积和深度可分离卷积混合卷积的方式来进行特征提取，既降低了权重参数又提高了网络的学习能力。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述第四组至第七组分别包括第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元、第二深度可分离卷积单元、第三深度可分离卷积单元、第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元、第七深度可分离卷积单元、第八深度可分离卷积单元、第九深度可分离卷积单元、第十深度可分离卷积单元；具体过程为：
从第四到第七组，使用通道多分组融合结构来进一步提取深层次的特征信息，通道多分组融合结构可以使用少量参数生成大量的特征，增加特征多样性。
假设输入特征尺寸为H×W×C1，卷积核尺寸是H1×W1×C1，输出特征尺寸是H×W×C2，则标准卷积的参数量为：
paramsconv＝H1×W1×C1×C2 (4)
将输入特征沿着通道维度分成t组，则每组输入的特征尺寸为
Figure BDA0003402131520000101
对应的卷积核尺寸为
Figure BDA0003402131520000102
每组输出特征尺寸为
Figure BDA0003402131520000103
将得到的t组特征沿着通道维度进行拼接，得到最终输出特征尺寸是H×W×C2；整个过程的参数量为：
Figure BDA0003402131520000104
由公式(4)和(5)可知，生成尺寸是H×W×C2的特征，使用分组卷积的参数量是标准卷积参数量的
Figure BDA0003402131520000105
即在相同参数量的条件下，使用分组卷积生成的特征数是标准卷积的t倍，增加了特征多样性，有效的提高了分类的精度。
通道多分组融合模块
具体过程如下：
假设输入特征为
Figure BDA0003402131520000106
xC表示通道数为C的特征，
Figure BDA0003402131520000107
表示通道数为
Figure BDA0003402131520000108
的第i个特征，
Figure BDA0003402131520000109
表示通道数为
Figure BDA00034021315200001010
的第i个特征；
对输入特征进行通道分组后结果表示为：
Figure BDA00034021315200001011
Figure BDA00034021315200001012
分别对通道数是
Figure BDA00034021315200001013
的特征
Figure BDA00034021315200001014
进行卷积操作，卷积之后结果分别为
Figure BDA0003402131520000111
其中
Figure BDA0003402131520000112
的计算过程如下：
Figure BDA0003402131520000113
其中，
Figure BDA0003402131520000114
表示相应的特征
Figure BDA0003402131520000115
进行卷积后的结果，
Figure BDA0003402131520000116
表示通道数是
Figure BDA0003402131520000117
的第i个特征中的第m个通道，fconv(·)表示卷积操作，W表示卷积权重，ReLU表示激活函数，BN表示批量归一化；
使用分组卷积可以避免计算机算力不足的问题，但是分组卷积会导致组间特征缺乏信息交互，使得学到的特征有很大的局限性。通过将相邻两个特征
Figure BDA0003402131520000118
和
Figure BDA0003402131520000119
进行通道融合来实现信息交互，提高网络的表达能力，通道融合后特征通道数是
Figure BDA00034021315200001110
用
Figure BDA00034021315200001111
表示融合后通道数为
Figure BDA00034021315200001112
的第i个特征，用
Figure BDA00034021315200001113
表示特征
Figure BDA00034021315200001114
和特征
Figure BDA00034021315200001115
的通道融合操作，
Figure BDA00034021315200001116
的计算过程如下：
Figure BDA00034021315200001117
Figure BDA00034021315200001118
Figure BDA00034021315200001119
将通道为
Figure BDA0003402131520000121
的特征
Figure BDA0003402131520000122
分别进行深度可分离卷积，卷积之后的结果分别为
Figure BDA0003402131520000123
Figure BDA0003402131520000124
Figure BDA0003402131520000125
的计算过程如下：
Figure BDA0003402131520000126
Figure BDA0003402131520000127
其中，
Figure BDA0003402131520000128
表示相应的特征
Figure BDA0003402131520000129
和
Figure BDA00034021315200001210
进行深度可分离卷积后的结果，
Figure BDA00034021315200001211
表示通道数是
Figure BDA00034021315200001212
的第i个特征中的第m个通道；fdsc(·)表示深度可分离卷积操作；
然后，将相邻的特征
Figure BDA00034021315200001213
进行通道融合，融合后特征通道数是C，用
Figure BDA00034021315200001214
表示通道融合后通道数为C的第i个特征，
Figure BDA00034021315200001215
的计算过程如下：
Figure BDA00034021315200001216
Figure BDA00034021315200001217
Figure BDA00034021315200001218
Figure BDA0003402131520000131
将通道数为C的特征
Figure BDA0003402131520000132
分别进行深度可分离卷积，卷积后的结果为
Figure BDA0003402131520000133
Figure BDA0003402131520000134
的计算过程如下：
Figure BDA0003402131520000135
接着，将特征
Figure BDA0003402131520000136
进行特征融合，将融合得到的结果和输入特征X进行短连接，得到最终输出结果
Figure BDA0003402131520000137
Figure BDA0003402131520000138
其中，⊙表示特征融合。
其它步骤及参数与具体实施方式一至三之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
在同一个设备上使用不同的指标从多个角度评估了所提出的通道多分组融合方法。在四个挑战性强的遥感数据集上进行了一系列实验，实验结果验证了该方法的有效性。
A.数据集
为了验证提出方法的性能，使用了以下数据集来进行一系列实验：UCM21[21]，RSSCN7[22]，AID[23]，NWPU45[24]。表1中展示了四个数据集的详细信息，包括图像数量，场景类别数，图像总数，图像的空间分辨率和图像尺寸。
表1四种数据集的比较
Figure BDA0003402131520000139
B.实验设置
采用分层采样对数据集进行划分，并且在分层采样时设置随机性种子来确保每次训练都使用相同的训练样本。UCM21[21]数据集训练比例设置为：训练：测试＝8：2，RSSCN7[22]数据集训练比例设置为：训练：测试＝5：5，AID30[23]数据集训练比例设置为：训练：测试＝2：8和训练：测试＝5：5，NWPU45[24]数据集训练比例为：训练：测试＝1：9和训练：测试＝2：8。如表2所示，列出了通道多分组融合方法中从第一组到第八组每组特征的输入和输出尺寸。表3展示了实验中使用的参数和设备。
表2通道多分组融合方法的网络体系结构
Figure BDA00034021315200001310
Figure BDA0003402131520000141
表3实验环境参数设置
Figure BDA0003402131520000142
C.实验结果
为了验证提出方法的性能，使用总体精度(OA)、Kappa系数(Kappa)、混淆矩阵和权重参数等评价指标进行实验对比。此外，为了避免实验结果产生偏差，所有实验都重复十次取平均值。
在UCM21数据集上的结果：选取了2019-2020年在UCM21数据集上具有较好性能的方法和提出的方法进行实验对比，实验结果如表4所示。当训练比例是80％时，提出方法的分类精度达到了99.52％，超过了所有对比的方法。提出的方法比Positional ContextAggregation Method[32]高0.31％，比LiG with sigmoid kernel[25]高0.6％，比LCNN-BFF Method[33]高0.23％。表5列出了提出方法和对比方法的卡帕系数，提出方法的卡帕系数是99.50％，比LiG with sigmoid kernel[25]高1.87％，比Contourlet CNN[26]高1.69％，比Fine-tune MobileNetV2[29]高2.58％，证明了我们方法的有效性。
如图5所示，在UC21数据集中，除了储罐和网球场两个场景的识别精确度是95％之外，其余场景都实现了100％的识别准确率。证明了该方法在UCM21数据集上有很好性能表现。
表4提出模型在UCM21数据集上与多种先进方法的总体精度对比
Figure BDA0003402131520000143
Figure BDA0003402131520000151
表5提出的方法在UCM21数据集上与多种先进方法的卡帕值对比
Figure BDA0003402131520000152
2)在RSSCN7数据集上的结果：提出的方法和近两年的先进方法在RSSCN7数据集上的实验对比结果如表6所示。我们提出的方法的精确度达到了97.50％，比Contourlet CNN[26]、ADFF[38]和LCNN-BFF Method[33]分别高1.96％、2.29％和2.86％。证明了我们的方法具有更强的特征表达能力。
在RSSCN7数据集上的混淆矩阵如图6所示。提出的方法在该数据集上有着很好的识别准确度。所有场景的识别精度都可以达到95％以上，其中森林、河湖和居民区三个场景的识别准确率达到了99％。其中田地的识别准确率最低为95％，其中有部分田地被错误的分类到了草地中，这是由于草地和田地之间有较强的类间相似性导致的。
表6提出模型在RSSCN数据集上与多种先进方法的总体精度对比
Figure BDA0003402131520000153
Figure BDA0003402131520000161
3)在AID数据集上的结果：我们选取2018年-2020年在AID数据集上优秀的卷积神经网络方法和提出的方法进行实验对比。实验结果如表7所示。当训练比例是20％时，提出方法的分类精度是93.63％。比InceptionV3[46]高0.36％，比GBNet+global feature[36]高1.43％，比ResNet50[46]高1.24％，比MG-CAP(Bilinear)[48]高1.52％。当训练比例是50％时，提出方法的精度更高，达到了97.54％。比FeatureAggregation CNN[37]高2.09％，比MG-CAP(Bilinear)[48]高2.40％，比GBNet+global feature[36]高2.06％，比FACNN[37]高2.09％，比InceptionV3[46]高2.47％。实验结果表明该方法是有效的。对于图像变化丰富、类间相似度高和类内差异性强的遥感图像，该方法能捕捉到更多有代表性的特征。如表8所示，在训练比例是50％时，该方法的卡帕系数是97.45％。比MobileNet[27]高7.92％，比Two-Stream Deep Fusion Framework[44]高4.11％，比InceptionV3[46]高2.62％，比ResNet50[46]高3.98％，卡帕系数结果证明了提出方法的预测结果和实际结果有更高的一致性。
在50/50AID数据集上的混淆矩阵如图7所示。所有场景的识别准确率都达到了90％以上，其中草地、高架桥和稀疏居民区三个场景的识别准确率达到了100％。在50％训练比例中，学校场景的识别准确率最低为93％，部分学校场景被错误的分类到工厂、教堂和商业区这三个场景。这是由于学校、工厂、教堂和商业区这四种场景之间有相似的建筑物，较高的类间相似性导致了学校这个场景的分类精度较低。尽管如此，相比于其它较新的分类方法，提出方法仍得到了较高的分类精度。
表7提出模型在AID30数据集上与多种先进方法的总体精度对比
Figure BDA0003402131520000162
Figure BDA0003402131520000171
表8提出模型在AID30数据集上与多种先进方法的卡帕值对比
Figure BDA0003402131520000172
4)在NWPU45数据集上的结果：和AID数据集相似，我们也选取2018年-2020年在NWPU45数据集上优秀的神经网络和提出的方法进行实验对比。实验结果如表9所示。当训练：测试＝1：9时，提出方法的精度达到了92.53％，比VGG19[46]高11.19％，比Discriminative+VGG16[45]高3.31％，比LCNN-BFF Method[33]高6％，比LiG with RBFkernel[50]和MSDFF[51]分别高2.3％和0.97％。当训练：测试＝2：8时，提出方法的精度分别比LiG with RBF kernel[50]和MSDFF[51]高0.93％和0.63％。比LiG with sigmoidkernel[25]高0.97％，比LCNN-BFF Method[33]高2.45％。这表明对于NWPU45数据集，在两种训练比例条件下提出的方法都有更好的性能表现。在训练比例是20％条件下，提出方法的卡帕系数如表10所示。该方法的卡帕值是所有对比方法中最高的，达到了94.04％。比LCNN-BFF Method[33]、LiG with sigmoid kernel[25]、LiG with RBF kernel[50]和Fine-tune MobileNet V2[29]分别高2.5％、1.12％、1.02％和1.11％。
在NWPU45数据集上，当训练：测试＝2：8时，提出方法的混淆矩阵如图8所示。由于NWPU45数据集包含丰富的图像变化，具有较高的类间相似性和类内差异性，导致在对该数据集进行分类时没有能够完全识别的场景。但是，该方法有43个场景的分类准确度达到了90％以上，分类准确率最低的是宫殿和教堂，分别是87％和88％。主要是因为宫殿和教堂这两种场景的建筑风格相似，在进行特征提取的时候很容易产生混淆，导致分类错误。
表9提出模型在NWPU45数据集上与多种先进方法的总体精度对比
Figure BDA0003402131520000173
Figure BDA0003402131520000181
表10提出模型在NWPU45数据集上与多种先进方法的卡帕值对比
Figure BDA0003402131520000182
D.模型尺寸评估
此外，为了进一步证明提出的方法在运行速度方面的优势，选择Contourlet CNN[26]，SE-MDPMNet[29]，LiG with RBF kernel[50]，InceptionV3[46]，ResNet50[46]，MobileNetV2[12]，VGG-VD-16[23]，CaffeNet[23]，GoogleNet[23]，LGRIN[53]和提出的方法采用每秒乘累积运算的大小(the size of Giga Multiply-Accumulation operationsper second，GMACs)作为评估指标进行实验对比。每秒乘累积运算的大小(GMACs)衡量的是模型的计算复杂度。在训练：测试＝5：5的AID数据集上进行实验比较，实验结果如表11所示。从表11中可以看出，提出方法的精度是97.54％，参数量是0.8M，GMACs值是0.0160G。精度、参数量和GMACs这三个评价指标都是最好的。和轻量型模型LiG with RBF kernel[50]和MobileNetV2[12]相比，以不足LiG with RBF kernel[50]一半的参数量，实现了更高的分类精度。虽然和LGRIN[53]方法相比，精度略微降低，但是参数量比LGRIN[53]少3.83M，GMACs值比LGRIN[53]少0.4773G，提出的方法在模型的复杂度和分类精度之间取得了很好的权衡。
表11模型尺寸对比
Figure BDA0003402131520000191
E.可视化分析
为了从不同角度全面的评估我们的模型，采用类激活图(CAM)可视化方法可视化提出方法对遥感图像的特征提取能力。该方法通过将卷积神经网络的最后一层生成粗略注意图，来显示模型预测的图像中的重要区域。我们在UCM21数据集里随机选取了部分图像来进行可视化分析。从图9a、9b可以看出提出的方法可以突出显示和真实类别对应的语义对象。这表明提出的方法有较强的对象定位和识别的能力。除此之外，提出的方法还可以更好的覆盖语义对象，具有广泛的高亮范围。
接着，采用T分布随机邻域嵌入可视化(T-distributed stochastic neighborembedding visualization，T-SNE)对提出的方法进行可视化，进一步评估了提出方法的性能。T-SNE是一种非线性的降维算法，通常将高维数映射到二维或者三维空间进行可视化，可以很好的评估模型的分类效果。RSSCN7和UCM21两个数据集用来进行可视化实验，实验结果如图10a、10b所示。
从图10a、10b中可以看出，在UCM21数据集和RSSCN7数据集上，单个语义集群之间没有发生混淆，这意味着提出的方法具有更好的全局特征表示，增加了单个语义集群之间的可分离性和相对距离，可以更准确的对遥感图像的特征进行提取，提高分类精度。
除此之外，在UCM21数据集上采用训练后的LCNN-CMGF方法进行了随机预测实验，实验结果如图11a、11b、11c、11d、11e、11f所示。从图11a、11b、11c、11d、11e、11f中，我们可以看出，LCNN-CMGF方法对遥感图像的预测置信度都在99％以上，甚至有一些预测值达到100％。这进一步证明了提出的方法对遥感场景图象分类的有效性。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
参考文献
1.Jaiswal,R.K.；Saxena,R.；Mukherjee,S.Application ofremote sensingtechnology for land use/land cover change analysis.J.Indian Soc.Remote Sens.,vol.27,no.2,pp.123–128,Jun.1999.
2.Chova,L.G.；Tuia,D.；Moser,G.；Valls,G.C.Multimodal classifificationofremote sensing images:A review and future directions.IEEE Proc.,vol.103,no.9,pp.1560–1584,Sep.2015.
3.Cheng,G.；Zhou,P.；Han,J.Learning rotation-invariant convolutionalneural networks for object detection in VHR optical remote sensingimages.IEEE Trans.Geosci.Remote Sens.,vol.54,no.12,pp.7405–7415,Dec.2016.
4.Zhang,L.；Zhang,L.；Du,B.Deep learning for remote sensing data:Atechnical tutorial on the state-of-the-art.IEEE Geosci.Remote Sens.Mag.,vol.4,no.2,pp.22–40,Jun.2016.
5.He,K.；Zhang,X.；Ren,S.；Sun,J.Deep residual learning for imagerecognition.in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Las Vegas,NV,USA,Jun.2016,pp.770–778.
6.Girshick,R.；Donahue,J.；Darrell,T.；Malik,J.Rich feature hierarchiesfor accurate object detection and semantic segmentation.in Proc.IEEEConf.Comput.Vis.Pattern Recognit.,Ohio,CO,USA,Jun.2014,pp.580–587.
7.Li,Y.；Wang,Q.；Liang,X.；Jiao,L.A novel deep feature fusion networkfor remote sensing scene classifification.in Proc.IEEE Int.Geosci.RemoteSens.Symp.(IGARSS),Yokohama,Japan,Jul.2019,pp.5484–5487.
8.Zhao,B.；Zhong,Y.；Xia,G.S.；Zhang,L.Dirichlet-derived multiple topicscene classifification model for high spatial resolution remote sensingimagery.IEEE Trans.Geosci.Remote Sens.,vol.54,no.4,pp.2108–2123,Apr.2016.
9.Wang,Q.；Liu,S.；Chanussot,J.；Li,X.Scene classifification withrecurrent attention of VHR remote sensing images.IEEE Trans.Geosci.RemoteSens.,vol.57,no.2,pp.1155–1167,Feb.2019.
10.Iandola,F.N.；Han,S.；Moskewicz,M.W.；Ashraf,K.；Dally,W.J.；Keutzer,K.Squeezenet:Alexnet-level accuracy with 50x fewer parameters and<1mb modelsize.CoRR,abs/1602.07360,2016.2.
11.Howard,A.G.；Zhu,M.；Chen,B.；Kalenichenko,D.；Wang,W.；Weyand,T.；Andreetto,M.；Adam,H.Mobilenets:Effificient convolutional neural networks formobile vision applications.CoRR,abs/1704.04861,2017.2.
12.Sandler,M.；Howard,A.；Zhu,M.；Zhmoginov,A.；Chen,L.C.Mobilenetv2:Inverted residuals and linear bottlenecks.mobile networks for classififi-cation,detection and segmentation.CoRR,abs/1801.04381,2018.2,3,6,7,8.
13.Hu,J.；Shen,L.；Sun,G.Squeeze-and-excitation networks.in Proc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.,Jun.2018,pp.7132–7141.
14.Li,Y.；Jin,X.；Mei,J.；Lian,X.；Yang,L.,Xie,C.；Yu,Q.；Zhou,Y.；Bai,S.；Yuille,A.L.Neural architecture search for lightweight non-local networks.inProc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.,2020,pp.10294–10303.[Online].Available:http://dx.doi.org/10.1109/cvpr42600.2020.01031.
15.Howard,A.；Sandler,M.；Chu,G.；Chen,L.C.；Chen,B.；Tan,M.；Wang,W.；Zhu,Y.；Pang,R.；Vasudevan,V.；Le,Q.V.；Adam,H.Searching for MobileNetV3.In ICCV,2019,pp.1314-1324,arXiv:1905.02244,2019.
16.He,K.；Zhang,X.；Ren,S.；Sun,J.Identity mappings in deep residualnetworks.In European Conference on Computer Vision,pages 630–645.Springer,2016.1,2.
17.Chollet,F.Xception:Deep Learning With Depthwise SeparableConvolutions.In CVPR,2017,pp.1251-1258,arXiv:1610.02357,2016.1,2,3,4,5,6.
18.Szegedy,C.；Liu,W.；Jia,Y.；Sermanet,P.；Reed,S.；Anguelov,D.；Erhan,D.；Vanhoucke,V.；Rabinovich,A.Going deeper with convolutions.In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition,pages 1–9,2015.1,2,5,6,7.
19.Krizhevsky,A.；Sutskever,I.；Hinton,G.E.Imagenet classifificationwith deep convolutional neural networks.In Advances in neural informationprocessing systems,pages 1097–1105,2012.1,2,7,8.
20.Xie,S.；Girshick,R.；Dollar,P.；Tu,Z.；He,K.Aggregated residualtransformations for deep neural networks.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2017,pp.1492-1500,arXiv:1611.05431,2016.1,2,3,4,5,6.
21.Yang,Y.；Newsam,S.Bag-of-visual-words and spatial extensions forland-use classifification.in Proc.18th SIGSPATIALInt.Conf.Adv.Geograph.Inf.Syst.,2010,pp.270–279.
22.Zou,Q.；Ni,L.；Zhang,T.；Wang,Q.Deep learning based feature selectionfor remote sensing scene classifification.IEEE Geosci.Remote Sens.Lett.,vol.12,no.11,pp.2321–2325,Nov.2015.
23.Xia,G.S.；Hu,J.；Hu,F.；Shi,B.；Bai,X.；Zhong,Y.；Zhang,L.AID:Abenchmark data set for performance evaluation of aerial sceneclassifification.IEEE Trans.Geosci.Remote Sens.,vol.55,no.7,pp.3965–3981,Jul.2017.
24.Cheng,G.；Han,J.；Lu,X.Remote sensing image scene classifification:Benchmark and state ofthe art.Proc.IEEE,vol.105,no.10,pp.1865–1883,Oct.2017.
25.Xu,C.；Zhu,G.；Shu,J.Robustjoint representation ofintrinsic mean andkernel function of lie group for remote sensing scene classification.IEEEGeosci.Remote Sens.Lett.,vol.18,no.5,pp.796-800,Apr.23,2020,doi:10.1109/LGRS.2020.2986779.
26.Liu,M.；Jiao,L.；Liu,X.；Li,L.；Liu,F.；Yang,S.C-CNN:Contourletconvolutional neural networks.IEEE Trans.Neural Netw.Learn.Syst.,vol.32,no.6,pp.2636-2649,Jul.21,2020,doi:10.1109/TNNLS.2020.3007412.
27.Pan,H.；Pang,Z.；Wang,Y.；Wang,Y.；Chen,L.A new image recognition andclassifification method combining transfer learning algorithm and MobileNetmodel for welding defects.IEEE Access,vol.8,pp.119951–119960,2020.
28.Pour,A.M.；Seyedarabi,H.；Jahromi,S.H.A.；Javadzadeh,A.Automaticdetection and monitoring of diabetic retinopathy using effificientconvolutional neural networks and contrast limited adaptive histogramequalization.IEEE Access,vol.8,pp.136668–136673,2020.
29.Zhang,B.；Zhang,Y.；Wang,S.A lightweight and discriminative modelfor remote sensing scene classifification with multidilation poolingmodule.IEEE J.Sel.Topics Appl.Earth Observ.Remote Sens.,vol.12,no.8,pp.2636–2653,Aug.2019.
30.Zhang,W.；Tang,P.；Zhao,L.Remote sensing image sceneclassifification using CNN-CapsNet.Remote Sens.,vol.11,no.5,p.494,Feb.2019.
31.Liu,B.D.；Meng,J.；Xie,W.Y.；Shao,S.；Li,Y.；Wang,Y.Weighted spatialpyramid matching collaborative representation for remote-sensing-image sceneclassification.Remote Sens.,vol.11,no.5,2019,Art.no.518.
32.Zhang,D.；Li,N.；Ye,Q.Positional context aggregation network forremote sensing scene classification.IEEE Geosci.Remote Sens.Lett.,vol.17,no.6,pp.943–947,Jun.2020.
33.Shi,C.；Wang,T.；Wang,L.Branch Feature Fusion Convolution Networkfor Remote Sensing Scene Classification.IEEE Journal of Selected Topics inApplied Earth Observations and Remote Sensing,vol.13,pp.5194-5210,2020,doi:10.1109/JSTARS.2020.3018307.
34.Li,J.；Lin,D.；Wang,Y.；Xu,G.；Zhang,Y.；Ding,C.；Zhou,Y.Deepdiscriminative representation learning with attention map for sceneclassification.Remote Sens.,vol.12,no.9,2020.
35.He,N.；Fang,L.；Li,S.；Plaza,J.；Plaza,A.Skip-connected covariancenetwork for remote sensing scene classification.IEEE Trans.NeuralNetw.Learn.Syst.,vol.31,no.5,pp.1461–1474,May 2020.
36.Sun,H.；Li,S.；Zheng,X.；Lu,X.Remote sensing scene classification bygated bidirectional network.IEEE Trans.Geosci.Remote Sens.,vol.58,no.1,pp.82–96,Jan.2020.
37.Lu,X.；Sun,H.；Zheng,X.A feature aggregation convolutional neuralnetwork for remote sensing scene classification.IEEE Trans.Geosci.RemoteSens.,vol.57,no.10,pp.7894–7906,Oct.2019.
38.Li,B.；Su,W.；Wu,H.；Li,R.；Zhang,W.；Qin,W.；Zhang,S.Aggregated deepfisher feature for VHR remote sensing scene classification.IEEE J.Sel.TopicsAppl.Earth Observ.Remote Sens.,vol.12,no.9,pp.3508–3523,Sep.2019.
39.Yu,D.；Guo,H.；Xu,Q.；Lu,J.；Zhao,C.；Lin,Y.Hierarchical Attention andBilinear Fusion for Remote Sensing Image Scene Classification.IEEE Journal ofSelected Topics in Applied Earth Observations and Remote Sensing,vol.13,pp.6372–6383,2020,doi:10.1109/JSTARS.2020.3030257.
40.Alhichri,H.；Alswayed,A.S.；Bazi,Y.；Ammour,N.；Alajlan,N.A.Classification ofRemote Sensing Images Using EfficientNet-B3 CNN ModelWithAttention.in IEEE Access,vol.9,pp.14078-14094,2021,doi:10.1109/ACCESS.2021.3051085.
41.Cao,R.；Fang,L.；Lu,T.；He,N.Self-attention-based deep feature fusionfor remote sensing scene classification.IEEE Geosci.Remote Sens.Lett.,vol.18,no.1,pp.43-47,doi:10.1109/LGRS.2020.2968550.
42.Yan,P.；He,F.；Yang,Y.；Hu,F.Semi-supervised representation learningfor remote sensing image classification based on generative adversarialnetworks.IEEE Access,vol.8,pp.54135–54144,Mar.2020.
43.Zhao,F.；Mu,X.；Yang,Z.；Yi,Z.A novel two-stage scene classificationmodel based on Feature variable significance in high-resolution remotesensing.Geocarto Int.,to be published,doi:10.1080/10106049.2019.1583772.
44.Liu,Y.；Liu,Y.；Ding,L.Scene classification based on two-stage deepfeature fusion.IEEE Geosci.Remote Sens.Lett.,vol.15,no.2,pp.183–186,Feb.2018.
45.Cheng,G.；Yang,C.；Yao,X.；Guo,L.；Han,J.When deep learning meetsmetric learning:Remote sensing image scene classification via learningdiscriminative CNNs.IEEE Trans.Geosci.Remote Sens.,vol.56,no.5,pp.2811–2821,May 2018.
46.Li,W.；Wang,Z.；Wang,Y.；Wu,J.；Wang,J.；Jia,Y.；Gui,G.Classifificationof high-spatial-resolution remote sensing scenes method using transferlearning and deep convolutional neural network.IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.13,pp.1986–1995,May 2020,doi:10.1109/JSTARS.2020.2988477.
47.Lu,X.；Ji,W.；Li,X.；Zheng,X.Bidirectional adaptive feature fusionfor remote sensing scene classification.Neurocomputing,vol.328,pp.135–146,2019.
48.Wang,S.；Guan,Y.；Shao,L.Multi-granularity canonical appearancepooling for remote sensing scene classifification.IEEE Trans.Image Process.,vol.29,pp.5396–5407,Apr.2020.
49.Yu,Y.；Liu,F.A two-stream deep fusion framework for high-resolutionaerial scene classifification.Comput.Intell.Neurosci.,vol.2018,pp.1–13,Jan.2018.
50.Xu,C.；Zhu,G.；Shu,J.A lightweight intrinsic mean for remote sensingclassifification with lie group kernel function.IEEE Geosci.RemoteSens.Lett.,vol.18,no.10,pp.1741-1745,Jul.17,2020,doi:10.1109/LGRS.2020.3007775.
51.Xue,W.；Dai,X.；Liu,L.Remote Sensing Scene Classification Based onMulti-Structure Deep Features Fusion.IEEE Access,vol.8,pp.28746–28755,2020,doi:10.1109/ACCESS.2020.2968771.
52.Zhou,Y.；Liu,X.；Zhao,J.；Ma,Ding.；Yao,R.；Liu,B.；Zheng,Y.Remotesensing scene classifification based on rotationinvariant feature learningand joint decision making.EURASIP J.Image Video Process.,vol.2019,no.1,pp.1–11,2019.
53.Xu,C.；Zhu,G.；Shu,J.A Lightweight and Robust Lie Group-Convolutional Neural Networks Joint Representation for Remote Sensing SceneClassifification.IEEE Transactions on Geoscience and Remote Sensing.doi:10.1109/TGRS.2020.3048024.

Claims (4)

1.基于通道多分组融合的遥感场景图像分类方法，其特征在于：所述方法具体过程为：
步骤一、获取高光谱图像；
步骤二、建立基于通道多分组融合的轻量级卷积神经网络模型；
步骤三、将高光谱图像输入建立的基于通道多分组融合的轻量级卷积神经网络模型进行训练，得到训练好的基于通道多分组融合的轻量级卷积神经网络模型；
所述基于通道多分组融合的轻量级卷积神经网络模型包括输入层、第一组、第二组、第三组、第四组、第五组、第六组、第七组、第八组和输出层；
第一组和第二组分别包括分支1、分支2和分支3；
分支1依次包括第一步长为2卷积核大小是3×3的卷积层、批标准化、Rule激活函数、第二步长为1卷积核大小是3×3的卷积层、批标准化、Rule激活函数；
分支2依次包括步长为2池化核大小为2的最大池化层、第三步长为1卷积核大小是3×3的卷积层；
分支3包括第四步长为1卷积核大小是1×1的卷积层；
将分支1和分支2得到的特征进行融合；
将融合之后的特征和分支3得到的特征进行特征融合，得到最终的输出特征；
第三组依次包括第五步长为1卷积核大小是1×1的卷积层、第六步长为1卷积核大小是3×3的卷积层和第一步长为2卷积核大小是3×3的深度可分离卷积层；
第四组至第七组分别包括第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元、第二深度可分离卷积单元、第三深度可分离卷积单元、第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元、第七深度可分离卷积单元、第八深度可分离卷积单元、第九深度可分离卷积单元、第十深度可分离卷积单元；
所述第七卷积单元依次包括第七卷积层、批标准化、Rule激活函数；
所述第八卷积单元依次包括第八卷积层、批标准化、Rule激活函数；
所述第九卷积单元依次包括第九卷积层、批标准化、Rule激活函数；
所述第十卷积单元依次包括第十卷积层、批标准化、Rule激活函数；
所述第二深度可分离卷积单元依次包括第二深度可分离卷积层、批标准化、Rule激活函数；
所述第三深度可分离卷积单元依次包括第三深度可分离卷积层、批标准化、Rule激活函数；
所述第四深度可分离卷积单元依次包括第四深度可分离卷积层、批标准化、Rule激活函数；
所述第五深度可分离卷积单元依次包括第五深度可分离卷积层、批标准化、Rule激活函数；
所述第六深度可分离卷积单元依次包括第六深度可分离卷积层、批标准化、Rule激活函数；
所述第七深度可分离卷积单元依次包括第七深度可分离卷积层、批标准化、Rule激活函数；
所述第八深度可分离卷积单元依次包括第八深度可分离卷积层、批标准化、Rule激活函数；
所述第九深度可分离卷积单元依次包括第九深度可分离卷积层、批标准化、Rule激活函数；
所述第十深度可分离卷积单元依次包括第十深度可分离卷积层、批标准化、Rule激活函数；
将通道数是C的输入特征划分成两个部分，一部分由4个通道数为
Figure FDA0003402131510000021
的特征组成，另一部分由2个通道数为
Figure FDA0003402131510000022
的特征组成；
将通道数是
Figure FDA0003402131510000023
的特征分别输入第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元进行卷积操作；
将第七卷积单元卷积操作结果和第八卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure FDA0003402131510000024
将特征通道数是
Figure FDA0003402131510000025
的特征输入第二深度可分离卷积单元进行卷积操作；
将第八卷积单元卷积操作结果和第九卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure FDA0003402131510000026
将特征通道数是
Figure FDA0003402131510000027
的特征输入第三深度可分离卷积单元进行卷积操作；
将第九卷积单元卷积操作结果和第十卷积单元卷积操作结果进行通道融合，融合后特征通道数是
Figure FDA0003402131510000028
将特征通道数是
Figure FDA0003402131510000029
的特征输入第四深度可分离卷积单元进行卷积操作；
将通道数是
Figure FDA0003402131510000031
的特征分别输入第五深度可分离卷积单元和第六深度可分离卷积单元进行卷积操作；
将第二深度可分离卷积单元的卷积操作结果和第三深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第七深度可分离卷积单元进行卷积操作；
将第三深度可分离卷积单元的卷积操作结果和第四深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第八深度可分离卷积单元进行卷积操作；
将第四深度可分离卷积单元的卷积操作结果和第五深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第九深度可分离卷积单元进行卷积操作；
将第五深度可分离卷积单元的卷积操作结果和第六深度可分离卷积单元的卷积操作结果进行通道融合，融合后每个特征的通道数是C，将通道数为C的特征输入第十深度可分离卷积单元进行卷积操作；
将第七深度可分离卷积单元输出结果、第八深度可分离卷积单元输出结果、第九深度可分离卷积单元输出结果、第十深度可分离卷积单元输出结果进行特征融合，特征融合结果和输入特征进行短连接得到输出特征；
第八组依次包括全局平均池化层和SoftMax分类器；
输入层连接第一组，第一组输出连接第二组，第二组输出连接第三组，第三组输出连接第四组，第四组输出连接第五组，第五组输出连接第六组，第六组输出连接第七组，第七组输出连接第八组，第八组连接输出层；
步骤四、将待测高光谱图像输入练好的基于通道多分组融合的轻量级卷积神经网络模型得到分类结果。
2.根据权利要求1所述基于通道多分组融合的遥感场景图像分类方法，其特征在于：所述第一组和第二组分别包括分支1、分支2和分支3；
分支1依次包括第一步长为2卷积核大小是3×3的卷积层、批标准化、Rule激活函数、第二步长为1卷积核大小是3×3的卷积层、批标准化、Rule激活函数；
分支2依次包括步长为2池化核大小为2的最大池化层、第三步长为1卷积核大小是3×3的卷积层；
分支3包括第四步长为1卷积核大小是1×1的卷积层；
将分支1和分支2得到的特征进行融合；
将融合之后的特征和分支3得到的特征进行特征融合，得到最终的输出特征；
具体过程为：
分支1是使用第一步长为2卷积核大小是3×3的卷积层进行降采样操作得到fdown(x)，然后使用第二步长为1卷积核大小是3×3的卷积层提取图像的浅层特征得到f1(x)：
fdown(x)＝δ(BN(F*Ks＝2)) (7)
f1(x)＝δ(BN(fdown(x)*Ks＝1)) (8)
公式(7)和公式(8)中，δ表示激活函数Rule，BN表示批标准化，F表示输入特征，Ks表示步长是s的3×3卷积核，*表示卷积操作；
分支2是使用步长为2池化核大小为2的最大池化层对输入特征进行降采样得到fmij，然后使用第三步长为1卷积核大小是3×3的卷积层提取图像的浅层特征得到f2(x)：
Figure FDA0003402131510000041
其中，fmij表示在矩形区域Rij中和第m个特征有关的最大池化输出值，xmst表示矩形区域Rij中位于(s,t)位置处的元素；
f2(x)＝δ(BN(fmij(x)*Ks＝1)) (10)
将分支1和分支2得到的特征进行融合得到f(x)；
分支3是使用第四步长为1卷积核大小是1×1的卷积层提取图像的浅层特征得到g(x)；
将融合之后的特征f(x)和分支3得到的特征g(x)进行特征融合，得到最终的输出特征y(x)；
y(x)＝g(x)+f(x) (11)。
3.根据权利要求2所述基于通道多分组融合的遥感场景图像分类方法，其特征在于：所述第三组依次包括第五步长为1卷积核大小是1×1的卷积层、第六步长为1卷积核大小是3×3的卷积层和第一步长为2卷积核大小是3×3的深度可分离卷积层；具体过程为：
假设输入特征尺寸是H×W×C1，卷积核尺寸是H1×W1×C1，输出特征尺寸是H×W×C2，则卷积层卷积的参数量是：
paramsconv＝(H1×W1×C1)×C2 (1)
深度可分离卷积层卷积的参数量是：
paramsdsc＝H1×W1×C1+C1×C2 (2)
深度可分离卷积层卷积和卷积层卷积的比值paramsdsc/paramsconv是：
Figure FDA0003402131510000051
其中H为特征高度，W为特征宽度，C1为通道数，H1为特征高度，W1为特征宽度，C2为通道数。
4.根据权利要求3所述基于通道多分组融合的遥感场景图像分类方法，其特征在于：所述第四组至第七组分别包括第七卷积单元、第八卷积单元、第九卷积单元、第十卷积单元、第二深度可分离卷积单元、第三深度可分离卷积单元、第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元、第七深度可分离卷积单元、第八深度可分离卷积单元、第九深度可分离卷积单元、第十深度可分离卷积单元；具体过程为：
假设输入特征为
Figure FDA0003402131510000052
xC表示通道数为C的特征，
Figure FDA0003402131510000053
表示通道数为
Figure FDA0003402131510000054
的第i个特征，
Figure FDA0003402131510000055
表示通道数为
Figure FDA0003402131510000056
的第i个特征；
对输入特征进行通道分组后结果表示为：
Figure FDA0003402131510000057
Figure FDA0003402131510000058
分别对通道数是
Figure FDA0003402131510000059
的特征
Figure FDA00034021315100000510
进行卷积操作，卷积之后结果分别为
Figure FDA00034021315100000511
其中
Figure FDA0003402131510000061
的计算过程如下：
Figure FDA0003402131510000062
其中，
Figure FDA0003402131510000063
表示相应的特征
Figure FDA0003402131510000064
进行卷积后的结果，
Figure FDA0003402131510000065
Figure FDA0003402131510000066
表示通道数是
Figure FDA0003402131510000067
的第i个特征中的第m个通道，fconv(·)表示卷积操作，W表示卷积权重，ReLU表示激活函数，BN表示批量归一化；
将相邻两个特征
Figure FDA0003402131510000068
和
Figure FDA0003402131510000069
进行通道融合来实现信息交互，通道融合后特征通道数是
Figure FDA00034021315100000610
用
Figure FDA00034021315100000611
表示融合后通道数为
Figure FDA00034021315100000612
的第i个特征，用
Figure FDA00034021315100000613
表示特征
Figure FDA00034021315100000614
和特征
Figure FDA00034021315100000615
的通道融合操作，
Figure FDA00034021315100000616
的计算过程如下：
Figure FDA00034021315100000617
Figure FDA00034021315100000618
Figure FDA00034021315100000619
将通道为
Figure FDA00034021315100000620
的特征
Figure FDA00034021315100000621
分别进行深度可分离卷积，卷积之后的结果分别为
Figure FDA00034021315100000622
Figure FDA0003402131510000071
Figure FDA0003402131510000072
的计算过程如下：
Figure FDA0003402131510000073
Figure FDA0003402131510000074
其中，
Figure FDA0003402131510000075
表示相应的特征
Figure FDA0003402131510000076
和
Figure FDA0003402131510000077
进行深度可分离卷积后的结果，
Figure FDA0003402131510000078
Figure FDA0003402131510000079
表示通道数是
Figure FDA00034021315100000710
的第i个特征中的第m个通道；fdsc(·)表示深度可分离卷积操作；
然后，将相邻的特征
Figure FDA00034021315100000711
进行通道融合，融合后特征通道数是C，用
Figure FDA00034021315100000712
表示通道融合后通道数为C的第i个特征，
Figure FDA00034021315100000713
的计算过程如下：
Figure FDA00034021315100000714
Figure FDA00034021315100000715
Figure FDA00034021315100000716
Figure FDA00034021315100000717
将通道数为C的特征
Figure FDA00034021315100000718
分别进行深度可分离卷积，卷积后的结果为
Figure FDA00034021315100000719
Figure FDA00034021315100000720
Figure FDA0003402131510000081
的计算过程如下：
Figure FDA0003402131510000082
接着，将特征
Figure FDA0003402131510000083
进行特征融合，将融合得到的结果和输入特征X进行短连接，得到最终输出结果
Figure FDA0003402131510000084
Figure FDA0003402131510000085
CN202111502098.7A 2021-12-09 基于通道多分组融合的遥感场景图像分类方法 Active CN114005003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111502098.7A CN114005003B (zh) 2021-12-09 基于通道多分组融合的遥感场景图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111502098.7A CN114005003B (zh) 2021-12-09 基于通道多分组融合的遥感场景图像分类方法

Publications (2)

Publication Number Publication Date
CN114005003A true CN114005003A (zh) 2022-02-01
CN114005003B CN114005003B (zh) 2024-07-12

Family

ID=

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724630A (zh) * 2022-04-18 2022-07-08 厦门大学 用于预测蛋白质翻译后修饰位点的深度学习方法
CN114842320A (zh) * 2022-03-17 2022-08-02 江南大学 基于DW-SEnet模型的机器人目标检测方法及系统
CN115546600A (zh) * 2022-11-10 2022-12-30 齐齐哈尔大学 基于Lush多层特征融合偏置网络的地物识别方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213459A1 (en) * 2018-05-04 2019-11-07 Northeastern University System and method for generating image landmarks
CN111639677A (zh) * 2020-05-07 2020-09-08 齐齐哈尔大学 一种基于多分路通道扩容网络的垃圾图像分类方法
CN113705718A (zh) * 2021-09-06 2021-11-26 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213459A1 (en) * 2018-05-04 2019-11-07 Northeastern University System and method for generating image landmarks
CN111639677A (zh) * 2020-05-07 2020-09-08 齐齐哈尔大学 一种基于多分路通道扩容网络的垃圾图像分类方法
CN113705718A (zh) * 2021-09-06 2021-11-26 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
惠鹏飞;石翠萍;张微;: "遥感图像分类有损压缩的定量分析", 科学技术创新, no. 33, 25 November 2017 (2017-11-25) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842320A (zh) * 2022-03-17 2022-08-02 江南大学 基于DW-SEnet模型的机器人目标检测方法及系统
CN114724630A (zh) * 2022-04-18 2022-07-08 厦门大学 用于预测蛋白质翻译后修饰位点的深度学习方法
CN114724630B (zh) * 2022-04-18 2024-05-31 厦门大学 用于预测蛋白质翻译后修饰位点的深度学习方法
CN115546600A (zh) * 2022-11-10 2022-12-30 齐齐哈尔大学 基于Lush多层特征融合偏置网络的地物识别方法
CN115546600B (zh) * 2022-11-10 2024-01-02 齐齐哈尔大学 基于Lush多层特征融合偏置网络的地物识别方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108846426B (zh) 基于深度双向lstm孪生网络的极化sar分类方法
Chen et al. Local patch network with global attention for infrared small target detection
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
Peng et al. Rgb-t crowd counting from drone: A benchmark and mmccn network
Akey Sungheetha Classification of remote sensing image scenes using double feature extraction hybrid deep learning approach
Yang et al. A deep multiscale pyramid network enhanced with spatial–spectral residual attention for hyperspectral image change detection
Si et al. Spatial-driven features based on image dependencies for person re-identification
CN110543890A (zh) 一种基于特征金字塔的深度神经网络图像匹配方法
Li et al. Image quality assessment using deep convolutional networks
CN111709313A (zh) 基于局部和通道组合特征的行人重识别方法
CN115546654A (zh) 基于分组混合注意力的遥感场景图像分类方法
Zhang et al. Semi-supervised deep learning via transformation consistency regularization for remote sensing image semantic segmentation
CN114973112A (zh) 一种基于对抗学习网络的尺度自适应密集人群计数方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
Teimoorinia et al. Assessment of astronomical images using combined machine-learning models
Wei et al. Lightweight multimodal feature graph convolutional network for dangerous driving behavior detection
Chen et al. Attention-aware deep feature embedding for remote sensing image scene classification
CN112508863B (zh) 一种基于rgb图像和msr图像双通道的目标检测方法
Su et al. Reconstruction-assisted and distance-optimized adversarial training: A defense framework for remote sensing scene classification
CN114266955A (zh) 一种遥感影像场景分类方法
CN112668421A (zh) 一种基于注意力机制的无人机高光谱农作物快速分类方法
Cao et al. A spatial pyramid pooling convolutional neural network for smoky vehicle detection
CN114005003B (zh) 基于通道多分组融合的遥感场景图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant