CN112287978A - 一种基于自注意力上下文网络的高光谱遥感图像分类方法 - Google Patents

一种基于自注意力上下文网络的高光谱遥感图像分类方法 Download PDF

Info

Publication number
CN112287978A
CN112287978A CN202011067782.2A CN202011067782A CN112287978A CN 112287978 A CN112287978 A CN 112287978A CN 202011067782 A CN202011067782 A CN 202011067782A CN 112287978 A CN112287978 A CN 112287978A
Authority
CN
China
Prior art keywords
attention
self
feature
context
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011067782.2A
Other languages
English (en)
Other versions
CN112287978B (zh
Inventor
杜博
徐永浩
张良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011067782.2A priority Critical patent/CN112287978B/zh
Publication of CN112287978A publication Critical patent/CN112287978A/zh
Priority to PCT/CN2021/121774 priority patent/WO2022073452A1/zh
Application granted granted Critical
Publication of CN112287978B publication Critical patent/CN112287978B/zh
Priority to US18/192,657 priority patent/US11783579B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自注意力上下文网络的高光谱遥感图像分类方法。该方法通过自注意力学习和上下文编码，构建高光谱遥感图像中像素间的空间依赖关系，提取全局上下文特征。在受到对抗攻击污染的高光谱遥感数据上，该方法依然能保持优越的地物识别精度，从而更好的满足高光谱遥感图像分类任务对安全性和可靠性的需求。

Description

一种基于自注意力上下文网络的高光谱遥感图像分类方法
技术领域
本发明属于计算机图像处理技术领域，涉及一种图像分类方法，具体涉及一种基于自注意力上下文网络的高光谱遥感图像分类方法。
背景技术
高光谱遥感通过结合光谱技术与成像技术，可以同时获得空间维度与光谱维度上连续的遥感观测数据。与自然图像相比，高光谱遥感图像光谱分辨率更高，波段数更多，能够反映更加丰富的地物波谱特性。因此，利用高光谱图像进行地物目标的分类与识别，是实现对地观测的重要途径之一。
目前，大部分高光谱图像分类方法多基于深度卷积神经网络[1-2]，并已取得了较好的地物识别效果。然而，随着计算机视觉领域中对抗攻击算法研究的不断深入[3]，已有文献发现现有深度神经网络极易受到对抗样本的攻击，导致模型预测结果偏离样本的真实标签。考虑到目前在高光谱遥感研究领域尚未有对抗攻击相关的研究，而现有基于深度神经网络的高光谱遥感图像分类方法在设计过程中，没有充分考虑网络的安全性和可靠性，使得这些方法极易受到对抗攻击的威胁。因此，亟需一种安全性、可靠性更高的高光谱遥感图像分类算法，更好的满足安全、可靠的高精度地物目标识别需求。
[1]Y.Xu,L.Zhang,B.Du,and F.Zhang,“Spectral-spatial unified networksfor hyperspectral image classification,”IEEE Trans.Geosci.Remote Sens.,vol.56,no.10,pp.5893–5909,Oct 2018.
[2]Y.Xu,B.Du,and L.Zhang,“Beyond the patchwise classification:Spectral-spatial fully convolutional networks for hyperspectral imageclassification,”IEEE Transactions on Big Data,vol.6,no.3,pp.492–506,2020.
[3]N.Akhtar and A.Mian,“Threat of adversarial attacks on deeplearning in computer vision:A survey,”IEEE Access,vol.6,pp.14410–14430,2018.
发明内容
为了解决上述技术问题，本发明提供了一种基于自注意力上下文网络的高光谱遥感图像分类方法，该方法包含一个基干网络、一个自注意力模块和一个上下文编码模块。基干网络通过三个3×3扩张卷积层和一个2×2平均池化层来提取层次化特征。随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素间的空间依赖关系，得到自注意力特征。该特征随后作为上下文编码模块的输入，学习全局上下文特征。在分类阶段，考虑到不同尺寸大小的地物识别需求，本方法进一步将全局上下文特征与基干网络中的前两层卷积特征进行特征融合。
本发明的技术方案为：首先构建整体网络，包括一个基干网络、一个自注意力模块和一个上下文编码模块，基干网络通过三个扩张卷积层和一个平均池化层来提取层次化特征；随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素间的空间依赖关系，得到自注意力特征；自注意力特征随后作为上下文编码模块的输入，学习全局上下文特征；具体实现包括以下步骤：
步骤1：初始化整体网络中的参数，使其满足均值为0方差为0.1的高斯分布；
步骤2：记原始高光谱影像为
Figure BDA0002714294470000021
其中h,w,c分别为影像的高度、宽度和波段数，将X输入基干网络；
步骤3：将第三个扩张卷积层的特征C3输入到自注意力模块，学习自注意力特征
Figure BDA0002714294470000022
m为第一个扩张卷积层中卷积核的个数；
步骤4：将自注意力模块学习到的自注意力特征S输入到上下文编码模块，学习上下文特征
Figure BDA0002714294470000023
步骤5：将上下文特征Z与第一、第二个卷积特征采用串联的方式进行特征融合，得到融合后的特征
Figure BDA0002714294470000024
其中U(·)表示2倍双线性内插上采样操作，C1和C2分别为第一个扩张卷积层的特征和第二个扩张卷积层的特征；
步骤6：将融合特征H输入一个卷积层，利用Softmax函数得到网络预测的概率图
Figure BDA0002714294470000025
计算预测概率图
Figure BDA0002714294470000026
与真实标签Y之间的交叉熵损失函数；
步骤7：利用梯度下降算法，优化步骤6中的损失函数；
步骤8：重复上述步骤2-7，直至整体网络收敛；
步骤9：将待识别的目标影像，输入到训练好的整体网络中，完成最终的高光谱遥感图像分类任务。
进一步的，步骤3中所述的自注意力特征S，其具体学习过程包括以下子步骤：
步骤3.1：为了减少自注意力特征学习过程中的计算负担，利用一个平均池化层将输入的第三层卷积特征C3的空间尺寸减半：
Figure BDA0002714294470000031
Pavg(·)为平均池化操作；
步骤3.2：将P2分别输入到三个具有n个卷积核的卷积层得到对应的特征图
Figure BDA0002714294470000032
步骤3.3：将α,β,γ调整尺寸为
Figure BDA0002714294470000033
利用下式计算空间注意力图
Figure BDA0002714294470000034
Figure BDA0002714294470000035
其中，A(i,j)表示影像中像素i对像素j的影响，k＝1,2,…,hw/16；
步骤3.4：将空间注意力图A与特征图γ进行矩阵乘法，得到特征图B＝A×γ，随后将B调整尺寸为
Figure BDA0002714294470000036
步骤3.5：计算最终的自注意力增强特征
Figure BDA0002714294470000037
S＝F(U(B))+C3,
其中F(·)表示非线性映射函数，具体采用一个具有m个卷积核的卷积层实现，U(·)表示2倍双线性内插上采样操作。
进一步的，步骤4中所述的上下文特征Z，其具体学习过程包括以下子步骤：
步骤4.1：利用一个具有n个卷积核的卷积层对输入的自注意力增强特征S进行降维，对得到的特征图Q调整尺寸为
Figure BDA0002714294470000038
记
Figure BDA0002714294470000039
为Q的第i个元素，其中i＝1,2,...N，
Figure BDA00027142944700000310
步骤4.2：记
Figure BDA00027142944700000311
为利用Q中的全局统计信息来学习视觉中心的编码字典，其中
Figure BDA00027142944700000312
表示字典中的第j个元素，k是字典D中元素的个数，计算Q与D之间的标准化残差为：
Figure BDA0002714294470000041
其中，rij＝qi-dj表示Q中的第i个元素与D中的第j个元素的残差，sj表示D中的第j个元素对应的缩放因子；
步骤4.3：计算全局上下文向量
Figure BDA0002714294470000042
其中
Figure BDA0002714294470000043
表示批标准化操作；
步骤4.4：利用一个全连接层将全局上下文向量e升维至
Figure BDA0002714294470000044
Figure BDA0002714294470000045
其中
Figure BDA0002714294470000046
为sigmoid函数，Wfc与bfc为全连接层对应的参数矩阵与偏置向量；
步骤4.5：计算最终的上下文特征
Figure BDA0002714294470000047
Figure BDA0002714294470000048
其中⊙表示通道维度上的点乘。
进一步的，步骤2中将X输入基干网络的具体实现如下，
将X输入具有m个3×3卷积核的第一个扩张卷积层，计算第一个扩张卷积层的特征C1＝g(W1*X+b1)，其中W1,b1分别为第一个扩张卷积层对应的参数矩阵与偏置向量，g(x)＝max(0,x)为修正线性单元函数；同样的，第二、第三个扩张卷积层的特征表达为C2＝g(W2*C1+b2)，C3＝g(W3*P1+b3)，其中P1＝Pavg(C2)为第一个池化层的特征，Pavg(·)为2×2平均池化操作。
进一步的，步骤6中交叉熵损失
Figure BDA0002714294470000049
的表达式如下，
Figure BDA00027142944700000410
其中，v为类别总数，
Figure BDA00027142944700000411
为预测概率图，Y为真实标签，其中h,w分别为影像的高度、宽度。
本发明的有益效果为：
本发明提出了一种基于自注意力上下文网络的高光谱遥感图像分类方法，该方法能够有效提升模型对对抗样本的抵抗能力。与现有基于深度卷积神经网络的高光谱遥感图像分类方法相比，本发明通过自注意力学习和上下文编码，构建高光谱遥感图像中像素间的空间依赖关系，提取全局上下文特征，在受到对抗攻击污染的高光谱遥感数据上，依然能保持优越的地物识别精度。
附图说明
图1为本发明提出的一种基于自注意力上下文网络的高光谱遥感图像分类方法的示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供的一种基于自注意力上下文网络的高光谱遥感图像分类方法，该方法包含一个基干网络、一个自注意力模块和一个上下文编码模块构成的整体网络。其中，基干网络通过三个3×3扩张卷积层和一个2×2平均池化层来提取层次化特征。随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素间的空间依赖关系，得到自注意力特征。该特征随后作为上下文编码模块的输入，学习全局上下文特征。在分类阶段，考虑到不同尺寸大小的地物识别需求，本方法进一步将全局上下文特征与基干网络中的前两层卷积特征进行特征融合。
具体包括以下步骤：
步骤1：初始化整体网络中的参数，使其满足均值为0方差为0.1的高斯分布；
步骤2：记原始高光谱影像为
Figure BDA0002714294470000051
其中h,w,c分别为影像的高度、宽度和波段数。将X输入具有m个3×3卷积核的第一个扩张卷积层，计算第一个卷积层的特征C1＝g(W1*X+b1)，其中W1,b1分别为第一个扩张卷积层对应的参数矩阵与偏置向量，g(x)＝max(0,x)为修正线性单元函数。类似的，第二、第三层卷积特征可表达为C2＝g(W2*C1+b2)，C3＝g(W3*P1+b3)，其中P1＝Pavg(C2)为第一个池化层的特征，Pavg(·)为2×2平均池化操作；
步骤3：将第三层卷积特征C3输入到自注意力模块，学习自注意力特征
Figure BDA0002714294470000061
步骤4：将自注意力模块学习到的自注意力特征S输入到上下文编码模块，学习上下文特征
Figure BDA0002714294470000062
步骤5：将上下文特征Z与第一、第二层卷积特征采用串联的方式进行特征融合，得到融合后的特征
Figure BDA0002714294470000063
其中U(·)表示2倍双线性内插上采样操作；
步骤6：将融合特征H输入一个1×1卷积层，利用Softmax函数得到网络预测的概率图
Figure BDA0002714294470000064
计算预测概率图
Figure BDA0002714294470000065
与真实标签Y之间的交叉熵损失
Figure BDA0002714294470000066
Figure BDA0002714294470000067
其中，v为类别总数。
步骤7：利用梯度下降算法，优化步骤6中的损失函数；
步骤8：重复上述步骤2-7，直至整体网络收敛；
步骤9：将待识别的目标影像，输入到训练好的整体网络中，完成最终的高光谱遥感图像分类任务。
作为优选，步骤3中所述的自注意力特征S，其具体学习过程包括以下子步骤：
步骤3.1：为了减少自注意力特征学习过程中的计算负担，利用一个2×2平均池化层将输入的第三层卷积特征C3的空间尺寸减半：
Figure BDA0002714294470000068
步骤3.2：将P2分别输入到三个具有n个1×1卷积核的卷积层得到对应的特征图
Figure BDA0002714294470000069
步骤3.3：将α,β,γ调整尺寸为
Figure BDA00027142944700000610
利用下式计算空间注意力图
Figure BDA00027142944700000611
Figure BDA00027142944700000612
其中，A(i,j)表示影像中像素i对像素j的影响，k＝1,2,…,hw/16；
步骤3.4：将空间注意力图A与特征图γ进行矩阵乘法，得到特征图B＝A×γ，随后将B调整尺寸为
Figure BDA0002714294470000071
步骤3.5：计算最终的自注意力增强特征
Figure BDA0002714294470000072
S＝F(U(B))+C3,
其中F(·)表示非线性映射函数，具体采用一个具有m个卷积核的1×1卷积层实现。
作为优选，步骤4中所述的上下文特征Z，其具体学习过程包括以下子步骤：
步骤4.1：利用一个具有n个卷积核的1×1卷积层对输入的自注意力增强特征S进行降维，对得到的特征图Q调整尺寸为
Figure BDA0002714294470000073
记
Figure BDA0002714294470000074
为Q的第i个元素，其中i＝1,2,...N，
Figure BDA0002714294470000075
步骤4.2：记
Figure BDA0002714294470000076
为利用Q中的全局统计信息来学习视觉中心的编码字典，k是字典D中元素的个数，其中
Figure BDA0002714294470000077
表示字典中的第j个元素。计算Q与D之间的标准化残差为：
Figure BDA0002714294470000078
其中，rij＝qi-dj表示Q中的第i个元素与D中的第j个元素的残差，sj表示D中的第j个元素对应的缩放因子，sl表示D中的第l个元素对应的缩放因子；
步骤4.3：计算全局上下文向量
Figure BDA0002714294470000079
其中
Figure BDA00027142944700000710
表示批标准化操作(batch normalization)；
步骤4.4：利用一个全连接层将全局上下文向量e升维至
Figure BDA00027142944700000711
Figure BDA00027142944700000712
其中
Figure BDA00027142944700000713
为sigmoid函数，Wfc与bfc为全连接层对应的参数矩阵与偏置向量；
步骤4.5：计算最终的上下文特征
Figure BDA0002714294470000081
Figure BDA0002714294470000082
其中⊙表示通道维度上的点乘。
以上是本发明涉及的一种基于自注意力上下文网络的高光谱遥感图像分类方法的实现步骤。
由于数据采集设备的差异，采集到的高光谱图像像素值往往差别很大，可能影响图像分类效果。为了避免这一问题，在进行步骤1前，应对高光谱图像数据进行标准化处理，使所有像素值处于0-1的范围之内。这一步将作为本发明涉及的预处理步骤。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：首先构建整体网络，包括一个基干网络、一个自注意力模块和一个上下文编码模块，基干网络通过三个扩张卷积层和一个平均池化层来提取层次化特征；随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素间的空间依赖关系，得到自注意力特征；自注意力特征随后作为上下文编码模块的输入，学习全局上下文特征；具体实现包括以下步骤：
步骤1：初始化整体网络中的参数，使其满足均值为0方差为0.1的高斯分布；
步骤2：记原始高光谱影像为
Figure FDA0002714294460000011
其中h,w,c分别为影像的高度、宽度和波段数，将X输入基干网络；
步骤3：将第三个扩张卷积层的特征C3输入到自注意力模块，学习自注意力特征
Figure FDA0002714294460000012
m为第一个扩张卷积层中卷积核的个数；
步骤4：将自注意力模块学习到的自注意力特征S输入到上下文编码模块，学习上下文特征
Figure FDA0002714294460000013
步骤5：将上下文特征Z与第一、第二个卷积特征采用串联的方式进行特征融合，得到融合后的特征
Figure FDA0002714294460000014
其中U(·)表示2倍双线性内插上采样操作，C1和C2分别为第一个扩张卷积层的特征和第二个扩张卷积层的特征；
步骤6：将融合特征H输入一个卷积层，利用Softmax函数得到网络预测的概率图
Figure FDA0002714294460000015
计算预测概率图
Figure FDA0002714294460000016
与真实标签Y之间的交叉熵损失函数；
步骤7：利用梯度下降算法，优化步骤6中的损失函数；
步骤8：重复上述步骤2-7，直至整体网络收敛；
步骤9：将待识别的目标影像，输入到训练好的整体网络中，完成最终的高光谱遥感图像分类任务。
2.根据权利要求1所述的基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：步骤3中所述的自注意力特征S，其具体学习过程包括以下子步骤：
步骤3.1：为了减少自注意力特征学习过程中的计算负担，利用一个平均池化层将输入的第三层卷积特征C3的空间尺寸减半：
Figure FDA0002714294460000021
Pavg(·)为平均池化操作；
步骤3.2：将P2分别输入到三个具有n个卷积核的卷积层得到对应的特征图
Figure FDA0002714294460000022
步骤3.3：将α,β,γ调整尺寸为
Figure FDA0002714294460000023
利用下式计算空间注意力图
Figure FDA0002714294460000024
Figure FDA0002714294460000025
其中，A(i,j)表示影像中像素i对像素j的影响，k＝1,2,…,hw/16；
步骤3.4：将空间注意力图A与特征图γ进行矩阵乘法，得到特征图B＝A×γ，随后将B调整尺寸为
Figure FDA0002714294460000026
步骤3.5：计算最终的自注意力增强特征
Figure FDA0002714294460000027
S＝F(U(B))+C3,
其中F(·)表示非线性映射函数，具体采用一个具有m个卷积核的卷积层实现，U(·)表示2倍双线性内插上采样操作。
3.根据权利要求1所述的基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：步骤4中所述的上下文特征Z，其具体学习过程包括以下子步骤：
步骤4.1：利用一个具有n个卷积核的卷积层对输入的自注意力增强特征S进行降维，对得到的特征图Q调整尺寸为
Figure FDA0002714294460000028
记
Figure FDA0002714294460000029
为Q的第i个元素，其中i＝1,2,...N，
Figure FDA00027142944600000210
步骤4.2：记
Figure FDA00027142944600000211
为利用Q中的全局统计信息来学习视觉中心的编码字典，其中
Figure FDA00027142944600000212
表示字典中的第j个元素，k是字典D中元素的个数，计算Q与D之间的标准化残差为：
Figure FDA0002714294460000031
其中，rij＝qi-dj表示Q中的第i个元素与D中的第j个元素的残差，sj表示D中的第j个元素对应的缩放因子，sl表示D中的第l个元素对应的缩放因子；
步骤4.3：计算全局上下文向量
Figure FDA0002714294460000032
其中
Figure FDA0002714294460000033
表示批标准化操作；
步骤4.4：利用一个全连接层将全局上下文向量e升维至
Figure FDA0002714294460000034
Figure FDA0002714294460000035
其中
Figure FDA0002714294460000036
为sigmoid函数，Wfc与bfc为全连接层对应的参数矩阵与偏置向量；
步骤4.5：计算最终的上下文特征
Figure FDA0002714294460000037
Figure FDA0002714294460000038
其中⊙表示通道维度上的点乘。
4.根据权利要求1所述的基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：步骤2中将X输入基干网络的具体实现如下，
将X输入具有m个3×3卷积核的第一个扩张卷积层，计算第一个扩张卷积层的特征C1＝g(W1*X+b1)，其中W1,b1分别为第一个扩张卷积层对应的参数矩阵与偏置向量，g(x)＝max(0,x)为修正线性单元函数；同样的，第二、第三个扩张卷积层的特征表达为C2＝g(W2*C1+b2)，C3＝g(W3*P1+b3)，其中P1＝Pavg(C2)为第一个池化层的特征，Pavg(·)为2×2平均池化操作。
5.根据权利要求1所述的基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：步骤6中交叉熵损失
Figure FDA0002714294460000039
的表达式如下，
Figure FDA00027142944600000310
其中，v为类别总数，
Figure FDA00027142944600000311
为预测概率图，Y为真实标签，其中h,w分别为影像的高度、宽度。
CN202011067782.2A 2020-10-07 2020-10-07 一种基于自注意力上下文网络的高光谱遥感图像分类方法 Active CN112287978B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011067782.2A CN112287978B (zh) 2020-10-07 2020-10-07 一种基于自注意力上下文网络的高光谱遥感图像分类方法
PCT/CN2021/121774 WO2022073452A1 (zh) 2020-10-07 2021-09-29 一种基于自注意力上下文网络的高光谱遥感图像分类方法
US18/192,657 US11783579B2 (en) 2020-10-07 2023-03-30 Hyperspectral remote sensing image classification method based on self-attention context network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011067782.2A CN112287978B (zh) 2020-10-07 2020-10-07 一种基于自注意力上下文网络的高光谱遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN112287978A true CN112287978A (zh) 2021-01-29
CN112287978B CN112287978B (zh) 2022-04-15

Family

ID=74422893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011067782.2A Active CN112287978B (zh) 2020-10-07 2020-10-07 一种基于自注意力上下文网络的高光谱遥感图像分类方法

Country Status (3)

Country Link
US (1) US11783579B2 (zh)
CN (1) CN112287978B (zh)
WO (1) WO2022073452A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990230A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN113313127A (zh) * 2021-05-18 2021-08-27 华南理工大学 文本图像识别方法、装置、计算机设备和存储介质
CN113569724A (zh) * 2021-07-27 2021-10-29 中国科学院地理科学与资源研究所 基于注意力机制和扩张卷积的道路提取方法及系统
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN113705641A (zh) * 2021-08-16 2021-11-26 武汉大学 基于富上下文网络的高光谱图像分类方法
CN114220012A (zh) * 2021-12-16 2022-03-22 池明旻 一种基于深度自注意力网络的纺织品棉麻鉴别方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN114742170A (zh) * 2022-04-22 2022-07-12 马上消费金融股份有限公司 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN115690917A (zh) * 2023-01-04 2023-02-03 南京云创大数据科技股份有限公司 一种基于外观和运动智能关注的行人动作识别方法
CN117197002A (zh) * 2023-11-07 2023-12-08 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897718B (zh) * 2022-04-29 2023-09-19 重庆理工大学 一种能同时平衡上下文信息和空间细节的低光图像增强方法
CN114863173B (zh) * 2022-05-06 2023-06-23 南京审计大学 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN114612688B (zh) * 2022-05-16 2022-09-09 中国科学技术大学 对抗样本生成方法、模型训练方法、处理方法及电子设备
CN114863179B (zh) * 2022-05-18 2022-12-13 合肥工业大学 基于多尺度特征嵌入和交叉注意力的内窥镜图像分类方法
CN114821342B (zh) * 2022-06-02 2023-04-18 中国科学院地理科学与资源研究所 一种遥感影像道路提取方法及系统
CN114842105A (zh) * 2022-06-02 2022-08-02 北京大学 一种一体化的条件图像重绘方法及装置
CN115019174B (zh) * 2022-06-10 2023-06-16 西安电子科技大学 基于像素重组和注意力的上采样遥感图像目标识别方法
CN114758032B (zh) * 2022-06-15 2022-09-16 之江实验室 基于时空注意力模型的多相期ct图像分类系统及构建方法
CN114778485B (zh) * 2022-06-16 2022-09-06 中化现代农业有限公司 基于近红外光谱和注意力机制网络的品种鉴定方法及系统
CN115063685B (zh) * 2022-07-11 2023-10-03 河海大学 一种基于注意力网络的遥感影像建筑物特征提取方法
CN115358270B (zh) * 2022-08-19 2023-06-20 山东省人工智能研究院 一种基于多任务mtef-net的心电分类方法
CN115345866B (zh) * 2022-08-25 2023-05-23 中国科学院地理科学与资源研究所 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN115131252B (zh) * 2022-09-01 2022-11-29 杭州电子科技大学 基于二次编解码结构的金属物体表面高光去除方法
CN115482463B (zh) * 2022-09-01 2023-05-05 北京低碳清洁能源研究院 一种生成对抗网络矿区土地覆盖识别方法及系统
CN115471677B (zh) * 2022-09-15 2023-09-29 贵州大学 一种基于双通道稀疏化网络的高光谱图像分类方法
CN115249332B (zh) * 2022-09-23 2023-01-20 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN115359306B (zh) * 2022-10-24 2023-04-07 中铁科学技术开发有限公司 一种铁路货检高清图像智能识别方法和系统
CN115661655B (zh) * 2022-11-03 2024-03-22 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN115761250B (zh) * 2022-11-21 2023-10-10 北京科技大学 一种化合物逆合成方法及装置
CN115546569B (zh) * 2022-12-05 2023-04-07 鹏城实验室 一种基于注意力机制的数据分类优化方法及相关设备
CN115965953B (zh) * 2023-01-04 2023-08-22 哈尔滨工业大学 基于高光谱成像与深度学习的粮种品种分类方法
CN116129143B (zh) * 2023-02-08 2023-09-08 山东省人工智能研究院 一种基于串并联网络特征融合的边缘阔提取方法
CN115880346B (zh) * 2023-02-10 2023-05-23 耕宇牧星(北京)空间科技有限公司 一种基于深度学习的可见光遥感图像精确配准方法
CN116152660B (zh) * 2023-02-14 2023-10-20 北京市遥感信息研究所 一种基于跨尺度注意力机制的广域遥感图像变化检测方法
CN116310572B (zh) * 2023-03-23 2024-01-23 齐齐哈尔大学 金字塔多尺度卷积和自注意力结合的高光谱图像分类方法
CN116052007B (zh) * 2023-03-30 2023-08-11 山东锋士信息技术有限公司 一种融合时间和空间信息的遥感图像变化检测方法
CN116091640B (zh) * 2023-04-07 2023-06-20 中国科学院国家空间科学中心 一种基于光谱自注意力机制的遥感高光谱重建方法及系统
CN116206099B (zh) * 2023-05-06 2023-08-15 四川轻化工大学 一种基于sar图像的船舶位置检测方法及存储介质
CN116597204A (zh) * 2023-05-12 2023-08-15 内蒙古农业大学 基于Transformer网络的草地多时相高光谱分类方法
CN116630700A (zh) * 2023-05-22 2023-08-22 齐鲁工业大学(山东省科学院) 基于引入通道-空间注意力机制的遥感图像分类方法
CN116343052B (zh) * 2023-05-30 2023-08-01 华东交通大学 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN116400426B (zh) * 2023-06-06 2023-08-29 山东省煤田地质局第三勘探队 基于电磁法的数据勘测系统
CN116452820B (zh) * 2023-06-19 2023-09-05 中国科学院空天信息创新研究院 环境污染等级确定方法及装置
CN116503677B (zh) * 2023-06-28 2023-09-05 武汉大学 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN116503628A (zh) * 2023-06-29 2023-07-28 华侨大学 自动化农业机械的图像匹配算法、装置、设备及存储介质
CN116777892B (zh) * 2023-07-03 2024-01-26 东莞市震坤行胶粘剂有限公司 基于视觉检测的点胶质量检测方法及其系统
CN116563313B (zh) * 2023-07-11 2023-09-19 安徽大学 基于门控融合注意力的遥感影像大豆种植区域分割方法
CN116612333B (zh) * 2023-07-17 2023-09-29 山东大学 一种基于快速全卷积网络的医学高光谱影像分类方法
CN116612334B (zh) * 2023-07-18 2023-10-10 山东科技大学 一种基于空谱联合注意力机制的医学高光谱图像分类方法
CN116824525B (zh) * 2023-08-29 2023-11-14 中国石油大学(华东) 一种基于交通道路影像的图像信息提取方法
CN116863342B (zh) * 2023-09-04 2023-11-21 江西啄木蜂科技有限公司 一种基于大尺度遥感影像的松材线虫病死木提取方法
CN116895030B (zh) * 2023-09-11 2023-11-17 西华大学 基于目标检测算法和注意力机制的绝缘子检测方法
CN117218537B (zh) * 2023-09-13 2024-02-13 安徽大学 基于Transformer和非局部神经网络双分支架构的高光谱图像分类方法
CN117095360B (zh) * 2023-10-18 2023-12-15 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统
CN117671437A (zh) * 2023-10-19 2024-03-08 中国矿业大学(北京) 基于多任务卷积神经网络的露天采场识别与变化检测方法
CN117152546B (zh) * 2023-10-31 2024-01-26 江西师范大学 一种遥感场景分类方法、系统、存储介质及电子设备
CN117422932A (zh) * 2023-11-17 2024-01-19 中国矿业大学 一种基于多模态强化图注意力网络的高光谱图像分类方法
CN117372789B (zh) * 2023-12-07 2024-03-08 北京观微科技有限公司 图像分类方法及图像分类装置
CN117409264B (zh) * 2023-12-16 2024-03-08 武汉理工大学 基于transformer的多传感器数据融合机器人地形感知方法
CN117496281B (zh) * 2024-01-03 2024-03-19 环天智慧科技股份有限公司 一种农作物遥感图像分类方法
CN117612018B (zh) * 2024-01-23 2024-04-05 中国科学院长春光学精密机械与物理研究所 用于光学遥感载荷像散的智能判别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485238A (zh) * 2016-11-01 2017-03-08 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
US20180260657A1 (en) * 2016-11-01 2018-09-13 Shenzhen University Method and system for extracting and classifying features of hyperspectral remote sensing image
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110532353A (zh) * 2019-08-27 2019-12-03 海南阿凡题科技有限公司 基于深度学习的文本实体匹配方法、系统、装置
CN110688491A (zh) * 2019-09-25 2020-01-14 暨南大学 基于深度学习的机器阅读理解方法、系统、设备及介质
CN110969010A (zh) * 2019-12-06 2020-04-07 浙江大学 一种基于关系指导及双通道交互机制的问题生成方法
US20200175015A1 (en) * 2018-11-29 2020-06-04 Koninklijke Philips N.V. Crf-based span prediction for fine machine learning comprehension
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111368896A (zh) * 2020-02-28 2020-07-03 南京信息工程大学 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020097461A1 (en) * 2018-11-08 2020-05-14 Siemens Aktiengesellschaft Convolutional neural networks with reduced attention overlap
WO2021098585A1 (en) * 2019-11-22 2021-05-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image search based on combined local and global information
CA3167079A1 (en) * 2020-03-27 2021-09-30 Mehrsan Javan Roshtkhari System and method for group activity recognition in images and videos with self-attention mechanisms
CN111583220B (zh) * 2020-04-30 2023-04-18 腾讯科技（深圳）有限公司 影像数据检测方法和装置
CN111582225B (zh) * 2020-05-19 2023-06-20 长沙理工大学 一种遥感图像场景分类方法及装置
US20210390410A1 (en) * 2020-06-12 2021-12-16 Google Llc Local self-attention computer vision neural networks
CN111738124B (zh) * 2020-06-15 2023-08-22 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法
US20220108478A1 (en) * 2020-10-02 2022-04-07 Google Llc Processing images using self-attention based neural networks
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
US20220301311A1 (en) * 2021-03-17 2022-09-22 Qualcomm Incorporated Efficient self-attention for video processing
US20220301310A1 (en) * 2021-03-17 2022-09-22 Qualcomm Incorporated Efficient video processing via dynamic knowledge propagation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485238A (zh) * 2016-11-01 2017-03-08 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
US20180260657A1 (en) * 2016-11-01 2018-09-13 Shenzhen University Method and system for extracting and classifying features of hyperspectral remote sensing image
US20200175015A1 (en) * 2018-11-29 2020-06-04 Koninklijke Philips N.V. Crf-based span prediction for fine machine learning comprehension
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110532353A (zh) * 2019-08-27 2019-12-03 海南阿凡题科技有限公司 基于深度学习的文本实体匹配方法、系统、装置
CN110688491A (zh) * 2019-09-25 2020-01-14 暨南大学 基于深度学习的机器阅读理解方法、系统、设备及介质
CN110969010A (zh) * 2019-12-06 2020-04-07 浙江大学 一种基于关系指导及双通道交互机制的问题生成方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111368896A (zh) * 2020-02-28 2020-07-03 南京信息工程大学 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAOSONG YANG等: "Context-Aware Self-Attention Networks", 《RESEARCHGATE》 *
方博: "对抗学习在光学遥感影像分类及变化检测中的方法研究", 《万方数据知识服务平台》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112990230B (zh) * 2021-03-12 2023-05-09 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN112990230A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN113313127A (zh) * 2021-05-18 2021-08-27 华南理工大学 文本图像识别方法、装置、计算机设备和存储介质
CN113313127B (zh) * 2021-05-18 2023-02-14 华南理工大学 文本图像识别方法、装置、计算机设备和存储介质
CN113569724A (zh) * 2021-07-27 2021-10-29 中国科学院地理科学与资源研究所 基于注意力机制和扩张卷积的道路提取方法及系统
CN113705641A (zh) * 2021-08-16 2021-11-26 武汉大学 基于富上下文网络的高光谱图像分类方法
WO2023019698A1 (zh) * 2021-08-16 2023-02-23 武汉大学 基于富上下文网络的高光谱图像分类方法
CN113705641B (zh) * 2021-08-16 2023-11-10 武汉大学 基于富上下文网络的高光谱图像分类方法
US11941865B2 (en) 2021-08-16 2024-03-26 Wuhan University Hyperspectral image classification method based on context-rich networks
CN113705526B (zh) * 2021-09-07 2022-03-04 安徽大学 一种高光谱遥感影像分类方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN114220012A (zh) * 2021-12-16 2022-03-22 池明旻 一种基于深度自注意力网络的纺织品棉麻鉴别方法
CN114742170A (zh) * 2022-04-22 2022-07-12 马上消费金融股份有限公司 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN114742170B (zh) * 2022-04-22 2023-07-25 马上消费金融股份有限公司 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN115690917A (zh) * 2023-01-04 2023-02-03 南京云创大数据科技股份有限公司 一种基于外观和运动智能关注的行人动作识别方法
CN117197002A (zh) * 2023-11-07 2023-12-08 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN117197002B (zh) * 2023-11-07 2024-02-02 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法

Also Published As

Publication number Publication date
WO2022073452A1 (zh) 2022-04-14
CN112287978B (zh) 2022-04-15
US11783579B2 (en) 2023-10-10
US20230260279A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
CN112287978B (zh) 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112115783B (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN112419155B (zh) 一种全极化合成孔径雷达影像超分辨率重建方法
Chen et al. Convolutional neural network based dem super resolution
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN110895820B (zh) 一种基于kcf的尺度自适应目标跟踪方法
CN112699899A (zh) 一种基于生成对抗网络的高光谱图像特征提取方法
CN113222836B (zh) 一种高光谱与多光谱遥感信息融合方法及系统
CN110544212A (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111738954A (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
Xiao et al. A review of remote sensing image spatiotemporal fusion: Challenges, applications and recent trends
CN114972885A (zh) 基于模型压缩的多模态遥感图像分类方法
CN114937206A (zh) 基于迁移学习和语义分割的高光谱图像目标检测方法
CN111325259A (zh) 一种基于深度学习和二进制编码的遥感图像分类方法
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
Catalbas Modified VDSR-based single image super-resolution using naturalness image quality evaluator
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
Ma et al. Multi-spectral image change detection based on single-band iterative weighting and fuzzy C-means clustering
Wang et al. Multiple Spectral-Spatial Representation Based on Tensor Decomposition for HSI Anomaly Detection
Hu et al. Spatial dynamic selection network for remote-sensing image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant