CN116310868A - 一种多层次注意力交互的云雪辩识方法、设备及存储介质 - Google Patents

一种多层次注意力交互的云雪辩识方法、设备及存储介质 Download PDF

Info

Publication number
CN116310868A
CN116310868A CN202310260636.9A CN202310260636A CN116310868A CN 116310868 A CN116310868 A CN 116310868A CN 202310260636 A CN202310260636 A CN 202310260636A CN 116310868 A CN116310868 A CN 116310868A
Authority
CN
China
Prior art keywords
attention
features
feature
cloud
snow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310260636.9A
Other languages
English (en)
Inventor
夏旻
丁立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202310260636.9A priority Critical patent/CN116310868A/zh
Publication of CN116310868A publication Critical patent/CN116310868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种多层次注意力交互的云雪辩识方法、设备及存储介质，涉及图像处理技术领域，方法包括：获取待识别图像；将所述待识别图像输入预训练好的多层次注意力交互网络；其中所述多层次注意力交互网络包括：下采样特征提取模块、细节特征提取模块、深层多头注意力信息增强模块和特征交互融合上采样模块；根据所述多层次注意力交互网络的输出，得到云和雪的掩膜图像，完成云和雪的辩识。能够实现多种地表背景的干扰下云雪辨识，增强对薄云和雪地边缘的检测能力，减少云雪相似的光谱特性对检测的影响，更精确区分出云雪区域，并且泛化能力强，在分割其他地面目标方面也具有良好效果。

Description

一种多层次注意力交互的云雪辩识方法、设备及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种多层次注意力交互的云雪辩识方法、设备及存储介质。
背景技术
遥感卫星对地球进行长期观测，捕捉和表征地表信息。每年大约地球表面的66.7％被云层覆盖，在冬季北半球的40-50％被积雪覆盖。许多卫星图像中都存在云和雪，他们的存在会模糊地表物体，降低观测数据的利用率，但用于气候-人类-环境相互作用的研究时，对于气候变化研究、水文资源调查以及雪灾预警具有重要意义，因此需要高效准确的云雪检测算法。而且由于雪和云具有接近的辐射温度，且在光学波段具有相似的特性，在检测任务时很难将两者区分开来。云雪识别任务仍面临着较大的挑战。虽然已有许多方法实现云雪识别的任务，但在检测结果上仍然存在不足，传统方法的鲁棒性和泛化能力较差，无法自动提取图像中云雪区域的高阶语义信息且忽略部分有价值的特征。现有的深度学习方法在一些场景中无法探测薄云和细雪覆盖的微小区域，并在云雪重叠处和交界处容产生误检，因此需要加强小尺度对象的检测及边界细节的预测。
发明内容
针对现有技术的不足，本发明的目的在于提供一种多层次注意力交互的云雪辩识方法、设备及存储介质，解决了现有技术中对于云和雪的分类做的不够好的技术问题。
本发明的目的可以通过以下技术方案实现：
第一方面，本发明提供一种多层次注意力交互的云雪辩识方法，包括：
获取待识别图像；
将所述待识别图像输入预训练好的多层次注意力交互网络；其中所述多层次注意力交互网络包括：下采样特征提取模块、细节特征提取模块、深层多头注意力信息增强模块和特征交互融合上采样模块；
根据所述多层次注意力交互网络的输出，得到云和雪的掩膜图像，完成云和雪的辩识。
在一些实施例中，所述多层次注意力交互网络基于以下方法训练得到：
获取训练所需的云雪数据集并对云雪数据集进行数据增强处理，其中所述云雪数据集为包括背景、云和雪的图像以及图像对应标签；
利用数据增强处理后的云雪数据集对预构建的多层次注意力交互网络进行训练，得到训练好的多层次注意力交互网络。
在一些实施例中，对云雪数据集中的图片进行数据增强处理包括：对数据集中的图片进行随机旋转，水平翻转或者垂直翻转操作。
在一些实施例中，多层次注意力交互网络的处理过程包括：
所述下采样特征提取模块用于对输入的图像进行下采样特征提取，得到不同层级的浅层特征和深层特征输出给细节特征提取模块，并得到局部特征输出给深层多头注意力信息增强模块；
所述细节特征提取模块用于提取下采样特征提取模块不同层级之间的浅层特征和深层特征的相同信息和差异信息，得到细节特征；
所述深层多头注意力信息增强模块通过桥接单元实现将下采样特征提取模块提取的局部特征和多头自注意力机制单元提取的全局特征结合，得到全局增强特征；
所述特征交互融合上采样模块用于根据所述细节特征和全局增强特征进行特征交互融合上采样处理得到云和雪的掩膜图像。
在一些实施例中，所述细节特征提取模块用于提取下采样特征提取模块不同层级之间的浅层特征和深层特征的相同信息和差异信息，得到细节特征，包括：
对深层特征Fy∈RC/2×H/2×W/2进行卷积运算和上采样运算，得到上采样后的深层特征
Figure BDA0004131100140000031
将浅层特征Fx∈RC×H×W与上采样后的深层特征
Figure BDA0004131100140000032
相减得到差异细节信息Fd∈RC×H×W，并设置一个可学习的权重系数λ，得到了差异信息支路Fd；
将浅层特征Fx与上采样后的深层特征
Figure BDA0004131100140000033
相加得到相同细节信息Fs∈RC×H×W，并通过卷积提炼信息，得到相同细节支路Fs；
将相同细节支路和差异信息支路进行信息叠加，得到细节特征Fde；
所述细节特征提取模块的计算过程如下：
Figure BDA0004131100140000034
Figure BDA0004131100140000035
Figure BDA0004131100140000036
Fde＝Conv1×1(Fs)+λ×Fd
其中Conv1×1(·)表示1x1的卷积操作；up(·)表示上采样运算，统一特征大小；λ代表可学习的权重系数；Fde是信息叠加后最终输出的细节特征。
在一些实施例中，所述深层多头注意力信息增强模块包括桥接转换模块和多头自注意力机单元；所述深层多头注意力信息增强模块通过桥接单元实现将下采样特征提取模块提取的局部特征和多头自注意力机制单元提取的全局特征结合，得到全局增强特征，包括：
将下采样特征提取模块输出的局部特征作为输入，利用桥接单元的down部分，将局部特征映射为多头注意力中的片区子空间，采用1×1卷积将输入通道数压缩为多头注意力中使用的片区子空间通道数；
将局部特征的形状从B×Ct×H×W,转化为多头注意力中片区子空间的形状形式B×HW×Ct，输入到多头注意力机制单元中；
多头自注意力机制单元中有多个独立地随机初始的学习权重矩阵，将输入的向量映射到不同子空间中，丰富信息的特征表达，使模型关注多个全局中的重点区域；
将多头自注意力机制单元提取的特征信息通过桥接单元的UP部分，把特征图谱恢复成多头注意力特征，并通过1×1卷积将通道维度映射为通道维度C/2，得到全局特征；
将局部特征和全局特征结合，用3×3卷积实现局部特征和全局特征编码融合，得到全局增强特征；
所述深层多头注意力信息增强模块的计算过程如下：
Fdown＝reshape1(Conv1×1(Fn))
Fup＝Conv1×1(reshape2(Mt(Fdown))
Fdm＝Conv3×3(Cat(Fn+Fup))
其中Fn∈RC×H×W表示输入的局部特征，
Figure BDA0004131100140000041
表示映射到多头注意力的片区子空间，Mt(·)表示多头注意力操作，reshape1(·)表示局部特征的转化成片区子空间的操作，reshape2(·)表示特征图谱恢复成多头注意力特征，Fup∈RC/2×H×W表示恢复的多头注意力特征，Cat(·)表示在通道维度上的拼接，Conv3×3(·)表示3x3卷积操作，Fdm∈RC×H×W表示深层多头注意力信息增强模块输出的全局增强特征。
在一些实施例中，所述特征交互融合上采样模块包括多尺度及条状边界卷积部分、空间通道注意力部分和空间特征交流融合部分；所述特征交互融合上采样模块用于根据所述细节特征和全局增强特征进行特征交互融合上采样处理得到云和雪的掩膜图像，包括：
第一个特征交互融合上采样模块的两个输入分别是全局增强特征和对应细节特征提取模块输出的细节特征；后三个特征交互融合上采样模块的两个输入分别是上一个特征交互融合上采样模块输出的融合特征和对应细节特征提取模块输出的细节特征；
细节特征经过多尺度及条状边界卷积部分，在左支路中使用不同数量的3×3卷积结构组合使得模块能够聚合3×3、5×5和7×7的感受野，能进一步过滤信息的同时提取细节特征的多尺度特征；在右支路中将9×9卷积设计为并行级联形式由9×1和1×9组成，再采用1×1卷积压缩特征通道数，获得云雪边缘特征；
细节特征经过多尺度及条状边界卷积部分计算过程如下：
Fin＝Conv1×1(Fde)
L1＝Conv3×3(Fin)，L2＝Conv3×3(L1)，L3＝Conv3×3(L2)
L＝Cat(L1,L2,L3)
R1＝Conv9×1(Conv1×9(Fin))，R2＝Conv1×9(Conv9×1(Fin))
R＝Cat(R1,R2)
Fms＝Conv1×1(Cat(L,R))
其中Fde∈Rc×h×w表示细节特征，Fin∈Rc/2×h×w表示预处理后的细节特征，Li表示多尺度卷积支路的特征，Ri表示条状卷积支路的特征,Cat(·)表示在通道维度上的拼接，ConvK×K(·)表示以K×K为卷积核的卷积操作，Fms∈Rc×h×w表示云雪边缘特征；L表示多尺度卷积总特征，R表示条状卷积总特征；
全局增强特征经过空间通道自注意力部分，用于云和雪与周围地物信息进行连接，增强全局增强特征的空间通道注意力信息，捕获通道间存在的依赖关系；
全局增强特征Fdm∈RC×H×W输入空间注意力机制，分别通过三个1x1卷积块产生第一特征映射
Figure BDA0004131100140000051
第二特征映射/>
Figure BDA0004131100140000052
和第三特征映射F3∈RC×H×W，其中/>
Figure BDA0004131100140000053
等于C/8；然后将F1重构后得到第一重构映射特征/>
Figure BDA0004131100140000061
F2重构后得到第二重构映射特征/>
Figure BDA0004131100140000062
F3重构为/>
Figure BDA0004131100140000063
第三重构映射特征；将/>
Figure BDA0004131100140000064
与/>
Figure BDA0004131100140000065
相乘使用softmax生成空间注意图S∈R(H×W)×(H×W)；再将/>
Figure BDA0004131100140000066
与空间注意图S相乘后，还原成原尺度生成空间注意特征Fsa∈RC×H×W；
全局增强特征Fdm∈RC×H×W输入通道注意机制，分别通过全局平均池AvgPool、全局最大池MaxPool进行压缩得到平均池化特征Favg和最大池化特征Fmax，对Favg和Fmax进行聚合，分别采用相加操作得到相加特征图Fadd∈RC×1×1和拼接操作得到拼接特征图Fcat∈R2C×1×1；再将相加特征图Fadd∈RC×1×1、拼接特征图Fcat∈R2C×1×1分别送入一个两层全连接层的神经网络，第一层全连接层的神经元个数为C/16，第二层全连接层的神经元个数为C且权重共享，将输出信息进行加和操作和sigmoid激活，生成通道注意特征Fc∈RC×H×W；
全局增强特征分别与空间注意特征和通道注意特征相乘后，执行元素求和操作来生成输出注意结合特征Fsc∈RC×H×W；全局增强特征和注意结合特征Fsc∈RC×H×W相乘后通过1×1卷积增加特征通道数，得到自注意力特征Fa；
空间通道自注意力部分计算公式如下所示：
F1＝Conv1×1(Fdm),F2＝Conv1×1(Fdm),F3＝Conv1×1(Fdm)
Figure BDA0004131100140000067
Figure BDA0004131100140000068
Figure BDA0004131100140000069
Favg＝AvgPool(Fdm),Fmax＝MaxPool(Fdm)
Fadd＝Favg+Fmax,Fcat＝Cat(Favg,Fmax)
Fc＝σ(V2(V0(Fadd))+V2(V1(Fcat))
Figure BDA00041311001400000610
Figure BDA00041311001400000611
其中，re(·)表示重构操作，Fsa表示原尺度生成空间注意特征，
Figure BDA00041311001400000612
表示矩阵乘法；σ(·)是softmax算子；V0代表Fadd的第一层全连接层权重，V1代表Fcat的第一层全连接层权重；V2是代表Fadd和Fcat第二层全连接层的共享权重，Fa∈RC×H×W表示空间通道自注意力部分输出的自注意力特征；
将云雪边缘特征和自注意力特征通过空间特征交流融合部分进行结合，将云雪边缘特征Fms通过下采样映射到自注意力特征Fa大小后，与自注意力特征Fa相加，得到重叠特征U；
然后对重叠特征U分别采用全局最大池化和全局平均池化操作后，并通过两层卷积提取空间信息，得到总空间权重w；
再对总空间权重w进行softmax操作，得到空间权重w1,w2∈R2×h×w；将空间权重w1与云雪边缘特征Fms矩阵相乘得到权重化云雪边缘特征，空间权重w2和自注意力特征Fa矩阵相乘得到权重化自注意力特征，权重化自注意力特征经过上采样后与权重化云雪边缘特征想加，再经过规范化的注意力机制处理，得到模块最终输出融合特征Fu；
空间特征交流融合部分计算公式表示为：
U＝Fa+down(Fms)
w＝Conv1×3(Conv3×1(Cat(AvgPool(U),MaxPool(U)))
(w1,w2)＝σ(w)
Figure BDA0004131100140000071
Figure BDA0004131100140000072
式中down(·)表示下采样操作，σ(w)表示softmax操作后的总空间权重；w1,w2分别表示Fa和Fms的空间权重；
Figure BDA0004131100140000073
表示权重化后的自注意力特征，/>
Figure BDA0004131100140000074
表示权重化后的云雪边缘特征，up(·)表示使用双线性插值的2倍上采样操作，NAM表示规范化的注意力机制，Fu表示模块输出的融合特征；
将上一个特征交互融合上采样模块的输出作为下一个特征交互融合上采样模块的输入，再经过三个特征交互融合上采样模块处理后，最后经过双线性插值上采样，得到云和雪的掩膜图像。
在一些实施例中，所述背景包括森林，水域，城市，草原，裸地；
在一些实施例中，所述云包括卷积云，高积云，卷云，积云以及层云；
在一些实施例中，所述雪包括永久雪，稳定雪和不稳定雪。
第二方面，本发明提供了一种多层次注意力交互的云雪辩识装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
第四方面，本发明提供了一种设备，包括，
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行第一方面所述的方法中的任一方法的指令。
本发明的有益效果：本发明在使用的过程中，根据编码器-解码器的基础结构使用改进的残差网络作为主干网络对输入数据进行特征提取，并设计细节特征提取模块，深层多头注意力信息增强模块，特征交互融合上采样模块，构建多层次注意力交互网络。然后，获取包括背景、云和雪的训练数据，并进行数据增强处理，再将图像与对应的标签转化为张量后，输入到多层次注意力交互网络中训练；最后使用训练好的多层次注意力交互网络进行预测，输入一张彩色图片，提取特征进行编码解码操作后输出得到云和雪的掩膜图像；能够实现多种地表背景的干扰下云雪辨识，增强对薄云和雪地边缘的检测能力，减少云雪相似的光谱特性对检测的影响，更精确区分出云雪区域，并且泛化能力强，在分割其他地面目标方面也具有良好效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明用于云雪识别的多层次注意力交互网络结构示意图；
图2为本发明的细节特征提取模块示意图；
图3为本发明的深层多头注意力信息增强模块示意图；
图4为本发明的特征交互融合上采样模块示意图；
图5为本发明实施例的训练集样本图，其中上半部分为遥感图像原图，下半部分为对应的标签图；
图6为本发明实施例进行预测的遥感图像原图；
图7为本发明实施例进行预测的遥感图像原图的预测图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
一种多层次注意力交互的云雪辩识方法，包括：
获取待识别图像；
将所述待识别图像输入预训练好的多层次注意力交互网络；其中所述多层次注意力交互网络包括：下采样特征提取模块、细节特征提取模块、深层多头注意力信息增强模块和特征交互融合上采样模块；
根据所述多层次注意力交互网络的输出，得到云和雪的掩膜图像，完成云和雪的辩识。
在一些实施例中，所述多层次注意力交互网络基于以下方法训练得到：
获取训练所需的云雪数据集并对云雪数据集进行数据增强处理，其中所述云雪数据集为包括背景、云和雪的图像以及图像对应标签；
利用数据增强处理后的云雪数据集对预构建的多层次注意力交互网络进行训练，得到训练好的多层次注意力交互网络。
在一些实施例中，对云雪数据集中的图片进行数据增强处理包括：对数据集中的图片进行随机旋转，水平翻转或者垂直翻转操作。
在一些实施例中，多层次注意力交互网络的处理过程包括：
所述下采样特征提取模块用于对输入的图像进行下采样特征提取，得到不同层级的浅层特征和深层特征输出给细节特征提取模块，并得到局部特征输出给深层多头注意力信息增强模块；
所述细节特征提取模块用于提取下采样特征提取模块不同层级之间的浅层特征和深层特征的相同信息和差异信息，得到细节特征；
所述深层多头注意力信息增强模块通过桥接单元实现将下采样特征提取模块提取的局部特征和多头自注意力机制单元提取的全局特征结合，得到全局增强特征；
所述特征交互融合上采样模块用于根据所述细节特征和全局增强特征进行特征交互融合上采样处理得到云和雪的掩膜图像。
在一些实施例中，如图1所示，一种多层次注意力交互的云雪辩识方法，包括：
S1、训练数据集的获取：
使用公开的中高空间分辨率云雪数据集，需要进一步进行说明的是，该数据集包括27幅包含云和雪的中高分辨率图像，涵盖的背景复杂多样，包括森林，水域，城市，草原，裸地等；云层种类包括卷积云，高积云，卷云，积云以及层云；同时其中覆盖的雪由永久雪，稳定雪和不稳定雪组成，多样性的云雪和背景使得此数据集更具有代表性和概化性。由于显卡性能的限制，将原始图片统一按照滑动无盖切割的方式，裁剪得到3×256×256大小的图像，表示所裁剪获取的图像为3通道，宽高大小为256。如图5所示，展示了云雪数据集中的部分训练图像，图中第一行是原始彩色图像，第二行是对应的标签。
S2、构建多层次注意力交互网络
在一些实施例中，多层次注意力交互网络的结构如图1所示。整个网络以编码器-解码器为基础结构，采用端到端的训练方式，主要由下采样特征提取模块、细节特征提取模块、深层多头注意力信息增强模块和特征交互融合上采样模块构成，同时设置两个训练时的辅助支路(AUX)作为额外的预测输出添加到损失函数的计算中。由于在对遥感图像中识别云雪的过程中，本发明选取残差网络作为主干网络来进行特征信息提取，可以大大提高网络的检测效率，并设置辅助支路加快模型的训练效率和收敛速度，提高预测精度。
所述细节特征提取模块用于提取下采样特征提取模块不同层级之间的浅层特征和深层特征的相同信息和差异信息，得到细节特征，减少特征提取过程中丢失的细节信息，实现检测云雪边缘的细化。
首先对深层特征Fy∈RC/2×H/2×W/2进行卷积运算和上采样运算，将其放大到与浅层特征相同的大小得到上采样后的深层特征
Figure BDA0004131100140000111
然后，将浅层特；Fx∈RC×H×W与上采样后的深层特征/>
Figure BDA0004131100140000112
相减得到差异细节信息Fd∈RC×H×W，并设置一个可学习的权重系数λ，让网络独立调整注意重要的差异区域，得到了差异信息支路Fd；同时，将浅层特征Fx与上采样后的深层特征/>
Figure BDA0004131100140000113
相加得到相同细节信息Fs∈RC×H×W，并通过卷积提炼信息，得到相同细节支路Fs；
最后，相同细节支路和差异信息支路进行信息叠加，得到细节特征Fde；
所述细节特征提取模块的计算过程如下：
Figure BDA0004131100140000114
Figure BDA0004131100140000115
Figure BDA0004131100140000121
Fde＝Conv1×1(Fs)+λ×Fd
其中Conv1×1(·)表示1x1的卷积操作；up(·)表示上采样运算，统一特征大小；λ代表可学习的权重系数；Fde是信息叠加后最终输出的细节特征。
需要进一步进行说明的是，在具体实施过程中，所述深层多头注意力信息增强模块包括桥接转换模块和多头自注意力机单元；所述深层多头注意力信息增强模块通过桥接单元实现将下采样特征提取模块提取的局部特征和多头自注意力机制单元提取的全局特征结合，得到全局增强特征，包括：
将下采样特征提取模块输出的局部特征作为输入，利用桥接单元的down部分，将局部特征映射为多头注意力中的片区子空间，采用1×1卷积将输入通道数压缩为多头注意力中使用的片区子空间通道数；
将局部特征的形状从B×Ct×H×W,转化为多头注意力中片区子空间的形状形式B×HW×Ct，输入到多头注意力机制单元中；
多头自注意力机制单元中有多个独立地随机初始的学习权重矩阵，将输入的向量映射到不同子空间中，丰富信息的特征表达，使模型关注多个全局中的重点区域；
将多头自注意力机制单元提取的特征信息通过桥接单元的UP部分，把特征图谱恢复成多头注意力特征，并通过1×1卷积将通道维度映射为通道维度C/2，得到全局特征；
将局部特征和全局特征结合，用3×3卷积实现局部特征和全局特征编码融合，得到全局增强特征；
所述深层多头注意力信息增强模块的计算过程如下：
Fdown＝reshape1(Conv1×1(Fn))
Fup＝Conv1×1(reshape2(Mt(Fdown))
Fdm＝Conv3×3(Cat(Fn+Fup))
其中Fn∈RC×H×W表示输入的局部特征，
Figure BDA0004131100140000131
表示映射到多头注意力的片区子空间，Mt(·)表示多头注意力操作，reshape1(·)表示局部特征的转化成片区子空间的操作，reshape2(·)表示特征图谱恢复成多头注意力特征，Fup∈RC/2×H×W表示恢复的多头注意力特征，Cat(·)表示在通道维度上的拼接，Conv3×3(·)表示3x3卷积操作，Fdm∈RC×H×W表示深层多头注意力信息增强模块输出的全局增强特征。
需要进一步进行说明的是，在具体实施过程中，进一步地，所述特征交互融合上采样模块包括多尺度及条状边界卷积部分、空间通道注意力部分和空间特征交流融合部分；用于关注不同层次特征中的上下文背景信息和空间信息，促进特征融合和恢复实现清晰的高分辨率图像形成，减少简单直接融合信息会导致语义稀释及信息冗余的问题。
第一个特征交互融合上采样模块的两个输入分别是全局增强特征和对应细节特征提取模块输出的细节特征；后三个特征交互融合上采样模块的两个输入分别是上一个特征交互融合上采样模块输出的融合特征和对应细节特征提取模块输出的细节特征；
首先，细节特征经过多尺度及条状边界卷积部分，在左支路中使用不同数量的3×3卷积结构组合使得模块能够聚合3×3、5×5和7×7的感受野，能进一步过滤信息的同时提取细节特征的多尺度特征；在右支路中将9×9卷积设计为并行级联形式由9×1和1×9组成，再采用1×1卷积压缩特征通道数，减少了参数量的同时通过其条带状卷积沿空间维度部署的提取方法，获得云雪边缘特征；细节特征经过多尺度及条状边界卷积部分计算过程如下：
Fin＝Conv1×1(Fde)
L1＝Conv3×3(Fin)，L2＝Conv3×3(L1)，L3＝Conv3×3(L2)
L＝Cat(L1,L2,L3)
R1＝Conv9×1(Conv1×9(Fin))，R2＝Conv1×9(Conv9×1(Fin))
R＝Cat(R1,R2)
Fns＝Conv1×1(Cat(L,R))
其中Fde∈Rc×h×w表示细节特征，Fin∈Rc/2×h×w表示预处理后的细节特征，Li表示多尺度卷积支路的特征，Ri表示条状卷积支路的特征,Cat(·)表示在通道维度上的拼接，ConvK×K(·)表示以K×K为卷积核的卷积操作，Fms∈Rc×h×w表示云雪边缘特征；L表示多尺度卷积总特征，R表示条状卷积总特征；
其次，全局增强特征经过空间通道自注意力部分，用于云和雪与周围地物信息进行连接，增强全局增强特征的空间通道注意力信息，捕获通道间存在的依赖关系；更好地区分地物信息，减少感受野中心的像素对输出较大的影响。全局增强特征Fdm∈RC×H×W输入空间注意力机制，分别通过三个1x1卷积块产生第一特征映射
Figure BDA0004131100140000141
第二特征映射
Figure BDA0004131100140000142
和第三特征映射F3∈RC×H×W，其中/>
Figure BDA0004131100140000143
等于C/8；然后将F1重构后得到第一重构映射特征/>
Figure BDA0004131100140000144
F2重构后得到第二重构映射特征/>
Figure BDA0004131100140000145
F3重构为
Figure BDA0004131100140000146
第三重构映射特征；将/>
Figure BDA0004131100140000147
与/>
Figure BDA0004131100140000148
相乘使用softmax生成空间注意图S∈R(H ×W)×(H×W)；再将/>
Figure BDA0004131100140000149
与空间注意图S相乘后，还原成原尺度生成空间注意特征Fsa∈RC×H×W；
全局增强特征Fdm∈RC×H×W输入通道注意机制，分别通过全局平均池AvgPool、全局最大池MaxPool进行压缩得到平均池化特征Favg和最大池化特征Fmax，对Favg和Fmax进行聚合，分别采用相加操作得到相加特征图Fadd∈RC×1×1和拼接操作得到拼接特征图Fcat∈R2C×1×1；再将相加特征图Fadd∈RC×1×1、拼接特征图Fcat∈R2C×1×1分别送入一个两层全连接层的神经网络，第一层全连接层的神经元个数为C/16，第二层全连接层的神经元个数为C且权重共享，将输出信息进行加和操作和sigmoid激活，生成通道注意特征Fc∈RC×H×W；
全局增强特征分别与空间注意特征和通道注意特征相乘后，执行元素求和操作来生成输出注意结合特征Fsc∈RC×H×W；全局增强特征和注意结合特征Fsc∈RC×H×W相乘后通过1×1卷积增加特征通道数，得到自注意力特征Fa；
空间通道自注意力部分计算公式如下所示：
F1＝Conv1×1(Fdm),F2＝Conv1×1(Fdm),F3＝Conv1×1(Fdm)
Figure BDA0004131100140000151
Figure BDA0004131100140000152
Figure BDA0004131100140000153
Favg＝AvgPool(Fdm),Fmax＝MaxPool(Fdm)
Fadd＝Favg+Fmax,Fcat＝Cat(Favg,Fmax)
Fc＝σ(V2(V0(Fadd))+V2(V1(Fcat))
Figure BDA0004131100140000154
Figure BDA0004131100140000155
其中，re(·)表示重构操作，Fsa表示原尺度生成空间注意特征，
Figure BDA0004131100140000156
表示矩阵乘法；σ(·)是softmax算子；V0代表Fadd的第一层全连接层权重，V1代表Fcat的第一层全连接层权重；V2是代表Fadd和Fcat第二层全连接层的共享权重，Fa∈RC×H×W表示空间通道自注意力部分输出的自注意力特征；
最后，将云雪边缘特征和自注意力特征通过空间特征交流融合部分进行结合，将云雪边缘特征Fms通过下采样映射到自注意力特征Fa大小后，与自注意力特征Fa相加，得到重叠特征U；
然后对重叠特征U分别采用全局最大池化和全局平均池化操作后，并通过两层卷积提取空间信息，得到总空间权重w；
再对总空间权重w进行softmax操作，得到空间权重w1,w2∈R2×h×w；将空间权重w1与云雪边缘特征Fms矩阵相乘得到权重化云雪边缘特征，空间权重w2和自注意力特征Fa矩阵相乘得到权重化自注意力特征，权重化自注意力特征经过上采样后与权重化云雪边缘特征想加，再经过规范化的注意力机制处理，得到模块最终输出融合特征Fu；
空间特征交流融合部分计算公式表示为：
U＝Fa+down(Fms)
w＝Conv1×3(Conv3×1(Cat(AvgPool(U),MaxPool(U)))
(w1,w2)＝σ(w)
Figure BDA0004131100140000161
Figure BDA0004131100140000162
式中down(·)表示下采样操作，σ(w)表示softmax操作后的总空间权重；w1,w2分别表示Fa和Fms的空间权重；
Figure BDA0004131100140000163
表示权重化后的自注意力特征，/>
Figure BDA0004131100140000164
表示权重化后的云雪边缘特征，up(·)表示使用双线性插值的2倍上采样操作，NAM表示规范化的注意力机制，Fu表示模块输出的融合特征；
将上一个特征交互融合上采样模块的输出作为下一个特征交互融合上采样模块的输入，再经过三个特征交互融合上采样模块处理后，最后经过双线性插值上采样，得到云和雪的掩膜图像。
针对云和雪在可见光谱上具有相似的特征，较难提取特征的复杂度的问题。在骨干网络的最深层处提出了深层多头注意力信息增强(DMIE)模块来增强网络的表示能力，其功能是在下采样末端处采用多头注意力的思想来增强网络在通道上的全局感知能力，提取精确的密集特征，将局部特征和全局特征结合，在一定程度上消弱或去除干扰信息，深刻挖掘高阶语义信息。
在分割云和雪的过程中，部分云层与积雪区域是以零散的状态分布，分布面积也各不相同，针对这些问题目前算法实现的分割结果粗糙，且在薄云和碎雪区域细节丢失。而且主干网络进行特征提取时，在网络会产生大量的语义特征信息以及类别信息，但是却不是所有的信息都是有用的。为此提出了细节特征提取(DFEM)模块，该模块主要在编码器和解码器之间建立跳跃连接,将低级特征的信息传播到网络的深处，弥补主干网络提出提取操作中稀释的细节语义信息，强化重要的特征信息权重，同时能够在恢复编码器阶段丢失细节信息的，增强高频空间特征信息，实现边缘的细化。
由于将高级特征和低级特征进行简单合并的操作，不能有效地恢复丢失的细节，缓解重叠区域的误检和微小区域的漏检现象。为了解决这一问题,在解码阶段提出了特征交互融合上采样(FIFUM)模块。此模块由三个部分组成，对于多尺度及条状边界卷积(MSBC)部分，加强了在分割云和雪的过程中对于云和雪的边缘细节恢复通常；对于空间通道自注意力(CSA)部分加强深层的空间通道信息，将云和雪与周围地物信息进行连接，从而更好地区分地物信息。对于空间特征交流融合(SFIF)部分进行上述两通道之间的信息通信增强了不同层次的特征信息提取，将不同尺度间的信息聚合，使其相互连接并融合要素表示，为上采样过程提供更加有效的特征。该操作能够减少云雪重叠区域的误检现象，加强对微小区域的细节检测，提高了预测精度。
S3、利用数据集进行网络模型的训练：
本发明采用有监督式训练，首先对数据集中的图像进行数据增强处理，以一定概率对数据集中的图片进行随机旋转，水平翻转或者垂直翻转操作，然后再将原始图片和对应的标签转化为张量后输入到模型当中进行训练。将每次训练的批量大小设置为8，本发明采用指数变换学习率(poly)策略，在训练次数增大过程中动态调整逐渐减小学习率，从而达到更好的训练效果。其中将初始学习率设置为0.0005，衰减系数为0.9，每次训练更新一次学习率，一共训练了300次。训练过程中使用Adam算法来作为的权重优化器。
S4、使用训练好的网络模型进行预测并生成云雪的掩膜图像：
在训练结束后会得到模型的权重，接下来进入模型的预测阶段，本发明在预测时，使用训练好的多层次注意力交互网络进行预测，输入一张原始彩色图片，如图6所示为进行预测的原始彩色图片，这里选择的是一张云雪场景图片，经过训练好的权重提取特征进行编码解码操作后输出便得到云和雪的掩膜图像，如图7所示。
实施例2
第二方面，本实施例提供了一种多层次注意力交互的云雪辩识装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
实施例4
第四方面，本发明提供了一种设备，包括，
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行实现实施例1所述的方法中的任一方法的指令。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内容。

Claims (10)

1.一种多层次注意力交互的云雪辩识方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入预训练好的多层次注意力交互网络；其中所述多层次注意力交互网络包括：下采样特征提取模块、细节特征提取模块、深层多头注意力信息增强模块和特征交互融合上采样模块；
根据所述多层次注意力交互网络的输出，得到云和雪的掩膜图像，完成云和雪的辩识。
2.根据权利要求1所述的多层次注意力交互的云雪辩识方法，其特征在于，所述多层次注意力交互网络基于以下方法训练得到：
获取训练所需的云雪数据集并对云雪数据集进行数据增强处理，其中所述云雪数据集为包括背景、云和雪的图像以及图像对应标签；
利用数据增强处理后的云雪数据集对预构建的多层次注意力交互网络进行训练，得到训练好的多层次注意力交互网络。
3.根据权利要求2所述的多层次注意力交互的云雪辩识方法，其特征在于，对云雪数据集中的图片进行数据增强处理包括：对数据集中的图片进行随机旋转，水平翻转或者垂直翻转操作。
4.根据权利要求1所述的多层次注意力交互的云雪辩识方法，其特征在于，多层次注意力交互网络的处理过程包括：
所述下采样特征提取模块用于对输入的图像进行下采样特征提取，得到不同层级的浅层特征和深层特征输出给细节特征提取模块，并得到局部特征输出给深层多头注意力信息增强模块；
所述细节特征提取模块用于提取下采样特征提取模块不同层级之间的浅层特征和深层特征的相同信息和差异信息，得到细节特征；
所述深层多头注意力信息增强模块通过桥接单元实现将下采样特征提取模块提取的局部特征和多头自注意力机制单元提取的全局特征结合，得到全局增强特征；
所述特征交互融合上采样模块用于根据所述细节特征和全局增强特征进行特征交互融合上采样处理得到云和雪的掩膜图像。
5.根据权利要求1所述的多层次注意力交互的云雪辩识方法，其特征在于，所述细节特征提取模块用于提取下采样特征提取模块不同层级之间的浅层特征和深层特征的相同信息和差异信息，得到细节特征，包括：
对深层特征Fy∈RC/H/2×W/2进行卷积运算和上采样运算，得到上采样后的深层特征
Figure FDA0004131100130000021
将浅层特征Fx∈RC×H×W与上采样后的深层特征
Figure FDA0004131100130000022
相减得到差异细节信息Fd∈RC×H×W，并设置一个可学习的权重系数λ，得到了差异信息支路Fd；
将浅层特征Fx与上采样后的深层特征
Figure FDA0004131100130000023
相加得到相同细节信息Fs∈RC×H×W，并通过卷积提炼信息，得到相同细节支路Fs；
将相同细节支路和差异信息支路进行信息叠加，得到细节特征Fde；
所述细节特征提取模块的计算过程如下：
Figure FDA0004131100130000024
Figure FDA0004131100130000025
Figure FDA0004131100130000026
Fde＝Conv1×1(Fs)+λ×Fd
其中Conv1×1(·)表示1x1的卷积操作；up(·)表示上采样运算，统一特征大小；λ代表可学习的权重系数；Fde是信息叠加后最终输出的细节特征。
6.根据权利要求1所述的多层次注意力交互的云雪辩识方法，其特征在于，所述深层多头注意力信息增强模块包括桥接转换模块和多头自注意力机单元；所述深层多头注意力信息增强模块通过桥接单元实现将下采样特征提取模块提取的局部特征和多头自注意力机制单元提取的全局特征结合，得到全局增强特征，包括：
将下采样特征提取模块输出的局部特征作为输入，利用桥接单元的down部分，将局部特征映射为多头注意力中的片区子空间，采用1×1卷积将输入通道数压缩为多头注意力中使用的片区子空间通道数；
将局部特征的形状从B×Ct×H×W,转化为多头注意力中片区子空间的形状形式B×HW×Ct，输入到多头注意力机制单元中；
多头自注意力机制单元中有多个独立地随机初始的学习权重矩阵，将输入的向量映射到不同子空间中，丰富信息的特征表达，使模型关注多个全局中的重点区域；
将多头自注意力机制单元提取的特征信息通过桥接单元的UP部分，把特征图谱恢复成多头注意力特征，并通过1×1卷积将通道维度映射为通道维度C/2，得到全局特征；
将局部特征和全局特征结合，用3×3卷积实现局部特征和全局特征编码融合，得到全局增强特征；
所述深层多头注意力信息增强模块的计算过程如下：
Fdown＝reshape1(Conv1×1(Fn))
Fup＝Conv1×1(reshape2(Mt(Fdown))
Fdm＝Conv3×3(Cat(Fn+Fup))
其中Fn∈RC×H×W表示输入的局部特征，
Figure FDA0004131100130000041
表示映射到多头注意力的片区子空间，Mt(·)表示多头注意力操作，reshape1(·)表示局部特征的转化成片区子空间的操作，reshape2(·)表示特征图谱恢复成多头注意力特征，Fup∈RC/H×W表示恢复的多头注意力特征，Cat(·)表示在通道维度上的拼接，Conv3×3(·表示3x3卷积操作，Fdm∈RC×H×W表示深层多头注意力信息增强模块输出的全局增强特征。
7.根据权利要求1所述的多层次注意力交互的云雪辩识方法，其特征在于，所述特征交互融合上采样模块包括多尺度及条状边界卷积部分、空间通道注意力部分和空间特征交流融合部分；所述特征交互融合上采样模块用于根据所述细节特征和全局增强特征进行特征交互融合上采样处理得到云和雪的掩膜图像，包括：
第一个特征交互融合上采样模块的两个输入分别是全局增强特征和对应细节特征提取模块输出的细节特征；后三个特征交互融合上采样模块的两个输入分别是上一个特征交互融合上采样模块输出的融合特征和对应细节特征提取模块输出的细节特征；
细节特征经过多尺度及条状边界卷积部分，在左支路中使用不同数量的3×3卷积结构组合使得模块能够聚合3×3、5×5和7×7的感受野，能进一步过滤信息的同时提取细节特征的多尺度特征；在右支路中将9×9卷积设计为并行级联形式由9×1和1×9组成，再采用1×1卷积压缩特征通道数，获得云雪边缘特征；
细节特征经过多尺度及条状边界卷积部分计算过程如下：
Fin＝Conv1×1(Fde)
L1＝Conv3×3(Fin)，L2＝Conv3×3(L1)，L3＝Conv3×3(L2)
L＝Cat(L1,L2,L3)
R1＝Conv9×1(Conv1×9(Fin))，R2＝Conv1×9(Conv9×1(Fin))
R＝Cat(R1,R2)
Fms＝Conv1×1(Cat(L,R))
其中Fde∈Rc×h×w表示细节特征，Fin∈Rc/×h×w表示预处理后的细节特征，Li表示多尺度卷积支路的特征，Ri表示条状卷积支路的特征,Cat(·)表示在通道维度上的拼接，ConvK×K(·)表示以K×K为卷积核的卷积操作，Fms∈Rc×h×w表示云雪边缘特征；L表示多尺度卷积总特征，R表示条状卷积总特征；
全局增强特征经过空间通道自注意力部分，用于云和雪与周围地物信息进行连接，增强全局增强特征的空间通道注意力信息，捕获通道间存在的依赖关系；
全局增强特征Fdm∈RC×H×W输入空间注意力机制，分别通过三个1x1卷积块产生第一特征映射
Figure FDA0004131100130000051
第二特征映射/>
Figure FDA0004131100130000052
和第三特征映射F3∈RC×H×W，其中/>
Figure FDA0004131100130000053
等于C/8；然后将F1重构后得到第一重构映射特征/>
Figure FDA0004131100130000054
F2重构后得到第二重构映射特征
Figure FDA0004131100130000055
F3重构为/>
Figure FDA0004131100130000056
第三重构映射特征；将/>
Figure FDA0004131100130000057
与/>
Figure FDA0004131100130000058
相乘使用softmax生成空间注意图S∈R(H×W)×(H×W)；再将/>
Figure FDA0004131100130000059
与空间注意图S相乘后，还原成原尺度生成空间注意特征Fsa∈Rc×H×W；
全局增强特征Fdm∈RC×H×W输入通道注意机制，分别通过全局平均池AvgPool、全局最大池MaxPool进行压缩得到平均池化特征Favg和最大池化特征Fmax，对Favg和Fmax进行聚合，分别采用相加操作得到相加特征图Fadd∈RC×1×1和拼接操作得到拼接特征图Fcat∈R2C×1×1；再将相加特征图Fadd∈RC×1×1、拼接特征图Fcat∈R2C×1×1分别送入一个两层全连接层的神经网络，第一层全连接层的神经元个数为C/16，第二层全连接层的神经元个数为C且权重共享，将输出信息进行加和操作和sigmoid激活，生成通道注意特征Fc∈RC×H×W；
全局增强特征分别与空间注意特征和通道注意特征相乘后，执行元素求和操作来生成输出注意结合特征Fsc∈RC×H×W；全局增强特征和注意结合特征Fsc∈RC×H×W相乘后通过1×1卷积增加特征通道数，得到自注意力特征Fa；
空间通道自注意力部分计算公式如下所示：
F1＝Conv1×1(Fdm),F2＝Conv1×1(Fdm),F3＝Conv1×1(Fdm)
Figure FDA0004131100130000061
Figure FDA0004131100130000062
Figure FDA0004131100130000063
Favg＝AvgPool(Fdm),Fmax＝MaxPool(Fdm)
Fadd＝Favg+Fmax,Fcat＝Cat(Favg,Fmax)
Fc＝σ(V2(V0(Fadd))+V2(V1(Fcat))
Figure FDA0004131100130000064
Figure FDA0004131100130000065
其中，re(·)表示重构操作，Fsa表示原尺度生成空间注意特征，
Figure FDA0004131100130000066
表示矩阵乘法；σ(·)是softmax算子；V0代表Fadd的第一层全连接层权重，V1代表Fcat的第一层全连接层权重；V2是代表Fadd和Fcat第二层全连接层的共享权重，Fa∈RC×H×W表示空间通道自注意力部分输出的自注意力特征；
将云雪边缘特征和自注意力特征通过空间特征交流融合部分进行结合，将云雪边缘特征Fms通过下采样映射到自注意力特征Fa大小后，与自注意力特征Fa相加，得到重叠特征U；
然后对重叠特征U分别采用全局最大池化和全局平均池化操作后，并通过两层卷积提取空间信息，得到总空间权重w；
再对总空间权重w进行softmax操作，得到空间权重w1,w2∈R2×h×w；将空间权重w1与云雪边缘特征Fms矩阵相乘得到权重化云雪边缘特征，空间权重w2和自注意力特征Fa矩阵相乘得到权重化自注意力特征，权重化自注意力特征经过上采样后与权重化云雪边缘特征想加，再经过规范化的注意力机制处理，得到模块最终输出融合特征Fu；
空间特征交流融合部分计算公式表示为：
U＝Fadown(Fms)
w＝Conv1×3(Conv3×1(Cat(AvgPool(U,MaxPool(U
(w1,w2)＝σ(w)
Figure FDA0004131100130000071
Figure FDA0004131100130000072
式中down(·)表示下采样操作，σ(w)表示softmax操作后的总空间权重；w1,w2分别表示Fa和Fms的空间权重；
Figure FDA0004131100130000073
表示权重化后的自注意力特征，/>
Figure FDA0004131100130000074
表示权重化后的云雪边缘特征，up(·)表示使用双线性插值的2倍上采样操作，NAM表示规范化的注意力机制，Fu表示模块输出的融合特征；
将上一个特征交互融合上采样模块的输出作为下一个特征交互融合上采样模块的输入，再经过三个特征交互融合上采样模块处理后，最后经过双线性插值上采样，得到云和雪的掩膜图像。
8.根据权利要求1所述的多层次注意力交互的云雪辩识方法，其特征在于，所述背景包括森林，水域，城市，草原，裸地；
和/或，所述云包括卷积云，高积云，卷云，积云以及层云；
和/或，所述雪包括永久雪，稳定雪和不稳定雪。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
10.一种设备，其特征在于：包括，
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
CN202310260636.9A 2023-03-17 2023-03-17 一种多层次注意力交互的云雪辩识方法、设备及存储介质 Pending CN116310868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310260636.9A CN116310868A (zh) 2023-03-17 2023-03-17 一种多层次注意力交互的云雪辩识方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310260636.9A CN116310868A (zh) 2023-03-17 2023-03-17 一种多层次注意力交互的云雪辩识方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116310868A true CN116310868A (zh) 2023-06-23

Family

ID=86799138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310260636.9A Pending CN116310868A (zh) 2023-03-17 2023-03-17 一种多层次注意力交互的云雪辩识方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116310868A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274243A (zh) * 2023-11-17 2023-12-22 山东大学 一种轻量化气象灾害检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274243A (zh) * 2023-11-17 2023-12-22 山东大学 一种轻量化气象灾害检测方法
CN117274243B (zh) * 2023-11-17 2024-01-26 山东大学 一种轻量化气象灾害检测方法

Similar Documents

Publication Publication Date Title
CN112541503B (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
Yu et al. HADeenNet: A hierarchical-attention multi-scale deconvolution network for landslide detection
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
Liu et al. An attention-based multiscale transformer network for remote sensing image change detection
CN114511786A (zh) 融合多时相信息和分通道密集卷积的遥感图像去云方法
Yin et al. Attention-guided siamese networks for change detection in high resolution remote sensing images
CN116052016A (zh) 基于深度学习的遥感图像云和云影的精细分割检测方法
CN116310868A (zh) 一种多层次注意力交互的云雪辩识方法、设备及存储介质
Xu et al. TCIANet: Transformer-based context information aggregation network for remote sensing image change detection
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN114550014A (zh) 道路分割方法及计算机装置
Qiao et al. Rotation is all you need: Cross dimensional residual interaction for hyperspectral image classification
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
CN116935240A (zh) 多尺度感知金字塔的地表覆盖分类系统和方法
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
CN113902744B (zh) 基于轻量级网络的图像检测方法、系统、设备和存储介质
CN115577768A (zh) 半监督模型训练方法和装置
Su et al. Attention-adaptive multi-scale feature aggregation dehazing network
EP3516592A1 (en) Method for object detection in digital image and video using spiking neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination