CN115359370B - 一种遥感图像云检测方法、装置、计算机装置及存储介质 - Google Patents

一种遥感图像云检测方法、装置、计算机装置及存储介质 Download PDF

Info

Publication number
CN115359370B
CN115359370B CN202211290200.6A CN202211290200A CN115359370B CN 115359370 B CN115359370 B CN 115359370B CN 202211290200 A CN202211290200 A CN 202211290200A CN 115359370 B CN115359370 B CN 115359370B
Authority
CN
China
Prior art keywords
module
attention
self
cloud detection
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211290200.6A
Other languages
English (en)
Other versions
CN115359370A (zh
Inventor
陈志豪
李旭涛
叶允明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202211290200.6A priority Critical patent/CN115359370B/zh
Publication of CN115359370A publication Critical patent/CN115359370A/zh
Application granted granted Critical
Publication of CN115359370B publication Critical patent/CN115359370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种遥感图像云检测方法、装置、计算机装置及存储介质，涉及图像处理和深度学习领域，所述方法包括：获取遥感图像，对遥感图像进行云及云掩膜标注，得到数据集；对数据集进行预处理，得到用于云检测网络模型训练的训练集；将训练集输入云检测网络模型并进行训练，获得数据模型；根据数据集获得预测集，并将预测集作为数据模型的输入进行测试，获得云检测结果。通过结合多尺度空间注意力和通道注意力机制的方式有效提高云检测质量，在具有大量包含丰富信息的通道的遥感图像上取得了显著的性能提升，通过特征融合模块在高维空间构造了复杂的线性组合，使模型学习得到有效的融合方式，从而实现高质量的云检测效果。

Description

一种遥感图像云检测方法、装置、计算机装置及存储介质
技术领域
本发明涉及图像处理和深度学习领域，具体而言，涉及一种遥感图像云检测方法、装置、计算机装置及存储介质。
背景技术
近年来，卫星影像迅速增加，卫星遥感技术具有极其广泛的应用场景，但由于卫星遥感影像经常被普遍分布的云层所污染，这种云层遮挡现象给遥感应用带来困难与挑战。因此，云检测是许多遥感应用的先决条件，是卫星遥感图像分析的一个重要研究领域。
现有技术仍然使用传统的纯卷积网络结构，目前，鲜有基于视觉Transformer结构及其变种结构的云检测算法研究，且遥感图像往往拥有较多的通道信息，现有技术不能良好处理多通道问题，在处理具有大量包含丰富信息的通道遥感图像上存在能力短板。
发明内容
本发明解决的问题是如何有效提升云检测的质量。
为解决上述问题，本发明提供一种遥感图像云检测方法，所述方法包括：
获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；
对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；
将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；
根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果。
较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，包括：
将所述训练集输入所述云检测网络模型，通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征；
其中，所述空间注意力模块包括交替连接的第一Swin Transformer模块和第二Swin Transformer模块；
所述通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征，包括：
通过所述第一Swin Transformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征。
较佳地，所述第一Swin Transformer模块包括一个基于窗口的多头自注意力模块和一个多层感知机模块，所述第二Swin Transformer模块包括一个基于偏移窗口的多头自注意力模块和一个所述多层感知机模块，其中，所述基于窗口的多头自注意力模块采用均匀窗口划分方式，所述基于偏移窗口的多头自注意力模块采用非均匀窗口划分方式，且在每个所述基于窗口的多头自注意力模块、每个所述基于偏移窗口的多头自注意力模块和每个所述多层感知机模块之前，均使用一个Layer Normalization层进行正则化；
所述将所述训练集输入所述云检测网络模型并进行训练，包括：
将所述训练集输入所述云检测网络模型后，通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块将所述训练集划分为不相重合的窗口；
在所述窗口内部，依次通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块对所述自注意力层特征进行处理，获得空间加权特征图。
较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：
将所述训练集输入所述云检测网络模型，通过所述通道注意力模块获取所述训练集的通道特征图；
从所述通道特征图中提取通道表征向量；
获取通道注意力的权重系数；
根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中，获得多通道特征图。
较佳地，所述从所述通道特征图中提取通道表征向量包括：通过挤压函数从所述通道特征图中提取所述通道表征向量；
所述获取通道注意力的权重系数包括：通过激励函数获取所述通道注意力的所述权重系数；
所述根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中获得多通道特征图包括：通过缩放函数将所述注意力权重融入所述通道特征图中获得多通道特征图。
较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：
将所述空间注意力模块的输出数据和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，其中，所述空间注意力模块的输出数据包括所述空间加权特征图，所述通道注意力模块的输出数据包括所述多通道特征图，
所述特征融合模块通过将所有的所述自注意力层相互连接，对所述空间加权特征图和所述多通道特征图进行融合；
其中，每个所述自注意力层均与其之前的每个所述自注意力层在通道维度上分别连接，并作为下一个所述自注意力层的输入，
每个所述自注意力层的输入包括其之前的所有所述自注意力层的输出。
较佳地，在将所述训练集输入所述云检测网络模型之前，还包括：对所述训练集进行数据增强，将经过数据增强的所述训练集输入所述云检测网络；
其中，所述数据增强是将所述训练集进行包括随机水平翻转、随机旋转、随机裁剪、随机缩放的处理。
较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
使用交叉熵损失函数和Dice损失函数对所述云检测网络进行训练，获得所述数据模型。
较佳地，所述编码模块包括第一阶段编码模块和多个第二阶段编码模块，所述第一阶段编码模块与多个所述第二阶段编码模块顺次连接，其中，所述第一阶段编码模块包括所述基础模块和线性嵌入层，所述第二阶段编码模块包括所述基础模块和补丁融合模块；
所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
将所述训练集输入所述云检测网络模型后，通过所述编码模块的所述线性嵌入层对所述训练集的图像块进行通道维度的线性变换，以将所述图像块升维，
通过所述编码模块的所述补丁融合模块执行下采样过程，将所述图像块分成多个像素块，将所述像素块进行分组并将所述像素块进行拼接以获得目标像素块，
将所述目标像素块缩减尺寸后进行块融合操作，以将相邻的所述像素块融合为目标图像块，并提取所述目标图像块的第一自注意力层特征。
较佳地，所述解码模块包括第一阶段解码模块和多个第二阶段解码模块，所述第一阶段解码模块与多个所述第二阶段解码模块顺次连接，其中，所述第一阶段解码模块包括线性扩张层，所述第二阶段解码模块包括所述基础模块和补丁扩展模块；
所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
将所述训练集输入所述云检测网络模型后，通过所述解码模块的所述线性扩张层对所述训练集的图像块进行通道维度的线性变换，以将所述图像块降维，
通过所述解码模块的所述补丁扩展模块执行上采样过程和块融合逆操作，恢复所述目标图像块的尺寸，并提取所述目标图像块的第二自注意力层特征。
较佳地，所述解码模块的第二阶段解码模块的输入包括经过所述编码模块融合后的自注意力层特征，所述第二阶段解码模块的基础模块的输入包括所述解码模块的补丁扩展模块的输出和所述编码模块中的同层级阶段的基础模块的输出，每个阶段每个所述基础模块的输入包括上一级所述解码模块的补丁扩展模块的输出和所述编码模块中同层级阶段的基础模块的输出，所述连接模块的输入端连接所述编码模块的补丁融合模块，所述连接模块的输出端连接所述解码模块的补丁扩展模块；
所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
通过所述编码模块将所述训练集的所述图像块进行划分，获得所述目标图像块，
通过所述编码模块对所述目标图像块进行特征提取，获得所述第一自注意力层特征，
通过所述解码模块恢复所述目标图像块的尺寸，根据所述第一自注意力层特征和所述解码模块对所述目标图像块的特征提取，获得所述第二自注意力层特征，根据所述第二自注意力层特征获取所述空间加权特征图，
通过所述通道注意力模块获取所述训练集的所述多通道特征图，
通过对所述空间加权特征图与所述多通道特征图进行训练，获得所述数据模型。
较佳地，所述获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集，包括：
提取所述遥感图像中的各个通道为灰度图，合并红、绿、蓝三个可见光通道的所述灰度图获得真彩图；
根据所述真彩图及其他通道的所述灰度图对所述遥感图像中的所述云进行人工标注，得到所述云掩膜；
将所述云掩膜的每个像素与所述遥感图像的每个像素按位置一一对应后获得所述数据集。
较佳地，所述对所述数据集进行预处理，得到用于云检测网络模型训练的训练集，包括：
采用滑动窗口按设定步长对每张所述遥感图像和相应的所述云掩膜进行同时裁剪，获得训练样本，所述训练样本构成所述云检测模型的所述训练集。
较佳地，所述根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果，包括：
对所述预测集进行重叠分块策略，获得所述预测集的图像块，将所述图像块输入所述数据模型进行预测，根据预测结果获得云掩膜块；
将所述云掩膜块重叠部分去除，将所述云掩膜块剩余部分进行合并获得云检测结果。
与现有技术相比，本发明提供一种遥感图像云检测方法，通过结合多尺度空间注意力和通道注意力机制的方式有效提高云检测质量，在具有大量包含丰富信息的通道遥感图像上取得了显著的性能提升。本发明利用通道注意力机制解决了不能良好处理多通道遥感图像的问题，并且，本发明并不是简单的将空间注意力模块和通道注意力模块结合到一起，而是添加了特征融合模块，在获得空间注意力模块和通道注意力模块的输出作为输入后，还通过特征融合模块进行特征重用，如果只同时使用空间注意力模块和通道注意力模块而不进行特征融合会导致性能损失，因为空间注意力模块和通道注意力模块关注的信息不同，通道注意力模块更加关注不同通道之间的信息，而空间注意力模块更加关注空间位置上的信息，简单的直接相加而不进行融合，不能发挥二者优势，而且会导致特征混淆，使得性能衰退，通过特征融合模块将空间注意力模块和通道注意力模块的输出相加的和映射到更高维度空间，在高维空间构造了复杂的线性组合，为二者的融合提供了更丰富的可行性，也使模型学习到有效的融合方式，从而实现高质量的云检测。
本发明还提供一种遥感图像云检测装置，包括：
数据单元，用于获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；
处理单元，用于对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；
训练单元，用于将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；
检测单元，用于根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果。
本发明所述的遥感图像云检测装置与所述遥感图像云检测方法相对于现有技术的优势相同，在此不再赘述。
本发明还提供一种遥感图像云检测计算机装置，包括存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现所述遥感图像云检测方法。
本发明所述的遥感图像云检测方法的计算机装置与所述遥感图像云检测方法相对于现有技术的优势相同，在此不再赘述。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现所述遥感图像云检测方法。
本发明所述的计算机可读存储介质与所述遥感图像云检测方法相对于现有技术的优势相同，在此不再赘述。
附图说明
图1为本发明实施例所述的遥感图像云检测方法的流程图；
图2为本发明实施例所述的基础模块架构图；
图3为本发明实施例所述的Swin Transformer模块连接示意图；
图4为本发明实施例所述的窗口划分示意图；
图5为本发明实施例所述的提取多通道特征图方法的流程图；
图6为本发明实施例所述的特征融合示意图；
图7为本发明实施例所述的云检测网络结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“一实施例”表示“至少一个实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
结合图1所示，本发明实施例提供一种遥感图像云检测方法，包括如下步骤：
步骤S1：获取遥感图像，对遥感图像进行云及云掩膜标注，得到数据集；
步骤S2：对数据集进行预处理，得到用于云检测网络模型训练的训练集；
步骤S3：将训练集输入云检测网络模型并进行训练，获得数据模型；其中，云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，编码模块和解码模块均包括基础模块，基础模块包括空间注意力模块、通道注意力模块和特征融合模块，空间注意力模块和通道注意力模块并行连接，且空间注意力模块和通道注意力模块的输出数据作为特征融合模块的输入数据，特征融合模块用于对空间注意力模块和通道注意力模块的输出数据进行融合；
步骤S4：根据数据集获得预测集，并将预测集作为数据模型的输入进行测试，获得云检测结果。
通过获取遥感图像并对遥感图像进行云及云掩膜标注，从而获取数据集，将数据集进行预处理后获得训练集和预测集，先将训练集输入云检测网络模型进行训练，获得数据模型，再将预测集输入数据模型进行测试获得云检测结果。
其中，训练集输入由编码模块、解码模块及连接模块构成的U型云检测网络模型中并进行训练，而编码模块和解码模块均包括基础模块，基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所以将训练集输入云检测网络模型后，可以通过特征融合模块、空间注意力模块和通道注意力模块进行训练，通过特征融合模块将空间注意力模块和通道注意力模块相结合，在获得空间注意力模块和通道注意力模块的输出作为输入后，通过特征融合模块进行特征重用，由于空间注意力模块和通道注意力模块关注的信息不同，通道注意力模块更加关注不同通道之间的信息，而空间注意力模块更加关注空间位置上的信息，简单的直接相加而不进行融合，不能发挥二者优势，而且会导致特征混淆，使得性能衰退，所以通过特征融合模块将空间注意力模块和通道注意力模块的输出相融合后映射到更高维度空间，在高维空间构造了复杂的线性组合，为二者的融合提供了更丰富的可行性，也使模型学习到有效的融合方式，从而实现高质量的云检测。
结合图2所示，基础模块包括三个子模块：空间注意力模块STB（Swin-TransformerBlock），通道注意力模块CAB（Channel Attention Block），特征融合模块DFB（DenseFusion Block），数据经过STB和CAB模块后，获得输出数据，该输出数据经过特征融合后作为DFB的输入数据。
可选地，将训练集输入云检测网络模型并进行训练，包括：将训练集输入云检测网络模型，通过空间注意力模块获取训练集的自注意力层，根据自注意力层提取自注意力层特征。
其中，空间注意力模块包括交替连接的第一Swin Transformer模模块和第二SwinTransformer模块。因此，通过空间注意力模块获取训练集的自注意力层，根据自注意力层提取自注意力层特征，包括：通过第一Swin Transformer模块和第二Swin Transformer模块从自注意力层中提取自注意力层特征。
可选地，第一Swin Transformer模块包括一个基于窗口的多头自注意力模块和一个多层感知机模块，第二Swin Transformer模块包括一个基于偏移窗口的多头自注意力模块和一个多层感知机模块，且在每个基于窗口的多头自注意力模块、每个基于偏移窗口的多头自注意力模块和每个多层感知机模块之前，均使用一个Layer Normalization层进行正则化；
将训练集输入云检测网络模型并进行训练，包括：
将训练集输入所述云检测网络模型后，通过基于窗口的多头自注意力模块和基于偏移窗口的多头自注意力模块将训练集划分为不相重合的窗口；
在窗口内部，自注意力层特征先通过基于窗口的多头自注意力模块，再通过基于偏移窗口的多头自注意力模块后，获得空间加权特征图；
其中，基于窗口的多头自注意力模块采用均匀窗口划分方式，基于偏移窗口的多头自注意力模块采用非均匀窗口划分方式。
结合图3所示，图3中为交替连接的第一Swin Transformer模块和第二SwinTransformer模块，其中，W-MSA表示基于窗口的多头自注意力模块，SW-MSA表示基于偏移窗口的多头自注意力模块，MLP表示多层感知机模块，LN表示Layer Normalization层用于进行正则化操作，其中，在每个基于窗口的多头自注意力模块、每个基于偏移窗口的多头自注意力模块和每个多层感知机模块之前，均使用一个Layer Normalization层进行正则化操作。
结合图4所示，本实施例中，W-MSA使用均匀的窗口划分方式，将图4中的特征图的Layer 1（层1）划分为四个不相重合的窗口，在每个窗口内部获取自注意力层，根据自注意力层提取自注意力层特征；SW-MSA使用非均匀的窗口划分方式，将图4中的特征图的Layer2（层2）划分为九个不相重合的窗口，在每个窗口内部获取自注意力层，根据自注意力层提取自注意力层特征，其中从自注意力层提取自注意力特征需要计算自注意力，本实施例中空间自注意力模块中靠近输入端提取的自注意力层特征为底层自注意力层特征，靠近输出端提取的自注意力层特征为高层自注意力层特征，可以理解，其中底层自注意力层特征和高层自注意力层特征为相对概念的底层特征和高层特征，最终空间注意力模块输出为融合后的自注意力层特征，并根据自注意力层特征获得空间加权特征图。
图4中的自注意力的计算方式如下式所示：
Figure 16949DEST_PATH_IMAGE001
，
其中
Figure 730827DEST_PATH_IMAGE002
和
Figure 157567DEST_PATH_IMAGE003
分别表示第
Figure 552777DEST_PATH_IMAGE004
块W-MSA/SW-MSA和MLP的输出特征图，W-MSA和SW-MSA分别 表示使用均匀划分和非均匀窗口划分的基于多头窗口自注意力模块机制，LN表示Layer Normalization正则化模块机制。
通过使用含有SW-MSA的第二Swin Transformer模块，从而应用SW-MSA的划分方式，打破了W-MSA中窗口之间的边界，使得不同窗口间形成关联，在关注局部性的同时保证了全局的信息传递。
可选地，将训练集输入云检测网络模型并进行训练，包括：将训练集输入云检测网络模型，通过通道注意力模块获取训练集的通道特征图，从通道特征图中提取通道表征向量，获取通道注意力的权重系数，根据通道表征向量和权重系数获得注意力权重，将注意力权重融入通道特征图中获得多通道特征图。
可选地，从通道特征图中提取通道表征向量包括：通过挤压函数从通道特征图中提取通道表征向量。
获取通道注意力的权重系数包括：通过激励函数获取通道注意力的权重系数。
根据通道表征向量和权重系数获得注意力权重，将注意力权重融入通道特征图中获得多通道特征图包括：通过缩放函数将注意力权重融入通道特征图中获得多通道特征图。
结合图5所示，Fsq表示挤压函数，用于进行通道表征向量的提取；Fex表示激励函数，用于计算通道注意力的权重系数；Fscale表示缩放函数，将注意力权重融入对应通道的特征图中。
结合图5所示，通过通道注意力模块获取训练集的第C个维度的通道特征图，第C个维度的通道特征图在通道注意力模块中，通过挤压函数从通道特征图中提取通道表征向量，其中，通过全局平均池化实现Fsq函数，首先计算输入张量
Figure 39253DEST_PATH_IMAGE005
的第C个通道Uc，Uc的计算过程如下式：
Figure 861715DEST_PATH_IMAGE006
，
其中，W和H分别表示通道特征图的宽和长，Zc表示Fsq函数结果z的第C个维度。
池化操作可以使通道特征图的维度更小，更易管理通道特征图大小；减少了网络中参数和计算的数量，一定程度上防止网络过拟合；使网络对于输入图像中的小变形，畸变和平移具有不变性。
之后，通过激励函数获取通道注意力的权重系数，其中，通过使用两个全连接层实现Fex函数：第一个全连接层通过ReLU激活函数把C个通道压缩成c/r个通道来降低计算量，第二个全连接层通过Sigmoid激活函数再恢复回C个通道，r为通道压缩比例，其公式化如下式：
Figure 128748DEST_PATH_IMAGE007
，
其中
Figure 858807DEST_PATH_IMAGE008
表示 ReLU 激活函数，
Figure 527686DEST_PATH_IMAGE009
表示 Sigmoid 激活函数来输出多通道的权重， 学习一个非互斥关系。其中
Figure 442421DEST_PATH_IMAGE010
分别对应通道的压缩和恢复运算。
本实施例中 ReLU 或 Sigmoid 为激活函数之一，其中，激活函数（Activationfunctions）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，激活函数对于网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用，它们将非线性特性引入到我们的网络中，引入激活函数增加了神经网络模型的非线性，可以使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，没有激活函数的每层都相当于矩阵相乘，即使叠加若干层之后，还是个矩阵相乘。
最后，根据通道表征向量和权重系数获得注意力权重，通过缩放函数将注意力权重融入通道特征图中获得多通道特征图，其中，Fscale把Uc矩阵中的每个值都乘以Sc，如下式：
Figure 196750DEST_PATH_IMAGE011
，
最终，通过挤压函数、激励函数和缩放函数获得了多通道特征图。
可选地，将训练集输入云检测网络模型并进行训练，还包括：
将空间注意力模块的输出数据和通道注意力模块的输出数据作为特征融合模块的输入数据，其中，空间注意力模块的输出数据为空间加权特征图，通道注意力模块的输出数据的输出数据为多通道特征图；
特征融合模块通过将所有的自注意力层相互连接，对空间加权特征图和多通道特征图进行融合；
其中，每个自注意力层均与其之前的每个自注意力层在通道维度上分别连接，并作为下一个自注意力层的输入；
每个自注意力层的输入包括其之前的所有自注意力层的输出。
结合图6所示，使用DFB模块融合基于空间注意力机制的STB模块和基于通道注意力机制的CAB模块的输出，构造基础模块即STCD模块（Swin Transformer and ChannelAttention with Dense Fusion Block）。
其中，Dense Fusion Block包含密集连接机制：即互相连接所有的自注意力层，就是每个自注意力层都会接受其前面所有自注意力层作为该自注意力层额外的输入，在DenseNet中，每个自注意力层都会与前面所有自注意力层在通道维度上连接在一起，并作为下一自注意力层的输入。例如，对于一个L层自注意力层的Dense Block，共包含 L(L+1)/L个来自不同自注意力层的特征图，这可以实现特征重用，提升效率。
可选地，在将训练集输入云检测网络模型之前，还包括：
对训练集进行数据增强，将经过数据增强的训练集输入云检测网络；
其中，数据增强是将训练集进行包括随机水平翻转、随机旋转、随机裁剪、随机缩放的处理。
可选地，将训练集输入云检测网络模型并进行训练，获得数据模型，包括：
使用交叉熵损失函数和Dice损失的复合损失函数对云检测网络进行训练，获得数据模型。
交叉熵损失函数Cross Entropy Loss衡量的是两个分布之间的距离，因此可以被用来刻画预测值和标签值的差异情况，公式如下：
Figure 933762DEST_PATH_IMAGE012
，
该公式表示交叉熵损失函数是由各个类别各自的交叉熵损失函数叠加得到，而各自的交叉熵损失函数是通过各自标签值和预测值运算得到的，其中，ti是标签值，yi是预测值，n是分类类别数。
Dice损失函数Dice Loss常用于多分类分割问题上，公式如下：
Figure 129251DEST_PATH_IMAGE013
，
其中, yi为网络预测值；ti为标签值，取值非0即1；N为像素总数。
可选地，编码模块包括第一阶段编码模块和多个第二阶段编码模块，第一阶段编码模块与多个第二阶段编码模块顺次连接，其中，第一阶段编码模块包括基础模块和线性嵌入层，第二阶段编码模块包括基础模块和补丁融合模块；
将训练集输入云检测网络模型并进行训练，获得数据模型，包括：
将训练集输入云检测网络模型后，通过编码模块的线性嵌入层对训练集的图像块进行通道维度的线性变换，以将图像块升维，
通过编码模块的补丁融合模块执行下采样过程，将图像块分成多个像素块，将像素块进行分组并将像素块进行拼接以获得目标像素块，
将目标像素块缩减尺寸后进行块融合操作，以将相邻的像素块融合为目标图像块，并提取目标图像块的第一自注意力层特征。
在一实施例中，将训练集输入云检测网络模型后，通过编码模块的线性嵌入层Linear Embedding Layer对训练集的图像块进行通道维度的线性变换，以将图像块升维，通过编码模块的补丁融合模块Patch Merging Layer执行下采样过程，将图像块按每2×2个相邻图像块分组，将每组内像素块在通道维度拼接，然后使用线性层将通道维度缩减一半，通过块融合操作，将相邻图像块融合为尺寸更小但感受野更大的目标图像块，以提取第一自注意力层特征，其中感受野是指某元素计算受某区域影响，该区域就是该元素的感受野。
可选地，解码模块包括第一阶段解码模块和多个第二阶段解码模块，第一阶段解码模块与多个第二阶段解码模块顺次连接，其中，第一阶段解码模块包括线性扩张层，第二阶段解码模块包括基础模块和补丁扩展模块；
将训练集输入云检测网络模型并进行训练，获得数据模型，包括：
将训练集输入云检测网络模型后，通过解码模块的线性扩张层对训练集的图像块进行通道维度的线性变换，以将图像块降维，
通过解码模块的补丁扩展模块执行上采样过程和块融合逆操作，恢复目标图像块的尺寸，并提取目标图像块的第一自注意力层特征。
在一实施例中，将训练集输入云检测网络模型后，训练集的图像块通过多个解码模块的补丁扩展模块Patch Expanding Layer执行上采样过程和块融合逆操作，恢复目标图像块的尺寸，再通过解码模块的线性扩张层Linear Expanding Layer对目标图像块进行通道维度的线性变换，以将图像块降维，并提取目标图像块的第二自注意力层特征。
在实施例中所述的上采样过程和下采样过程都是池化操作的一种方式，目的是使数据模型的尺度不变性，旋转不变性，降低模型的计算量，以及防止网络过拟合。
可选地，解码模块的第二阶段解码模块的输入包括经过编码模块融合后的自注意力层特征，第二阶段解码模块的基础模块的输入包括解码模块的补丁扩展模块的输出和编码模块中的同层级阶段的基础模块的输出，每个阶段每个基础模块的输入包括上一级解码模块的补丁扩展模块的输出和编码模块中同层级阶段的基础模块的输出，
所连接模块的输入端连接编码模块的补丁融合模块，连接模块的输出端连接解码模块的补丁扩展模块，
将所述训练集输入云检测网络模型并进行训练，获得数据模型，包括：
通过编码模块将训练集的图像块进行划分，获得目标图像块，
通过编码模块对目标图像块进行特征提取，获得第一自注意力层特征，
通过解码模块恢复目标图像块的尺寸，根据第一自注意力层特征和编码模块对目标图像块的特征提取，获得第二自注意力层特征，根据第二自注意力层特征获取空间加权特征图；
通过通道注意力模块获取训练集的多通道特征图，
通过对空间加权特征图与多通道特征图进行训练，获得数据模型。
结合图7所示，图7为STCD-UNet网络架构图，根据图7可知，本实施例中光学图像 Optical Images通过编码模块STCD Encoder进行编码，光学图像首先经过块划分模块 Patch Partition（补丁划分），将输入尺寸为W×H通道数为D的图像划分为
Figure 559096DEST_PATH_IMAGE014
个大小 为P×P像素块；之后STCD Encoder中的每个阶段依次对输入的图像块进行特征提取并输出 第一自注意力层特征，其中，光学图像Optical Images先通过第一阶段编码模块进行特征 提取，将提取的特征分别输入至第二阶段编码模块和同层级第二阶段解码模块的基础模 块，第二阶段编码模块再对该特征进行提取，将新的特征分别输入至下一个第二阶段编码 模块和同层级第二阶段解码模块的基础模块，之后的每个第二阶段编码模块都对上一层输 入的特征进行提取，再将新的特征分别输入至下一个第二阶段编码模块和同层级第二阶段 解码模块的基础模块，本实施例中的第一自注意力层特征是相对于空间注意力模块提取的 自注意力层特征更高层的特征。
将通过编码模块STCD Encoder获得的第一自注意力层特征输入解码模块STCDDecoder，第一自注意力层特征先通过多个第二阶段解码模块进行特征提取再通过第一阶段解码模块进行特征提取，解码模块STCD Decoder的第二阶段解码模块的输入为经过STCDEncoder融合后的第一自注意力层特征和同层级第二阶段编码模块输入的特征再次进行融合后的高低层融合特征，其中，第二阶段解码模块的基础模块STCD Layer的输入为PatchExpanding Layer的输出和STCD Encoder中同层级阶段的STCD Layer的输出；之后每个第二阶段解码模块的每个STCD模块的输入为上一级Patch Expanding的输出和STCD Encoder中同层级阶段的STCD Layer的输出，融合后输出第二自注意力层特征。
最后，线性映射层Linear Projection将图像通道数压缩到类别数，并根据第二自注意力层特征输出云掩膜块Output Mask，在本实施例中类别数为2，即将每个像素点分类为云或非云。
通过结合多尺度空间注意力和通道注意力机制的方式，在具有大量包含丰富信息的通道的遥感图像上的云检测质量取得了显著的性能提升，降低了计算复杂度,还利用通道注意力机制解决了不能良好处理多通道遥感图像的问题，通过将空间注意力模块和通道注意力模块相结合，利用特征融合模块，在获得空间注意力模块和通道注意力模块的输出作为输入后，对遥感图像进行特征重用，特征融合模块将空间注意力模块和通道注意力模块的输出相加的和映射到更高维度空间，在高维空间构造了复杂的线性组合，将二者融合，使数据模型学习有效的融合方式，从而实现高质量的云检测。
可选地，获取遥感图像，对遥感图像进行云及云掩膜标注，得到数据集，包括：
提取遥感图像中的各个通道为灰度图，合并红、绿、蓝三个可见光通道的灰度图获得真彩图；
根据真彩图及其他通道的灰度图对遥感图像中的云进行人工标注，得到云掩膜；
将云掩膜的每个像素与遥感图像的每个像素按位置一一对应后获得数据集。
真彩图的每个像素通常是由红、绿、蓝三个分量来表示的。
灰度图是每个像素只有一个采样颜色的图像也称单通道图片，这类图像通常显示为从最暗黑色到最亮的白色的灰度，理论上这个采样可以任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色，本领域中灰度图只有黑色和白色两种颜色，并且在灰度图中黑色与白色之间还有许多级的颜色深度。
可选地，对数据集进行预处理，得到用于云检测网络模型训练的训练集，包括：
采用滑动窗口按设定步长对每张遥感图像和相应的云掩膜进行同时裁剪，获得训练样本，训练样本构成云检测模型的训练集。
在一实施例中，通过使用指定大小的滑动窗口按一定步长在遥感图像和相应云掩膜上同时滑动，每次滑动裁剪窗口内的一个图像，这个图像就是一个训练样本。
可选地，根据数据集获得预测集，并将预测集作为数据模型的输入进行测试，获得云检测结果，包括：
对预测集进行重叠分块策略，获得图像块，将图像块输入数据模型进行预测，根据预测结果获得云掩膜块；
将云掩膜块重叠部分去除，将云掩膜块剩余部分进行合并获得云检测结果。
与现有技术相比，本发明提供一种基于Swin-Transformer网路结构的遥感图像云检测方法，通过结合多尺度空间注意力和通道注意力机制的方式有效提高云检测质量，在具有大量包含丰富信息的通道的遥感图像上的云检测取得了显著的性能提升，降低了计算复杂度,本发明利用通道注意力机制解决了不能良好处理多通道遥感图像的问题，并且，本发明不是简单的将空间注意力模块和通道注意力模块结合到一起，还添加了特征融合模块，在获得空间注意力模块和通道注意力模块的输出作为输入后，还通过特征融合模块进行特征重用，如果只同时使用空间注意力模块和通道注意力模块而不进行特征融合会导致性能损失，因为空间注意力模块和通道注意力模块关注的信息不同，通道注意力模块是更加关注不同通道之间信息，而空间注意力模块更加关注空间位置上的信息，简单的直接相加而不进行融合，不能发挥二者优势，而且会导致特征混淆，使得性能衰退，通过特征融合模块将空间注意力模块和通道注意力模块的输出相加的和映射到更高维度空间，在高维空间构造了复杂的线性组合，为二者的融合提供了更丰富的可行性，也使模型学习到有效的融合方式，从而实现高质量的云检测。
本发明还提供一种遥感图像云检测装置，包括：
数据单元，用于获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；
处理单元，用于对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；
训练单元，用于将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；
检测单元，用于根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果。
本发明所述的遥感图像云检测装置与所述遥感图像云检测方法相对于现有技术的优势相同，在此不再赘述。
本发明还提供一种遥感图像云检测计算机装置，包括存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现所述遥感图像云检测方法。
本发明所述的遥感图像云检测计算机装置与所述遥感图像云检测方法相对于现有技术的优势相同，在此不再赘述。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现所述遥感图像云检测方法。
本发明所述的计算机可读存储介质与所述遥感图像云检测方法相对于现有技术的优势相同，在此不再赘述。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种遥感图像云检测方法，其特征在于，包括：
获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；
对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；
将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；
根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果；
其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；
其中，所述空间注意力模块包括交替连接的第一Swin Transformer模块和第二SwinTransformer模块，所述第一Swin Transformer模块包括一个基于窗口的多头自注意力模块和一个多层感知机模块，所述第二Swin Transformer模块包括一个基于偏移窗口的多头自注意力模块和一个所述多层感知机模块，其中，所述基于窗口的多头自注意力模块采用均匀窗口划分方式，所述基于偏移窗口的多头自注意力模块采用非均匀窗口划分方式，且在每个所述基于窗口的多头自注意力模块、每个所述基于偏移窗口的多头自注意力模块和每个所述多层感知机模块之前，均使用一个Layer Normalization层进行正则化；
其中，所述将所述训练集输入所述云检测网络模型并进行训练，包括：将所述训练集输入所述云检测网络模型，通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征；
其中，所述通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征，包括：通过所述第一Swin Transformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征；
其中，所述通过所述第一Swin Transformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征，包括：将所述训练集输入所述云检测网络模型后，通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块将所述训练集划分为不相重合的窗口；在所述窗口内部，依次通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块对所述自注意力层特征进行处理，获得空间加权特征图。
2.根据权利要求1所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：
将所述训练集输入所述云检测网络模型，通过所述通道注意力模块获取所述训练集的通道特征图；
从所述通道特征图中提取通道表征向量；
获取通道注意力的权重系数；
根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中，获得多通道特征图。
3.根据权利要求2所述遥感图像云检测方法，其特征在于，所述从所述通道特征图中提取通道表征向量包括：通过挤压函数从所述通道特征图中提取所述通道表征向量；
所述获取通道注意力的权重系数包括：通过激励函数获取所述通道注意力的所述权重系数；
所述根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中获得多通道特征图包括：通过缩放函数将所述注意力权重融入所述通道特征图中获得多通道特征图。
4.根据权利要求2所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：
将所述空间注意力模块的输出数据和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，其中，所述空间注意力模块的输出数据包括所述空间加权特征图，所述通道注意力模块的输出数据包括所述多通道特征图，
所述特征融合模块通过将所有的所述自注意力层相互连接，对所述空间加权特征图和所述多通道特征图进行融合；
其中，每个所述自注意力层均与其之前的每个所述自注意力层在通道维度上分别连接，并作为下一个所述自注意力层的输入，
每个所述自注意力层的输入包括其之前的所有所述自注意力层的输出。
5.根据权利要求1所述遥感图像云检测方法，其特征在于，在将所述训练集输入所述云检测网络模型之前，还包括：对所述训练集进行数据增强，将经过数据增强的所述训练集输入所述云检测网络；
其中，所述数据增强是将所述训练集进行包括随机水平翻转、随机旋转、随机裁剪、随机缩放的处理。
6.根据权利要求1所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
使用交叉熵损失函数和Dice损失函数对所述云检测网络进行训练，获得所述数据模型。
7.根据权利要求4所述遥感图像云检测方法，其特征在于，所述编码模块包括第一阶段编码模块和多个第二阶段编码模块，所述第一阶段编码模块与多个所述第二阶段编码模块顺次连接，其中，所述第一阶段编码模块包括所述基础模块和线性嵌入层，所述第二阶段编码模块包括所述基础模块和补丁融合模块；
所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
将所述训练集输入所述云检测网络模型后，通过所述编码模块的所述线性嵌入层对所述训练集的图像块进行通道维度的线性变换，以将所述图像块升维，
通过所述编码模块的所述补丁融合模块执行下采样过程，将所述图像块分成多个像素块，将所述像素块进行分组并将所述像素块进行拼接以获得目标像素块，
将所述目标像素块缩减尺寸后进行块融合操作，以将相邻的所述像素块融合为目标图像块，并提取所述目标图像块的第一自注意力层特征。
8.根据权利要求7所述遥感图像云检测方法，其特征在于，所述解码模块包括第一阶段解码模块和多个第二阶段解码模块，所述第一阶段解码模块与多个所述第二阶段解码模块顺次连接，其中，所述第一阶段解码模块包括线性扩张层，所述第二阶段解码模块包括所述基础模块和补丁扩展模块；
所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
将所述训练集输入所述云检测网络模型后，通过所述解码模块的所述线性扩张层对所述训练集的图像块进行通道维度的线性变换，以将所述图像块降维，
通过所述解码模块的所述补丁扩展模块执行上采样过程和块融合逆操作，恢复所述目标图像块的尺寸，并提取所述目标图像块的第二自注意力层特征。
9.根据权利要求8所述遥感图像云检测方法，其特征在于，所述解码模块的第二阶段解码模块的输入包括经过所述编码模块融合后的自注意力层特征，所述第二阶段解码模块的基础模块的输入包括所述解码模块的补丁扩展模块的输出和所述编码模块中的同层级阶段的基础模块的输出，每个阶段每个所述基础模块的输入包括上一级所述解码模块的补丁扩展模块的输出和所述编码模块中同层级阶段的基础模块的输出，所述连接模块的输入端连接所述编码模块的补丁融合模块，所述连接模块的输出端连接所述解码模块的补丁扩展模块；
所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：
通过所述编码模块将所述训练集的所述图像块进行划分，获得所述目标图像块，
通过所述编码模块对所述目标图像块进行特征提取，获得所述第一自注意力层特征，
通过所述解码模块恢复所述目标图像块的尺寸，根据所述第一自注意力层特征和所述解码模块对所述目标图像块的特征提取，获得所述第二自注意力层特征，根据所述第二自注意力层特征获取所述空间加权特征图，
通过所述通道注意力模块获取所述训练集的所述多通道特征图，
通过对所述空间加权特征图与所述多通道特征图进行训练，获得所述数据模型。
10.根据权利要求1所述遥感图像云检测方法，其特征在于，所述获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集，包括：
提取所述遥感图像中的各个通道为灰度图，合并红、绿、蓝三个可见光通道的所述灰度图获得真彩图；
根据所述真彩图及其他通道的所述灰度图对所述遥感图像中的所述云进行人工标注，得到所述云掩膜；
将所述云掩膜的每个像素与所述遥感图像的每个像素按位置一一对应后获得所述数据集。
11.根据权利要求1所述遥感图像云检测方法，其特征在于，所述对所述数据集进行预处理，得到用于云检测网络模型训练的训练集，包括：
采用滑动窗口按设定步长对每张所述遥感图像和相应的所述云掩膜进行同时裁剪，获得训练样本，所述训练样本构成所述云检测模型的所述训练集。
12.根据权利要求1所述遥感图像云检测方法，其特征在于，所述根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果，包括：
对所述预测集进行重叠分块策略，获得所述预测集的图像块，将所述图像块输入所述数据模型进行预测，根据预测结果获得云掩膜块；
将所述云掩膜块重叠部分去除，将所述云掩膜块剩余部分进行合并获得云检测结果。
13.一种遥感图像云检测装置，其特征在于，包括：
数据单元，用于获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；
处理单元，用于对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；
训练单元，用于将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；其中，所述空间注意力模块包括交替连接的第一Swin Transformer模块和第二SwinTransformer模块；所述第一Swin Transformer模块包括一个基于窗口的多头自注意力模块和一个多层感知机模块，所述第二Swin Transformer模块包括一个基于偏移窗口的多头自注意力模块和一个所述多层感知机模块，其中，所述基于窗口的多头自注意力模块采用均匀窗口划分方式，所述基于偏移窗口的多头自注意力模块采用非均匀窗口划分方式，且在每个所述基于窗口的多头自注意力模块、每个所述基于偏移窗口的多头自注意力模块和每个所述多层感知机模块之前，均使用一个Layer Normalization层进行正则化；其中，所述将所述训练集输入所述云检测网络模型并进行训练，包括：将所述训练集输入所述云检测网络模型，通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征；其中，所述通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征，包括：通过所述第一SwinTransformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征；其中，所述通过所述第一Swin Transformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征，包括：将所述训练集输入所述云检测网络模型后，通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块将所述训练集划分为不相重合的窗口；在所述窗口内部，依次通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块对所述自注意力层特征进行处理，获得空间加权特征图；
检测单元，用于根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果。
14.一种遥感图像云检测计算机装置，其特征在于，包括存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1-12中任一项所述的遥感图像云检测方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-12任一项所述的遥感图像云检测方法。
CN202211290200.6A 2022-10-21 2022-10-21 一种遥感图像云检测方法、装置、计算机装置及存储介质 Active CN115359370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211290200.6A CN115359370B (zh) 2022-10-21 2022-10-21 一种遥感图像云检测方法、装置、计算机装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211290200.6A CN115359370B (zh) 2022-10-21 2022-10-21 一种遥感图像云检测方法、装置、计算机装置及存储介质

Publications (2)

Publication Number Publication Date
CN115359370A CN115359370A (zh) 2022-11-18
CN115359370B true CN115359370B (zh) 2023-01-24

Family

ID=84008361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211290200.6A Active CN115359370B (zh) 2022-10-21 2022-10-21 一种遥感图像云检测方法、装置、计算机装置及存储介质

Country Status (1)

Country Link
CN (1) CN115359370B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830471B (zh) * 2023-01-04 2023-06-13 安徽大学 一种多尺度特征融合和对齐的域自适应云检测方法
CN116740584B (zh) * 2023-06-25 2024-05-10 安徽大学 一种弱监督云检测方法
CN117036984B (zh) * 2023-10-09 2024-01-09 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421258A (zh) * 2021-07-22 2021-09-21 湖南星图空间信息技术有限公司 一种基于高分辨率遥感影像的自动云检测方法
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法
CN114821357A (zh) * 2022-04-24 2022-07-29 中国人民解放军空军工程大学 一种基于transformer的光学遥感目标检测方法
CN114842351A (zh) * 2022-04-11 2022-08-02 中国人民解放军战略支援部队航天工程大学 一种基于孪生Transformers的遥感图像语义变化检测方法
CN114972756A (zh) * 2022-05-30 2022-08-30 湖南大学 一种医学图像的语义分割方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393487B2 (en) * 2019-03-28 2022-07-19 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
US11128636B1 (en) * 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN113487576B (zh) * 2021-07-14 2023-08-22 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421258A (zh) * 2021-07-22 2021-09-21 湖南星图空间信息技术有限公司 一种基于高分辨率遥感影像的自动云检测方法
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法
CN114842351A (zh) * 2022-04-11 2022-08-02 中国人民解放军战略支援部队航天工程大学 一种基于孪生Transformers的遥感图像语义变化检测方法
CN114821357A (zh) * 2022-04-24 2022-07-29 中国人民解放军空军工程大学 一种基于transformer的光学遥感目标检测方法
CN114972756A (zh) * 2022-05-30 2022-08-30 湖南大学 一种医学图像的语义分割方法及装置

Also Published As

Publication number Publication date
CN115359370A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN115359370B (zh) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN112287940B (zh) 一种基于深度学习的注意力机制的语义分割的方法
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
Anwar et al. Image colorization: A survey and dataset
CN107808389B (zh) 基于深度学习的无监督视频分割方法
CN112163449A (zh) 一种轻量化的多分支特征跨层融合图像语义分割方法
CN111428781A (zh) 遥感影像地物分类方法及系统
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN109472270A (zh) 图像风格转换方法、装置及设备
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN114863236B (zh) 基于双重注意力机制的图像目标检测方法
CN112258436B (zh) 图像处理模型的训练方法、装置、图像处理方法及模型
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN113850324B (zh) 一种基于Yolov4的多光谱目标检测方法
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN113936235A (zh) 一种基于质量评估的视频显著性目标检测方法
CN116503292A (zh) 一种基于SwinIR的高光谱遥感图像去噪方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116310916A (zh) 一种高分辨率遥感城市图像语义分割方法及系统
CN113393435B (zh) 一种基于动态上下文感知滤波网络的视频显著性检测方法
CN113012152B (zh) 一种图像篡改链检测方法、装置及电子设备
CN111611932B (zh) 基于全卷积网络的遥感图像云检测方法、终端及存储介质
CN113221991A (zh) 一种利用深度学习重新标注数据集的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant