CN117292276B - 基于编解码注意力交互的云检测方法、系统、介质及设备 - Google Patents
基于编解码注意力交互的云检测方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN117292276B CN117292276B CN202311579269.5A CN202311579269A CN117292276B CN 117292276 B CN117292276 B CN 117292276B CN 202311579269 A CN202311579269 A CN 202311579269A CN 117292276 B CN117292276 B CN 117292276B
- Authority
- CN
- China
- Prior art keywords
- module
- interaction
- cloud
- attention
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 180
- 238000001514 detection method Methods 0.000 title claims abstract description 116
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000012360 testing method Methods 0.000 claims abstract description 49
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于编解码注意力交互的云检测方法、系统、介质及设备，基于卷积神经网络与注意力机制建立云检测网络，该云检测融合了编码器注意力模块以及编解码器注意力交互模块，获取遥感影像后处理为测试集和训练集对云检测网络进行训练，得到优化云检测网络，将遥感影像输入优化云检测网络后输出优化云检测图。相较于现有技术，本发明一种检测速度快、检测精度高的基于编解码注意力交互的云检测方法、系统、介质及设备具有检测速度快、检测精度高的特点。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于编解码注意力交互的云检测方法、系统、介质及设备。
背景技术
遥感图像通常指代由遥感卫星获得并记录各种地物电磁波大小的胶片或照片，相比于普通图像，其具有较好的空间分辨率，包含的细节信息更多，因此遥感图像被广泛应用于多个领域。随着越来越多的遥感卫星发射升空，遥感卫星获取的海量数据为植被健康监测、灾害监测和土地覆盖分类提供了丰富的信息。然而，由云遮挡造成的遥感传输图像的不准确性问题尤为突出。根据国际卫星云气候计划ISCCP (International Satellite CloudC1 imatology Project) 提供的全球云量数据显示，全球有超过60%以上的区域常常被云覆盖。可见，云一直是影响遥感影像质量的重要因素，因此云检测是遥感影像应用之前必不可少的一步。
传统上，云检测的研究方法主要是多波段阈值和纹理分析方法。多波段阈值法通常是利用云在不同波段与地物表现出来的差异性，进行云与地物的区分，例如通过近红外通道利用云的高反射和低温性进行云与地物的区分。而纹理分析通常是将云图像转换至不同的颜色空间进行纹理特征的提取，进而实现有效的云与地物分离。这些传统方法通常会花费大量时间去调参以及选取阈值，检测速度慢。同时在特定区域，如薄云区或云的边界区域，由于与地物有较大相似度，同样多波段阈值法与纹理分析法很难做出有效的云与地物分离。
近年来，深度卷积神经网络在计算机视觉领域取得了巨大的成功，通过强大的特征表达能力，成为图像处理多领域的主要研究方法。相较于传统云检测方法，现有的卷积神经网络云检测算法性能虽大幅提升，然而基于深度学习的方法所使用的卷积网络只能感知图像的局部特征。在一些关键区域，如薄云、云边界区域，仍然表现出较差的检测性能。这些区域由于特征不太明显集中或云与某些高亮地物相似度太高，导致算法难以有效的进行云与地物分离，容易产生错分现象，检测精度不高。
发明内容
发明目的：本发明目的是提供一种检测速度快、检测精度高的基于编解码注意力交互的云检测方法、系统、介质及设备。
技术方案：本发明所述的一种基于编解码注意力交互的云检测方法，包括以下步骤：
1）获取遥感影像，并从该遥感影像上标记出对应的云掩膜；
2）基于卷积神经网络和注意力机制建立云检测网络，所述云检测网络包括输入模块、编解码交互模块以及输出模块；
所述输入模块用于接收遥感影像并输出初始输入图像；
所述编解码交互模块连续设有多个交互层，每个交互层均包括交互层编码器注意力模块、编解码器注意力交互模块、上采样模块、卷积单元；
在每个交互层中：所述卷积单元提取输入图像的特征，并输出特征；所述交互层编码器注意力模块接收所述特征并输出交互层编码特征；所述上采样模块接收所述交互层编码特征，扩充通道后输出上采样特征；所述编解码器注意力交互模块接收所述上采样特征，并输出解码特征；
当该交互层为第一层交互层时，卷积单元提取初始输入图像的特征；
当该交互层为第N层交互层时，卷积单元提取上一层交互层的交互层编码特征作为输入图像的特征；且该第N层交互层的解码特征输入上一层交互层的上采样模块；N为大于1的正整数；
所述输出模块用于接收第一层交互层输出的解码特征并输出云概率图；
3）将所述遥感影像输入云检测网络，输出云概率图；
4）基于交叉熵损失建立监督损失模块，并将所述云掩膜和所述云概率图输入该监督损失模块，计算监督损失；
5）对所述遥感影像预处理，得到训练集和测试集；
基于反向传播法采用训练集和测试集重复步骤3）至4），迭代更新云检测网络，得到优化云检测网络；
6）获取待检测有云遥感影像并输入优化云检测网络，输出云检测图。
进一步的，步骤2）中，所述第一层交互层与所述输入模块、输出模块连接；所述输入模块包括初始编码器注意力模块，该初始编码器注意力模块输出的初始编码特征作为第一交互层的卷积单元初始输入图像；第一层交互层的解码特征与输入模块的初始编码特征输入输出模块。
进一步的，所述注意力机制包括全链接层操作、特征投影操作、投影特征标准化操作、注意力交互操作、特征拼接操作；
其中，所述全链接层操作用于将输入的特征分解为查询特征、键特征、值特征；
所述特征投影操作用于将所述查询特征、键特征、值特征分别投影为查询投影特征、键投影特征、值投影特征；
所述投影特征标准化操作包括方向标准化操作以及长度标准化操作，所述方向标准化操作用于将所述查询投影特征和所述键投影特征按通道维度转化为单位方向向量，得到方向查询投影特征和方向键投影特征；所述长度标准化操作用于将所述键投影特征基于通道维度求向量的模，得到长度键投影特征；
所述注意力交互操作用于将所述方向查询投影特征和方向键投影特征做矩阵乘法，得到相似性值后与长度键投影特征相乘，特征归一化后得到包含相似性和重要性的注意力图，之后将注意力图与值投影特征做矩阵乘法得到全局注意力图；利用深度可分离卷积提取所述输入的特征的局部注意力得到局部注意力图，将全局注意力图、局部注意力图与所述输入的特征相加，得到融合注意力图；所述融合注意力图包括编码特征和解码特征。
进一步的，所述长度标准化操作通过SoftMax函数将所述键投影特征在空间维度归一化，得到向量长度的相对大小。
进一步的，所述交互层编码器注意力模块及初始编码器注意力模块均通过对输入的特征依次进行全链接层操作、特征投影操作、投影特征标准化操作、注意力交互操作的步骤输出交互层编码特征或初始编码特征；
编解码器注意力交互模块通过对输入的特征依次进行特征拼接操作、特征投影操作、投影特征标准化操作、注意力交互操作的步骤输出解码特征；
所述特征拼接操作为：分别对输入的所述相邻上一层交互层的交互层编码特征和上采样特征进行全链接层操作，保留上采样特征的查询特征，并在键特征、值特征上进行特征拼接。
进一步的，步骤4）中所述监督损失通过下式计算：
L=；
式中，L表示监督损失；yi表示第i个云掩膜记录的真值；pi表示第i个网络预测的云概率值；N表示像素总数。
进一步的，步骤5）中，所述训练集包括成对的训练云掩膜和训练影像；所述测试集包括成对的测试云掩膜和测试影像；所述预处理包括：将遥感影像划分为训练影像和测试影像，在训练影像上标记云掩膜形成训练云掩膜，在测试影像上标记云掩膜形成测试云掩膜，并按对组成集合。
本发明所述的基于编解码注意力交互的云检测系统，包括以下模块：
影像获取模块：用以获取遥感影像，并从该遥感影像上标记出对应的云掩膜；
云检测网络建立模块：用以基于卷积神经网络和注意力机制建立云检测网络，所述云检测网络包括输入模块、编解码交互模块以及输出模块；
所述输入模块用于接收遥感影像并输出初始输入图像；
所述编解码交互模块连续设有多个交互层，每个交互层均包括交互层编码器注意力模块、编解码器注意力交互模块、上采样模块、卷积单元；
在每个交互层中：所述卷积单元提取输入图像的特征，并输出特征；所述交互层编码器注意力模块接收所述特征并输出交互层编码特征；所述上采样模块接收所述交互层编码特征，扩充通道后输出上采样特征；所述编解码器注意力交互模块接收所述上采样特征，并输出解码特征；
当该交互层为第一层交互层时，卷积单元提取初始输入图像的特征；
当该交互层为第N层交互层时，卷积单元提取上一层交互层的交互层编码特征作为输入图像的特征；且该第N层交互层的解码特征输入上一层交互层的上采样模块；N为大于1的正整数；
所述输出模块用于接收第一层交互层输出的解码特征并输出云概率图；
结果输出模块：用以将所述遥感影像输入云检测网络，输出云概率图；
损失计算模块：用以基于交叉熵损失建立监督损失模块，并将所述云掩膜和所述云概率图输入该监督损失模块，计算监督损失；
模型优化模块：用以对所述遥感影像预处理，得到训练集和测试集；基于反向传播法采用训练集和测试集重复步骤3）至4），迭代更新云检测网络，得到优化云检测网络；
优化结果输出模块：用以获取待检测有云遥感影像并输入优化云检测网络，输出云检测图。
本发明所述的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
本发明所述的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
有益效果：本发明具有如下显著效果：1、本发明检测精度高；通过在编码阶段融合输入的全局和局部特征，在解码阶段通过与编码器交互，融合编解码各阶段的全局和局部特征，并对云检测网络进行监督学习，实现更加准确的云检测。2、本发明检测速度快；基于注意力机制以及卷积神经网络建立云检测网络，通过计算机深度学习实现，不需要花费大量时间去调参以及选取阈值，检测速度快。
附图说明
图1为本发明中云检测网络结构图；
图2为本发明中编码器注意力模块结构示意图；
图3为本发明中编解码器注意力交互模块的结构示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
请参阅图1所示，本发明公开了一种基于编解码注意力交互的云检测方法，所述方法包括以下步骤：
1）获取遥感影像，并从该遥感影像上标记出对应的云掩膜。
2）基于卷积神经网络和注意力机制建立云检测网络，所述云检测网络包括输入模块、编解码交互模块以及输出模块。
所述输入模块用于接收遥感影像并输出初始输入图像。
所述编解码交互模块连续设有多个交互层，每个交互层均包括交互层编码器注意力模块、编解码器注意力交互模块、上采样模块、卷积单元。
在每个交互层中：所述卷积单元提取输入图像的特征，并输出特征；所述交互层编码器注意力模块接收所述特征并输出交互层编码特征；所述上采样模块接收所述交互层编码特征，扩充通道后输出上采样特征；所述编解码器注意力交互模块接收所述上采样特征，并输出解码特征。
当该交互层为第一层交互层时，卷积单元提取初始输入图像的特征。
当该交互层为第N层交互层时，卷积单元提取上一层交互层的交互层编码特征作为输入图像的特征；且该第N层交互层的解码特征输入上一层交互层的上采样模块；N为大于1的正整数。
所述输出模块用于接收第一层交互层输出的解码特征并输出云概率图。
所述第一层交互层与所述输入模块、输出模块连接；所述输入模块包括初始编码器注意力模块，该初始编码器注意力模块输出的初始编码特征作为第一交互层的卷积单元初始输入图像；第一层交互层的解码特征与输入模块的初始编码特征输入输出模块。
3）将所述遥感影像输入云检测网络，输出云概率图。
4）基于交叉熵损失建立监督损失模块，并将所述云掩膜和所述云概率图输入该监督损失模块，计算监督损失。监督损失通过下式计算：
L=；
式中，L表示监督损失；yi表示第i个云掩膜记录的真值；pi表示第i个网络预测的云概率值；N表示像素总数。
5）对所述遥感影像预处理，得到训练集和测试集。所述训练集包括成对的训练云掩膜和训练影像；所述测试集包括成对的测试云掩膜和测试影像；所述预处理包括：将遥感影像划分为训练影像和测试影像，在训练影像上标记云掩膜形成训练云掩膜，在测试影像上标记云掩膜形成测试云掩膜，并按对组成集合。
基于反向传播法采用训练集和测试集重复步骤3）至4），迭代更新云检测网络，得到优化云检测网络。
6）获取待检测有云遥感影像并输入优化云检测网络，输出云检测图。
其中，请参阅图2至3所示，所述注意力机制包括全链接层操作、特征投影操作、投影特征标准化操作、注意力交互操作、特征拼接操作。具体介绍如下：
所述全链接层操作用于将输入的特征分解为查询特征、键特征、值特征。
所述特征投影操作用于将所述查询特征、键特征、值特征分别投影为查询投影特征、键投影特征、值投影特征。
所述投影特征标准化操作包括方向标准化操作以及长度标准化操作，所述方向标准化操作用于将所述查询投影特征和所述键投影特征按通道维度转化为单位方向向量，得到方向查询投影特征和方向键投影特征，用来描述特征的方向性。所述长度标准化操作用于将所述键投影特征基于通道维度求向量的模，得到长度键投影特征。
所述注意力交互操作用于将所述方向查询投影特征和方向键投影特征做矩阵乘法，得到相似性值后与长度键投影特征相乘，特征归一化后得到包含相似性和重要性的注意力图，之后将注意力图与值投影特征做矩阵乘法得到全局注意力图；利用深度可分离卷积提取所述输入的特征的局部注意力得到局部注意力图，将全局注意力图、局部注意力图与所述输入的特征相加，得到融合注意力图；所述融合注意力图包括编码特征和解码特征。
请参阅图2所示，所述交互层编码器注意力模块及初始编码器注意力模块均通过对输入的特征依次进行全链接层操作、特征投影操作、投影特征标准化操作、注意力交互操作的步骤输出交互层编码特征或初始编码特征。所述交互层编码器注意力模块及初始编码器注意力模块均利用全局自注意力机制综合全局特征，使得每个像素点都包含所有像素点的信息，同时融合局部特征，使编码器注意力模块自动学习最优参数。
请参阅图3所示，所述编解码器注意力交互模块通过对输入的特征依次进行特征拼接操作、特征投影操作、投影特征标准化操作、注意力交互操作的步骤输出解码特征。所述特征拼接操作为：分别对输入的所述相邻上一层交互层的交互层编码特征和上采样特征进行全链接层操作，保留上采样特征的查询特征，并在键特征、值特征上进行特征拼接。编解码器注意力交互模块利用交互层编码特征来获取全局注意力，有助于经过多层编解码后的解码器理解浅层特征，可使解码器部分能够根据目标自动学习最优参数。
本实施例中，所述长度标准化操作通过SoftMax函数将所述键投影特征在空间维度归一化，得到向量长度的相对大小。所述特征拼接操作在行上进行拼接。n=3。
步骤2）中，上采样模块包括一个深度可分离卷积层操作、一个全链接层操作和一个像素重组操作，先将前一模块输出的特征（下一个交互层的解码特征和/或此交互层的编码特征）利用深度可分离卷积投影到指定通道数n，再进行全链接层操作，输出得到r2n个通道的特征，再将该特征通过像素重新组合，得到长和宽扩到r倍，通道数变为n的上采样特征。
步骤5）中，对遥感影像的预处理包括：影像划分、建立训练集、建立测试集。影像划分为：将遥感影像划分为训练集和测试集。建立训练集为：通过人工目视解译标记训练影像的云掩膜形成训练云掩膜，分割训练影像和训练云掩膜得到多个训练影像块和多个训练云掩膜块；将多个训练集影像块放入训练数据文件夹，对应的多个训练云掩膜块放入训练标签文件夹，得到训练集。建立测试集为：通过人工目视解译标记测试影像的云掩膜形成测试云掩膜；将测试影像放入测试数据文件夹，对应的测试云掩膜放入测试标签文件夹，得到测试集。
本实施例中，获取全球分布的50景Landsat 8遥感影像，合成RGB波段数据。首先，将其中40景划为训练影像，10景划为测试影像。其次，通过人工目视解译对所有训练影像和测试影像标记云掩膜，得到训练云掩膜和测试云掩膜。
将测试影像块放入测试文件夹，对应的测试云掩膜块放到测试标签文件夹，得到测试集。通过python脚本，训练影像和训练云掩膜按512x512的窗口、步长384x384成对裁剪，训练影像块放入训练文件夹，对应的训练云掩膜块放到训练标签文件夹，得到共计31242组训练切片数据，即训练集。
在计算机内训练云检测网络，计算机的配置为：AMDRyzen9 3950X 16核处理器，Nvidia GeForceRTX3080图形处理器，主频 3.49GHz，内存64GB，操作系统为windows10。基于编解码注意力交互的遥感影像云检测网络的实现基于Pytorch2.0.1深度学习框架工具包。
训练过程中，云检测网络的所有卷积核的初始化采用均值为0、方差为0.01的高斯分布，偏置的初始化采用固定值 0.0，采用 Adam 优化算法，批次大小为2，初始学习率设为0.0002，前10000次迭代保持不变，10000次后每迭代100次减小为0.98，实际训练时每迭代10轮，进行一次模型精度验证，迭代50轮后云检测网络模型基本收敛，得到优化云检测网络。
其中，重复进行步骤4），对云概率图和人工标记的云掩膜求交叉熵损失。使用交叉熵作为损失函数，将云概率图和云掩膜代入损失函数。多次训练，在编码阶段完成下采样过程，通过设置卷积步长来降低图像分辨率，在解码阶段完成上采样过程，上采样过程采用卷积提升图像分辨率。对遥感影像生成的云概率图进行监督，提升所述基于编解码注意力交互的遥感影像云检测方法在不同分辨率上的云检测能力。通过反向传播算法，优化网络参数，直至得到优化云检测网络。
本发明云检测网络的整体结构基于U-Net结构，利用输入图像的全局特征和局部特征检测遥感图像中的云，建立有效的云检测网络，云检测精度高。同时，本发明所采用的云检测方法可推广到其他同类型遥感影像的云检测任务。根据任务情况判断云检测网络是否需要进行重新训练。若需要则建立有云遥感影像和云掩膜对的训练集，对云检测网络重新进行训练，即可得到适用于执行该任务的云检测网络。
本发明还公开了一种基于编解码注意力交互的云检测系统，包括以下模块：
影像获取模块：用以获取遥感影像，并从该遥感影像上标记出对应的云掩膜；
云检测网络建立模块：用以基于卷积神经网络和注意力机制建立云检测网络，所述云检测网络包括输入模块、编解码交互模块以及输出模块；
所述输入模块用于接收遥感影像并输出初始输入图像；
所述编解码交互模块连续设有多个交互层，每个交互层均包括交互层编码器注意力模块、编解码器注意力交互模块、上采样模块、卷积单元；
在每个交互层中：所述卷积单元提取输入图像的特征，并输出特征；所述交互层编码器注意力模块接收所述特征并输出交互层编码特征；所述上采样模块接收所述交互层编码特征，扩充通道后输出上采样特征；所述编解码器注意力交互模块接收所述上采样特征，并输出解码特征；
当该交互层为第一层交互层时，卷积单元提取初始输入图像的特征；
当该交互层为第N层交互层时，卷积单元提取上一层交互层的交互层编码特征作为输入图像的特征；且该第N层交互层的解码特征输入上一层交互层的上采样模块；N为大于1的正整数；
所述输出模块用于接收第一层交互层输出的解码特征并输出云概率图；
结果输出模块：用以将所述遥感影像输入云检测网络，输出云概率图；
损失计算模块：用以基于交叉熵损失建立监督损失模块，并将所述云掩膜和所述云概率图输入该监督损失模块，计算监督损失；
模型优化模块：用以对所述遥感影像预处理，得到训练集和测试集；基于反向传播法采用训练集和测试集重复步骤3）至4），迭代更新云检测网络，得到优化云检测网络；
优化结果输出模块：用以获取待检测有云遥感影像并输入优化云检测网络，输出云检测图。
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
综上，本发明一种基于编解码注意力交互的云检测方法、系统、介质及设备具有检测速度快、检测精度高的特点。
Claims (10)
1.一种基于编解码注意力交互的云检测方法，其特征在于，所述方法包括以下步骤：
1）获取遥感影像，并从该遥感影像上标记出对应的云掩膜；
2）基于卷积神经网络和注意力机制建立云检测网络，所述云检测网络包括输入模块、编解码交互模块以及输出模块；
所述输入模块用于接收遥感影像并输出初始输入图像；
所述编解码交互模块连续设有多个交互层，每个交互层均包括交互层编码器注意力模块、编解码器注意力交互模块、上采样模块、卷积单元；
在每个交互层中：所述卷积单元提取输入图像的特征，并输出特征；所述交互层编码器注意力模块接收所述特征并输出交互层编码特征；所述上采样模块接收所述交互层编码特征，扩充通道后输出上采样特征；所述编解码器注意力交互模块接收所述上采样特征，并输出解码特征；
当该交互层为第一层交互层时，卷积单元提取初始输入图像的特征；
当该交互层为第N层交互层时，卷积单元提取上一层交互层的交互层编码特征作为输入图像的特征；且该第N层交互层的解码特征输入上一层交互层的上采样模块；N为大于1的正整数；
所述输出模块用于接收第一层交互层输出的解码特征并输出云概率图；
3）将所述遥感影像输入云检测网络，输出云概率图；
4）基于交叉熵损失建立监督损失模块，并将所述云掩膜和所述云概率图输入该监督损失模块，计算监督损失；
5）对所述遥感影像预处理，得到训练集和测试集；
基于反向传播法采用训练集和测试集重复步骤3）至4），迭代更新云检测网络，得到优化云检测网络；
6）获取待检测有云遥感影像并输入优化云检测网络，输出云检测图。
2.根据权利要求1所述的基于编解码注意力交互的云检测方法，其特征在于，步骤2）中，所述第一层交互层与所述输入模块、输出模块连接；所述输入模块包括初始编码器注意力模块，该初始编码器注意力模块输出的初始编码特征作为第一交互层的卷积单元初始输入图像；第一层交互层的解码特征与输入模块的初始编码特征输入输出模块。
3.根据权利要求1所述的基于编解码注意力交互的云检测方法，其特征在于，所述注意力机制包括全链接层操作、特征投影操作、投影特征标准化操作、注意力交互操作、特征拼接操作；
其中，所述全链接层操作用于将输入的特征分解为查询特征、键特征、值特征；
所述特征投影操作用于将所述查询特征、键特征、值特征分别投影为查询投影特征、键投影特征、值投影特征；
所述投影特征标准化操作包括方向标准化操作以及长度标准化操作，所述方向标准化操作用于将所述查询投影特征和所述键投影特征按通道维度转化为单位方向向量，得到方向查询投影特征和方向键投影特征；所述长度标准化操作用于将所述键投影特征基于通道维度求向量的模，得到长度键投影特征；
所述注意力交互操作用于将所述方向查询投影特征和方向键投影特征做矩阵乘法，得到相似性值后与长度键投影特征相乘，特征归一化后得到包含相似性和重要性的注意力图，之后将注意力图与值投影特征做矩阵乘法得到全局注意力图；利用深度可分离卷积提取所述输入的特征的局部注意力得到局部注意力图，将全局注意力图、局部注意力图与所述输入的特征相加，得到融合注意力图；所述融合注意力图包括编码特征和解码特征。
4.根据权利要求3所述的基于编解码注意力交互的云检测方法，其特征在于，所述长度标准化操作通过SoftMax函数将所述键投影特征在空间维度归一化，得到向量长度的相对大小。
5.根据权利要求3所述的基于编解码注意力交互的云检测方法，其特征在于，所述交互层编码器注意力模块及初始编码器注意力模块均通过对输入的特征依次进行全链接层操作、特征投影操作、投影特征标准化操作、注意力交互操作的步骤输出交互层编码特征或初始编码特征；
编解码器注意力交互模块通过对输入的特征依次进行特征拼接操作、特征投影操作、投影特征标准化操作、注意力交互操作的步骤输出解码特征；
所述特征拼接操作为：分别对输入的相邻上一层交互层的交互层编码特征和上采样特征进行全链接层操作，保留上采样特征的查询特征，并在键特征、值特征上进行特征拼接。
6.根据权利要求1所述的基于编解码注意力交互的云检测方法，其特征在于，步骤4）中所述监督损失通过下式计算：
L=；
式中，L表示监督损失；yi表示第i个云掩膜记录的真值；pi表示第i个网络预测的云概率值；N表示像素总数。
7.根据权利要求1所述的基于编解码注意力交互的云检测方法，其特征在于，步骤5）中，所述训练集包括成对的训练云掩膜和训练影像；所述测试集包括成对的测试云掩膜和测试影像；所述预处理包括：将遥感影像划分为训练影像和测试影像，在训练影像上标记云掩膜形成训练云掩膜，在测试影像上标记云掩膜形成测试云掩膜，并按对组成集合。
8.一种基于编解码注意力交互的云检测系统，其特征在于，所述系统包括以下模块：
影像获取模块：用以获取遥感影像，并从该遥感影像上标记出对应的云掩膜；
云检测网络建立模块：用以基于卷积神经网络和注意力机制建立云检测网络，所述云检测网络包括输入模块、编解码交互模块以及输出模块；
所述输入模块用于接收遥感影像并输出初始输入图像；
所述编解码交互模块连续设有多个交互层，每个交互层均包括交互层编码器注意力模块、编解码器注意力交互模块、上采样模块、卷积单元；
在每个交互层中：所述卷积单元提取输入图像的特征，并输出特征；所述交互层编码器注意力模块接收所述特征并输出交互层编码特征；所述上采样模块接收所述交互层编码特征，扩充通道后输出上采样特征；所述编解码器注意力交互模块接收所述上采样特征，并输出解码特征；
当该交互层为第一层交互层时，卷积单元提取初始输入图像的特征；
当该交互层为第N层交互层时，卷积单元提取上一层交互层的交互层编码特征作为输入图像的特征；且该第N层交互层的解码特征输入上一层交互层的上采样模块；N为大于1的正整数；
所述输出模块用于接收第一层交互层输出的解码特征并输出云概率图；
结果输出模块：用以将所述遥感影像输入云检测网络，输出云概率图；
损失计算模块：用以基于交叉熵损失建立监督损失模块，并将所述云掩膜和所述云概率图输入该监督损失模块，计算监督损失；
模型优化模块：用以对所述遥感影像预处理，得到训练集和测试集；基于反向传播法采用训练集和测试集重复结果输出模块与损失计算模块的操作，迭代更新云检测网络，得到优化云检测网络；
优化结果输出模块：用以获取待检测有云遥感影像并输入优化云检测网络，输出云检测图。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述权利要求1至权利要求7其中任一方法所述的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述权利要求1至7其中任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311579269.5A CN117292276B (zh) | 2023-11-24 | 2023-11-24 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311579269.5A CN117292276B (zh) | 2023-11-24 | 2023-11-24 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117292276A CN117292276A (zh) | 2023-12-26 |
| CN117292276B true CN117292276B (zh) | 2024-01-30 |
Family
ID=89252051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311579269.5A Active CN117292276B (zh) | 2023-11-24 | 2023-11-24 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292276B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
| CN114220001A (zh) * | 2021-11-25 | 2022-03-22 | 南京信息工程大学 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3125794A1 (en) * | 2019-02-06 | 2020-08-13 | Farmers Edge Inc. | Shadow and cloud masking for agriculture applications using convolutional neural networks |
-
2023
- 2023-11-24 CN CN202311579269.5A patent/CN117292276B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
| CN114220001A (zh) * | 2021-11-25 | 2022-03-22 | 南京信息工程大学 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117292276A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN110674688A (zh) | 用于视频监控场景的人脸识别模型获取方法、系统和介质 | |
| CN110765912B (zh) | 一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测方法 | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN114676773A (zh) | 基于sar数据的北极海冰分类方法 | |
| CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
| CN113408398A (zh) | 基于通道注意力及概率上采样的遥感图像云检测方法 | |
| CN113516084B (zh) | 高分辨率遥感影像半监督分类方法、装置、设备及介质 | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| CN113657225B (zh) | 一种目标检测方法 | |
| CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| US20230408682A1 (en) | Method and system for lulc guided sar visualization | |
| CN116665053B (zh) | 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统 | |
| CN115861823B (zh) | 一种基于自监督深度学习的遥感变化检测方法和装置 | |
| CN117292276B (zh) | 基于编解码注意力交互的云检测方法、系统、介质及设备 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| Raj et al. | A novel Ship detection method from SAR image with reduced false alarm | |
| Li et al. | Super resolution for single satellite image using a generative adversarial network | |
| CN117036982B (zh) | 海上养殖区的光学卫星图像处理方法和装置、设备和介质 | |
| CN115909045B (zh) | 一种基于对比学习的two-stage滑坡图谱特征智能识别方法 | |
| CN114758387B (zh) | 基于单帧rgb图像的轻量级人脸反欺诈方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |