CN116740584A - 一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法 - Google Patents

一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法 Download PDF

Info

Publication number
CN116740584A
CN116740584A CN202310764234.2A CN202310764234A CN116740584A CN 116740584 A CN116740584 A CN 116740584A CN 202310764234 A CN202310764234 A CN 202310764234A CN 116740584 A CN116740584 A CN 116740584A
Authority
CN
China
Prior art keywords
gradient
image
cloud
output
cloud detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310764234.2A
Other languages
English (en)
Other versions
CN116740584B (zh
Inventor
徐凯
王文昕
陈咏夷
汪安铃
汪子羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310764234.2A priority Critical patent/CN116740584B/zh
Publication of CN116740584A publication Critical patent/CN116740584A/zh
Application granted granted Critical
Publication of CN116740584B publication Critical patent/CN116740584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，所述方法包括以下步骤：结合CNN和Transformer的渐进式学习梯度的弱监督云检测准备工作、构建与训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型、对结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型测试和求解。与现有技术相比，通过构建结合CNN和Transformer的渐进式学习梯度的两阶段云检测网络，通过显式地引入梯度信息，使云检测网络学习到云和类云地物在梯度上的差别，从而解决云和类云地物的错分和误判问题。同时，通过构建具有主动学习策略的弱监督结构，使用最小化的具有代表性的数据标签实现准确的云检测。

Description

一种结合CNN和Transformer的渐进式学习梯度的弱监督云检 测方法
技术领域
本发明涉及光学遥感影像处理技术领域，具体来说是一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法。
背景技术
云是大气中的自然现象，常出现在光学卫星获取的遥感影像中。在气象领域，云检测作为反演大气及地表各种参数的预处理工作，它的分布直接影响到其他参数的反演结果。由于云是重要的气象和气候要素之一，通过云的分布不但可以帮助发现危险的气候现象，如暴雨、飓风及龙卷风，还可以跟踪气象条件的变化；而对于地表观测任务，由于60％的地球表面被云层覆盖，获取的光学遥感图像经常受到云层的污染，造成原始物体的光谱失真，影响遥感影像和产品的判读，干扰信息提取。因此，通过云检测提高遥感图像质量至关重要。
区分云和类云地物是云检测任务中一个技术挑战。类云地物在遥感图像中呈现出白色或灰色的外观，这使云的识别变得复杂。目前，关于有效区分云和类云地物的研究有限。因此，在遥感图像中实现云和类云地物的精确区分仍然是遥感领域的一个棘手问题。CNN被广泛应用于云检测，并已被证明在提取局部云特征方面是有效的。然而，由于其接受域的限制，CNN在捕获全局特征方面存在局限性，但捕获全局上下文信息对于准确识别云，特别是薄云区域非常关键。这使得在云检测中准确识别薄云具有挑战性。
近年来，深度学习方法在图像分类、语义分割以及目标检测等领域取得了极大发展。很多基于深度学习的云检测方法被提出，卷积神经网络(CNN)等深度学习算法也开始被应用于云检测领域且效果显著。但是其优越性能的实现依赖大量训练数据和标签，并要求保证标签数据的准确度。但是，人工制作标签数据存在缺乏足够先验知识的问题，并且消耗大量人力。
发明内容
本发明的目的是为现有云检测技术对于薄云检测困难，云和类云地物的错分和误判问题，提供一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，包括以下步骤：
11)结合CNN和Transformer的渐进式学习梯度的弱监督云检测准备工作：对遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对遥感卫星影像进行波段合并、裁剪等预处理；
12)构建与训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型：构建结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型，将预处理后的遥感影像以及标签输入结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行训练，得到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型；
13)对结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型测试和求解：将未被大量标记的遥感卫星影像输入到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行模型测试并得到云检测预测分割结果。
所述结合CNN和Transformer的渐进式学习梯度的弱监督云检测准备工作包括以下步骤：
21)将遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
22)将遥感卫星影像及标签进行不重叠裁剪，裁剪为321×321的固定大小；
23)将处理后的影像导出成.GIF格式；
24)将处理后的影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。
所述构建与训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型包括以下步骤：
31)其中构建结合CNN和Transformer的渐进式学习梯度的弱监督云检测的具体步骤如下：
311)构建用于筛选标签数据的具有主动学习策略的弱监督结构，其弱监督结构为通过计算每个像素或区域里的平均概率不确定值，选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中；
312)构建用于提取和学习图像梯度信息的第一阶段云检测网络结构，其第一阶段云检测网络结构为一个梯度提取结构、一个梯度编码器结构和梯度解码器结构；
3121)构建用于提取图像梯度信息的梯度提取结构，其梯度提取模块为一个sobel算子，对原始影像进行运算后得到提取到的梯度特征；
3122)构建用于学习图像梯度信息的梯度编码器结构，其梯度学习模块包括两个卷积核为3的卷积层，一个RELU线性激活单元和一个图像池化操作，得到学习到的梯度特征；
3123)构建用于学习图像梯度信息的梯度编码器结构，其梯度学习模块包括两个卷积核为3的卷积层，一个RELU线性激活单元和一个图像池化操作，得到学习到的梯度特征；；
313)构建用于提取和学习遥感影像的第二阶段云检测网络结构，其第二阶段云检测网络结构为一个Patch Partition操作，四个Swin Transformer Block和三个PatchMerging操作，得到云的分割图；
3121)构建用于关注和兼顾全局视野的Swim Transformer Block，其SwinTransformer Block为LayerNorm，Window Attention，Shifted Window Attention和MLP组成，将输入进行矩阵Q(查询),K(键值),V(值)的计算得到具有关注能力的特征矩阵；
32)其中训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型的具体步骤如下：
321)将预处理后的遥感卫星影像输入云检测模型中；
322)通过正向传播，得到分割概率；
323)使用二元交叉熵BCE损失作为网络模型的损失函数对分割概率进行计算得到分割损失；
324)反向传播确定梯度向量，更新模型参数；
325)重复上述过程直到设定次数或误差损失的平均值不再下降，训练完成，得到云检测模型。
所述对结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型测试和求解包括以下步骤：
41)读取遥感卫星影像，将其成.GIF格式影像；
42)将遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
43)将遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小，
44)将预处理后的影像输入到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行云像素检测；
45)得到分割好的云掩膜图。
有益效果
本发明涉及一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型方法，该方法是结合了CNN和Transformer两种深度学习算法。相较于现有技术，本发明通过构建渐进式学习梯度信息的两阶段云检测网络，显式引入梯度信息，并让网络学习到云和其他类似物体在梯度上的差别，解决了云和类似云地物的错分和误判问题，实现更加准确的云分割。同时，为了解决数据集标签不充足并减少模型对标签的依赖，本发明构建了具有主动学习策略的弱监督模块，选择并使用包含信息最丰富的区域的标签进行模型训练。这种方法的有效性既可以提升检测准确度，也可以有效解决现有云检测技术存在的问题。
附图说明
图1是一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法流程图；
图2是一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型图；
图3是一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法中第二阶段云检测网络结构图；
图4是GF-2卫星影像及其标签与一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法结果对比图；
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，包括以下步骤：
第一步，结合CNN和Transformer的渐进式学习梯度的弱监督云检测准备工作：
对遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对遥感卫星影像进行波段合并、裁剪等预处理；使得模型能够快速稳定的收敛，提高分割精度，其具体步骤如下；
(1)将遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
(2)将遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小；
(3)将处理后的影像导出成.GIF格式；
(4)将处理后的影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。
第二步，构建与训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型：
其具体步骤如下：
(1)其中构建结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型的具体步骤如下：
(1-1)构建用于筛选标签数据的具有主动学习策略的弱监督结构，其弱监督结构为通过计算每个像素或区域里的平均概率不确定值，选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中；
(1-2)构建用于提取和学习图像梯度信息的第一阶段云检测网络结构，其第一阶段云检测网络结构为一个梯度提取结构、一个梯度编码器结构和梯度解码器结构；
(1-2-1)构建用于提取图像梯度信息的梯度提取结构，其梯度提取模块为一个sobel算子，对原始影像进行运算后得到提取到的梯度特征；
(1-2-2)构建用于学习图像梯度信息的梯度编码器结构，其梯度学习模块包括两个卷积核为3的卷积层，一个RELU线性激活单元和一个图像池化操作，得到学习到的梯度特征；
(1-2-3)构建用于从不同尺度的特征中恢复梯度信息的梯度解码器结构，其梯度解码器模块包括两个卷积核为3的卷积层，一个RELU线性激活单元和一个图像上采样操作，得到逐步恢复的梯度特征；
(1-3)构建用于将不同尺度的浅层空间信息和深层语义信息结合起来的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；
(1-4)构建用于提取和学习遥感影像的第二阶段云检测网络结构，其第二阶段云检测网络结构为一个Patch Partition操作，四个自注意力结构和三个Patch Merging操作，得到云的分割图；
(1-4-1)构建用于关注和兼顾全局视野的Swin Transformer Block，其SwinTransformer Block为LayerNorm，Window Attention，Shifted Window Attention和MLP组成，将输入进行矩阵Q(查询),K(键值),V(值)的计算得到具有关注能力的特征矩阵；
首先将原始遥感卫星影像经过第一阶段云检测网络结构，即分别经过梯度提取结构，再将其经过梯度编码器结构，将梯度编码器结构的输出经过梯度解码器结构，之后通过跳跃连接结构将编码器第四次下采样连接解码器第一次上采样，通过跳跃连接结构将第三次下采样连接第二次上采样，通过跳跃连接结构将第二次下采样连接第三次上采样，通过跳跃连接结构将第一次下采样连接第四次上采样，将跳跃连接拼接后的最后一层输出与原始遥感卫星影像进行通道维度上的拼接。然后经过第二阶段云检测网络结构，如图3所示，即执行Patch Partition操作，四个Swin Transformer Block和三个Patch Merging操作。最后经过线性全连接层得到预测图，根据预测图的概率计算每个像素或区域里的平均概率不确定值，选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中参与训练，从而完成整个模型的搭建；
(2)其中训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型的具体步骤如下：
(2-1)将预处理后的遥感卫星影像输入云检测模型中；
(2-2)执行一次梯度提取结构得到提取的图像梯度信息；
(2-3)执行一次编码器结构得到四个下采样输出；
(2-3-1)执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第一个下采样输出；
(2-3-2)对第一个下采样输出执行resnet34的layer2得到第二个下采样输出；
(2-3-3)对第二个下采样输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第三个下采样输出；
(2-3-4)对第三个下采样输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第四个下采样输出；
(2-4)执行一次梯度解码器结构得到四个上采样输出；
(2-4-1)执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第一个上采样输出；
(2-4-2)将第一次上采样的输出通过跳跃连接结构与第四次下采样的输出进行拼接；
(2-4-3)对第一次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第二个上采样输出；
(2-4-4)将第二次上采样的输出通过跳跃连接结构与第三次下采样的输出进行拼接；
(2-4-5)对第二次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第三个上采样输出；
(2-4-6)将第三次上采样的输出通过跳跃连接结构与第二次下采样的输出进行拼接；
(2-4-7)对第三次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第四个上采样输出；
(2-4-8)将第四次上采样的输出通过跳跃连接结构与第二次下采样的输出进行拼接；
(2-4-9)对第四次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第四个上采样输出；
(2-5)对第四个下采样输出执行与原始遥感卫星影像进行通道维度上的拼接操作；
(2-6)对拼接得到的四通道图像执行一次第二阶段云检测网络结构；
(2-6-1)执行一次Patch Partition操作得到被切成的多个patch；
(2-6-2)对得到的多个patch执行一次Linear Embedding层；
(2-6-3)执行一次Swin Transformer Block得到第一个输出；
(2-6-4)执行一次Patch Merging操作得到第一次下采样后的特征；
(2-6-5)对得到的第一次下采样后的特征执行一次Linear Embedding层；
(2-6-6)执行一次Swin Transformer Block得到第二个输出；
(2-6-7)执行一次Patch Merging操作得到第二次下采样后的特征；
(2-6-8)对得到的第二次下采样后的特征执行一次Linear Embedding层；
(2-6-9)执行一次Swin Transformer Block得到第三个输出；
(2-6-10)执行一次Patch Merging操作得到第三次下采样后的特征；
(2-6-11)对得到的第三次下采样后的特征执行一次Linear Embedding层；
(2-6-12)执行一次Swin Transformer Block得到第四个输出；
(2-7)对得到的第四个输出执行一次线性全连接层；
(2-8)正向传播，得到最终的分割概率；
(2-9)对最终的分割概率图执行一次弱监督结构；
(2-9-1)根据最终的分割概率计算每个像素或区域里的平均概率不确定值。
其中，U(u,v)代表以(u,v)为中心的区域R的预测不确定度。R(u,v)代表以(u,v)为中心的区域R中像素总数，Pt (i,j,cloud)代表区域R中像素点为云的软标签即概率值，Pt (i,j,bg)代表区域R中像素点(i,j)为非云背景的概率值；
(2-9-2)选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中参与训练；
(2-9-3)使用二元交叉熵BCE损失作为网络模型的损失函数对最终选出的像素点或区域的分割概率进行计算得到分割损失；
(2-10)反向传播确定梯度向量，更新模型参数；
(2-11)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回(2-1)重新加载数据继续训练。
第三步，对结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型测试和求解：
获取待检测的遥感卫星影像，将其输入到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行模型测试并得到云检测预测分割结果图，其具体步骤如下：
(1)读取遥感卫星影像，将其导出成.GIF格式影像；
(2)将遥感卫星影像B4、B3、B2波段合并处理为RGB三通道影像；
(3)将遥感卫星影像进行不重叠裁剪，得到321×321的固定大小；
(4)将预处理后的影像输入到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行云像素检测；
(5)得到分割好的云图。
下面以GF-2卫星影像为例对本发明提出的方法进行说明：
GF-2卫星影像作为输入数据。选取50张包含不同场景的GF-2卫星影像，经过本发明所述预处理即波段合并、裁剪、挑选等操作得到321×321大小的5040张数据集。利用本发明所述的结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，整体结构如图2所示。相对于当前的云检测技术而言，本发明成功解决了目前该技术在薄云检测困难的问题，并且通过构建具有主动学习策略的弱监督结构，显式引入梯度信息，使得云检测网络能够学习到云和类似云地物之间在梯度上的不同，从而有效解决云和类似云地物的误分和误判。
如图4所示，其为GF-2卫星影像及其标签与本发明结果对比图，其中A为GF-2卫星影像、B为GF-2卫星影像标签、C为本专利所述方法的云分割结果。从图4可以看出，利用本发明所述方法所获得的分割结果，与标签基本无异，达到了满足实际应用的效果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，其特征在于，包括以下步骤：
11)结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型的准备工作：对遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对遥感卫星影像进行波段合并、裁剪等预处理；对遥感卫星影像标签进行归一化预处理；
12)构建与训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型：构建结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型，将预处理后的遥感影像以及标签输入结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行训练，得到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型；
13)对结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型测试和求解：将未被大量标记的遥感卫星影像输入到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行模型测试并得到云检测预测分割结果。
2.根据权利要求1所述的结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，其特征在于，所述结合CNN和Transformer的渐进式学习梯度的弱监督云检测准备工作包括以下步骤：
21)将遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
22)将遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小；
23)将处理后的影像导出成.GIF格式；
24)将处理后的影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。
3.根据权利要求1所述的一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，其特征在于，所述构建与训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型包括以下步骤：
31)其中构建结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型的具体步骤如下：
311)构建用于筛选标签数据的具有主动学习策略的弱监督结构，其弱监督结构为通过计算每个像素或区域里的平均概率不确定值，选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中；
312)构建用于提取和学习图像梯度信息的第一阶段云检测网络结构，其第一阶段云检测网络结构为一个梯度提取结构、一个梯度编码器结构和梯度解码器结构；
3121)构建用于提取图像梯度信息的梯度提取结构，其梯度提取模块为一个sobel算子，对原始影像进行运算后得到提取到的梯度特征；
3122)构建用于学习图像梯度信息的梯度编码器结构，其梯度学习模块包括两个卷积核为3的卷积层，一个RELU线性激活单元和一个图像池化操作，得到学习到的梯度特征；
3123)构建用于从不同尺度的特征中恢复梯度信息的梯度解码器结构，其梯度解码器模块包括两个卷积核为3的卷积层，一个RELU线性激活单元和一个图像上采样操作，得到逐步恢复的梯度特征；
313)构建用于将不同尺度的浅层空间信息和深层语义信息结合起来的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；
314)构建用于提取和学习遥感影像的第二阶段云检测网络结构，其第二阶段云检测网络结构为一个Patch Partition操作，四个Swin Transformer Block和三个Patch Merging操作，得到云的分割图；
3141)构建用于关注和兼顾全局视野的Swin Transformer Block，其SwinTransformer Block为LayerNorm，Window Attention，Shifted Window Attention和MLP组成，将输入进行矩阵Q(查询),K(键值),V(值)的计算得到具有关注能力的特征矩阵；
315)首先将原始遥感卫星影像经过第一阶段云检测网络结构，即分别经过梯度提取结构，再将其经过梯度编码器结构，将梯度编码器结构的输出经过梯度解码器结构，之后通过跳跃连接结构将编码器第四次下采样连接解码器第一次上采样，通过跳跃连接结构将第三次下采样连接第二次上采样，通过跳跃连接结构将第二次下采样连接第三次上采样，通过跳跃连接结构将第一次下采样连接第四次上采样，将跳跃连接拼接后的最后一层输出与原始遥感卫星影像进行通道维度上的拼接。然后经过第二阶段云检测网络结构，即执行PatchPartition操作，四个Swin Transformer Block和三个Patch Merging操作。最后经过线性全连接层得到预测图，根据预测图的概率计算每个像素或区域里的平均概率不确定值，选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中参与训练，从而完成整个模型的搭建；
32)其中训练结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型的具体步骤如下：
321)将预处理后的遥感卫星影像输入云检测模型中；
322)执行一次梯度提取结构得到提取的图像梯度信息；
323)执行一次梯度编码器结构得到四个下采样输出；
执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第一个下采样输出；
对第一个下采样输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第二个下采样输出；
对第二个下采样输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第三个下采样输出；
对第三个下采样输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像池化操作得到第四个下采样输出；
324)执行一次梯度解码器结构得到四个上采样输出；
执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第一个上采样输出；
将第一次上采样的输出通过跳跃连接结构与第四次下采样的输出进行拼接；
对第一次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第二个上采样输出；
将第二次上采样的输出通过跳跃连接结构与第三次下采样的输出进行拼接；
对第二次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第三个上采样输出；
将第三次上采样的输出通过跳跃连接结构与第二次下采样的输出进行拼接；
对第三次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第四个上采样输出；
将第四次上采样的输出通过跳跃连接结构与第二次下采样的输出进行拼接；
对第四次拼接得到的输出执行两个卷积核为3x3的普通卷积层，一个RELU线性激活单元和一个图像上采样操作得到第四个上采样输出；
325)对第四个下采样输出执行与原始遥感卫星影像进行通道维度上的拼接操作；
326)对拼接得到的四通道图像执行第二阶段云检测网络结构；
执行一次Patch Partition操作得到被切成的多个patch；
对得到的多个patch执行一次Linear Embedding层；
执行一次Swin Transformer Block得到第一个输出；
执行一次Patch Merging操作得到第一次下采样后的特征；
对得到的第一次下采样后的特征执行一次Linear Embedding层；
执行一次Linear Embedding得到第二个输出；
执行一次Patch Merging操作得到第二次下采样后的特征；
对得到的第二次下采样后的特征执行一次Linear Embedding层；
执行一次Swin Transformer Block得到第三个输出；
执行一次Patch Merging操作得到第三次下采样后的特征；
对得到的第三次下采样后的特征执行一次Linear Embedding层；
执行一次Swin Transformer Block得到第四个输出；
327)对得到的第四个输出执行一次线性全连接层；
328)正向传播，得到最终的分割概率；
329)对最终的分割概率图执行一次弱监督结构；
根据最终的分割概率计算每个像素或区域里的平均概率不确定值。
其中，U(u,v)代表以(u,v)为中心的区域R的预测不确定度。R(u,v)代表以(u,v)为中心的区域R中像素总数，Pt (i,j,cloud)代表区域R中像素点为云的软标签即概率值，Pt (i,j,bg)代表区域R中像素点(i,j)为非云背景的概率值；
选择高信息熵的像素或区域进行标签标注，云像素点标为1，背景标为0，得到二值单通道标签影像；然后将其加入训练数据集中参与训练；
使用二元交叉熵BCE损失作为网络模型的损失函数对最终选出的像素点或区域的分割概率进行计算得到分割损失；
3210)反向传播确定梯度向量，更新模型参数；
3211)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回(321)重新加载数据继续训练。
4.根据权利要求1所述的一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法，其特征在于，所述对结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型测试和求解包括以下步骤：
41)读取遥感卫星影像，将其导出成.GIF格式影像；
42)将遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像；
43)将遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小；
44)将预处理后的影像输入到训练好的结合CNN和Transformer的渐进式学习梯度的弱监督云检测模型中进行云像素检测；
45)得到分割好的云掩膜图。
CN202310764234.2A 2023-06-25 2023-06-25 一种弱监督云检测方法 Active CN116740584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310764234.2A CN116740584B (zh) 2023-06-25 2023-06-25 一种弱监督云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310764234.2A CN116740584B (zh) 2023-06-25 2023-06-25 一种弱监督云检测方法

Publications (2)

Publication Number Publication Date
CN116740584A true CN116740584A (zh) 2023-09-12
CN116740584B CN116740584B (zh) 2024-05-10

Family

ID=87916682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310764234.2A Active CN116740584B (zh) 2023-06-25 2023-06-25 一种弱监督云检测方法

Country Status (1)

Country Link
CN (1) CN116740584B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898227A (zh) * 2022-06-08 2022-08-12 无锡学院 一种云图分割方法
CN114943963A (zh) * 2022-04-29 2022-08-26 南京信息工程大学 一种基于双分支融合网络的遥感图像云和云影分割方法
CN115359370A (zh) * 2022-10-21 2022-11-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN115546640A (zh) * 2022-10-10 2022-12-30 广东工业大学 遥感影像的云检测方法、装置、电子设备及存储介质
CN115830471A (zh) * 2023-01-04 2023-03-21 安徽大学 一种多尺度特征融合和对齐的域自适应云检测方法
CN115984714A (zh) * 2023-03-21 2023-04-18 山东科技大学 一种基于双分支网络模型的云检测方法
CN116030346A (zh) * 2023-01-04 2023-04-28 西安理工大学 基于马尔可夫判别器的非成对弱监督云检测方法及系统
CN116091764A (zh) * 2022-12-28 2023-05-09 天津师范大学 一种基于融合变换网络的云图像分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943963A (zh) * 2022-04-29 2022-08-26 南京信息工程大学 一种基于双分支融合网络的遥感图像云和云影分割方法
CN114898227A (zh) * 2022-06-08 2022-08-12 无锡学院 一种云图分割方法
CN115546640A (zh) * 2022-10-10 2022-12-30 广东工业大学 遥感影像的云检测方法、装置、电子设备及存储介质
CN115359370A (zh) * 2022-10-21 2022-11-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN116091764A (zh) * 2022-12-28 2023-05-09 天津师范大学 一种基于融合变换网络的云图像分割方法
CN115830471A (zh) * 2023-01-04 2023-03-21 安徽大学 一种多尺度特征融合和对齐的域自适应云检测方法
CN116030346A (zh) * 2023-01-04 2023-04-28 西安理工大学 基于马尔可夫判别器的非成对弱监督云检测方法及系统
CN115984714A (zh) * 2023-03-21 2023-04-18 山东科技大学 一种基于双分支网络模型的云检测方法

Also Published As

Publication number Publication date
CN116740584B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN112801270B (zh) 融合深度卷积与注意力机制的u形网络槽自动识别方法
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN113947601B (zh) 基于半监督学习的塑料制品表面缺陷检测方法及系统
CN112686261A (zh) 一种基于改进U-Net的葡萄根系图像分割方法
CN112307919A (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111860683A (zh) 一种基于特征融合的目标检测方法
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN116740584B (zh) 一种弱监督云检测方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN116563844A (zh) 圣女果成熟度检测方法、装置、设备及存储介质
CN116246171A (zh) 一种空-谱多尺度高光谱遥感图像目标检测方法及设备
CN114663654A (zh) 一种改进YOLOv4网络模型及小目标检测方法
Nategh et al. Automatic counting of mounds on UAV images: combining instance segmentation and patch-level correction
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN117522824B (zh) 一种基于域知识库的多源域泛化的云和云阴影检测方法
Ma et al. DGCC-Fruit: a lightweight fine-grained fruit recognition network
CN115631422B (zh) 一种基于注意力机制的浒苔识别方法
Xu et al. A Keypoint-Based Method for Grape Stems Identification
CN114842353B (zh) 基于自适应目标方向的神经网络遥感影像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant