CN114220001A - 基于双注意力神经网络的遥感影像云与云阴影检测方法 - Google Patents
基于双注意力神经网络的遥感影像云与云阴影检测方法 Download PDFInfo
- Publication number
- CN114220001A CN114220001A CN202111409905.0A CN202111409905A CN114220001A CN 114220001 A CN114220001 A CN 114220001A CN 202111409905 A CN202111409905 A CN 202111409905A CN 114220001 A CN114220001 A CN 114220001A
- Authority
- CN
- China
- Prior art keywords
- cloud
- remote sensing
- sensing image
- feature map
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 24
- 239000011800 void material Substances 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000011158 quantitative evaluation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于双注意力神经网络的遥感影像云与云阴影检测方法。该方法包括：获取遥感影像数据集，遥感影像数据集中包含了各遥感影像对应的标签信息，标签信息标记了云与云阴影的位置；将遥感影像数据集按预设比例分为训练集和验证集；利用训练集和验证集对有监督的双注意力神经网络模型进行训练和验证，获得云与云阴影检测模型，云与云阴影检测模型由递归残差模块、双注意力模块、改进空洞空间金字塔池化模块、卷积层、上采样层和Concat层组成，获取待检测的遥感影像；将待检测的遥感影像输入至训练好的云与云阴影检测模型中，对待检测的遥感影像中的云和云阴影的位置进行检测，获得云和云阴影的位置检测结果；提高了云与云阴影检测的精度。
Description
技术领域
本申请涉及深度学习技术领域，特别是涉及一种基于双注意力神经网络的遥感影像云与云阴影检测方法。
背景技术
随着遥感技术的快速发展，遥感影像在气象探测、水文监测、军事侦察等领域发挥着越来越重要的作用。地球表面67％的面积被云覆盖，云与云阴影的存在限制了基于卫星遥感影像的地物信息提取能力，严重影响遥感影像的质量和遥感数据的可用性。因此，对云与云阴影检测是遥感影像处理中最关键的一个步骤，同时也为气象、农业和自然灾害预测等领域提供有力的科技保障。
目前，云检测方法可以大致分为基于阈值的检测方法、基于纹理谱及其空间特征的检测方法和基于机器学习的检测方法。基于阈值的检测方法在针对某种特定遥感器时可以展现较好的性能，但该方法对阈值敏感程度较高，忽略较多空间信息，当部分像元被云覆盖时，容易产生误检的情况。Rossow等假设观测辐射只来自云和晴空，将可见光波段6和红外波段11的辐射值进行比较，测试像元辐射值，当像元辐射值大于晴空辐射值时，则说明该像元为云像元。该方法容易产生误判，导致检测结果不准确；基于纹理谱及其空间特征的检测方法关键在选择纹理特征，所选择的特征要精准反映云和下垫面的差异，该方法具有一定的检测效果，但遥感影像中云的种类较多，所以仅利用纹理特征进行云检测，效果提升有限。李超炜等对多光谱影像中云层的亮度、纹理和频率三个特征展开研究，统计云层与下垫面在各个方面的特征差异，根据对结果的分析利用支持向量机进行分类，实现云检测，该方法复杂性较高，容易产生误检。
近年来，随着深度学习在语义分割领域的深入研究，基于深度学习的遥感影像云与云阴影检测方法的应用日益广泛。陈洋等采用主成分分析，进行无监督预训练，通过卷积神经网络获得影像的特征，将获得的特征输入支持向量机进行分类，完成对国产资源三号卫星遥感影像的云检测。
等使用基于U-Net的网络结构进行遥感影像云检测。Xu等提出一种新的光学遥感影像云与云阴影检测方法DeepMask，利用ResNet生成像素级的云与云阴影掩模。这些方法相比传统机器学习的方法，可获得更好的云检测效果，但对云边缘检测的能力较弱，细节丢失较多，导致检测精确度低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高检测精确度的基于双注意力神经网络的遥感影像云与云阴影检测方法。
一种基于双注意力神经网络的遥感影像云与云阴影检测方法，所述方法包括：
获取待检测的遥感影像；
将所述待检测的遥感影像输入至训练好的云与云阴影检测模型中，对所述待检测的遥感影像中的云和云阴影的位置进行检测，获得云和云阴影的位置检测结果；
所述云与云阴影检测模型的训练方式包括：
获取遥感影像数据集，所述遥感影像数据集中包含了各遥感影像对应的标签信息，所述标签信息标记了云与云阴影的位置；
将所述遥感影像数据集按预设比例分为训练集和验证集；
利用所述训练集和所述验证集对有监督的双注意力神经网络模型进行训练和验证，获得云与云阴影检测模型，所述云与云阴影检测模型由递归残差模块、双注意力模块、改进空洞空间金字塔池化模块、卷积层、上采样层和Concat层组成。
在其中一个实施例中，所述递归残差模块包括一个第一卷积层和三个递归残差单元，所述递归残差单元由批量归一化层、激活函数、权重和第二卷积层依次连接，每个递归残差单元都与第一卷积层进行跳跃连接；
所述递归残差单元表示为：
Pt＝F(Pt-1,σ)+P0
其中，t＝1,2,3…,T0，T0表示递归残差模块中递归残差单元的数目；Pt-1和Pt分别表示第t个递归残差单元的输入和输出；P0表示递归残差模块中第一卷积层的输出结果；F(Pt-1,σ)表示学习到的残差映射，σ为权值。
在其中一个实施例中，所述双注意力模块包括位置注意力模块和通道注意力模块；
所述位置注意力模块将获取的特征图A，
应用1×1卷积层，得到特征图B、C和D，B、C和
其中，
为特征图第一尺寸；
将特征图B、C和D的维度重塑为
其中，
为特征图第二尺寸，N0＝H0×W0为像素数量，C0为通道数，H0为高度，W0为宽度；将特征图C的转置矩阵与特征图B进行矩阵相乘，把运算结果应用Softmax层，得到空间注意力图谱Z，
空间注意力图谱Z表示为：
其中，zji表示特征图中第i个像素位置与第j个像素位置之间的相关性，Bi为特征图B的第i个像素位置，Cj为特征图C的第j个像素位置；
将特征图D与空间注意力图谱Z的转置矩阵进行矩阵相乘，把计算结果的维度重塑为
得到特征M，
特征M表示为：
其中，mj为特征图M的第j个像素位置，Di为特征图D的第i个像素位置；
将特征M乘以尺度系数δ并与特征图A进行元素求和，得到输出特征图O，
输出的特征图O表示为：
O＝oj＝δmj+Aj
其中，尺度系数δ的初始值为0，oj为特征图O的第j个像素位置，Aj为特征图A的第j个像素位置。
在其中一个实施例中，所述通道注意力模块将获取的特征图A，
重塑为
将特征图A与特征图A的转置矩阵进行矩阵相乘，把运算结果应用Softmax层，得到通道注意力图谱H，
所述通道注意力图谱H可表示为：
其中，hji表示特征图A中第i个通道与第j个通道之间的相关性，Ai为特征图A的第i个像素位置；
将特征图A与通道注意力图谱A的转置矩阵进行矩阵相乘，把运算结果的维度重塑为
得到特征N，
特征N表示为：
其中，nj为特征图N的第j个像素位置；
将特征N乘以尺度系数
并与特征图A进行元素求和，得到输出所有通道特征与原始特征的加权和Y，
Y为所有通道特征与原始特征的加权和，表示为：
其中，尺度系数
的初始值为0，随着训练逐步改变权重。
在其中一个实施例中，所述改进空洞空间金字塔池化模块包含五个独立分支，其中三个空洞卷积分支由四个不同扩张率的空洞卷积层组成，卷积核尺寸为3×3，扩张率分别为(3，4，6，2)、(4，6，12，3)、(6，18，12，4)；一个卷积分支由一个卷积核尺寸为1×1的卷积层组成；一个池化分支由平均池化层、1×1卷积层、上采样层组成，最后将五个分支输出的特征图进行特征融合。
上述基于双注意力神经网络的遥感影像云与云阴影检测方法，通过获取遥感影像数据集，所述遥感影像数据集中包含了各遥感影像对应的标签信息，所述标签信息标记了云与云阴影的位置；将所述遥感影像数据集按预设比例分为训练集和验证集；利用所述训练集和所述验证集对有监督的双注意力神经网络模型进行训练和验证，获得云与云阴影检测模型，所述云与云阴影检测模型由递归残差模块、双注意力模块、改进空洞空间金字塔池化模块、卷积层、上采样层和Concat层组成，获取待检测的遥感影像；将所述待检测的遥感影像输入至训练好的云与云阴影检测模型中，对所述待检测的遥感影像中的云和云阴影的位置进行检测，获得云和云阴影的位置检测结果；以精准高效地对遥感影像中的云与云阴影进行检测，提高检测结果的准确性。
附图说明
图1为一个实施例中基于双注意力神经网络的遥感影像云与云阴影检测方法的流程示意图；
图2为一个实施例中云与云阴影检测模型训练流程示意图；
图3是一个实施例中的递归残差模块的结构示意图；
图4是一个实施例中的递归残差单元的结构示意图；
图5是一个实施例中的位置注意力模块的结构示意图；
图6是一个实施例中的通道注意力模块的结构示意图；
图7是一个实施例中的改进空洞空间金字塔池化模块的结构示意图；
图8是一个实施例中的云与云阴影检测网络模型的结构示意图；
图9是一个实施例中的消融实验Overall Accuracy折线图；
图10是一个实施例中的六种方法对高分一号WFV遥感影像云检测结果视觉对比示意图，9b和9d分别为9a和9c的子区域；
图11是一个实施例中的云与云阴影检测网络模型与RU-Net方法对高分一号WFV遥感影像云阴影检测结果视觉对比示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于双注意力神经网络的遥感影像云与云阴影检测方法，可以应用于终端或服务器。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图1所示，提供了一种基于双注意力神经网络的遥感影像云与云阴影检测方法，以该方法应用于终端为例进行说明，包括以下步骤：
步骤S220，获取待检测的遥感影像。
其中，待检测的遥感影像是需要进行云和云阴影检测的遥感影像。
步骤S240，将所述待检测的遥感影像输入至训练好的云与云阴影检测模型中，对所述待检测的遥感影像中的云和云阴影的位置进行检测，获得云和云阴影的位置检测结果。
其中，如图2所示，所述云与云阴影检测模型的训练方式包括：
获取遥感影像数据集，所述遥感影像数据集中包含了各遥感影像对应的标签信息，所述标签信息标记了云与云阴影的位置；将所述遥感影像数据集按预设比例分为训练集和验证集；利用所述训练集和所述验证集对有监督的双注意力神经网络模型进行训练和验证，获得云与云阴影检测模型，所述云与云阴影检测模型由递归残差模块、双注意力模块、改进空洞空间金字塔池化模块、卷积层、上采样层和Concat层组成。
其中，遥感影像数据集中的遥感影像预先进行了预处理，并制作了遥感影像所对应的标签，使标签形成与遥感影像对应的掩模图像。遥感影像数据集中选取的遥感影像来自高分一号WFV云与云阴影数据集，WFV是高分一号卫星中最关键的组件之一，它包含四个空间分辨率为16米，时间分辨率为4天的集成相机，每个相机有四个多光谱波段，观测幅宽达800公里。云与云阴影数据集包含108张遥感影像，基本涵盖了不同类型的下垫面。
通常在模型训练阶段需要大量的参数，要使这些参数正确工作则需要大量的数据进行训练，而实际情况中遥感影像数据集包含的数据量较少，且尺寸较大，因此需要对遥感影像进行旋转、变换亮度、注入噪声、变换饱和度、变换颜色、裁剪等数据增强处理；将增强后的遥感影像裁剪成12528张大小为256×256的图像，其中10100张作为训练集，2428张作为验证集；根据遥感影像制作相应的标签，将其转换为灰度图像，用灰度值0、128和255即黑色、灰色和白色代表下垫面像元、云阴影像元和云像元。为提高语义分割的效率，将数据集中的遥感影像及标签大小统一转为1024×1024，从中选取87张作为训练集与验证集，21张作为测试集。
上述基于双注意力神经网络的遥感影像云与云阴影检测方法，通过获取遥感影像数据集，所述遥感影像数据集中包含了各遥感影像对应的标签信息，所述标签信息标记了云与云阴影的位置；将所述遥感影像数据集按预设比例分为训练集和验证集；利用所述训练集和所述验证集对有监督的双注意力神经网络模型进行训练和验证，获得云与云阴影检测模型，所述云与云阴影检测模型由递归残差模块、双注意力模块、改进空洞空间金字塔池化模块、卷积层、上采样层和Concat层组成，获取待检测的遥感影像；将所述待检测的遥感影像输入至训练好的云与云阴影检测模型中，对所述待检测的遥感影像中的云和云阴影的位置进行检测，获得云和云阴影的位置检测结果；实现高精度的遥感影像云与云阴影检测。
在一个实施例中，如图3所示，所述递归残差模块包括一个第一卷积层和三个递归残差单元，如图4所示，所述递归残差单元由批量归一化层、激活函数、权重和第二卷积层依次连接，每个递归残差单元都与第一卷积层进行跳跃连接；所述递归残差单元表示为：
Pt＝F(Pt-1,σ)+P0
其中，t＝1,2,3…,T0，T0表示递归残差模块中递归残差单元的数目；Pt-1和Pt分别表示第t个递归残差单元的输入和输出；P0表示递归残差模块中第一卷积层的输出结果；F(Pt-1,σ)表示学习到的残差映射，σ为权值。
其中，为了使底层特征与高层特征相融合，将递归残差模块中每个递归残差单元都与第一卷积层进行跳跃连接，减小网络的训练难度。
在一个实施例中，如图5所示，所述双注意力模块包括位置注意力模块和通道注意力模块；所述位置注意力模块将获取的特征图A，
应用1×1卷积层，得到特征图B、C和D，B、C和
其中，
为特征图第一尺寸；将特征图B、C和D的维度重塑为
其中，
为特征图第二尺寸，N0＝H0×W0为像素数量，C0为通道数，H0为高度，W0为宽度；将特征图C的转置矩阵与特征图B进行矩阵相乘，把运算结果应用Softmax层，得到空间注意力图谱Z，
空间注意力图谱Z表示为：
其中，zji表示特征图中第i个像素位置与第j个像素位置之间的相关性，Bi为特征图B的第i个像素位置，Cj为特征图C的第j个像素位置；
其中，相关性越大，特征表示越相似，反之亦然。
将特征图D与空间注意力图谱Z的转置矩阵进行矩阵相乘，把计算结果的维度重塑为
得到特征M，
特征M表示为：
其中，mj为特征图M的第j个像素位置，Di为特征图D的第i个像素位置；
将特征M乘以尺度系数δ并与特征图A进行元素求和，得到输出特征图O，
输出的特征图O表示为：
O＝oj＝δmj+Aj
其中，尺度系数δ的初始值为0，oj为特征图O的第j个像素位置，Aj为特征图A的第j个像素位置；
其中，特征图O是所有位置特征与原始特征的加权和，它具有全局上下文信息，可以选择性的聚合上下文，凸显关键特征位置，从而提高云与云阴影检测精度。
在一个实施例中，如图6所示，所述通道注意力模块将获取的特征图A，
重塑为
将特征图A与特征图A的转置矩阵进行矩阵相乘，把运算结果应用Softmax层，得到通道注意力图谱H，
所述通道注意力图谱H可表示为：
其中，hji表示特征图A中第i个通道与第j个通道之间的相关性，Ai为特征图A的第i个像素位置；
将特征图A与通道注意力图谱A的转置矩阵进行矩阵相乘，把运算结果的维度重塑为
得到特征N，
特征N表示为：
其中，nj为特征图N的第j个像素位置；
将特征N乘以尺度系数
并与特征图A进行元素求和，得到输出所有通道特征与原始特征的加权和Y，
Y为所有通道特征与原始特征的加权和，表示为：
其中，尺度系数
的初始值为0，随着训练逐步改变权重。
其中，Y为所有通道特征与原始特征的加权和，它建立了特征映射之间的长期语义依赖关系，有助于提高特定语义的特征表示，从而提高云与云阴影检测结果的完整性。
在卷积神经网络中，一般通过扩大感受野来增强语义信息的提取。扩大感受野的方法主要为增大卷积核的尺寸和增加网络的层数。然而，随着卷积核尺寸的增大和网络层数的加深，会导致空间信息提取能力减弱、计算复杂度增大和训练时长增加。因此，本申请引入不同扩张率的空洞卷积对特征图进行特征提取。
空洞卷积通过改变扩张率来增大或者减小感受野的同时可保持卷积核和特征图的尺寸不改变。一个扩张率为2，卷积核尺寸为3×3的空洞卷积，其感受野大小与卷积核尺寸为5×5的卷积感受野大小相同，但前者参数数量更少，同时保留遥感影像细节信息。空洞卷积对应的感受野η表示为：
η＝(k-1)×r+1
其中，r表示扩张率，k表示卷积核尺寸，当r＝1时该卷积为普通卷积。
在一个实施例中，如图7所示，所述改进空洞空间金字塔池化模块包含五个独立分支，其中三个空洞卷积分支由四个不同扩张率的空洞卷积层组成，卷积核尺寸为3×3，扩张率分别为(3，4，6，2)、(4，6，12，3)、(6，18，12，4)；一个卷积分支由一个卷积核尺寸为1×1的卷积层组成；一个池化分支由平均池化层、1×1卷积层、上采样层组成，最后将五个分支输出的特征图进行特征融合。
其中，通过逐步增大扩张率，获得更全面的背景信息；然后减小扩张率，捕获局部信息来增强细节特征的提取能力。
如图8所示，云与云阴影检测模型(RDA-Net)其由编码器路径、解码器路径和一条下边路组成，该云与云阴影检测模型共有八个递归残差模块(ResBlock)、五个双注意力模块(DaBlock)、一个改进空洞空间金字塔池化模块(R-ASPP)，包含步长为1、不改变特征图尺寸的卷积层，以及步长为2、改变特征图尺寸的卷积层。递归残差模块分为四种，分别为递归残差模块1、递归残差模块2、递归残差模块3、递归残差模块4，每个递归残差模块均使用步长为1、卷积核尺寸为3×3的卷积层组成，递归残差模块1、递归残差模块2、递归残差模块3、递归残差模块4对应的卷积层的卷积通道数分别设置为16、32、64、128。
编码器路径中使用步长为2、卷积核尺寸为3×3的卷积层代替池化层，进行下采样运算，将特征图尺寸减半。为获得上下文多尺度信息，将最后一个下采样运算的输出应用改进空洞空间金字塔池化模块(R-ASPP)。为获得全局特征依赖关系，将递归残差模块的输出应用双注意力模块(DaBlock)来获得全局特征依赖关系。解码器路径使用双线性插值法对特征图进行上采样运算来恢复特征图尺寸。在最后一个卷积层后加入比率为0.5的Dropout操作，防止出现过拟合的情况。
下边路由上采样层和特征融合组成，与解码器路径的输出进行特征融合。解码器路径上的接入的最后一个双注意力模块的输出经过1×1的卷积层，将得到的特征输入特征融合相加(SoftmaxWithLoss)层，特征融合相加层使用Softmax函数判断特征中每个像元的类别概率，实现端到端的像素级语义分割，将遥感影像中的像元分为云像元、云阴影像元和下垫面像元。
由于本申请需要解决的是云像元、云阴影像元和下垫面像元的三分类问题，所以使用Softmax函数判断特征中每个像元的类别概率，并利用Softmax函数计算Loss值，Loss函数L(θ)公式定义为：
其中，fu表示类别标签，有Q种取值，本申请研究的为三分类语义分割，所以Q＝3；θ表示模型参数，
是θq的转置；gu表示输入图像像素观测向量G＝{g1,g2,g3…,gU}中的元素；U表示每张图像中像素点的个数；1{·}为显函数，U表示每张特征图像中像素点的个数。
使用Adam优化器对云与云阴影检测模型(RDA-Net)进行参数优化，学习率设置为α＝0.0001，衰减率设置为β1＝0.9和β2＝0.999，批量大小取经验值设置为8。epoch为127次附近时损失函数达到较低值并保持小幅浮动，Loss值达到收敛，保存最优模型并停止训练，获得云与云阴影检测模型(RDA-Net)。
使用测试集输入到云与云阴影检测模型(RDA-Net)，来定量评价云与云阴影检测模型的检测性能，使用精确率PPrecision、准确率AAccuracy、召回率RRecall、F1值F1、均交并比MMIoU五种语义分割定量评价指标。
具体地，所述精确率包括：
所述准确率包括：
所述召回率包括：
所述F1值包括：
所述均交并比包括：
其中，S表示正确检测为云像元的范围；W表示正确检测为非云像元的范围；R表示将云像元误检为非云像元的范围；E表示将非云像元误检为云像元的范围。在计算云像元的各个评价指标时，将云阴影像元划为下垫面像元；在计算云阴影像元的各个评价指标时，将云像元划为下垫面像元。
加入消融实验来探究改进空洞空间金字塔池化模块和递归残差模块对云与云阴影检测模型检测结果的影响。实验包括移除其中一种模块以及同时移除所有模块，使用同一数据集并设置相同的实验参数。使用总体精度OOverall Accuracy作为评价指标，总体精度是指被正确检测的类别像元数与总的类别像元数的比值，总体精度OOverall Accuracy可表示为
其中，V表示每个类别像元被正确检测的范围；V′表示每个类别像元被误检的范围。总体精度与迭代次数(epoch)的关系如图9所示。
图10为本申请与K-means、RU-Net、FCN-8s、SegNet、DeepLab方法对高分一号WFV遥感影像进行云检测结果的视觉对比。选取两张下垫面不同、云形状不同的遥感影像，(a)、(c)是两张遥感影像的原始影像、标签以及各方法的检测结果，(b)、(d)是从(a)、(c)中截取的部分区域。(a)中原始影像包含大量厚云、薄云、碎云和河流，容易产生混淆；(c)中原始影像包含厚云、薄云和冰雪，进行精确的云检测难度较大。由图10可以看出，FCN-8s方法在云检测过程中丢失大量细节，由于只经过三次上采样操作，只能检测出云区的大致位置，无法很好的获得高层语义信息。K-means方法对厚云区域检测效果比较明显，对薄云区域检测效果较差，容易受冰雪等高亮的下垫面影响。SegNet方法增强了上采样操作，检测结果优于FCN-8s和K-means方法，但仍会出现过度分割、细节丢失过多的情况。DeepLab方法得到的云检测结果较好，但存在云边界处检测不够精细的问题。RU-Net方法利用残差模块和多尺度特征融合技术取得很好的像素级云检测结果，但在某些边缘区域检测效果仍不精确。RDA-Net方法进行像素级云检测效果最佳，可以很好的区分云区域与冰雪等高亮的下垫面，精确检测出细小的云边缘区域以及较难检测的薄云区域。
图11为本申请与RU-Net方法对高分一号WFV遥感影像进行云阴影检测结果的视觉对比。原始影像中包含大量薄云，精确检测出薄云的阴影难度较大。云与云阴影标签中白色表示云区域，灰色表示云阴影区域，黑色表示下垫面区域。由图11可以看出，RU-Net方法对云阴影检测效果较差，细节丢失严重，无法精确检测薄云阴影；使用RDA-Net方法进行像素级云阴影检测取得较好效果，可以很好的检测出薄云阴影，其检测结果优于RU-Net方法，能够保留更多云阴影边缘细节。
表1为本方法与K-means、RU-Net、FCN-8s、SegNet、DeepLab方法对21张高分一号WFV遥感影像测试集进行云检测得出的定量评价指标的平均值。由表1可以看出，K-means方法云检测效果最差，因为该方法容易受高亮的下垫面影响，所以各评价指标较低。FCN-8s方法准确率和召回率较低，检测过程中丢失大量细节。SegNet和DeepLab方法精确率和准确率相对较低，云边界处检测不够精细。RU-Net方法取得很好的云检测效果，但RU-Net方法整体评价指标低于RDA-Net方法。RDA-Net方法云检测效果最好，在整体定量评价指标上较其他方法有明显优势，精确率可达94.74％，准确率达97.82％，召回率达93.69％，F1值达0.9421，均交并比达0.8790，综合性能明显优于其他云检测方法。
表1
表2为本发明方法与RU-Net方法对21张高分一号WFV遥感影像测试集进行云阴影检测得出的定量评价指标的平均值。由表2可以看出，RDA-Net方法各评价指标均高于RU-Net方法，精确率可达85.25％，准确率达96.04％，召回率达80.38％，F1值达0.8274。相较于RU-Net方法使用的普通残差结构，RDA-Net方法引入递归残差模块，结合双注意力模块和改进空洞空间金字塔池化模块，从而综合性能明显优于RU-Net方法，可有效对云阴影进行检测。
表2
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于双注意力神经网络的遥感影像云与云阴影检测方法，其特征在于，所述方法包括：
获取待检测的遥感影像；
将所述待检测的遥感影像输入至训练好的云与云阴影检测模型中，对所述待检测的遥感影像中的云和云阴影的位置进行检测，获得云和云阴影的位置检测结果；
所述云与云阴影检测模型的训练方式包括：
获取遥感影像数据集，所述遥感影像数据集中包含了各遥感影像对应的标签信息，所述标签信息标记了云与云阴影的位置；
将所述遥感影像数据集按预设比例分为训练集和验证集；
利用所述训练集和所述验证集对有监督的双注意力神经网络模型进行训练和验证，获得云与云阴影检测模型，所述云与云阴影检测模型由递归残差模块、双注意力模块、改进空洞空间金字塔池化模块、卷积层、上采样层和Concat层组成。
2.根据权利要求1所述的方法，其特征在于，所述递归残差模块包括一个第一卷积层和三个递归残差单元，所述递归残差单元由批量归一化层、激活函数、权重和第二卷积层依次连接，每个递归残差单元都与第一卷积层进行跳跃连接；
所述递归残差单元表示为：
Pt＝F(Pt-1,σ)+P0
其中，t＝1,2,3…,T0，T0表示递归残差模块中递归残差单元的数目；Pt-1和Pt分别表示第t个递归残差单元的输入和输出；P0表示递归残差模块中第一卷积层的输出结果；F(Pt-1,σ)表示学习到的残差映射，σ为权值。
3.根据权利要求1所述的方法，其特征在于，所述双注意力模块包括位置注意力模块和通道注意力模块；
所述位置注意力模块将获取的特征图A，
应用1×1卷积层，得到特征图B、C和D，B、C和
其中，
为特征图第一尺寸；
将特征图B、C和D的维度重塑为
其中，
为特征图第二尺寸，N0＝H0×W0为像素数量，C0为通道数，H0为高度，W0为宽度；将特征图C的转置矩阵与特征图B进行矩阵相乘，把运算结果应用Softmax层，得到空间注意力图谱Z，
空间注意力图谱Z表示为：
其中，zji表示特征图中第i个像素位置与第j个像素位置之间的相关性，Bi为特征图B的第i个像素位置，Cj为特征图C的第j个像素位置；
将特征图D与空间注意力图谱Z的转置矩阵进行矩阵相乘，把计算结果的维度重塑为
得到特征M，
特征M表示为：
其中，mj为特征图M的第j个像素位置，Di为特征图D的第i个像素位置；
将特征M乘以尺度系数δ并与特征图A进行元素求和，得到输出特征图O，
输出的特征图O表示为：
O＝oj＝δmj+Aj
其中，尺度系数δ的初始值为0，oj为特征图O的第j个像素位置，Aj为特征图A的第j个像素位置。
4.根据权利要求3所述的方法，其特征在于，所述通道注意力模块将获取的特征图A，
重塑为
将特征图A与特征图A的转置矩阵进行矩阵相乘，把运算结果应用Softmax层，得到通道注意力图谱H，
所述通道注意力图谱H可表示为：
其中，hji表示特征图A中第i个通道与第j个通道之间的相关性，Ai为特征图A的第i个像素位置；
将特征图A与通道注意力图谱A的转置矩阵进行矩阵相乘，把运算结果的维度重塑为
得到特征N，
特征N表示为：
其中，nj为特征图N的第j个像素位置；
将特征N乘以尺度系数
并与特征图A进行元素求和，得到输出所有通道特征与原始特征的加权和Y，
Y为所有通道特征与原始特征的加权和，表示为：
其中，尺度系数
的初始值为0，随着训练逐步改变权重。
5.根据权利要求1所述的方法，其特征在于，所述改进空洞空间金字塔池化模块包含五个独立分支，其中三个空洞卷积分支由四个不同扩张率的空洞卷积层组成，卷积核尺寸为3×3，扩张率分别为(3，4，6，2)、(4，6，12，3)、(6，18，12，4)；一个卷积分支由一个卷积核尺寸为1×1的卷积层组成；一个池化分支由平均池化层、1×1卷积层、上采样层组成，最后将五个分支输出的特征图进行特征融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111409905.0A CN114220001A (zh) | 2021-11-25 | 2021-11-25 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111409905.0A CN114220001A (zh) | 2021-11-25 | 2021-11-25 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114220001A true CN114220001A (zh) | 2022-03-22 |
Family
ID=80698237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111409905.0A Pending CN114220001A (zh) | 2021-11-25 | 2021-11-25 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114220001A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937154A (zh) * | 2022-06-02 | 2022-08-23 | 中南大学 | 一种基于递归解码器的显著性检测方法 |
| CN115019170A (zh) * | 2022-06-02 | 2022-09-06 | 桂林电子科技大学 | 一种基于辐射仿真数据的深度学习偏振遥感云检测方法 |
| CN115147412A (zh) * | 2022-08-31 | 2022-10-04 | 武汉大学 | 一种内存传递的长时序网络及视频阴影检测方法 |
| CN115359370A (zh) * | 2022-10-21 | 2022-11-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 |
| CN115482463A (zh) * | 2022-09-01 | 2022-12-16 | 北京低碳清洁能源研究院 | 一种生成对抗网络矿区土地覆盖识别方法及系统 |
| CN115546658A (zh) * | 2022-09-26 | 2022-12-30 | 北华航天工业学院 | 一种数据集质量提升与改进cnn相结合的夜间云检测方法 |
| CN116645696A (zh) * | 2023-05-31 | 2023-08-25 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
| CN117292276A (zh) * | 2023-11-24 | 2023-12-26 | 南京航空航天大学 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
| CN117522824A (zh) * | 2023-11-16 | 2024-02-06 | 安徽大学 | 一种基于域知识库的多源域泛化的云和云阴影检测方法 |
| CN118155093A (zh) * | 2024-05-09 | 2024-06-07 | 南京航空航天大学 | 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 |
-
2021
- 2021-11-25 CN CN202111409905.0A patent/CN114220001A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937154A (zh) * | 2022-06-02 | 2022-08-23 | 中南大学 | 一种基于递归解码器的显著性检测方法 |
| CN115019170A (zh) * | 2022-06-02 | 2022-09-06 | 桂林电子科技大学 | 一种基于辐射仿真数据的深度学习偏振遥感云检测方法 |
| CN114937154B (zh) * | 2022-06-02 | 2024-04-26 | 中南大学 | 一种基于递归解码器的显著性检测方法 |
| CN115147412A (zh) * | 2022-08-31 | 2022-10-04 | 武汉大学 | 一种内存传递的长时序网络及视频阴影检测方法 |
| CN115147412B (zh) * | 2022-08-31 | 2022-12-16 | 武汉大学 | 一种内存传递的长时序网络及视频阴影检测方法 |
| CN115482463B (zh) * | 2022-09-01 | 2023-05-05 | 北京低碳清洁能源研究院 | 一种生成对抗网络矿区土地覆盖识别方法及系统 |
| CN115482463A (zh) * | 2022-09-01 | 2022-12-16 | 北京低碳清洁能源研究院 | 一种生成对抗网络矿区土地覆盖识别方法及系统 |
| CN115546658A (zh) * | 2022-09-26 | 2022-12-30 | 北华航天工业学院 | 一种数据集质量提升与改进cnn相结合的夜间云检测方法 |
| CN115546658B (zh) * | 2022-09-26 | 2023-05-05 | 北华航天工业学院 | 一种数据集质量提升与改进cnn相结合的夜间云检测方法 |
| CN115359370B (zh) * | 2022-10-21 | 2023-01-24 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 |
| CN115359370A (zh) * | 2022-10-21 | 2022-11-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 |
| CN116645696A (zh) * | 2023-05-31 | 2023-08-25 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
| CN116645696B (zh) * | 2023-05-31 | 2024-02-02 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
| CN117522824A (zh) * | 2023-11-16 | 2024-02-06 | 安徽大学 | 一种基于域知识库的多源域泛化的云和云阴影检测方法 |
| CN117522824B (zh) * | 2023-11-16 | 2024-05-14 | 安徽大学 | 一种基于域知识库的多源域泛化的云和云阴影检测方法 |
| CN117292276A (zh) * | 2023-11-24 | 2023-12-26 | 南京航空航天大学 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
| CN117292276B (zh) * | 2023-11-24 | 2024-01-30 | 南京航空航天大学 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
| CN118155093A (zh) * | 2024-05-09 | 2024-06-07 | 南京航空航天大学 | 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114220001A (zh) | 基于双注意力神经网络的遥感影像云与云阴影检测方法 | |
| Guo et al. | CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| Lu et al. | Multi-scale strip pooling feature aggregation network for cloud and cloud shadow segmentation | |
| CN114187450B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN113936204B (zh) | 融合地形数据与深度神经网络的高分辨率遥感影像云雪识别方法及装置 | |
| CN113609889B (zh) | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 | |
| CN113239830B (zh) | 一种基于全尺度特征融合的遥感图像云检测方法 | |
| CN113642390A (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN113887472B (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
| CN111368843A (zh) | 一种基于语义分割的冰上湖提取的方法 | |
| CN115830596A (zh) | 基于融合金字塔注意力的遥感图像语义分割方法 | |
| CN115546640A (zh) | 遥感影像的云检测方法、装置、电子设备及存储介质 | |
| CN114943893A (zh) | 一种土地覆盖分类的特征增强网络 | |
| CN115205618A (zh) | 地表覆盖分类模型训练方法、地表覆盖分类方法及装置 | |
| Xia et al. | Cloud/snow recognition of satellite cloud images based on multiscale fusion attention network | |
| Byun et al. | Deep learning-based rainfall prediction using cloud image analysis | |
| CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
| CN117523333A (zh) | 一种基于注意力机制的地表覆盖分类方法 | |
| CN117496154A (zh) | 基于概率图表征边缘的高分辨率遥感影像语义分割方法 | |
| CN112990041A (zh) | 一种基于改进型U-net的遥感影像建筑物提取方法 | |
| CN117409020A (zh) | 一种基于地基的全天空图像云量计算方法和系统 | |
| CN116630610A (zh) | 基于语义分割模型和条件随机场的roi区域提取方法 | |
| Ebert-Uphoff et al. | Evaluation, tuning and interpretation of neural networks for meteorological applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |