CN113887472A - 基于级联颜色及纹理特征注意力的遥感图像云检测方法 - Google Patents

基于级联颜色及纹理特征注意力的遥感图像云检测方法 Download PDF

Info

Publication number
CN113887472A
CN113887472A CN202111203102.XA CN202111203102A CN113887472A CN 113887472 A CN113887472 A CN 113887472A CN 202111203102 A CN202111203102 A CN 202111203102A CN 113887472 A CN113887472 A CN 113887472A
Authority
CN
China
Prior art keywords
layer
convolution
color
remote sensing
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111203102.XA
Other languages
English (en)
Inventor
张静
吴俊�
王慧
王雨晨
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111203102.XA priority Critical patent/CN113887472A/zh
Publication of CN113887472A publication Critical patent/CN113887472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于级联颜色及纹理特征注意力的遥感图像云检测方法。本发明的实现步骤为：生成训练集；构建遥感图像云检测网络；训练遥感图像云检测网络；检测含云的遥感图像。本发明利用颜色特征提取子网和纹理特征提取子网，克服了现有技术中提取的浅层特征缺少云与地物的差异，导致薄云特征难以提取的问题，使得本发明提升了非边界处薄云的检测准确率。本发明利用颜色特征注意力模块和纹理特征注意力模块，克服了现有技术中边界和薄云区域有较大的误检和漏检的问题，使得本发明提升了薄云的检测准确率，降低了漏检率和误检率，提高了云检测的整体准确率。

Description

基于级联颜色及纹理特征注意力的遥感图像云检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像检测技术领域中的一种基于级联颜色及纹理特征注意力的遥感图像云检测方法。本发明可用于在遥感图像中分割及剔除含有云的图像部分。
背景技术
遥感图像是指记录各种地物电磁波大小的胶片或照片。遥感图像已经被广泛应用于环境监测、气象预测、城市规划等各个领域。在遥感图像中，由于云层的遮挡导致地物信息的缺失这一问题尤为显著。根据国际卫星云气候计划ISCCP(International SatelliteCloud Climatology Project)的研究表明，全球超过一半的区域常常被云所覆盖。所以卫星获取的遥感图像中，由于云的遮挡，大部分波段并不能穿透云层，无法获取到云遮挡下的地物信息。由此影响到遥感图像在农业水文检测、城市规划等多方面的应用。
哈尔滨工业大学在其申请的专利文献“基于多尺度融合语义分割网络的遥感图像云检测方法”(申请号：201910436645.2，申请公布号：CN 110119728 A，公布日期：2019.8.13)中提出了一种基于多尺度融合语义分割网络的遥感图像云检测方法。该方法的主要步骤是：(1)从真实全色可见光遥感图像数据集中随机选取N张作为原始遥感图像，并做预处理；(2)将经预处理后的图像作为训练集输入语义分割网络进行训练，获得训练好的语义分割网络；(3)对待检测的遥感图像进行预处理，获得经预处理后的待检测图像；(4)将经预处理后的待检测图像输入到训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；(5)将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。但是，该方法仍然存在的不足之处是：该方法仅能检测厚云和边界处的薄云，由于多尺度融合语义分割网络仅使用卷积操作来提取特征，导致云和地物的先验信息的缺失，从而导致利用多尺度融合语义分割网络提取的浅层特征缺少云与地物的差异特征，对非边界处的薄云的检测准确率较低，检测结果中存在边界模糊的问题。
张永宏等人在其发表的论文“基于改进U-Net网络的遥感图像云检测”(测绘通报，2020，03：17-20公开日期2020.03.25)中提出了一种基于改进U-Net网络的遥感图像云检测方法。该方法的步骤是：(1)采集来自FY-4A卫星的遥感数据生成训练集；(2)对遥感图像进行几何校正，通过像素点赋值的方式将结果为云的像素赋值为1，其余像素赋值为0，生成二值化的云标签；(3)使用残差模块和密集链接模块构建改进U-Net网络，并将训练集输入改进U-Net网络中进行训练，得到训练好的改进U-Net云检测网络；(4)将待检测图像输入训练好的改进U-Net云检测网络中，输出云检测结果。该方法利用残差模块与编码器相结合便于信息的传播，同时提高了模型的泛化性能，将密集连接模块将上层特征与深层特征进行级联，以提取新的特征，提高特征信息的复用率。但是，该方法仍然存在的不足之处是：该方法仅能检测大片的厚云，由于弱特征在网络中的传递被密集连接模块抑制，薄云的特征传递被减弱，导致不能提取薄云的特征，对于云边界和薄云区域仍然会有较大的误检和漏检。
发明内容
本发明的目的在于针对上述现有技术的不足，提供一种基于级联颜色及纹理特征注意力的遥感图像云检测方法，用于解决现有云检测技术检测效果不佳，检测结果中云边界和薄云区域检测精度低，边界模糊的问题。
实现本发明目的的思路是：本发明分别构建颜色特征提取子网和纹理特征提取子网，由于云的暗通道先验特征与地物有明显的区别，在颜色特征提取子网中设计了暗通道先验层用于提取云的颜色特征，由于云与地物的纹理差异能很好区分云的边界，在纹理特征提取子网中提取云的纹理特征，提升了边界特征提取能力。本发明分别构建颜色特征注意力模块和纹理特征注意力模块，在颜色特征注意力模块和纹理特征注意力模块中设计了膨胀卷积层用于提取多尺度特征，使用池化层和卷积层提取注意力，增强了颜色和纹理特征，并通过将颜色特征注意力模块和纹理特征注意力模块级联，构建级联颜色和纹理特征注意力模块，使用级联结构实现了颜色和纹理特征的融合，使得遥感图像云检测能够聚焦薄云和边界特征，从而提升薄云和边界区域的检测精度，改善云检测结果中边界模糊的问题。
为实现上述目的，本发明的技术方案包括如下：
(1)生成训练集：
(1a)选取至少50+张含有云的遥感图像，其中每张遥感图像的尺寸为512×512，每张遥感图像中至少包含1个云区域；
(1b)标注每张遥感图像中的云区域，并生成标注后每个遥感图像对应的标签文件；
(1c)将所有遥感图像及其对应的标签文件组成训练集；
(2)构建基于级联颜色及纹理特征注意力的遥感图像云检测网络：
(2a)构建颜色特征注意力模块：
构建一个用于增强颜色特征的颜色特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，加法层，第3卷积层以及输出层；
其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，加法层还与第2输入层相连；
设置颜色特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，3个膨胀卷积和第1至3卷积层的卷积核大小均设置为3×3，激活层使用Sigmoid函数；
(2b)构建纹理特征注意力模块：
构建一个用于增强细节纹理特征的纹理特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，减法层，第3卷积层以及输出层；
其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，减法层还与第2输入层相连；
设置纹理特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，第1至3膨胀卷积层和第1至3卷积层的卷积核大小均设置为3×3，激活层使用Sigmoid函数；
(2c)构建颜色特征提取子网：
构建一个用于提取颜色特征的颜色特征提取子网，其结构依次为：暗通道先验层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层；
设置颜色特征提取子网各层参数如下：第1至3卷积层的卷积核大小均设置为3×3，通道数分别设置为2、4、8，第1至3下采样层的下采样核大小均设置为2×2；
(2d)构建纹理特征提取子网：
构建一个用于提取纹理特征的纹理特征提取子网，其结构依次为：NSCT层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层；
设置纹理特征提取子网各层参数如下：将第1至3卷积层的卷积核大小均设置为3×3，通道数分别设置为2、4、8；将第1至3下采样层的下采样核大小均设置为2×2；
(2e)构建编解码子网：
构建一个编解码子网，其结构依次为：输入层，第1尺度变换层，第2尺度变换层，第3尺度变换层，第4尺度变换层，第1卷积层，第1尺度恢复层，第2尺度恢复层，第3尺度恢复层，第4尺度恢复层，第2卷积层，输出层；其中，第1至4尺度变换层的结构均由第1卷积层、通道拼接层、第2卷积层和下采样层串联组成，第1至4尺度恢复层的结构均由上采样层、通道拼接层和卷积层串联组成；第1尺度变换层中的第2卷积层与第4尺度恢复层中的通道拼接层连接，第2尺度变换层中的第2卷积层与第3尺度恢复层中的通道拼接层连接，第3尺度变换层中的第2卷积层与第2尺度恢复层中的通道拼接层连接，第4尺度变换层中的第2卷积层与第1尺度恢复层中的通道拼接层连接；
设置编解码子网各层参数如下：将第1至2卷积层、第1至4尺度变换层中的第1至2卷积层以及第1至4尺度恢复层中的卷积层的卷积核大小均设置为3×3，将第1至4尺度变换层中的下采样层的下采样核大小均设置为2×2，将第1至4尺度恢复层中的上采样层的上采样核大小均设置为2×2；
(2f)将4个相同结构的颜色特征注意力模块、4个相同结构的纹理特征注意力模块、颜色特征提取子网、纹理特征提取子网和编解码子网，以模块嵌入连接方式组成基于级联颜色及纹理特征注意力的云检测网络；
(3)训练遥感图像云检测网络：
将训练集输入到遥感图像云检测网络中，采用梯度下降法，对该网络的参数进行迭代更新，直至网络的损失函数的值收敛时为止，得到训练好的遥感图像云检测网络；
(4)检测含云的遥感图像：
将待检测的含有云的遥感图像输入到训练好的遥感图像云检测网络中，输出云检测结果。
本发明与现有技术相比，具有以下优点：
第一，由于本发明同时构建用于提取颜色特征的颜色特征提取子网和用于提取纹理特征的纹理特征提取子网，二者可用于提取遥感图像中的云和地物的先验信息，克服了现有技术中提取的浅层特征缺少云与地物的差异特征导致薄云特征难以提取的问题，使得本发明提升了非边界处的薄云的检测准确率。
第二，由于本发明同时构建用于增强颜色特征的颜色特征注意力模块和用于增强细节纹理特征的纹理特征注意力模块，聚焦于薄云的特征，增强了对弱特征的提取，克服了现有技术中薄云特征被抑制，对于云边界和薄云区域仍会有较大的误检和漏检的问题，使得本发明提升了薄云的检测准确率，降低了漏检率和误检率，提高了云检测的整体准确率。
附图说明
图1是本发明的流程图；
图2是本发明颜色特征注意力模块结构示意图；
图3是本发明纹理特征注意力模块结构示意图；
图4是本发明颜色特征提取子网结构示意图；
图5是本发明纹理特征提取子网结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作详细的描述。
参照图1对本发明的具体实现步骤作进一步的描述。
步骤1，生成训练集。
选取至少50张含有云的遥感图像，其中每张遥感图像的尺寸为512×512，每张遥感图像中至少包含1个云区域。
标注每张遥感图像中的云区域，并生成标注后每个遥感图像对应的标签文件。
将所有遥感图像及其对应的标签文件组成训练集。
步骤2，构建基于级联颜色及纹理特征注意力的遥感图像云检测网络。
第一步，构建一个用于增强颜色特征的颜色特征注意力模块。
参照图2，对本发明构建的颜色特征注意力模块做进一步的描述。
颜色特征注意力模块的结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，加法层，第3卷积层以及输出层。
其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，加法层还与第2输入层相连。
设置颜色特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，3个膨胀卷积和第1至3卷积层的卷积核大小均设置为3×3，激活层使用Sigmoid函数。
第二步，构建一个用于增强细节纹理特征的纹理特征注意力模块。
参照图3，对本发明的纹理特征注意力模块做进一步的描述。
纹理特征注意力模块的结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，减法层，第3卷积层以及输出层。
其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，减法层还与第2输入层相连。
设置纹理特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，第1至3膨胀卷积层和第1至3卷积层的卷积核大小均设置为3×3，激活层使用Sigmoid函数。
第三步，构建一个用于提取颜色特征的颜色特征提取子网。
参照图4，对本发明的颜色特征提取子网做进一步的描述。
颜色特征提取子网的结构依次为：暗通道先验层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层。
设置颜色特征提取子网各层参数如下：第1至3卷积层的卷积核大小均设置为3×3，通道数分别设置为2、4、8，第1至3下采样层的下采样核大小均设置为2×2。
本发明的实施例中所构建暗通道先验层包含如下操作：
首先，提取遥感图像中的R、G和B三个可见光谱带，构成包含R-G-B三个通道的图像FR-G-B。
然后，按照如下公式提取暗通道先验：
Figure BDA0003305775670000071
其中，Fdark表示提取的暗通道先验，min表示取最小值操作，c∈[R,G,B]表示第一步中提取的图像FR-G-B中的R、G和B三个通道。
第四步，构建一个用于提取纹理特征的纹理特征提取子网。
参照图5，对本发明的纹理特征提取子网做进一步的描述。
纹理特征提取子网的结构依次为：NSCT层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层。
设置纹理特征提取子网各层参数如下：将第1至3卷积层的卷积核大小均设置为3×3，通道数分别设置为2、4、8；将第1至3下采样层的下采样核大小均设置为2×2。
第五步，构建编解码子网：
构建一个编解码子网，其结构依次为：输入层，第1尺度变换层，第2尺度变换层，第3尺度变换层，第4尺度变换层，第1卷积层，第1尺度恢复层，第2尺度恢复层，第3尺度恢复层，第4尺度恢复层，第2卷积层，输出层；其中，第1至4尺度变换层的结构均由第1卷积层、通道拼接层、第2卷积层和下采样层串联组成，第1至4尺度恢复层的结构均由上采样层、通道拼接层和卷积层串联组成；第1尺度变换层中的第2卷积层与第4尺度恢复层中的通道拼接层连接，第2尺度变换层中的第2卷积层与第3尺度恢复层中的通道拼接层连接，第3尺度变换层中的第2卷积层与第2尺度恢复层中的通道拼接层连接，第4尺度变换层中的第2卷积层与第1尺度恢复层中的通道拼接层连接。
设置编解码子网各层参数如下：将第1至2卷积层、第1至4尺度变换层中的第1至2卷积层以及第1至4尺度恢复层中的卷积层的卷积核大小均设置为3×3，将第1至4尺度变换层中的下采样层的下采样核大小均设置为2×2，将第1至4尺度恢复层中的上采样层的上采样核大小均设置为2×2。
第六步，将4个相同结构的颜色特征注意力模块、4个相同结构的纹理特征注意力模块、颜色特征提取子网、纹理特征提取子网和编解码子网，以模块嵌入连接方式组成基于级联颜色及纹理特征注意力的云检测网络。
本发明的实施例中模块嵌入连接方式如下：
将编解码子网的输入层与颜色特征提取子网的暗通道先验层连接，将颜色特征提取子网的暗通道先验层和NSCT层连接。
将1个颜色特征注意力模块的输出层与1个纹理特征注意力模块的第2输入层连接，构成1个级联颜色和纹理特征注意力模块，将4个颜色特征注意力模块和4个纹理特征注意力模块分别按上述方式连接，构成4个级联颜色和纹理特征注意力模块。
将特征提取子网的暗通道先验层和NSCT层与第1个级联颜色和纹理特征注意力模块连接，将第1个级联颜色和纹理特征注意力模块的输出层与编解码子网的第1通道拼接层连接。
将颜色特征提取子网的第1下采样层和纹理特征提取子网的第1下采样层分别与第2个级联颜色和纹理特征注意力模块连接，将第2个级联颜色和纹理特征注意力模块的输出层与编解码子网的第2通道拼接层连接。
将颜色特征提取子网的第2下采样层和纹理特征提取子网的第2下采样层分别与第3个级联颜色和纹理特征注意力模块连接，将第3个级联颜色和纹理特征注意力模块的输出层与编解码子网的第3通道拼接层连接。
将颜色特征提取子网的第3下采样层和纹理特征提取子网的第3下采样层分别与第4个级联颜色和纹理特征注意力模块连接，将第4个级联颜色和纹理特征注意力模块的输出层与编解码子网的第4通道拼接层连接，组成遥感图像云检测网络。
步骤3，训练遥感图像云检测网络。
将训练集输入到遥感图像云检测网络中，采用梯度下降法，对该网络的参数进行迭代更新，直至网络的损失函数的值收敛时为止，得到训练好的遥感图像云检测网络。
本发明的实施例中所述的损失函数的计算公式为：
Figure BDA0003305775670000091
其中，L表示损失函数，∑表示求和操作，i表示训练集中遥感图像的序号，yi表示输入到遥感图像云检测网络中的第i张遥感图像对应的标签文件，log(·)表示以2为底数的对数操作，
Figure BDA0003305775670000092
表示使用遥感图像云检测网络对第i张遥感图像进行检测后网络输出的检测结果。
步骤4，检测含云的遥感图像。
将待检测的含有云的遥感图像输入到训练好的遥感图像云检测网络中，输出云检测结果。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真条件：
本发明的仿真实验的硬件平台：处理器为Intel(R)Xeon(R)Sliver 4110 CPU@2.10、内存为64GB、显卡为NVIDIA RTX2080Ti。
本发明的仿真实验的软件平台：在Anaconda的Python 3.6.12虚拟环境中搭建了包含TensorFlow 1.12.0和Keras2.2.4深度学习框架的代码运行环境。
本发明仿真实验所使用的遥感图像数据是由武汉大学地学感知数据质量改善与融合应用研究室创建的GF1_WHU数据集。该数据集中108张成像时间在2013年5月至2016年8月之间的高分一号宽视场相机图像。本发明随机选取其中的86张图像组成训练集，其余22张图像作为测试集。将训练集和测试集中的每一幅图像进行裁剪，得到大小为512×512×4的遥感图像，图像格式为tiff。
2.仿真内容及结果分析：
本发明仿真实验是采用本发明的训练集分别对本发明和两个现有技术(DeepLabv3+，RS-Net)进行训练，得到三个训练好的网络，再将测试集中的22张遥感图像输入到每个训练好的网络进行云检测，得到每个网络对遥感图像进行云检测的结果。
现有技术方法DeepLabv3+指的是：L.C.Chen等人在其发表的论文“Encoder-Decoder with atrous separable convolution for semantic image segmentation”(Proc.Eur.Conf.Comput.Vis.(ECCV),2018，pp.801-818)中提出的基于空洞卷积的卷积神经网络的图像分割方法，简称DeepLabv3+。
现有技术方法RS-Net指的是：J.H.Jeppesen等人在其发表的论文“A clouddetection algorithm for satellite imagery based on deep learning”(RemoteSens.Environ，2019，pp.247-259)中提出的基于编解码结构的深度学习云检测方法，简称RS-Net。
利用两个评价指标(准确率、召回率)分别对三种方法的检测结果进行评价。利用下面公式，计算准确率和召回率。
Figure BDA0003305775670000101
Figure BDA0003305775670000102
将所有计算结果绘制成表1，表1中的Ours表示本发明的仿真实验结果。
表1本发明与其他现有算法客观指标对比
评估指标 Deeplabv3+ RS-Net Ours
准确率 96.18％ 96.71％ 97.35％
召回率 85.99％ 87.92％ 90.10％
综合表1可以看出，本发明的准确率为97.35％，召回率为90.10％，这两个指标均高于两种现有技术方法，证明本发明可以得到更高的遥感图像云检测精度。

Claims (3)

1.一种基于级联颜色及纹理特征注意力的遥感图像云检测方法，其特征在于，构建并训练基于级联颜色及纹理特征注意力的遥感图像云检测网络；该检测方法的步骤包括如下：
步骤1，生成训练集：
(1a)选取至少50张含有云的遥感图像，其中每张遥感图像的尺寸为512×512，每张遥感图像中至少包含1个云区域；
(1b)标注每张遥感图像中的云区域，并生成标注后每个遥感图像对应的标签文件；
(1c)将所有遥感图像及其对应的标签文件组成训练集；
步骤2，构建基于级联颜色及纹理特征注意力的遥感图像云检测网络：
(2a)构建颜色特征注意力模块：
构建一个用于增强颜色特征的颜色特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，加法层，第3卷积层以及输出层；
其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，加法层还与第2输入层相连；
设置颜色特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，3个膨胀卷积和第1至3卷积层的卷积核大小均设置为3×3，激活层使用Sigmoid函数；
(2b)构建分别构建：
构建一个用于增强细节纹理特征的纹理特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，减法层，第3卷积层以及输出层；
其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，减法层还与第2输入层相连；
设置纹理特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，第1至3膨胀卷积层和第1至3卷积层的卷积核大小均设置为3×3，激活层使用Sigmoid函数；
(2c)构建颜色特征提取子网：
构建一个用于提取颜色特征的颜色特征提取子网，其结构依次为：暗通道先验层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层；
设置颜色特征提取子网各层参数如下：第1至3卷积层的卷积核大小均设置为3×3，通道数分别设置为2、4、8，第1至3下采样层的下采样核大小均设置为2×2；
(2d)构建纹理特征提取子网：
构建一个用于提取纹理特征的纹理特征提取子网，其结构依次为：NSCT层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层；
设置纹理特征提取子网各层参数如下：将第1至3卷积层的卷积核大小均设置为3×3，通道数分别设置为2、4、8；将第1至3下采样层的下采样核大小均设置为2×2；
(2e)构建编解码子网：
构建一个编解码子网，其结构依次为：输入层，第1尺度变换层，第2尺度变换层，第3尺度变换层，第4尺度变换层，第1卷积层，第1尺度恢复层，第2尺度恢复层，第3尺度恢复层，第4尺度恢复层，第2卷积层，输出层；其中，第1至4尺度变换层的结构均由第1卷积层、通道拼接层、第2卷积层和下采样层串联组成，第1至4尺度恢复层的结构均由上采样层、通道拼接层和卷积层串联组成；第1尺度变换层中的第2卷积层与第4尺度恢复层中的通道拼接层连接，第2尺度变换层中的第2卷积层与第3尺度恢复层中的通道拼接层连接，第3尺度变换层中的第2卷积层与第2尺度恢复层中的通道拼接层连接，第4尺度变换层中的第2卷积层与第1尺度恢复层中的通道拼接层连接；
设置编解码子网各层参数如下：将第1至2卷积层、第1至4尺度变换层中的第1至2卷积层以及第1至4尺度恢复层中的卷积层的卷积核大小均设置为3×3，将第1至4尺度变换层中的下采样层的下采样核大小均设置为2×2，将第1至4尺度恢复层中的上采样层的上采样核大小均设置为2×2；
(2f)将4个相同结构的颜色特征注意力模块、4个相同结构的纹理特征注意力模块、颜色特征提取子网、纹理特征提取子网和编解码子网，以模块嵌入连接方式组成基于级联颜色及纹理特征注意力的云检测网络；
步骤3，训练遥感图像云检测网络：
将训练集输入到遥感图像云检测网络中，采用梯度下降法，对该网络的参数进行迭代更新，直至网络的损失函数的值收敛时为止，得到训练好的遥感图像云检测网络；
步骤4，检测含云的遥感图像：
将待检测的含有云的遥感图像输入到训练好的遥感图像云检测网络中，输出云检测结果。
2.根据权利要求1所述的基于级联颜色及纹理特征注意力的遥感图像云检测方法，其特征在于，步骤(2f)中所述的模块嵌入连接方式指的是：
将编解码子网的输入层与颜色特征提取子网的暗通道先验层连接，将颜色特征提取子网的暗通道先验层和NSCT层连接；
将1个颜色特征注意力模块的输出层与1个纹理特征注意力模块的第2输入层连接，构成1个级联颜色和纹理特征注意力模块，将4个颜色特征注意力模块和4个纹理特征注意力模块分别按上述方式连接，构成4个级联颜色和纹理特征注意力模块；
将特征提取子网的暗通道先验层和NSCT层与第1个级联颜色和纹理特征注意力模块连接，将第1个级联颜色和纹理特征注意力模块的输出层与编解码子网的第1通道拼接层连接；
将颜色特征提取子网的第1下采样层和纹理特征提取子网的第1下采样层分别与第2个级联颜色和纹理特征注意力模块连接，将第2个级联颜色和纹理特征注意力模块的输出层与编解码子网的第2通道拼接层连接；
将颜色特征提取子网的第2下采样层和纹理特征提取子网的第2下采样层分别与第3个级联颜色和纹理特征注意力模块连接，将第3个级联颜色和纹理特征注意力模块的输出层与编解码子网的第3通道拼接层连接；
将颜色特征提取子网的第3下采样层和纹理特征提取子网的第3下采样层分别与第4个级联颜色和纹理特征注意力模块连接，将第4个级联颜色和纹理特征注意力模块的输出层与编解码子网的第4通道拼接层连接，组成遥感图像云检测网络。
3.根据权利要求1所述的基于级联颜色及纹理特征注意力的遥感图像云检测方法，其特征在于，步骤3中所述的损失函数如下：
Figure FDA0003305775660000041
其中，L表示损失函数，∑表示求和操作，i表示训练集中遥感图像的序号，yi表示输入到遥感图像云检测网络中的第i张遥感图像对应的标签文件，log(·)表示以2为底数的对数操作，
Figure FDA0003305775660000042
表示使用遥感图像云检测网络对第i张遥感图像进行检测后网络输出的检测结果。
CN202111203102.XA 2021-10-15 2021-10-15 基于级联颜色及纹理特征注意力的遥感图像云检测方法 Pending CN113887472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111203102.XA CN113887472A (zh) 2021-10-15 2021-10-15 基于级联颜色及纹理特征注意力的遥感图像云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111203102.XA CN113887472A (zh) 2021-10-15 2021-10-15 基于级联颜色及纹理特征注意力的遥感图像云检测方法

Publications (1)

Publication Number Publication Date
CN113887472A true CN113887472A (zh) 2022-01-04

Family

ID=79003106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111203102.XA Pending CN113887472A (zh) 2021-10-15 2021-10-15 基于级联颜色及纹理特征注意力的遥感图像云检测方法

Country Status (1)

Country Link
CN (1) CN113887472A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529464A (zh) * 2022-01-14 2022-05-24 电子科技大学 一种基于深度学习的水下图像恢复方法
CN114547017A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 一种基于深度学习的气象大数据融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529464A (zh) * 2022-01-14 2022-05-24 电子科技大学 一种基于深度学习的水下图像恢复方法
CN114547017A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 一种基于深度学习的气象大数据融合方法

Similar Documents

Publication Publication Date Title
Guo et al. CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence
Shendryk et al. Deep learning for multi-modal classification of cloud, shadow and land cover scenes in PlanetScope and Sentinel-2 imagery
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Song et al. Spatiotemporal satellite image fusion using deep convolutional neural networks
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN113887459B (zh) 一种基于改进Unet++的露天矿区采场变化区域检测方法
Song et al. Integration of super-pixel segmentation and deep-learning methods for evaluating earthquake-damaged buildings using single-phase remote sensing imagery
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
US11308714B1 (en) Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
CN111274865A (zh) 一种基于全卷积神经网络的遥感图像云检测方法及装置
Wu et al. A geographic information-driven method and a new large scale dataset for remote sensing cloud/snow detection
Zheng et al. Single image cloud removal using U-Net and generative adversarial networks
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN116091497B (zh) 遥感变化检测方法、装置、电子设备和存储介质
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
Achour et al. A PCA-PD fusion method for change detection in remote sensing multi temporal images
Basso et al. Combining morphological filtering, anisotropic diffusion and block-based data replication for automatically detecting and recovering unscanned gaps in remote sensing images
Luo et al. Extraction of bridges over water from IKONOS panchromatic data
Wang et al. An unsupervised heterogeneous change detection method based on image translation network and post-processing algorithm
Dong et al. A cloud detection method for GaoFen-6 wide field of view imagery based on the spectrum and variance of superpixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination