CN111915592A - 基于深度学习的遥感图像云检测方法 - Google Patents

基于深度学习的遥感图像云检测方法 Download PDF

Info

Publication number
CN111915592A
CN111915592A CN202010772226.9A CN202010772226A CN111915592A CN 111915592 A CN111915592 A CN 111915592A CN 202010772226 A CN202010772226 A CN 202010772226A CN 111915592 A CN111915592 A CN 111915592A
Authority
CN
China
Prior art keywords
image
layer
module
subnet
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010772226.9A
Other languages
English (en)
Other versions
CN111915592B (zh
Inventor
张静
王慧
王雨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010772226.9A priority Critical patent/CN111915592B/zh
Publication of CN111915592A publication Critical patent/CN111915592A/zh
Application granted granted Critical
Publication of CN111915592B publication Critical patent/CN111915592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提出了基于深度学习的遥感图像云检测方法,用于解决现有技术中存在的由于网络随机提取图像特征导致的检测精确度较低和误检率较高的技术问题,实现步骤包括:获取训练图像集和测试图像集;获取暗通道训练图像集和暗通道测试图像集;构建下采样模块D、上采样模块U、空间注意力模块SA和图像特征提取模块;构建云检测网络AUDI‑Net;对云检测网络AUDI‑Net进行迭代训练;获取遥感图像云检测结果。本发明利用小波进行云区域纹理特征的提取,采用注意力模块对暗通道先验图进行空间位置的加强来辅助网络更精确地提取云的特征,提高了云检测精确度,降低了误检率。

Description

基于深度学习的遥感图像云检测方法
技术领域
本发明属于图像处理技术领域,涉及一种遥感图像的云检测方法,具体涉及基于深度学习的遥感图像云检测方法,可用于对遥感图像进行分割、分类等。
背景技术
随着科技的高速发展,卫星遥感技术已广泛应用于农业、林业、地质、地理、海洋、水文、气象、测绘、环境保护和军事侦察等许多领域。根据国际卫星云气候计划ISCCP(International Satellite Cloud Climatology Project)提供的全球云量数据显示,云覆盖了50%以上的地球表面。因此遥感卫星获取卫星图像,通常都会有云的存在,但是这一情况极大的影响了卫星获取到的图像的质量,限制了用于地面信息提取的影像的发展。使得影像识别、分类难以保证精度,有时甚至无法进行。为了提高遥感卫星图像数据的可用性和利用率,我们需要对遥感图像中的云区进行检测和提出,从而消除或降低云的干扰和影响。
云检测是像素级预测任务,旨在标记场景的每个像素是否为云。但是当前算法对于云边界和质地薄弱且强度较低的大面积薄云的有效性可能降低。到目前为止,研究人员已经开发了多种用于遥感图像中云检测的算法,主要包括传统云检测算法和深度学习用于图像分割两类。其中,传统算法主要是以阈值法为主,阈值法主要是利用云层的特性,即高反射性和低温性,通过分析其近红外光谱等将云与地物区分开来。阈值法虽然计算简便并且检测的效率高,但是如果地面上覆盖着冰雪而且云层较薄、存在积云和面积较小的云层时,阈值法往往很难将地物和云层分离开来,因此大部分的光谱检测方法只适用于某些特定的场景中对云层的识别,并不普适,在实际应用中仍然存在许多困难。深度学习网络的性能明显优于传统算法,减少了人工选择阈值的可以自动提取特征,但是网络的学习具有随机性,并且在图像尺度变化的过程中一部分信息丢失,因此有的图片会存在误检,精确度低的缺点。因此如何提高云检测算法的普适性和云检测精度,降低误检率成为遥感图像云检测中亟待解决的问题。
现有的深度学习云检测算法,多数只是调整网络参数或网络的结构,还是依靠卷积和池化来对图像的信息进行提取,例如,申请公布号为CN111274865A,名称为“一种基于全卷积神经网络的遥感图像云检测方法及装置”的专利申请,提出了一种全卷积神经网络的遥感图像云检测方法,构建了SP-HRNet网络模型,网络模型包括连续并行的多分辨率子网络、重复多尺度融合模块以及与深度可分离卷积结合模块。该方法提高网络对特征的提取能力,同时加深网络深度,丰富检测结果的细节信息,一定程度上提高云检测的精度。但由于该方法仍然是利用卷积来自动学习图像的特征,调整网络结构来融合不同尺度的信息,网络的训练仍然具有随机性,没有利用到云的纹理特征,从而无法进一步提高算法的精确度,并且存在一定程度的误检。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了基于深度学习的遥感图像云检测方法,用于解决现有技术中存在的由于网络随机提取图像特征导致的检测精确度较低和误检率较高的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取训练图像集和测试图像集:
从数据集中获取N幅带标签的含有云区域的遥感图像,组成遥感图像样本集P={P1,P2,...,Pi,...,PN}和遥感图像标签样本集L={L1,L2,...,Li,...,LN},并随机选取P中半数以上的遥感图像组成训练图像集Pa={P1 a,P2 a,...,Pj a,...,Pm a},选取L中与Pa对应的遥感图像标签组成训练标签集La={L1 a,L2 a,...,Lj a,...,Lm a},将其余遥感图像组成测试图像集Pb={P1 b,P2 b,...,Pk b,...,Pn b},其中,N≥5000,Pi表示第i幅遥感图像,Li表示Pi对应的遥感图像标签,Pj a表示第j个训练图像,Pk b表示第k幅测试图像,m表示训练图像的总数,n表示测试图像的总数,m+n=N;
(2)获取暗通道训练图像集和暗通道测试图像集:
选取每幅训练图像Pj a中每个像素在所有通道中的最小像素值,得到单通道训练图像集Ga={G1 a,G2 a,...,Gj a,...,Gm a},并将Gj a中的每个像素值替换为以该像素为中心的邻域中所有像素的最小值,得到暗通道训练图像集Da={D1 a,D2 a,...,Dj a,...,Dm a};同时选取每幅测试图像Pk b中每个像素在所有通道中的最小像素值,得到单通道测试图像集Gb={G1 b,G2 b,...,Gk b,...,Gn b},并将Gk b中的每个像素值替换为以该像素为中心的邻域中所有像素的最小值,得到暗通道测试图像集Db={D1 b,D2 b,...,Dk b,...,Dn b},其中,Gj a表示与Pj a对应的单通道图像,Dj a表示与Pj a对应的暗通道图像,Gk b表示与Pk b对应的单通道图像,Dk b表示与Pk b对应的暗通道图像;
(3)构建下采样模块D、上采样模块U、空间注意力模块SA和图像特征提取模块:
(3a)依次层叠的小波计算层、卷积层和批量标准化层,与依次层叠的膨胀卷积层和卷积层并联,再与通道拼接层串联,构成下采样模块D;
(3b)依次层叠的反小波计算层、卷积层和批量标准化层,与依次层叠的膨胀卷积层和反卷积层并联,再与通道拼接层串联,构成上采样模块U;
(3c)通道最大池化层与通道平均池化层并联,再与依次层叠的通道拼接层、卷积层和激活层串联,构成空间注意力模块SA;
(3d)构建包括多个依次层叠的卷积层的图像特征提取模块;
(4)构建云检测网络AUDI-Net:
(4a)将J个图像特征提取模块与J个下采样模块D交替串联成编码子网,将J个上采样模块U与J个图像特征提取模块交替串联成解码子网,再将编码子网的输出与解码子网的输入连接,形成编解码子网,J≥2;
(4b)将J个卷积层与J个空间最大池化层交替串联,每个空间最大池化层上连接一个注意力模块SA,构成Dark子网;
(4c)编码子网中的下采样模块D与以编码子网和解码子网的连接点为对称点的对称位置上的解码子网中的采样模块U之间,通过Dark子网中的一个注意力模块SA连接,得到云检测网络AUDI-Net;
(5)对云检测网络AUDI-Net进行迭代训练:
(5a)初始化迭代次数为s,最大迭代次数为Y,Y≥20,云检测网络AUDI-Net的损失函数为Loss,Loss的收敛值为g,g=0.05,并令s=0;
(5b)将训练图像集Pa和训练标签集La作为编解码子网的输入,编码子网对Pa进行编码,同时将暗通道训练图像集Da作为Dark子网的输入进行暗通道特征的提取,解码子网通过Dark子网提取到的暗通道特征对编码子网的编码结果进行解码,得到AUDI-Net的云检测结果图像集合
Figure BDA0002617070880000041
(5c)采用云检测网络AUDI-Net的损失函数Loss,计算输出云检测结果图像集合
Figure BDA0002617070880000042
与对应的标签La的交叉熵值Losss,并采用Adam算法,通过Losss对AUDI-Net网络进行训练,得到第s次训练的网络AUDI-Nets
(5d)判断Losss≤g或s=Y是否成立,若是,得到训练好的云检测网络AUDI-Net',否则,令s=s+1,并执行步骤(5b);
(6)获取遥感图像云检测结果:
将图像测试集Pb和暗通道训练集Db作为训练好的云检测网络AUDI-Net'的输入进行遥感图像云检测,得到遥感图像云检测结果图像集合
Figure BDA0002617070880000043
其中
Figure BDA0002617070880000044
代表测试图像Pk b中每个像素为云的概率组成的云检测结果图像。
本发明与现有技术相比,具有以下优点:
(1)本发明设计了Dark子网生成多尺度的暗通道图像,还设计了注意力模块SA,对图像进行空间信息的增强。借助对比度更高的暗通道先验特征图的辅助信息,更精确地确定云区域的位置,加强编解码网络的编码端图像特征层的云区域的信息,抑制了图像中的无用信息,并将图像空间位置增强后的结果融入到解码端,引导解码端对重要的云区域进行图像恢复,减少了网络训练时的随机性,实现云检测精确度的提高。
(2)本发明在下采样模块D中利用了小波计算而不是简单的池化,能够充分提取云区的纹理特征,将深度学习和云的传统特征结合起来,深度学习网络可以更准确地提取云区域的信息,减少误检的概率。
(3)本发明在下采样模块D和上采样模块U中均引入了膨胀卷积,扩大了卷积的感受野,但是并没有增加网络的复杂度,能够更好的结合图像的上下文信息,使检测出的云区域具有更强的相关性,误检率降低。
附图说明
图1是本发明的实现流程图;
图2是本发明中的下采样模块D结构图;
图3是本发明中的上采样模块U结构图;
图4是本发明中的空间注意力模块SA结构图;
图5是本发明实施例中所构建的云检测网络AUDI-Net结构示意图;
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
步骤1)获取训练图像集和测试图像集:
从数据集中获取108幅带标签的含有云区域的遥感图像,组成遥感图像样本集P={P1,P2,...,Pi,...,P108}和遥感图像标签样本集L={L1,L2,...,Li,...,L108}。我们选取了包含云区域的高分一号遥感卫星图像以及对应的标签图像作为遥感图像样本集和遥感图像标签样本集。高分一号图像和图像所对应的标签大小相同,标签为二值图像,如果该像素为云,则标签中的对应位置的像素值为255,否则标签像素值为0,标签用于标注遥感图像中云区域像素的位置。高分一号遥感卫星图像的分辨率为16米,具有四个通道,分别为RGB通道和近红外通道。我们对样本集进行训练集和测试集的划分,随机选取86张遥感图像组成训练图像集Pa={P1 a,P2 a,...,Pj a,...,P86 a}以及对应的86张遥感图像标签组成训练标签集La={L1 a,L2 a,...,Lj a,...,L86 a},将其余的22张遥感图像组成测试图像集Pb={P1 b,P2 b,...,Pk b,...,P22 b}。Pi表示第i幅遥感图像,Li表示Pi对应的遥感图像标签,Pj a表示第j个训练图像,Pk b表示第k幅测试图像;
步骤2)获取暗通道训练图像集和暗通道测试图像集:
暗通道先验图像被广泛应用于图像去雾领域,由于云和雾的结构特征很相似,云区域在暗通道中也具有更好的特性表现。在传统算法中,通常采用亮度的阈值来进行云和非云的区分,但是薄云和点云有时在RGB通道没有很高的亮度,而且一些高亮区域很容易被检测为云,检测精度大大下降。但是在暗通道,非云区域往往在某一个通道具有很低的像素值,但是云区域在每个通道都体现为较高的亮度,因此选取所有通道中最小的像素值组成单通道图像,可以使图像具有更高的对比度,使薄云和点云更加突出,非云高亮区域的亮度明显减弱,云区域的位置更加清晰精确。因此选取每幅训练图像Pj a中每个像素在所有通道中的最小像素值,得到单通道训练图像集Ga={G1 a,G2 a,...,Gj a,...,G86 a},并将Gj a中的每个像素值替换为以该像素为中心的3×3邻域中所有像素的最小值,得到暗通道训练图像集Da={D1 a,D2 a,...,Dj a,...,D86 a};同时选取每幅测试图像Pk b中每个像素在所有通道中的最小像素值,得到单通道测试图像集Gb={G1 b,G2 b,...,Gk b,...,G22 b},并将Gk b中的每个像素值替换为以该像素为中心的3×3邻域中所有像素的最小值,得到暗通道测试图像集Db={D1 b,D2 b,...,Dk b,...,D22 b},其中,Gj a表示与Pj a对应的单通道图像,Dj a表示与Pj a对应的暗通道图像,Gk b表示与Pk b对应的单通道图像,Dk b表示与Pk b对应的暗通道图像。由此得到了训练集和测试集的暗通道先验特征图用于辅助深度学习网络对云的特征的提取;
步骤3)构建下采样模块D、上采样模块U、空间注意力模块SA和图像特征提取模块:
(3a)首先,小波计算层、卷积层和批量标准化层依次层叠。小波计算层采用、Haar小波作为小波基,提取图像的低频和高频信息。通常选用池化作为下采样的方法,但是池化操作仅保留图像的低频信息,图像的高频信息以及细节信息丢失,不利于解码端进行图像的恢复。小波计算后得到一个尺寸减半的低频子图和三个尺寸减半的高频图像,对四张图像进行通道的拼接传入卷积层。卷积层的卷积核大小为3×3,卷积核移动的步长为1,卷积后图像的尺寸和小波计算后的图像大小相同,为传入小波计算层的图像大小的二分之一。另一条支路上膨胀卷积层和卷积层依次层叠,膨胀卷积层的卷积核大小为3×3,膨胀率为3。膨胀卷积可以扩大感受野,在不改变网络复杂度,不增加参数的条件下增强了图像之间的相关性,更好地结合图像上下文信息,依次层叠的卷积层卷积核大小为3×3,卷积核移动的步长为2,可以实现图像尺寸的减小。两条支路并联后再与通道拼接层进行串联,构成如图2所示的下采样模块D,经过下采样模块的图像尺寸会变为原来的一半,通道数会加深;
(3b)为了更好地恢复图像,利用下采样模块中提取到的纹理特征,上采样和下采样模块的结构对称,网络更加稳定。依次层叠的反小波计算层、卷积层和批量标准化层,与依次层叠的膨胀卷积层和反卷积层并联,再与通道拼接层串联,构成如图3所示的上采样模块U。反小波计算层将输入的多通道分为四种特性的子通道,四分之一的LL低频图像,四分之三的高频图像:LH,HL,HH。并对多通道的图像进行Haar小波的逆运算。由于在下采样模块中没有丢失高频信息,在上采样模块中对下采样模块提取的高频信息进行了利用,因此上采样后的图像不仅可以实现图像尺寸的放大,还可以保留原图中更多的信息,空间位置信息更贴近原始图像。
(3c)通道最大池化层与通道平均池化层并联,再与依次层叠的通道拼接层、卷积层和激活层串联,构成如图4所示的空间注意力模块SA;通道最大池化和平均池化可以融合所有通道的图像信息,然后通过卷积核大小为3×3,卷积核移动步长为1的卷积层来对图像特征进行提取,并且保持图像尺寸不变,图像的通道变为一通道。对一通道的图像作Sigmoid激活,使得图像像素归一化到0和1中间,因此通过空间注意力模块SA,我们得到了一张和输入图像大小相同,代表空间位置重要性权重的注意力特征图。把注意力特征图与我们需要加强空间位置信息的图像进行相乘,就会得到空间信息加强后的特征图。
(3d)构建包括2个依次层叠的卷积层的图像特征提取模块,卷积层的卷积核大小为3×3,卷积核移动的步长为1。图像特征提取模块不改变图像尺寸,但是通过卷积对图像进行特征的提取,得到语义信息更加丰富的特征层;
步骤4)构建云检测网络AUDI-Net,其结构如图5所示的:
(4a)将3个图像特征提取模块与3个下采样模块D交替串联成编码子网。编码子网的具体结构为第一个图像特征提取模块→第一个下采样模块D→第二个图像特征提取模块→第二个下采样模块D→第三个图像特征提取模块→第三个下采样模块D。编码子网中图像特征提取模块用于提取不同尺度的图像的特征,下采样模块D则是实现对图像进行纹理特征的提取、图像尺寸的缩小和图像通道的加深。编解码子网通过对图像进行编码,将低级图像转化为含有更加丰富的语义特征的高级图像,实现对云区域的特征的深度学习。然后将3个图像特征提取模块与3个上采样模块U交替串联成解码子网。解码子网与编码子网结构对称,用于对编码后的图像进行解译和恢复。解码子网的具体结构为第一个上采样模块U→第四个图像特征提取模块→第二个上采样模块U→第五个图像特征提取模块→第三个上采样模块U→第五个图像特征提取模块。解码子网中图像特征提取模块用于提取连续上采样过程中不同尺度的图像的特征,上采样模块U则是利用编码端提取到的纹理信息进行图像的信息恢复、图像尺寸的增加和图像通道的减少,经过解码网络的图像恢复为原来的大小。再将编码子网与解码子网串联,形成编解码子网,经过编解码网络的学习,网络可以自动学习到云区域的特征,并且学习原始遥感图像和标签的对应映射关系。
(4b)将3个卷积层与3个空间最大池化层交替串联,每个空间最大池化层上连接一个注意力模块SA,构成Dark子网。Dark子网的具体结构为:卷积层→第一个空间最大池化层→卷积层→第二个空间最大池化层→卷积层→第三个空间最大池化层,其中,卷积层和空间最大池化层的数量J=3,第一个空间最大池化层连接第一个空间注意力模块SA,第二个空间最大池化层连接第二个空间注意力模块SA,第三个空间最大池化层连接第三个空间注意力模块SA。Dark子网用于生成不同尺度的暗通道先验图,并且生成不同尺度的暗通道图像的空间注意权重。卷积层的卷积核大小为3×3,卷积核移动的步长为1。每个空间最大池化层的池化窗口大小为2×2,经过最大池化层的图像尺寸变为输入图像的一半。每个空间最大池化层输出的图像为不同尺度的暗通道先验特征图,分别为原图大小的
Figure BDA0002617070880000091
经过注意力模块SA后,则输出分别为原图大小
Figure BDA0002617070880000092
的暗通道空间注意权重。我们认为暗通道上云区域表现为高对比度,因此输出的暗通道空间注意权重中,云区域的像素权重更高。通过与这些注意力权重相乘,我们可以增强对应的云区域的信息,并且抑制掉图像中的无用信息。
(4c)编码子网的下采样模块D通过Dark子网中的注意力模块SA与解码子网中的上采样模块U连接。具体连接方式为:解码子网的第一个下采样模块D通过第一个空间注意力模块SA与第三个上采样模块U进行连接,解码子网的第二个下采样模块D通过第二个空间注意力模块SA与第二个上采样模块U进行连接,解码子网的第三个下采样模块D通过第三个空间注意力模块SA与第一个上采样模块U进行连接。由此得到了云检测网络AUDI-Net。Dark子网生成不同尺度的暗通道先验注意力特征图,与编码端对应尺度的中间特征图像进行相乘。由于编码端的中间特征图经过了下采,空间信息有所损失,云区域的信息不够清晰精确,但是由于暗通道中云区域表现出更好的特性,通过暗通道辅助信息进行空间位置信息的增强后,编码端的中间特征图像具有更好的云区域特性,空间位置也更加精确,把增强后的编码端图像融合到解码端,解码端可以更好地对图像恢复进行引导。融合了编码端低层次图像和空间信息增强的图像后,解码的精确度大大提高,网络集中精力在有用的云区域信息上,减少了网络训练过程的随机性。
步骤5)对云检测网络AUDI-Net进行迭代训练:
(5a)初始化迭代次数为s,最大迭代次数为100。云检测网络AUDI-Net的权重和损失函数分别为y和Loss,Loss的收敛值为g,并令s=0,g=0.05;
(5b)将训练图像集Pa和训练标签集La作为编解码子网的输入,编码子网对Pa进行编码,同时将暗通道训练图像集Da作为Dark子网的输入进行暗通道特征的提取,解码子网通过Dark子网提取到的暗通道特征对编码结果进行解码,得到AUDI-Net的云检测结果图像集合
Figure BDA0002617070880000101
AUDI-Net的云检测结果为与输入网络的训练图像大小相同的二值图像,图像的数量也相等。云检测结果图像中的每个像素代表了输入图像的对应像素在本次训练过程中的检测结果,如果该像素被网络判断为云像素,则云检测结果中的对应位置像素为255,否则为0;
(5c)采用云检测网络AUDI-Net的损失函数Loss,计算输出云检测结果图像
集合p~与对应的标签La的交叉熵值Losss,其表达式为:
Figure BDA0002617070880000102
其中,yk l为第l张图像中第k个像素的标签值,
Figure BDA0002617070880000103
为第l张图像中第k个像素为云的预测概率。
并采用Adam算法,通过Losss对AUDI-Net网络对y进行更新,得到第s次训练的网络AUDI-Nets
(5d)判断Losss≤g或s=Y是否成立,若是,得到训练好的云检测网络AUDI-Net',否则,令s=s+1,并执行步骤(5b);
步骤6)获取遥感图像云检测结果:
将图像测试集Pb和暗通道训练集Db作为训练好的云检测网络AUDI-Net'的输入进行遥感图像云2检测,得到遥感图像云检测结果图像集合
Figure BDA0002617070880000104
其中
Figure BDA0002617070880000105
代表测试图像Pk b中每个像素为云的概率组成的云检测结果图像。云检测网络AUDI-Net'的云检测结果为与输入AUDI-Net'网络的测试图像大小相同的二值图像,图像的数量也相等。云检测结果图像中的每个像素代表了输入图像的对应像素的检测结果,如果该像素检测为云像素,则云检测结果中的对应位置像素为255,否则为0。

Claims (4)

1.一种基于深度学习的遥感图像云检测方法,其特征在于,包括如下步骤:
(1)获取训练图像集和测试图像集:
从数据集中获取N幅带标签的含有云区域的遥感图像,组成遥感图像样本集P={P1,P2,...,Pi,...,PN}和遥感图像标签样本集L={L1,L2,...,Li,...,LN},并随机选取P中半数以上的遥感图像组成训练图像集Pa={P1 a,P2 a,...,Pj a,...,Pm a},选取L中与Pa对应的遥感图像标签组成训练标签集La={L1 a,L2 a,...,Lj a,...,Lm a},将其余遥感图像组成测试图像集Pb={P1 b,P2 b,...,Pk b,...,Pn b},其中,N≥5000,Pi表示第i幅遥感图像,Li表示Pi对应的遥感图像标签,Pj a表示第j个训练图像,Pk b表示第k幅测试图像,m表示训练图像的总数,n表示测试图像的总数,m+n=N;
(2)获取暗通道训练图像集和暗通道测试图像集:
选取每幅训练图像Pj a中每个像素在所有通道中的最小像素值,得到单通道训练图像集Ga={G1 a,G2 a,...,Gj a,...,Gm a},并将Gj a中的每个像素值替换为以该像素为中心的邻域中所有像素的最小值,得到暗通道训练图像集Da={D1 a,D2 a,...,Dj a,...,Dm a};同时选取每幅测试图像Pk b中每个像素在所有通道中的最小像素值,得到单通道测试图像集Gb={G1 b,G2 b,...,Gk b,...,Gn b},并将Gk b中的每个像素值替换为以该像素为中心的邻域中所有像素的最小值,得到暗通道测试图像集Db={D1 b,D2 b,...,Dk b,...,Dn b},其中,Gj a表示与Pj a对应的单通道图像,Dj a表示与Pj a对应的暗通道图像,Gk b表示与Pk b对应的单通道图像,Dk b表示与Pk b对应的暗通道图像;
(3)构建下采样模块D、上采样模块U、空间注意力模块SA和图像特征提取模块:
(3a)依次层叠的小波计算层、卷积层和批量标准化层,与依次层叠的膨胀卷积层和卷积层并联,再与通道拼接层串联,构成下采样模块D;
(3b)依次层叠的反小波计算层、卷积层和批量标准化层,与依次层叠的膨胀卷积层和反卷积层并联,再与通道拼接层串联,构成上采样模块U;
(3c)通道最大池化层与通道平均池化层并联,再与依次层叠的通道拼接层、卷积层和激活层串联,构成空间注意力模块SA;
(3d)构建包括多个依次层叠的卷积层的图像特征提取模块;
(4)构建云检测网络AUDI-Net:
(4a)将J个图像特征提取模块与J个下采样模块D交替串联成编码子网,将J个上采样模块U与J个图像特征提取模块交替串联成解码子网,再将编码子网的输出与解码子网的输入连接,形成编解码子网,J≥2;
(4b)将J个卷积层与J个空间最大池化层交替串联,每个空间最大池化层上连接一个注意力模块SA,构成Dark子网;
(4c)编码子网中的下采样模块D与以编码子网和解码子网的连接点为对称点的对称位置上的解码子网中的采样模块U之间,通过Dark子网中的一个注意力模块SA连接,得到云检测网络AUDI-Net;
(5)对云检测网络AUDI-Net进行迭代训练:
(5a)初始化迭代次数为s,最大迭代次数为Y,Y≥20,云检测网络AUDI-Net的损失函数为Loss,Loss的收敛值为g,g=0.05,并令s=0;
(5b)将训练图像集Pa和训练标签集La作为编解码子网的输入,编码子网对Pa进行编码,同时将暗通道训练图像集Da作为Dark子网的输入进行暗通道特征的提取,解码子网通过Dark子网提取到的暗通道特征对编码子网的编码结果进行解码,得到AUDI-Net的云检测结果图像集合
Figure FDA0002617070870000021
(5c)采用云检测网络AUDI-Net的损失函数Loss,计算输出云检测结果图像集合p~与对应的标签La的交叉熵值Losss,并采用Adam算法,通过Losss对AUDI-Net网络进行训练,得到第s次训练的网络AUDI-Nets
(5d)判断Losss≤g或s=Y是否成立,若是,得到训练好的云检测网络AUDI-Net',否则,令s=s+1,并执行步骤(5b);
(6)获取遥感图像云检测结果:
将图像测试集Pb和暗通道训练集Db作为训练好的云检测网络AUDI-Net'的输入进行遥感图像云检测,得到遥感图像云检测结果图像集合
Figure FDA0002617070870000031
其中
Figure FDA0002617070870000032
代表测试图像Pk b中每个像素为云的概率组成的云检测结果图像。
2.根据权利要求1中所述的基于深度学习的遥感图像云检测方法,其特征在于,步骤(3)中所述的下采样模块D、上采样模块U、注意力模块SA和图像特征提取模块,其中:
所述下采样模块D,小波计算层后层叠的卷积层,卷积核大小为3,卷积核移动的步长为1个字符;膨胀卷积层的卷积核大小为3,卷积核移动的步长为1个字符,膨胀率为3;膨胀卷积后层叠的卷积层卷积核的大小为3,卷积核移动的步长为2个字符;
所述上采样模块U,反小波计算层后层叠的卷积层,卷积核大小为3,卷积核移动的步长为1个字符;膨胀卷积层的卷积核大小为3,卷积核移动的步长为1个字符,膨胀率为3;膨胀卷积后层叠的反卷积层卷积核的大小为3,卷积核移动的步长为2个字符;
所述注意力模块SA,通道最大池化层和通道平均池化层的池化窗口大小为2×2,卷积层的卷积核大小为3,卷积核移动的步长为1个字符;激活层采用Sigmoid作为激活函数;
所述图像特征提取模块,其所包含的卷积层的数量为2,卷积核大小为3,卷积核移动的步长为1个字符。
3.根据权利要求1中所述的基于深度学习的遥感图像云检测方法,其特征在于,步骤(4)中所述的编码子网、解码子网和Dark子网的连接方式,以及编码子网、解码子网和Dark子网之间的连接方式分别为:
所述编码子网的具体结构为:第一个图像特征提取模块→第一个下采样模块D→第二个图像特征提取模块→第二个下采样模块D→第三个图像特征提取模块→第三个下采样模块D,其中,图像特征提取模块和下采样模块D的数量J=3;
所述解码子网的具体结构为:第一个上采样模块U→第四个图像特征提取模块→第二个上采样模块U→第五个图像特征提取模块→第三个上采样模块U→第五个图像特征提取模块,其中,图像特征提取模块和上采样模块U的数量J=3;
所述Dark子网的具体结构为:卷积层→第一个空间最大池化层→卷积层→第二个空间最大池化层→卷积层→第三个空间最大池化层,其中,卷积层和空间最大池化层的数量J=3,第一个空间最大池化层连接第一个空间注意力模块SA,第二个空间最大池化层连接第二个空间注意力模块SA,第三个空间最大池化层连接第三个空间注意力模块SA;卷积层的卷积核大小为3,卷积核移动的步长为1个字符;空间最大池化层的池化窗口大小为2×2;
所述编码子网的图像提取模块通过Dark子网中的注意力模块SA与解码子网中的上采样模块U连接,具体方式为:
第一个下采样模块D通过第一个空间注意力模块SA与第三个上采样模块U进行连接,第二个下采样模块D通过第二个空间注意力模块SA与第二个上采样模块U进行连接,第三个下采样模块D通过第三个空间注意力模块SA与第一个上采样模块U进行连接。
4.根据权利要求1中所述的基于深度学习的遥感图像云检测方法,其特征在于,步骤(5a)中所述的云检测网络AUDI-Net的损失函数Loss,其表达式为:
Figure FDA0002617070870000041
其中,yk l为第l张图像中第k个像素的标签值,
Figure FDA0002617070870000042
为第l张图像中第k个像素为云的预测概率。
CN202010772226.9A 2020-08-04 2020-08-04 基于深度学习的遥感图像云检测方法 Active CN111915592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772226.9A CN111915592B (zh) 2020-08-04 2020-08-04 基于深度学习的遥感图像云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772226.9A CN111915592B (zh) 2020-08-04 2020-08-04 基于深度学习的遥感图像云检测方法

Publications (2)

Publication Number Publication Date
CN111915592A true CN111915592A (zh) 2020-11-10
CN111915592B CN111915592B (zh) 2023-08-22

Family

ID=73287353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772226.9A Active CN111915592B (zh) 2020-08-04 2020-08-04 基于深度学习的遥感图像云检测方法

Country Status (1)

Country Link
CN (1) CN111915592B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101309A (zh) * 2020-11-12 2020-12-18 北京道达天际科技有限公司 基于深度学习分割网络的地物目标识别方法和装置
CN112348744A (zh) * 2020-11-24 2021-02-09 电子科技大学 一种基于缩略图的数据增强方法
CN112634292A (zh) * 2021-01-06 2021-04-09 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
CN112950639A (zh) * 2020-12-31 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法
CN113343942A (zh) * 2021-07-21 2021-09-03 西安电子科技大学 一种遥感图像缺陷检测方法
CN113408398A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于通道注意力及概率上采样的遥感图像云检测方法
CN113538536A (zh) * 2021-07-21 2021-10-22 中国人民解放军国防科技大学 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统
CN113920421A (zh) * 2021-07-03 2022-01-11 桂林理工大学 一种快速分类的全卷积神经网络模型
CN114022747A (zh) * 2022-01-07 2022-02-08 中国空气动力研究与发展中心低速空气动力研究所 基于特征感知的显著目标提取方法
CN114092813A (zh) * 2021-11-25 2022-02-25 中国科学院空天信息创新研究院 一种工业园区图像提取方法、模型、电子设备和存储介质
CN114359120A (zh) * 2022-03-21 2022-04-15 深圳市华付信息技术有限公司 遥感影像处理方法、装置、设备及存储介质
CN116740569A (zh) * 2023-06-15 2023-09-12 安徽理工大学 一种基于深度学习的降雪区域云检测系统
CN112950639B (zh) * 2020-12-31 2024-05-10 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张家强;李潇雁;李丽圆;孙鹏程;苏晓峰;胡亭亮;陈凡胜;: "基于深度残差全卷积网络的Landsat 8遥感影像云检测方法", 激光与光电子学进展, no. 10 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101309A (zh) * 2020-11-12 2020-12-18 北京道达天际科技有限公司 基于深度学习分割网络的地物目标识别方法和装置
CN112348744A (zh) * 2020-11-24 2021-02-09 电子科技大学 一种基于缩略图的数据增强方法
CN112950639A (zh) * 2020-12-31 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法
CN112950639B (zh) * 2020-12-31 2024-05-10 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法
CN112634292A (zh) * 2021-01-06 2021-04-09 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
CN112750082B (zh) * 2021-01-21 2023-05-16 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
CN113408398A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于通道注意力及概率上采样的遥感图像云检测方法
CN113920421A (zh) * 2021-07-03 2022-01-11 桂林理工大学 一种快速分类的全卷积神经网络模型
CN113538536B (zh) * 2021-07-21 2022-06-07 中国人民解放军国防科技大学 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统
CN113538536A (zh) * 2021-07-21 2021-10-22 中国人民解放军国防科技大学 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统
CN113343942A (zh) * 2021-07-21 2021-09-03 西安电子科技大学 一种遥感图像缺陷检测方法
CN114092813A (zh) * 2021-11-25 2022-02-25 中国科学院空天信息创新研究院 一种工业园区图像提取方法、模型、电子设备和存储介质
CN114092813B (zh) * 2021-11-25 2022-08-05 中国科学院空天信息创新研究院 一种工业园区图像提取方法、系统、电子设备和存储介质
CN114022747A (zh) * 2022-01-07 2022-02-08 中国空气动力研究与发展中心低速空气动力研究所 基于特征感知的显著目标提取方法
CN114022747B (zh) * 2022-01-07 2022-03-15 中国空气动力研究与发展中心低速空气动力研究所 基于特征感知的显著目标提取方法
CN114359120A (zh) * 2022-03-21 2022-04-15 深圳市华付信息技术有限公司 遥感影像处理方法、装置、设备及存储介质
CN116740569A (zh) * 2023-06-15 2023-09-12 安徽理工大学 一种基于深度学习的降雪区域云检测系统
CN116740569B (zh) * 2023-06-15 2024-01-16 安徽理工大学 一种基于深度学习的降雪区域云检测系统

Also Published As

Publication number Publication date
CN111915592B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
Guo et al. CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
CN110853057B (zh) 基于全局和多尺度全卷积网络的航拍图像分割方法
CN106910202B (zh) 一种遥感图像地物的图像分割方法及系统
CN113538457B (zh) 利用多频动态空洞卷积的视频语义分割方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN115578280A (zh) 一种双分支遥感图像去雾网络的构建方法
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN115346071A (zh) 高置信局部特征与全局特征学习的图片分类方法及系统
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN113408398A (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN114445442B (zh) 基于非对称交叉融合的多光谱图像语义分割方法
Thati et al. A systematic extraction of glacial lakes for satellite imagery using deep learning based technique
CN116580425A (zh) 一种基于交叉Transformer融合的多光谱行人检测方法
CN115482463A (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
CN114283336A (zh) 一种基于混合注意力的无锚框遥感图像小目标检测方法
Yuan et al. Graph neural network based multi-feature fusion for building change detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant