CN113284093A - 一种基于改进D-LinkNet的卫星影像云检测方法 - Google Patents

一种基于改进D-LinkNet的卫星影像云检测方法 Download PDF

Info

Publication number
CN113284093A
CN113284093A CN202110473659.9A CN202110473659A CN113284093A CN 113284093 A CN113284093 A CN 113284093A CN 202110473659 A CN202110473659 A CN 202110473659A CN 113284093 A CN113284093 A CN 113284093A
Authority
CN
China
Prior art keywords
layer
split
attention mechanism
module
split attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110473659.9A
Other languages
English (en)
Inventor
毕卫华
房龙岩
杨化超
张秋昭
卞和方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanbei Coal Electricity Group Co ltd
China University of Mining and Technology CUMT
Original Assignee
Wanbei Coal Electricity Group Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanbei Coal Electricity Group Co ltd, China University of Mining and Technology CUMT filed Critical Wanbei Coal Electricity Group Co ltd
Priority to CN202110473659.9A priority Critical patent/CN113284093A/zh
Publication of CN113284093A publication Critical patent/CN113284093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进D‑LinkNet的卫星影像云检测方法,应用人工勾云样本生成二值图标签;其次,对D‑LinkNet50的编码器进行改进,使用带有通道注意力机制的ResNeSt50‑Block替换原始的ResNet50‑Block;另外,对损失函数进行加权,测试分析发现只用交叉熵损失作为损失函数,检测精度更高,最后使用条件随机场(CRF)对预测的结果进行后处理。实验结果表明,改进后的D‑LinkNet模型在测试集上的mIoU提升1.93%,precision提升2.45%,保持了较好的云边缘信息,可以很好地用于云检测,效果明显高于原D‑LinkNet模型。

Description

一种基于改进D-LinkNet的卫星影像云检测方法
技术领域
本发明涉及一种卫星影像云检测方法,属于卫星遥感技术领域。
背景技术
遥感是地球资源变化监测与管理过程中不可或缺的技术手段,然而,在卫星获取影像的过程中并不是每天都是晴空万里,往往伴随着大量云雾的遮挡,以至于影像部分区域信息丢失,给后续的遥感影像分析解译带来了困难。所以,云检测对于光学卫星遥感具有重要意义。
在近些年来,学者们研究了多种云检测方法。其可以分为两类:基于波段阈值方法与基于深度学习的云检测方法。
传统的云检测方法大多基于热红外波段、影像的波段信息进行检测,文献“ZHU Z,WOODCOCK C E.Object-based cloud and cloud shadow detection in landsat imagery[J]. Remote Sensing of Environment.2012,118:83-94”提出了FMask算法,通过设定波段阈值来实现Landsat影像的云检测。然而国产高分辨率卫星的波段数少缺少热红外波段,难以通过光谱信息来进行云检测,所以文献“陈曦东,张肖,刘良云,等.增强型多时相云检测[J]. 遥感学报,2019,23(2):280-290”中基于多时相云在红外波段的反射特性的云检测方法不适合国产卫星的云检测。随着深度学习的发展,语义分割技术的不断进步,其也逐渐应用于云检测上来。文献“栗旭升,刘玉峰,陈冬花,等.结合图像特征的支持向量机高分一号云检测 [J].国土资源遥感,2020,32(3):55-62”利用灰度共生矩阵提取图像的纹理特征,使用纹理特征与光谱特征结合,再使用支持向量机的方法对高分一号卫星进行云检测,但是很多卫星都还不是多光谱卫星,难以实现普适性。文献“刘云峰,杨珍,韩骁,等.国产高分辨率遥感卫星影像云检测方法分析[J].测绘通报,2020(11):66-70”将双重注意机制模型与全卷积神经网络模型相对比,发现双重注意力机制模型用于云检测更为准确。文献“张家强,李潇雁, 李丽圆,等.基于深度残差全卷积网络的Landsat 8遥感影像云检测方法[J].激光与光电子学进展,2020,57(10):364-371”对Unet网络结构进行改进,编码器与残差结构相结合,提高了模型的泛化能力,比传统的Unet模型检测精度更优。文献“张永宏,蔡朋雁,陶润喆,等.基于改进U-Net网络的遥感图像云检测.[J].测绘通报,2020(3):17-20”解码器不仅在Unet 模型的编码器中引入残差模块,而且在解码器中融入密集连接模块,可以很好的检测出大量的薄量的薄云碎云。
发明内容
发明目的:针对国产部分卫星影像云检测不能使用传统的基于阈值检测云,以及当前深度学习算法检测云的精度低,误检率高的问题,本发明提供一种基于改进D-LinkNet的卫星影像云检测方法。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于改进D-LinkNet的卫星影像云检测方法,包括以下步骤:
步骤1,采集卫星影像,形成训练集和测试集;
步骤2,建立拆分注意力机制网络的D-LinkNeSt模型,所述拆分注意力机制网络的D-LinkNeSt模型包括依次连接的输入层、卷积层一、最大池化层一、拆分注意力机制网络模块一、最大池化层二、拆分注意力机制网络模块二、最大池化层三、拆分注意力机制网络模块三、最大池化层四、拆分注意力机制网络模块四、空洞卷积模块,以及依次连接的反卷积层一、相加模块层一、反卷积层二、相加模块层二、反卷积层三、相加模块层三、反卷积层四、卷积层二,所述空洞卷积模块与反卷积层一跳跃连接,所述拆分注意力机制网络模块三与相加模块层一跳跃连接,所述拆分注意力机制网络模块二与相加模块层二跳跃连接,所述拆分注意力机制网络模块一与相加模块层一跳跃连接;所述拆分注意力机制网络模块一包括 3个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块二包括4个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块三包括6个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块四包括3个并联的拆分注意力机制网络结构;
所述拆分注意力机制网络结构包括依次连接的拆分注意力输入层、分割层、K个基数组、拼接层、1×1卷积层、相加模块层五,所述相加模块层五与拆分注意力输入层连接;所述基数组包括R个小组、拆分注意力模块,所述R个小组分别与拆分注意力模块连接;所述拆分注意力模块包括依次连接的全局平均池化层、归一化激励层、注入软注意力的归一化指数函数层、拆分注意力相加模块;
步骤3,采用训练集对步骤2建立的拆分注意力机制网络的D-LinkNeSt模型进行训练,得到训练好的拆分注意力机制网络的D-LinkNeSt模型;
步骤4,使用训练好的拆分注意力机制网络的D-LinkNeSt模型对测试集进行预测,得到预测标签,然后将预测标签和测试集中的原始影像输入到条件随机场中,使用原始影像上的像素作为X,预测出来的标签作为Y,得到经过后处理的云检测标签结果。
优选的:拆分注意力机制网络结构中第k个基数组表示为:
Figure RE-GDA0003168107080000021
其中,
Figure RE-GDA0003168107080000022
表示分割为R个小组的第k个基数组的特征图,
Figure RE-GDA0003168107080000023
k∈1,2,...K,
Figure RE-GDA0003168107080000024
表示第i1个小组,
Figure RE-GDA0003168107080000031
表示基数组的特征图,H表示特征图的高度,W表示特征图的宽度,C表示特征图的通道数。
优选的:通过拆分注意力模块的全局平均池化层实现聚合通道维度的全局上下文信息,
Figure RE-GDA00031681070800000318
计算如下:
Figure RE-GDA0003168107080000033
其中,
Figure RE-GDA00031681070800000317
表示基于全局特征的sk的第c个通道的每一组权重,
Figure RE-GDA0003168107080000035
表示
Figure RE-GDA0003168107080000036
的第c个通道的特征矩阵经过3×3的卷积的结果;
Figure RE-GDA00031681070800000319
基数组表示的加权融合使用通道维度的软注意力进行聚合,其中每个特征图通道均使用加权拆分组合生成,第c个通道计算如下:
Figure RE-GDA0003168107080000038
其中,
Figure RE-GDA0003168107080000039
表示第k个基数组经过拆分注意力结构的第c个通道的特征图,R表示每个基数组可分为小组的个数,
Figure RE-GDA00031681070800000310
表示第k个基数组的第i2个特征图的权重,
Figure RE-GDA00031681070800000311
表示第k个基数组的第i2个特征图;
通过注入软注意力的归一化指数函数层确定软注意力的权重,求得
Figure RE-GDA00031681070800000312
的值:
Figure RE-GDA00031681070800000313
其中,
Figure RE-GDA00031681070800000314
表示softmax函数,sk表示第k个基数组的特征图;
最后通过拆分注意力相加模块将所有通道的V合并起来,并与初始输入相加,得到拆分注意力模块最终的输出值。
优选的:采用如下损失函数:
Figure RE-GDA00031681070800000315
Figure RE-GDA00031681070800000316
Figure RE-GDA0003168107080000041
L=DiceLoss+BCELossall
其中,DiceLoss表示Dice损失函数,N表示批大小,
Figure RE-GDA0003168107080000042
表示预测影像,
Figure RE-GDA0003168107080000043
表示标签影像,BCELossall表示N张影像的交叉熵损失,BCELoss(P,GT)表示单张影像的交叉熵损失,gtij表示在i,j位置的像素值,pij表示在i,j位置的像素值;
对DiceLoss与BCELossall两个损失函数进行加权操作:
DBLoss=λ·DiceLoss+γ·BCELossall
其中,DBLoss表示DiceLoss与BCELossall加权的损失函数,λ表示DiceLoss的权重,γ表示BCELossall的权重,λ与γ之比为DiceLoss与BCELossall的权值比;
使用交叉熵损失作为损失函数。
优选的:步骤4中条件随机场符合吉布斯分布:
Figure RE-GDA0003168107080000044
式中,P(Y|X)表示后验概率,Y表示标签影像,X表示给定的遥感图像,Z(X)表示归一化函数,C'为所有基团c'的集合;ψ为基团c'的势函数;Yc’={Yi’,i'∈c’},Yi’为像素 i'的类别标签;
Figure RE-GDA0003168107080000045
y所对应的Gibbs能量函数为:
Figure RE-GDA0003168107080000046
其中,y表示所有基团的标签影像的能量,yc'表示基团c'的标签值。
优选的:所述卷积层一为7×7卷积层,卷积层二为空洞率为1的卷积层。
优选的:所述小组包括依次连接的1×1卷积层一、3×3卷积层一。
本发明相比现有技术,具有以下有益效果:
本发明提出了基于改进的D-LinkNet模型,在原始的D-LinkNet50的基础上,得到ResNeXt与SKNet关于注意力机制与特征图的启发,找到了融合两者优点的拆分注意力网络ResNeSt,使用ResNeSt模型替换原始的ResNet模型作为编码器结构,并在损失函数上对BCELoss与DiceLoss加权的测试方法,提出了BCE-D-LinkNeSt云检测算法。使用人工勾云样本,经过自己编写的脚本程序生成云标签,使用2579景国产卫星影像进行训练,剩余的 645景影像进行测试,发现本方法在云检测方面优于原始的结构,提高了云检测的精度,可以辅助人工勾云使用。
附图说明
图1为拆分注意力机制网络的D-LinkNeSt模型结构示意图。
图2为空洞卷积模块(DBlock)结构示意图。
图3为ResNet-Block结构示意图。
图4为拆分注意力机制网络结构(ResNest Block)示意图。
图5为拆分注意力模块(Splite Attention)结构示意图。
图6为条件随机场示意图。
图7为BCE-D-LinkNeSt算法loss与mIou变化图。
图8为BCE-D-LinkNeSt算法precision与recall变化图。
图9为云检测结果对比图,图9中的图a1、图b1、图c1、图d1、图e1、图f1分别表示第1幅云的原始影像、云的真值标签、D-LinkNet50预测结果、D-LinkNeSt50预测结果、 BCE-D-LinkNeSt50预测结果及CRF-BCE-D-LinkNeSt50预测结果。图9中的图a2、图b2、图 c2、图d2、图e2、图f2分别表示第2幅云的原始影像、云的真值标签、D-LinkNet50预测结果、D-LinkNeSt50预测结果、BCE-D-LinkNeSt50预测结果及CRF-BCE-D-LinkNeSt50预测结果。图9中的图a3、图b3、图c3、图d3、图e3、图f3分别表示第3幅云的原始影像、云的真值标签、D-LinkNet50预测结果、D-LinkNeSt50预测结果、BCE-D-LinkNeSt50预测结果及CRF-BCE-D-LinkNeSt50预测结果。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于改进D-LinkNet的卫星影像云检测方法,具体包括以下步骤:
一、原理与方法
1.1云检测模型
1.1.1原始的D-LinkNet网络模型
D-LinkNet模型是在CVPR 2018DeepGlobe比赛中由北京邮电大学模式识别实验室提出的。在LinkNet模型的基础上,在编码器与解码器之间添加了空洞卷积模块(dilateblock),从而减小了由下采样导致的图像分辨率降低,增大了对特征图的感受野,感受野越大,能够捕获原始图像上的图像特征就越多,。
原始的D-LinkNet模型的编码器先是经过一个卷积核大小为7,步长为2,padding为3 的卷积操作,然后经过一个bn层与激励层,这三个被称为initial Block。随后就经过最大池化的下采样,连续进入多个ResNet-Block,其中ResNet是由何明凯在2015年提出,其目的是为了解决在深层次的网络结构的错误率比低层次更高的问题,采用直连的方式能够使梯度在反向传播过程中得到更好的传播。
中间层使用了扩大感受野的空洞卷积的方式,在后面都称之为DBlock(dilateblock)。其分别采用扩张大小为1、2、4、8的卷积,最后再将每条支路相加,从而可以很好的融合特征信息。解码器部分沿用了LinkNet的解码器部分。
1.1.2 D-LinkNeSt网络模型
在D-LinkNet模型的基础上,提出了包含拆分注意力机制网络的D-LinkNeSt模型,其模型结构如图1所示:拆分注意力机制网络的D-LinkNeSt模型包括依次连接的输入层、卷积层一、最大池化层一、拆分注意力机制网络模块一、最大池化层二、拆分注意力机制网络模块二、最大池化层三、拆分注意力机制网络模块三、最大池化层四、拆分注意力机制网络模块四、空洞卷积模块,以及依次连接的反卷积层一、相加模块层一、反卷积层二、相加模块层二、反卷积层三、相加模块层三、反卷积层四、卷积层二,所述空洞卷积模块与反卷积层一跳跃连接,所述拆分注意力机制网络模块三与相加模块层一跳跃连接,所述拆分注意力机制网络模块二与相加模块层二跳跃连接,所述拆分注意力机制网络模块一与相加模块层一跳跃连接。卷积层一为7×7卷积层,卷积层二为空洞率为1的卷积层。所述拆分注意力机制网络模块一包括3个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块二包括4个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块三包括6个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块四包括3个并联的拆分注意力机制网络结构。
所述拆分注意力机制网络结构包括依次连接的拆分注意力输入层、分割层、K个基数组、拼接层、1×1卷积层、相加模块层五,所述相加模块层五与拆分注意力输入层连接。所述基数组包括R个小组、拆分注意力模块,所述R个小组分别与拆分注意力模块连接。所述拆分注意力模块包括依次连接的全局平均池化层、归一化激励层、注入软注意力的归一化指数函数层、拆分注意力相加模块。小组包括依次连接的1×1卷积层一、3×3卷积层一。
D-LinkNeSt结构沿用了D-LinkNet模型的编码解码思想,在编码器阶段,首先经过intitial block结构,接着进入最大池化层提取特征与4个拆分注意力残差模块。原始的残差模块通过跳跃直连的方式使梯度得到更好的传播,网络模型可以训练更深。而拆分注意力残差模块为在通道维进行拆分成多个模块化的小组,分别通过注意力模块,最后合并得到特征图,可以更好检测影像的深度特征。
中间的DBlock结构(空洞卷积模块)如图2所示。其中箭头内的数字表示扩张率(dilated rate)。即分别使用扩张率为1,2,4,8,16的空洞卷积结构级联,以达到在不改变特征图的分辨率的情况下,增大感受野。
解码器部分沿用了D-LinkNet网络的解码器。上采样首先使用一个bottleneck结构,即使用一个1*1的卷积,将通道数降低,然后再经过一个卷积核大小为3,步长为2的反卷积,进行上采样,最后同样使用一个1×1的卷积,将通道数升高。通过先降低通道数,再反卷积提高特征图的分辨率,最后再升高通道数,以达到减少参数量,提高运算效率的目的。上采样之后的特征图与下采样阶段得到的特征图进行跳跃相加,这样能够保留多尺度特征,防止梯度爆炸与梯度消失。
1.1.3残差模块
D-LinkNet中使用的残差模块为ResNet。随着网络深度的增加,模型出现退化现象,错误率不减反增,就此问题,现有文献中提出了通过跳跃连接的方式,将原始输入与输出相加,从而使模型在反向传播过程中减少了梯度爆炸与消散的现象,从而可以训练出更深的网络结构。其模型结构如图2所示,其公式可描述为:
Y=F(x)+x (1)
其中,Y表示跳跃连接之后的特征图,F(x)表示经过卷积、批归一化、激励操作后的特征图,x表示原始输入的特征图。
然而,本文所使用的残差模块为ResNeSt-Block,其模型结构如图4所示。ResNest又被称为拆分注意力网络,借鉴了ResNeXt的使用拆分合并采用组卷积,将multi-path结构转换为统一操作。借鉴了SENet结构的通道注意力模块,及SKNet的特征图注意力(feature-map attention)。
从图4中可以看出,借鉴了ResNeXt的思想,输入沿着ResNeSt模块被分割成K个特征图组,每个特征图组被称为一个基数组,即每个都是相同的模块,但ResNeSt又将每个基数组分割R份,这样在通道维度上就被分为G=K×R个小组。
第k个基数组表示为:
Figure RE-GDA0003168107080000071
其中,
Figure RE-GDA0003168107080000072
表示分割为R个小组的第k个基数组的特征图,
Figure RE-GDA0003168107080000073
k∈1,2,...K,
Figure RE-GDA0003168107080000074
表示第i1个小组,
Figure RE-GDA0003168107080000081
表示基数组的特征图,H表示特征图的高度,W表示特征图的宽度,C表示特征图的通道数。
如图5所示,通过拆分注意力模块的全局平均池化层实现聚合通道维度的全局上下文信息,
Figure RE-GDA0003168107080000082
计算如下:
Figure RE-GDA0003168107080000083
其中,
Figure RE-GDA0003168107080000084
表示基于全局特征的sk的第c个通道的每一组权重,
Figure RE-GDA0003168107080000085
表示
Figure RE-GDA0003168107080000086
的第c个通道的特征矩阵经过3×3的卷积的结果。
Figure RE-GDA0003168107080000087
基数组表示的加权融合使用通道维度的软注意力进行聚合,其中每个特征图通道均使用加权拆分组合生成,第c个通道计算如下:
Figure RE-GDA0003168107080000088
其中,
Figure RE-GDA0003168107080000089
表示第k个基数组经过拆分注意力结构的第c个通道的特征图,R表示每个基数组可分为小组的个数,
Figure RE-GDA00031681070800000810
表示第k个基数组的第i2个特征图的权重,
Figure RE-GDA00031681070800000811
表示第k个基数组的第i2个特征图。
通过注入软注意力的归一化指数函数层确定软注意力的权重,求得
Figure RE-GDA00031681070800000812
的值:
Figure RE-GDA00031681070800000813
其中,
Figure RE-GDA00031681070800000814
表示softmax函数,sk表示第k个基数组的特征图,
Figure RE-GDA00031681070800000815
决定了基于全局纹理表达的sk的第c个通道的每一组权重。
最后通过拆分注意力相加模块将所有通道的V合并起来,并与初始输入相加,得到拆分注意力模块最终的输出值。多个这样的基础块堆叠,就构成了ResNeSt。
1.1.4加权的损失函数
这里采用的损失函数是在北邮夺冠的损失函数的基础上使用加权的方式来测试各为多少权重可以达到最好的效果。
北邮夺冠的损失函数如下,其中公式9为最后的损失函数。
Figure RE-GDA0003168107080000091
Figure RE-GDA0003168107080000092
Figure RE-GDA0003168107080000093
L=DiceLoss+BCELossall (9)
其中,DiceLoss表示Dice损失函数,N表示批大小,
Figure RE-GDA0003168107080000094
表示预测影像(PredicetMask),
Figure RE-GDA0003168107080000095
表示标签影像(Ground True),BCELossall表示N张影像的交叉熵损失,BCELoss(P,GT) 表示单张影像的交叉熵损失,gtij表示在i,j位置的像素值,pij表示在i,j位置的像素值。
对DiceLoss与BCELossall两个损失函数进行加权操作:
DBLoss=λ·DiceLoss+γ·BCELossall (10)
其中,DBLoss表示DiceLoss与BCELossall加权的损失函数,λ表示DiceLoss的权重,γ表示BCELossall的权重,λ与γ之比为DiceLoss与BCELossall的权值比。
1.2条件随机场
条件随机场最早由Lafferty等在最大熵模型及马尔科夫模型的基础上提出来的一种无向概率图模型,用于标注和分割有序数据的条件概率模型。
对于每个像素i具有类别标签yi还有对应的观测值xi,这样每个像素点作为节点,像素与像素间的关系作为边,即构成了一个条件随机场。而且可以通过观测变量xi来推测像素i 对应的类别标签yi。条件随机场如图6所示。
条件随机场符合吉布斯分布:
Figure RE-GDA0003168107080000096
式中,P(Y|X)表示后验概率,Y表示标签影像,X表示给定的遥感图像,Z(X)表示归一化函数,C'为所有基团c'的集合,ψ为基团c'的势函数,Yc’={Yi’,i'∈c’},Yi’为像素i'的类别标签。
Figure RE-GDA0003168107080000097
y所对应的Gibbs能量函数为:
Figure RE-GDA0003168107080000101
其中,y表示所有基团的标签影像的能量,yc'表示基团c'的标签值。
采集卫星影像,形成训练集和测试集。采用训练集对的拆分注意力机制网络的D-LinkNeSt 模型进行训练,得到训练好的拆分注意力机制网络的D-LinkNeSt模型。使用训练好的拆分注意力机制网络的D-LinkNeSt模型对测试集进行预测,得到预测标签,然后将预测标签和测试集中的原始影像输入到条件随机场中,使用原始影像上的像素作为X,预测出来的标签作为Y,得到经过后处理的云检测标签结果。
1.3评价指标
这里选取的指标为平均交并比(mIou),召回率(recall),以及准确率(precision)。其计算方式如下:
Figure RE-GDA0003168107080000102
Figure RE-GDA0003168107080000103
Figure RE-GDA0003168107080000104
其中,这里的TP(True Positive)为真阳性表示原本为云预测为云的数量,TN(True Negative)真阴性表示原本为非云预测为非云的数量,FP(False Positive)假阳性表示原本为非云错预测为云的数量,FN(False Negative)假阴性表示原本为云错误预测为非云的数量。其中三个指标越高表示精度越高。
2试验与分析
2.1试验数据准备与参数设置
本发明的试验均在ubantu16.04,CUDA 10.1,NVIDIA UNIX 64核的pytorch1.2.0深度学习框架下进行的。
本次试验的数据来自自然资源部国土卫星遥感应用中心提供的国产卫星遥感影像,其中包括高分卫星影像、资源卫星影像,标签制作为手工勾绘云矢量,后使用自制python脚本将其转化为二值图。影像数量一共有3224景,其中按照8:2的比例分为训练集与测试集,其中训练集共2559景,测试集645景。
训练之前首先经过预处理,进行影像数据的扩充,方法有:色彩抖动、水平翻转、垂直翻转、随机裁剪、旋转等。预处理的目的是扩充数据量,对数据进行增广,防止过拟合,提高模型的泛化能力。参数设置。随机裁剪的大小为512×512,batchsize为4,使用的优化器为Adam,初始学习率为0.001,自动调整学习率,每次调整变为原来的1/2,直到损失值7 次不再下降为止。
2.2云检测结果分析
如表1所示,分别设置DiceLoss与BCELoss的比值分别为1:1、2:1、4:1、1:2、1:4、0:1 进行测试的D-LinkNeSt模型在测试集上的精度指标,如表2所示。从表2中可以看出,随着Dice损失的权重减小,精确率基本呈现上升趋势。其中0:1表示,只是用BCE损失。发现只用BCE损失得到的模型平均交并比与准确率都达到最高。
表1损失函数权值对模型精度的影响
Figure RE-GDA0003168107080000111
试验分别使用D-LinkNet50、D-LinkNeSt50及BCE-D-LinkNeSt50(即只是用BCE损失函数的D-LinkNeSt)进行测试。选取的评价指标为平均交并比(mIoU),召回率(recall)及精确率(precision)对模型进行评价。训练集上的评价指标结果如表2所示。
表2训练集上的不同模型评价结果
Figure RE-GDA0003168107080000112
在测试集上的评价指标结果如表3所示。
表3测试集上的不同模型评价结果
Figure RE-GDA0003168107080000113
从表2表3中可以看出,虽然召回率上而言BCE-D-LinkNeSt50略低于D-LinkNeSt50,但另外两个指标,尤其是准确率大大高于D-LinkNeSt50与D-LinkNet50。不论是在训练集还是在测试集上,D-LinkNeSt模型都比原始的D-LinkNet精度高。下面通过测试集影像的预测来定性判别D-LinkNeSt模型更优还是BCE-D-LinkNeSt模型精度更优。
通过图7、图8可以看到模型中训练集与验证集曲线相近,接近重合状态,所以表明并未出现过拟合现象。图9中的a,b,c,d,e,f分别表示云的原始影像、云的真值标签、 D-LinkNet50预测结果、D-LinkNeSt50预测结果、BCE-D-LinkNeSt50预测结果及 CRF-BCE-D-LinkNeSt50预测结果。
通过对测试集上的512×512大小的原始影像预测,从云检测结果对比图中可以发现 D-LinkNet50检测得到的云二值图的范围较大,与原始标签相比差异较大,而D-LinkNeSt50 检测得到的云二值图相对更接近原始真值标签,所以D-LinkNeSt50精度有所提升。将图9的使用D-LinkNeSt50检测得到的结果d1、d3与原始真值标签b1、b3对比,发现均有误检情况。而BCE-D-LinkNeSt50检测得到的结果e1、e3在该处并没有误检。所以BCE-D-LinkNeSt50 不论是定性判断,还是通过指标定量分析,均优于D-LinkNet50与D-LinkNeSt50。
对BCE-D-LinkNeSt50预测出来的影像使用条件随机场后处理,相对于真值标签差距较大,但由于大量人工勾绘,真值标签的精准度不高,云的边缘精确性较差。与 BCE-D-LinkNeSt50相对比,CRF-BCE-D-LinkNeSt50保持了原始影像云的边缘信息,从而弥补了人工勾云样本差的问题。实验结果表明,改进后的D-LinkNet模型在测试集上的mIoU 提升1.93%,precision提升2.45%,保持了较好的云边缘信息,可以很好地用于云检测,效果明显高于原D-LinkNet模型。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于改进D-LinkNet的卫星影像云检测方法,其特征在于,包括以下步骤:
步骤1,采集卫星影像,形成训练集和测试集;
步骤2,建立拆分注意力机制网络的D-LinkNeSt模型,所述拆分注意力机制网络的D-LinkNeSt模型包括依次连接的输入层、卷积层一、最大池化层一、拆分注意力机制网络模块一、最大池化层二、拆分注意力机制网络模块二、最大池化层三、拆分注意力机制网络模块三、最大池化层四、拆分注意力机制网络模块四、空洞卷积模块,以及依次连接的反卷积层一、相加模块层一、反卷积层二、相加模块层二、反卷积层三、相加模块层三、反卷积层四、卷积层二,所述空洞卷积模块与反卷积层一跳跃连接,所述拆分注意力机制网络模块三与相加模块层一跳跃连接,所述拆分注意力机制网络模块二与相加模块层二跳跃连接,所述拆分注意力机制网络模块一与相加模块层一跳跃连接;所述拆分注意力机制网络模块一包括3个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块二包括4个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块三包括6个并联的拆分注意力机制网络结构,所述拆分注意力机制网络模块四包括3个并联的拆分注意力机制网络结构;
所述拆分注意力机制网络结构包括依次连接的拆分注意力输入层、分割层、K个基数组、拼接层、1×1卷积层、相加模块层五,所述相加模块层五与拆分注意力输入层连接;所述基数组包括R个小组、拆分注意力模块,所述R个小组分别与拆分注意力模块连接;所述拆分注意力模块包括依次连接的全局平均池化层、归一化激励层、注入软注意力的归一化指数函数层、拆分注意力相加模块;
步骤3,采用训练集对步骤2建立的拆分注意力机制网络的D-LinkNeSt模型进行训练,得到训练好的拆分注意力机制网络的D-LinkNeSt模型;
步骤4,使用训练好的拆分注意力机制网络的D-LinkNeSt模型对测试集进行预测,得到预测标签,然后将预测标签和测试集中的原始影像输入到条件随机场中,使用原始影像上的像素作为X,预测出来的标签作为Y,得到经过后处理的云检测标签结果。
2.根据权利要求1所述基于改进D-LinkNet的卫星影像云检测方法,其特征在于:拆分注意力机制网络结构中第k个基数组表示为:
Figure FDA0003046541380000011
其中,
Figure FDA0003046541380000012
表示分割为R个小组的第k个基数组的特征图,
Figure FDA0003046541380000013
k∈1,2,...K,
Figure FDA0003046541380000014
表示第i1个小组,
Figure FDA0003046541380000015
表示基数组的特征图,H表示特征图的高度,W表示特征图的宽度,C表示特征图的通道数。
3.根据权利要求2所述基于改进D-LinkNet的卫星影像云检测方法,其特征在于:通过拆分注意力模块的全局平均池化层实现聚合通道维度的全局上下文信息,sc k计算如下:
Figure FDA0003046541380000021
其中,
Figure FDA0003046541380000022
表示基于全局特征的sk的第c个通道的每一组权重,
Figure FDA0003046541380000023
表示
Figure FDA0003046541380000024
的第c个通道的特征矩阵经过3×3的卷积的结果;
Vc k基数组表示的加权融合使用通道维度的软注意力进行聚合,其中每个特征图通道均使用加权拆分组合生成,第c个通道计算如下:
Figure FDA0003046541380000025
其中,Vc k表示第k个基数组经过拆分注意力结构的第c个通道的特征图,R表示每个基数组可分为小组的个数,
Figure FDA0003046541380000026
表示第k个基数组的第i2个特征图的权重,
Figure FDA0003046541380000027
表示第k个基数组的第i2个特征图;
通过注入软注意力的归一化指数函数层确定软注意力的权重,求得ai k(c)的值:
Figure FDA0003046541380000028
其中,
Figure FDA0003046541380000029
表示softmax函数,sk表示第k个基数组的特征图;
最后通过拆分注意力相加模块将所有通道的V合并起来,并与初始输入相加,得到拆分注意力模块最终的输出值。
4.根据权利要求3所述基于改进D-LinkNet的卫星影像云检测方法,其特征在于:采用如下损失函数:
Figure FDA00030465413800000210
Figure FDA00030465413800000211
Figure FDA00030465413800000212
L=DiceLoss+BCELossall
其中,DiceLoss表示Dice损失函数,N表示批大小,
Figure FDA0003046541380000034
表示预测影像,
Figure FDA0003046541380000035
表示标签影像,BCELossall表示N张影像的交叉熵损失,BCELoss(P,GT)表示单张影像的交叉熵损失,gtij表示在i,j位置的像素值,pij表示在i,j位置的像素值;
对DiceLoss与BCELossall两个损失函数进行加权操作:
DBLoss=λ·DiceLoss+γ·BCELossall
其中,DBLoss表示DiceLoss与BCELossall加权的损失函数,λ表示DiceLoss的权重,γ表示BCELossall的权重,λ与γ之比为DiceLoss与BCELossall的权值比;
使用交叉熵损失作为损失函数。
5.根据权利要求4所述基于改进D-LinkNet的卫星影像云检测方法,其特征在于:步骤4中条件随机场符合吉布斯分布:
Figure FDA0003046541380000031
式中,P(Y|X)表示后验概率,Y表示标签影像,X表示给定的遥感图像,Z(X)表示归一化函数,C'为所有基团c'的集合;ψ为基团c'的势函数;Yc’={Yi’,i'∈c’},Yi’为像素i'的类别标签;
Figure FDA0003046541380000032
y所对应的Gibbs能量函数为:
Figure FDA0003046541380000033
其中,y表示所有基团的标签影像的能量,yc'表示基团c'的标签值。
6.根据权利要求5所述基于改进D-LinkNet的卫星影像云检测方法,其特征在于:所述卷积层一为7×7卷积层,卷积层二为空洞率为1的卷积层。
7.根据权利要求6所述基于改进D-LinkNet的卫星影像云检测方法,其特征在于:所述小组包括依次连接的1×1卷积层一、3×3卷积层一。
CN202110473659.9A 2021-04-29 2021-04-29 一种基于改进D-LinkNet的卫星影像云检测方法 Pending CN113284093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110473659.9A CN113284093A (zh) 2021-04-29 2021-04-29 一种基于改进D-LinkNet的卫星影像云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110473659.9A CN113284093A (zh) 2021-04-29 2021-04-29 一种基于改进D-LinkNet的卫星影像云检测方法

Publications (1)

Publication Number Publication Date
CN113284093A true CN113284093A (zh) 2021-08-20

Family

ID=77277672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110473659.9A Pending CN113284093A (zh) 2021-04-29 2021-04-29 一种基于改进D-LinkNet的卫星影像云检测方法

Country Status (1)

Country Link
CN (1) CN113284093A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792653A (zh) * 2021-09-13 2021-12-14 山东交通学院 一种遥感影像云检测的方法、系统、设备和存储介质
CN114494821A (zh) * 2021-12-16 2022-05-13 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034754A1 (en) * 2016-11-28 2019-01-31 Digitalglobe, Inc. Advanced cloud detection using neural networks and optimization techniques
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109993728A (zh) * 2019-03-15 2019-07-09 佛山缔乐视觉科技有限公司 一种热转印胶水偏位自动检测方法和系统
CN110619283A (zh) * 2019-08-26 2019-12-27 海南撰云空间信息技术有限公司 一种无人机正射影像道路自动提取方法
CN111127416A (zh) * 2019-12-19 2020-05-08 武汉珈鹰智能科技有限公司 基于计算机视觉的混凝土结构表面缺陷自动检测方法
CN111126127A (zh) * 2019-10-23 2020-05-08 武汉大学 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
WO2020238044A1 (zh) * 2019-05-31 2020-12-03 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
CN112634292A (zh) * 2021-01-06 2021-04-09 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法
CN112653899A (zh) * 2020-12-18 2021-04-13 北京工业大学 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112686261A (zh) * 2020-12-24 2021-04-20 广西慧云信息技术有限公司 一种基于改进U-Net的葡萄根系图像分割方法
CN112711985A (zh) * 2020-12-09 2021-04-27 山东师范大学 基于改进solo网络的果实识别方法、装置及果实采摘机器人

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034754A1 (en) * 2016-11-28 2019-01-31 Digitalglobe, Inc. Advanced cloud detection using neural networks and optimization techniques
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109993728A (zh) * 2019-03-15 2019-07-09 佛山缔乐视觉科技有限公司 一种热转印胶水偏位自动检测方法和系统
WO2020238044A1 (zh) * 2019-05-31 2020-12-03 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
CN110619283A (zh) * 2019-08-26 2019-12-27 海南撰云空间信息技术有限公司 一种无人机正射影像道路自动提取方法
CN111126127A (zh) * 2019-10-23 2020-05-08 武汉大学 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
CN111127416A (zh) * 2019-12-19 2020-05-08 武汉珈鹰智能科技有限公司 基于计算机视觉的混凝土结构表面缺陷自动检测方法
CN112711985A (zh) * 2020-12-09 2021-04-27 山东师范大学 基于改进solo网络的果实识别方法、装置及果实采摘机器人
CN112653899A (zh) * 2020-12-18 2021-04-13 北京工业大学 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112686261A (zh) * 2020-12-24 2021-04-20 广西慧云信息技术有限公司 一种基于改进U-Net的葡萄根系图像分割方法
CN112634292A (zh) * 2021-01-06 2021-04-09 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HANG ZHANG ET AL: "ResNeSt: Split-Attention Networks", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
KUNLONG FAN ET AL: "NEW NETWORK BASED ON D-LINKNET AND RESNEXT FOR HIGH", 《 IGARSS 2020 - 2020 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
LICHEN ZHOU ET AL: "D-LinkNet: LinkNet with Pretrained Encoder and Dilated Convolution for High Resolution Satellite Imagery Road Extraction", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
顾清华 等: "基于D-LinkNet网络的露天矿道路智能识别与路网建模", 《煤炭学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792653A (zh) * 2021-09-13 2021-12-14 山东交通学院 一种遥感影像云检测的方法、系统、设备和存储介质
CN113792653B (zh) * 2021-09-13 2023-10-20 山东交通学院 一种遥感影像云检测的方法、系统、设备和存储介质
CN114494821A (zh) * 2021-12-16 2022-05-13 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN114494821B (zh) * 2021-12-16 2022-11-18 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法

Similar Documents

Publication Publication Date Title
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN110009010B (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN110751209B (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN113284093A (zh) 一种基于改进D-LinkNet的卫星影像云检测方法
CN112149547A (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN110659601A (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN114119966A (zh) 基于多视角学习与元学习的小样本目标检测方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN115272278A (zh) 一种用于遥感图像变化检测的变化检测模型的构建方法
CN114998688A (zh) 一种基于YOLOv4改进算法的大视场目标检测方法
CN114972753A (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN112365508A (zh) 基于视觉注意与残差网络的sar遥感图像水域分割方法
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN116189008A (zh) 基于定点数量化的遥感图像变化检测方法
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN115393733B (zh) 一种基于深度学习的水体自动识别方法及系统
CN116452900A (zh) 一种基于轻量级神经网络的目标检测方法
CN116167936A (zh) 一种用于洪水监测的山体阴影去除方法及装置
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820

RJ01 Rejection of invention patent application after publication