CN114898212B - 一种高分辨率遥感图像多地物变化信息提取方法 - Google Patents

一种高分辨率遥感图像多地物变化信息提取方法 Download PDF

Info

Publication number
CN114898212B
CN114898212B CN202210513448.8A CN202210513448A CN114898212B CN 114898212 B CN114898212 B CN 114898212B CN 202210513448 A CN202210513448 A CN 202210513448A CN 114898212 B CN114898212 B CN 114898212B
Authority
CN
China
Prior art keywords
pixel value
change
time phase
time
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210513448.8A
Other languages
English (en)
Other versions
CN114898212A (zh
Inventor
李玉霞
任俊玫
司宇
龚钰姝
童忠贵
张靖霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210513448.8A priority Critical patent/CN114898212B/zh
Publication of CN114898212A publication Critical patent/CN114898212A/zh
Application granted granted Critical
Publication of CN114898212B publication Critical patent/CN114898212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Abstract

本发明公开了一种高分辨率遥感图像多地物变化信息提取方法，利用孪生神经网络提取具有差异性的双时相影像，再利用深度监督模块有效训练中间层，从而改善模型因梯度消失造成浅层神经元无法获得有效更新，浅层特征提取效果差，最终导致变化图存在变化区域检测不完整、不连续、轮廓差的问题；利用残差注意力模块优化解码阶段模型对原始影像特征和影像差异特征的融合能力，从而缓解变化图重建过程中引入误差的问题，这样缓解噪声问题、错判问题；利用深度可分离减小网络参数量，降低模型过拟合风险，提升训练速度，同时参数量的降低有利于模型更好地学习有效特征，最终实现了对多地物变化信息的自动提取，且提取精度较高。

Description

一种高分辨率遥感图像多地物变化信息提取方法
技术领域
本发明属于遥感图像处理技术领域，更为具体地讲，涉及一种高分辨率遥感图像多地物变化信息提取方法。
背景技术
受人类活动和自然环境演变影响，地表覆盖变化无时无刻不在发生，对地表覆盖变化的及时发现及周期性关注，对监测生态环境变化、促进人与自然和谐共处有着重要意义。遥感技术因其具有可获取信息量大、获取信息快、周期短、可动态监测等优势，被作为变化检测的重要途经和手段。
基于遥感影像的多地物变化检测已经被广泛应用于土地勘测、城市规划、灾害评估与监测等领域。对于土地沙漠化、城市扩张等人类活动造成的地表变化，基于遥感影像的变化检测可以实现实时、大范围的评估观测，对人与自然的和谐相处、可持续发展有着重要的科学指导意义。对于山洪、海啸、地震、泥石流等自然灾害，基于遥感影像的变化检测可以帮助人们迅速确定灾害源头、预判发生时间、预估影响范围和其破坏力。
随着人造卫星技术的发展，现代遥感技术进入了一个能够全天时、全天候、高精度提供多种对地观测海量数据的新阶段，与此同时，对遥感影像变化检测技术的要求也越来越高。如何自动、精确、高效、深入地检测和分析遥感影像反映出的地物信息变化是当前遥感影像变化检测领域的热点问题。
深度学习是机器学习研究中的一个新的领域，自2006年复兴后，其发展态势欣欣向荣，近年来在语音识别、计算机视觉等领域取得了良好效果，在遥感影像变化检测领域也成为学者们的热点研究对象。现有的基于深度学习的变化检测方法大都由图像分割方法改进而来，缺乏对变化检测独特性的思考。如经典的Unet直接用于变化检测时，1、2时相遥感影像进行通道组合输入到网络中，再进行特征提取，通过变化loss进行参数更新指导，因此从第一层开始提取的就是差异特征，原始影像的特征很容易互相影响，难以保持，即使模型使用跳跃连接来辅助变化图重建，但是由于没有足够的原始影像特征，生成的变化图很容易存在轮廓不清晰、内部一致性差的问题。且对于变化检测的研究大都是针对变与不变或具体某一地物的变化展开，难以有效应用于多地物变化信息的提取。
发明内容
本发明的目的在于克服现有技术的不足，提供一种高分辨率遥感图像多地物变化信息提取方法，能够快速、准确的提取出遥感图像的变化检测结果。
为实现上述发明目的，本发明一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，包括以下步骤：
(1)、构建训练数据集；
(1.1)、下载同一区域双时相遥感图像，双时相遥感图像分别记为1时相遥感图像和2时相遥感图像；
(1.2)、利用语义分割标注工具将双时相遥感图像中的典型地物用不同形状标记；典型地物包括道路、建筑、水、植被，其余自动归为背景；
(1.3)、将各个典型地物对应的像素值设为：背景设为0、道路设为1、建筑设为2、水设为3、植被设为4，从而生成双时相多地物标签图像，记为1时相多地物标签图像和2时相多地物标签图像；
(1.4)、采用差值法对双时相多地物标签图像进行处理，得到变化标签图像；
(1.4.1)、在双时相多地物标签图像中，对各个典型地物对应的像素值进行变化类型重赋值，其中，将道路设为1，建筑设为50，水设为110，植被设为180，背景设为0；
(1.4.2)、采用差值法得到变化标签图像；
在步骤(1.4.1)的基础之上，对于双时相多地物标签图像中每一个像素点，利用1时相的像素减2时相的对应像素，然后根据差值判断变化类型，得到变化标签图像；
若1时相像素值为0，2时相像素值为0，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为0，2时相像素值为1，则差值为-1，变化类型为道路增加，编号为1；
若1时相像素值为0，2时相像素值为50，则差值为-50，变化类型为建筑增加，编号为2；
若1时相像素值为0，2时相像素值为110，则差值为-110，变化类型为水增加，编号为3；
若1时相像素值为0，2时相像素值为180，则差值为-180，变化类型为植被增加，编号为4；
若1时相像素值为1，2时相像素值为0，则差值为1，变化类型为道路减少，编号为5；
若1时相像素值为1，2时相像素值为1，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为1，2时相像素值为50，则差值为-49，变化类型为道路变建筑，编号为6；
若1时相像素值为1，2时相像素值为110，则差值为-109，变化类型为道路变水，编号为7；
若1时相像素值为1，2时相像素值为180，则差值为-179，变化类型为道路变植被，编号为8；
若1时相像素值为50，2时相像素值为0，则差值为50，变化类型为建筑减少，编号为9；
若1时相像素值为50，2时相像素值为1，则差值为49，变化类型为建筑变道路，编号为10；
若1时相像素值为50，2时相像素值为50，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为50，2时相像素值为110，则差值为-60，变化类型为建筑变水，编号为11；
若1时相像素值为50，2时相像素值为180，则差值为-130，变化类型为建筑变植被，编号为12；
若1时相像素值为110，2时相像素值为0，则差值为110，变化类型为水增加，编号为13；
若1时相像素值为110，2时相像素值为1，则差值为109，变化类型为水变道路，编号为14；
若1时相像素值为110，2时相像素值为50，则差值为60，变化类型为水变建筑，编号为15；
若1时相像素值为110，2时相像素值为110，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为110，2时相像素值为180，则差值为-70，变化类型为水变植被，编号为16；
若1时相像素值为180，2时相像素值为0，则差值为180，变化类型为植被增加，编号为17；
若1时相像素值为180，2时相像素值为1，则差值为179，变化类型为植被变道路，编号为18；
若1时相像素值为180，2时相像素值为50，则差值为130，变化类型为植被变建筑，编号为19；
若1时相像素值为180，2时相像素值为110，则差值为70，变化类型为植被变水，编号为20；
若1时相像素值为180，2时相像素值为180，则差值为0，变化类型为未变化，编号为0；
(1.5)、将双时相遥感图像和变化标签图像裁剪为512*512大小的图片，再将双时相遥感图像与其对应的变化标签图像作为一组训练数据，从而构建训练数据集；
(2)、构建并训练用于遥感图像多地物变化信息提取的深度可分离与深度可监督残差注意力网络2DSResAt-SUnet；
将每一组训练数据输入至2DSResAt-SUnet，在2DSResAt-SUnet中，双时相遥感图像经过两分支编码器分别进行编码操作；
其中，每个分支编码器由五个编号为S1、S2、S3、S4、S5的收缩块串联组成，收缩块S1、S2、S3、S4包含深度可分离卷积块和混合池化块，收缩块S5只包含深度可分离卷积块；深度可分离卷积块由3*3卷积层+批标准化层+relu激活函数，和1*1卷积层+批标准化层+relu激活函数组成；混合池化块的结构为最大池化和平均池化级联之后，接1*1卷积块；
1时相遥感图像以F13*512*512形式输入至一路分支编码器，经过收缩块S1中的深度可分离卷积后得到特征图F132*512*51，经S1中的混合池化后得到特征图F132*256*256；经过收缩块S2中的深度可分离卷积后得到特征图F164*256*256，经S2中的混合池化后得到特征图F164 *128*128；经过收缩块S3中的深度可分离卷积后得到特征图F1128*128*128，经S3中的混合池化后得到特征图F1128*64*64；经过收缩块S4中的深度可分离卷积后得到特征图F1256*64*64，经S4中混合池化块后得到特征图F1256*32*32；经过收缩块S5中的深度可分离卷积后得到特征图F1512*32*32；
同理，2时相遥感图像以F23*512*512形式输入至另一路分支编码器，最终得到特征图F2512*32*32；
编码操作完成，进入解码操作；解码器由五个编号为E1、E2、E3、E4、E5的扩张块串联组成，扩张块E1、E2、E3、E4包含深度残差注意力模块、深度监督模块和反卷积模块，扩张块E5仅包含残差注意力模块；其中，深度残差注意力模块又包括深度残差注意力结构、通道注意力结构和空间注意力结构；深度监督模块由1*1卷积层和sigmoid函数构成；
F1512*32*32与F2512*32*32叠加后经过扩张块E1中的残差注意力模块得到特征图FSResAt 512*32*32，特征图FSResAt 512*32*32经E1中的反卷积模块得到特征图F256*64*64，经E1中的深度监督模块得到一张32*32的变化检测结果图χ1；
F256*64*64与F1256*64*64、F2256*64*64叠加后经过扩张块E2中的残差注意力模块得到特征图FSResAt 256*64*64，经E2中的反卷积模块得到特征图F128*128*128，经E2中的深度监督模块得到一张64*64的变化检测结果图χ2；
F128*128*128与F1128*128*128、F2128*128*128叠加后经过扩张块E3中的残差注意力模块得到特征图FSResAt 128*128*128，经E3中的反卷积模块得到特征图F64*256*256，经E3中的深度监督模块得到一张128*128的变化检测结果图χ3；
F64*256*256与F164*256*256、F264*256*256叠加后经过扩张块E4中的残差注意力模块得到特征图FSResAt 64*256*256，经E4中的反卷积模块得到特征图F32*512*512，经E4中的深度监督模块得到一张256*256的变化检测结果图χ4；
F32*512*512与F132*512*512、F232*512*512叠加后经过扩张块E5中的残差注意力模块得到特征图FSResAt 32*512*512，最后使用1*1卷积得到输出特征图Fout 21*512*512，再连接sigmoid函数得到变化检测结果图χoutput，大小为512*512；
计算本轮训练后的2DSResAt-Sunet网络的损失函数值Loss：
Loss＝Loss1+Loss2+Loss3+Loss4+Lossoutput
其中，Loss1、Loss2、Loss3、Loss4分别为解码器中四个深度监督模块的损失值，Lossoutput为扩张块E5的最终输出损失值；
最后，利用每一组训练数据对2DSResAt-SUnet模型进行训练，至当损失函数收敛，则停止训练，从而得到训练完成的2DSResAt-SUnet模型；
(3)、遥感图像典型地物可视化提取；
将待提取的同地域两张遥感图像裁剪为512*512大小的图块，然后再输入至训练完成的2DSResAt-SUnet模型，从而输出遥感图像中各种典型地物变化类型对应的标签值0、1、2、3、4…20，再将标签值映射到彩色范围，形成可视化图像。
本发明的发明目的是这样实现的：
本发明一种高分辨率遥感图像多地物变化信息提取方法，利用孪生神经网络有效提取双时相影像具有差异性的原始影像特征，为后续变化图重建打好基础；利用深度监督模块有效训练中间层，从而改善模型因梯度消失造成浅层神经元无法获得有效更新，浅层特征提取效果差，最终导致变化图存在变化区域检测不完整、不连续、轮廓差的问题；利用残差注意力模块优化解码阶段模型对原始影像特征和影像差异特征的融合能力，从而缓解变化图重建过程中引入误差的问题，体现在变化检测结果图上为缓解噪声问题、错判问题；利用深度可分离减小网络参数量，降低模型过拟合风险，提升训练速度，同时参数量的降低有利于模型更好地学习有效特征，最终实现了对多地物变化信息的自动提取，且提取精度较高。
同时，本发明一种高分辨率遥感图像多地物变化信息提取方法还具有以下有益效果：
(1)、本发明基于编码器-解码器结构，使用两个共享结构和权重的编码器分别提取两个时相影像的特征，用于辅助变化图重建，提升模型对变化类型和变化区域的识别能力。
(2)、针对变化检测结果中变化区域检测不完整、不连续、轮廓差的问题，本发明引入了深度监督模块，帮助更好地训练浅层网络。
(3)、针对变化图重建过程中引入误差的问题，本发明引入了残差注意力模块，增强解码过程中模型对原始影像特征和影像差异特征的融合能力，引入深度可分离，增强模型对原始影像特征的提取能力。
附图说明
图1是本发明一种高分辨率遥感图像多地物变化信息提取方法流程图；
图2是深度可分离卷积结构图；
图3是混合池化结构图；
图4是深度残差注意力结构图；
图5是通道注意力结构图；
图6是空间注意力结构图；
图7是部分实验结果图，(a)图为1时相影像，(b)图为2时相影像，(c)图为标签，(d)图为ChangeNet实验结果图，(e)图为Unet++MSOF实验结果图，(f)图为先分类后比较结果图，(g)为2DSResAt-SUnet实验结果图
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：
2DSResAt-SUnet(Deep Separable and Deep Supervision Res AttentionSiamese U-type Network)：深度可分离与深度可监督残差注意力网络；
SDoubleConv(Separable Double Conv)：深度可分离卷积；
Hybrid pool：混合池化；
SResAt-Block(Separable Res Attention block)：深度残差注意力模块；
Channel Attention：通道注意力；
Spatial Attention：空间注意力。
在本实施例中，如图1所示，本发明一种高分辨率遥感图像多地物变化信息提取方法，包括以下步骤：
(1)、构建训练数据集；
(1.1)、下载同一区域双时相遥感图像，双时相遥感图像分别记为1时相遥感图像和2时相遥感图像；
(1.2)、利用语义分割标注工具将双时相遥感图像中的典型地物用不同形状标记；典型地物包括道路、建筑、水、植被，其余自动归为背景；
(1.3)、将各个典型地物对应的像素值设为：背景设为0、道路设为1、建筑设为2、水设为3、植被设为4，从而生成双时相多地物标签图像，记为1时相多地物标签图像和2时相多地物标签图像；
(1.4)、采用差值法对双时相多地物标签图像进行处理，得到变化标签图像；
(1.4.1)、在双时相多地物标签图像中，对各个典型地物对应的像素值进行变化类型重赋值，其中，将道路设为1，建筑设为50，水设为110，植被设为180，背景设为0；
(1.4.2)、采用差值法得到变化标签图像；
在步骤(1.4.1)的基础之上，对于双时相多地物标签图像中每一个像素点，利用1时相的像素减2时相的对应像素，然后根据差值判断变化类型，得到变化标签图像；
若1时相像素值为0，2时相像素值为0，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为0，2时相像素值为1，则差值为-1，变化类型为道路增加，编号为1；
若1时相像素值为0，2时相像素值为50，则差值为-50，变化类型为建筑增加，编号为2；
若1时相像素值为0，2时相像素值为110，则差值为-110，变化类型为水增加，编号为3；
若1时相像素值为0，2时相像素值为180，则差值为-180，变化类型为植被增加，编号为4；
若1时相像素值为1，2时相像素值为0，则差值为1，变化类型为道路减少，编号为5；
若1时相像素值为1，2时相像素值为1，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为1，2时相像素值为50，则差值为-49，变化类型为道路变建筑，编号为6；
若1时相像素值为1，2时相像素值为110，则差值为-109，变化类型为道路变水，编号为7；
若1时相像素值为1，2时相像素值为180，则差值为-179，变化类型为道路变植被，编号为8；
若1时相像素值为50，2时相像素值为0，则差值为50，变化类型为建筑减少，编号为9；
若1时相像素值为50，2时相像素值为1，则差值为49，变化类型为建筑变道路，编号为10；
若1时相像素值为50，2时相像素值为50，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为50，2时相像素值为110，则差值为-60，变化类型为建筑变水，编号为11；
若1时相像素值为50，2时相像素值为180，则差值为-130，变化类型为建筑变植被，编号为12；
若1时相像素值为110，2时相像素值为0，则差值为110，变化类型为水增加，编号为13；
若1时相像素值为110，2时相像素值为1，则差值为109，变化类型为水变道路，编号为14；
若1时相像素值为110，2时相像素值为50，则差值为60，变化类型为水变建筑，编号为15；
若1时相像素值为110，2时相像素值为110，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为110，2时相像素值为180，则差值为-70，变化类型为水变植被，编号为16；
若1时相像素值为180，2时相像素值为0，则差值为180，变化类型为植被增加，编号为17；
若1时相像素值为180，2时相像素值为1，则差值为179，变化类型为植被变道路，编号为18；
若1时相像素值为180，2时相像素值为50，则差值为130，变化类型为植被变建筑，编号为19；
若1时相像素值为180，2时相像素值为110，则差值为70，变化类型为植被变水，编号为20；
若1时相像素值为180，2时相像素值为180，则差值为0，变化类型为未变化，编号为0；
(1.5)、将双时相遥感图像和变化标签图像裁剪为512*512大小的图片，再将双时相遥感图像与其对应的变化标签图像作为一组训练数据，从而构建训练数据集；
(2)、构建并训练用于遥感图像多地物变化信息提取的深度可分离与深度可监督残差注意力网络2DSResAt-SUnet；
将每一组训练数据输入至2DSResAt-SUnet，在2DSResAt-SUnet中，双时相遥感图像经过两分支编码器分别进行编码操作；
其中，每个分支编码器由五个编号为S1、S2、S3、S4、S5的收缩块串联组成，收缩块S1、S2、S3、S4包含深度可分离卷积块和混合池化块，收缩块S5只包含深度可分离卷积块；深度可分离卷积块由3*3卷积层+批标准化层+relu激活函数，和1*1卷积层+批标准化层+relu激活函数组成，如图2所示；混合池化块的结构为最大池化和平均池化级联之后，接1*1卷积块，如图3所示；
1时相遥感图像以F13*512*512形式输入至一路分支编码器，经过收缩块S1中的深度可分离卷积后得到特征图F132*512*51，经S1中的混合池化后得到特征图F132*256*256；经过收缩块S2中的深度可分离卷积后得到特征图F164*256*256，经S2中的混合池化后得到特征图F164 *128*128；经过收缩块S3中的深度可分离卷积后得到特征图F1128*128*128，经S3中的混合池化后得到特征图F1128*64*64；经过收缩块S4中的深度可分离卷积后得到特征图F1256*64*64，经S4中混合池化块后得到特征图F1256*32*32；经过收缩块S5中的深度可分离卷积后得到特征图F1512*32*32；
同理，2时相遥感图像以F23*512*512形式输入至另一路分支编码器，最终得到特征图F2512*32*32；
编码操作完成，进入解码操作；解码器由五个编号为E1、E2、E3、E4、E5的扩张块串联组成，扩张块E1、E2、E3、E4包含深度残差注意力模块、深度监督模块和反卷积模块，扩张块E5仅包含残差注意力模块；其中，深度残差注意力模块又包括深度残差注意力结构、通道注意力结构和空间注意力结构，如图4所示；深度监督模块由1*1卷积层和sigmoid函数构成；
F1512*32*32与F2512*32*32叠加后经过扩张块E1中的残差注意力模块得到特征图FSResAt 512*32*32，特征图FSResAt 512*32*32经E1中的反卷积模块得到特征图F256*64*64，经E1中的深度监督模块DS1得到一张32*32的变化检测结果图χ1；
F256*64*64与F1256*64*64、F2256*64*64叠加后经过扩张块E2中的残差注意力模块得到特征图FSResAt 256*64*64，经E2中的反卷积模块得到特征图F128*128*128，经E2中的深度监督模块DS2得到一张64*64的变化检测结果图χ2；
F128*128*128与F1128*128*128、F2128*128*128叠加后经过扩张块E3中的残差注意力模块得到特征图FSResAt 128*128*128，经E3中的反卷积模块得到特征图F64*256*256，经E3中的深度监督模块DS3得到一张128*128的变化检测结果图χ3；
F64*256*256与F164*256*256、F264*256*256叠加后经过扩张块E4中的残差注意力模块得到特征图FSResAt 64*256*256，经E4中的反卷积模块得到特征图F32*512*512，经E4中的深度监督模块DS4得到一张256*256的变化检测结果图χ4；
F32*512*512与F132*512*512、F232*512*512叠加后经过扩张块E5中的残差注意力模块得到特征图FSResAt 32*512*512，最后使用1*1卷积得到输出特征图Fout 21*512*512，再连接sigmoid函数得到变化检测结果图χoutput，大小为512*512；
其中，如图4所示，深度残差注意力结构为：输入的编码特征图FC*H*W先经过1*1卷积得到特征图
Figure BDA0003640423160000111
然后经过批标准化层、relu激活函数、3*3卷积层、批标准化层得到特征图
Figure BDA0003640423160000112
最后将
Figure BDA0003640423160000113
与
Figure BDA0003640423160000114
相加得到残差注意力结构的输出特征图
Figure BDA0003640423160000115
其中，C、H、W分别表示编码特征图的通道数、高和宽，Cout为残差注意力结构输出特征图的通道数；
如图5所示，通道注意力结构为：输入的特征图
Figure BDA0003640423160000121
经过两条级联链路，第一条链路：
Figure BDA0003640423160000122
经过最大池化、1*1卷积得到特征图
Figure BDA0003640423160000123
再经过relu激活函数、1*1卷积层得到特征图
Figure BDA0003640423160000124
第二条链路：
Figure BDA0003640423160000125
经过平均池化、1*1卷积层得到特征图
Figure BDA0003640423160000126
再经过relu激活函数、1*1卷积得到特征图
Figure BDA0003640423160000127
将
Figure BDA0003640423160000128
与
Figure BDA0003640423160000129
相加，再使用sigmoid函数激活得到通道注意力权重图
Figure BDA00036404231600001210
最后将
Figure BDA00036404231600001211
与
Figure BDA00036404231600001212
相乘得到通道注意力结构的输出特征图
Figure BDA00036404231600001213
如图6所示空间注意力结构为：输入的特征图
Figure BDA00036404231600001214
先进行通道维度的求平均操作得到特征图Favg 1*H*W，再对
Figure BDA00036404231600001215
进行通道维度的求最大操作得到特征图Fmax 1*H*W，将Favg 1*H*W和Fmax 1*H*W堆叠起来，使用1*1卷积得到特征图Fspatial 1*H*W，使用sigmoid函数得到空间注意力权重图FspatialAt 1*H*W，将
Figure BDA00036404231600001216
与FspatialAt 1*H*W相乘得到空间注意力结构的输出特征图
Figure BDA00036404231600001217
计算本轮训练后的2DSResAt-Sunet网络的损失函数值Loss：
Loss＝Loss1+Loss2+Loss3+Loss4+Lossoutput
其中，Loss1、Loss2、Loss3、Loss4分别为解码器中四个深度监督模块的损失值，Lossoutput为扩张块E5的最终输出损失值；
Loss1、Loss2、Loss3、Loss4的计算公式相同，具体过程为：
记步骤(1.4)得到的变化标签图像为Y，依次对变化标签图像Y进行16倍、8倍、4倍以及2倍的下采样，得到四种分辨率的标签图像，依次记为Y1、Y2、Y3和Y4；
然后按照如下公式分别计算损失值：
Lossi＝-αi(1-pi)γlog(pi)
Figure BDA00036404231600001218
其中，i＝1,2,3,4表示下采样后的四种标签图像编号；ni表示第i种标签图像的像素点个数；αi表示第i种标签图像的类别权重，γ为调节因子，pi表示第i种标签图像的样本损失值，yi,j为标签图像Yi的第j个像素点的像素值，χi,j为变化检测结果图χi的第j个像素点的像素值。
Lossoutput的计算方法为：
Lossoutput＝-αoutput(1-poutput)γlog(poutput)
Figure BDA0003640423160000131
其中，n表示变化标签图像Y的像素点个数，αoutput表示变化检测结果图χoutput的类别权重，poutput为χoutput的样本损失值，yj表示变化标签图像Y的第j个像素点的像素值，χoutput,j变化检测结果图χoutput的第j个像素点的像素值。
最后，利用每一组训练数据对2DSResAt-SUnet模型进行训练，至当损失函数收敛，则停止训练，从而得到训练完成的2DSResAt-SUnet模型；
(3)、遥感图像典型地物可视化提取；
将待提取的同地域两张遥感图像裁剪为512*512大小的图块，然后再输入至训练完成的2DSResAt-SUnet模型，从而输出遥感图像中各种典型地物变化类型对应的标签值0、1、2、3、4…20，再将标签值映射到彩色范围，形成可视化图像。
如图7所示，通过对变化检测结果图进行分析，可以看出本发明切实提升了对遥感影像多地物变化信息提取的精度。
其中，在图7中，(a)是从实验区域采集的五张1时相影像，(b)是从实验区域采集的五张2时相影像，(c)为(a)、(b)的变化标签，(d)为以(a)、(b)作为输入使用ChangeNet得到的变化检测结果图，(e)为以(a)、(b)作为输入使用Unet++MSOF得到的变化检测结果图，(f)为以(a)、(b)作为输入使用分类后比较法得到的变化检测结果图，(g)为以(a)、(b)作为输入使用2DSResAt-SUnet得到的变化检测结果图。从图7中可以看出，ChangeNet的变化检测结果存在噪声多、变化区域检测不完整不连续的问题，如图7(d)列图中菱形框、三角形框所示；Unet++MSOF漏判问题严重，在图7(e)列中第一行、第二行、第三行图中大部分变化区域都没有检测到，图7(e)列中椭圆框内也存在漏检问题；先分类后比较法多判问题严重，如图7(f)列中方形框所示；2DSResAt-SUnet较好地改善了这些问题，如图7(g)列图所示。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，包括以下步骤：
(1)、构建训练数据集；
(1.1)、下载同一区域双时相遥感图像，双时相遥感图像分别记为1时相遥感图像和2时相遥感图像；
(1.2)、利用语义分割标注工具将双时相遥感图像中的典型地物用不同形状标记；典型地物包括道路、建筑、水、植被，其余自动归为背景；
(1.3)、将各个典型地物对应的像素值设为：背景设为0、道路设为1、建筑设为2、水设为3、植被设为4，从而生成双时相多地物标签图像，记为1时相多地物标签图像和2时相多地物标签图像；
(1.4)、采用差值法对双时相多地物标签图像进行处理，得到变化标签图像；
(1.4.1)、在双时相多地物标签图像中，对各个典型地物对应的像素值进行变化类型重赋值，其中，将道路设为1，建筑设为50，水设为110，植被设为180，背景设为0；
(1.4.2)、采用差值法得到变化标签图像；
在步骤(1.4.1)的基础之上，对于双时相多地物标签图像中每一个像素点，利用1时相的像素减2时相的对应像素，然后根据差值判断变化类型，得到变化标签图像；
若1时相像素值为0，2时相像素值为0，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为0，2时相像素值为1，则差值为-1，变化类型为道路增加，编号为1；
若1时相像素值为0，2时相像素值为50，则差值为-50，变化类型为建筑增加，编号为2；
若1时相像素值为0，2时相像素值为110，则差值为-110，变化类型为水增加，编号为3；
若1时相像素值为0，2时相像素值为180，则差值为-180，变化类型为植被增加，编号为4；
若1时相像素值为1，2时相像素值为0，则差值为1，变化类型为道路减少，编号为5；
若1时相像素值为1，2时相像素值为1，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为1，2时相像素值为50，则差值为-49，变化类型为道路变建筑，编号为6；
若1时相像素值为1，2时相像素值为110，则差值为-109，变化类型为道路变水，编号为7；
若1时相像素值为1，2时相像素值为180，则差值为-179，变化类型为道路变植被，编号为8；
若1时相像素值为50，2时相像素值为0，则差值为50，变化类型为建筑减少，编号为9；
若1时相像素值为50，2时相像素值为1，则差值为49，变化类型为建筑变道路，编号为10；
若1时相像素值为50，2时相像素值为50，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为50，2时相像素值为110，则差值为-60，变化类型为建筑变水，编号为11；
若1时相像素值为50，2时相像素值为180，则差值为-130，变化类型为建筑变植被，编号为12；
若1时相像素值为110，2时相像素值为0，则差值为110，变化类型为水增加，编号为13；
若1时相像素值为110，2时相像素值为1，则差值为109，变化类型为水变道路，编号为14；
若1时相像素值为110，2时相像素值为50，则差值为60，变化类型为水变建筑，编号为15；
若1时相像素值为110，2时相像素值为110，则差值为0，变化类型为未变化，编号为0；
若1时相像素值为110，2时相像素值为180，则差值为-70，变化类型为水变植被，编号为16；
若1时相像素值为180，2时相像素值为0，则差值为180，变化类型为植被增加，编号为17；
若1时相像素值为180，2时相像素值为1，则差值为179，变化类型为植被变道路，编号为18；
若1时相像素值为180，2时相像素值为50，则差值为130，变化类型为植被变建筑，编号为19；
若1时相像素值为180，2时相像素值为110，则差值为70，变化类型为植被变水，编号为20；
若1时相像素值为180，2时相像素值为180，则差值为0，变化类型为未变化，编号为0；
(1.5)、将双时相遥感图像和变化标签图像裁剪为512*512大小的图片，再将双时相遥感图像与其对应的变化标签图像作为一组训练数据，从而构建训练数据集；
(2)、构建并训练用于遥感图像多地物变化信息提取的深度可分离与深度可监督残差注意力网络2DSResAt-SUnet；
将每一组训练数据输入至2DSResAt-SUnet，在2DSResAt-SUnet中，双时相遥感图像经过两分支编码器分别进行编码操作；
其中，每个分支编码器由五个编号为S1、S2、S3、S4、S5的收缩块串联组成，收缩块S1、S2、S3、S4包含深度可分离卷积块和混合池化块，收缩块S5只包含深度可分离卷积块；深度可分离卷积块由3*3卷积层+批标准化层+relu激活函数，和1*1卷积层+批标准化层+relu激活函数组成；混合池化块的结构为最大池化和平均池化级联之后，接1*1卷积块；
1时相遥感图像以F13*512*512形式输入至一路分支编码器，经过收缩块S1中的深度可分离卷积后得到特征图F132*512*512，经S1中的混合池化后得到特征图F132*256*256；经过收缩块S2中的深度可分离卷积后得到特征图F164*256*256，经S2中的混合池化后得到特征图F164*128*128；经过收缩块S3中的深度可分离卷积后得到特征图F1128*128*128，经S3中的混合池化后得到特征图F1128*64*64；经过收缩块S4中的深度可分离卷积后得到特征图F1256*64*64，经S4中混合池化块后得到特征图F1256*32*32；经过收缩块S5中的深度可分离卷积后得到特征图F1512*32*32；
同理，2时相遥感图像以F23*512*512形式输入至另一路分支编码器，最终得到特征图F2512 *32*32；
编码操作完成，进入解码操作；解码器由五个编号为E1、E2、E3、E4、E5的扩张块串联组成，扩张块E1、E2、E3、E4包含深度残差注意力模块、深度监督模块和反卷积模块，扩张块E5仅包含残差注意力模块；其中，深度残差注意力模块又包括残差注意力结构、通道注意力结构和空间注意力结构；深度监督模块由1*1卷积层和sigmoid函数构成；
F1512*32*32与F2512*32*32叠加后经过扩张块E1中的残差注意力模块得到特征图FSResAt 512 *32*32，特征图FSResAt 512*32*32经E1中的反卷积模块得到特征图F256*64*64，经E1中的深度监督模块得到一张32*32的变化检测结果图χ1；
F256*64*64与F1256*64*64、F2256*64*64叠加后经过扩张块E2中的残差注意力模块得到特征图FSResAt 256*64*64，经E2中的反卷积模块得到特征图F128*128*128，经E2中的深度监督模块得到一张64*64的变化检测结果图χ2；
F128*128*128与F1128*128*128、F2128*128*128叠加后经过扩张块E3中的残差注意力模块得到特征图FSResAt 128*128*128，经E3中的反卷积模块得到特征图F64*256*256，经E3中的深度监督模块得到一张128*128的变化检测结果图χ3；
F64*256*256与F164*256*256、F264*256*256叠加后经过扩张块E4中的残差注意力模块得到特征图FSResAt 64*256*256，经E4中的反卷积模块得到特征图F32*512*512，经E4中的深度监督模块得到一张256*256的变化检测结果图χ4；
F32*512*512与F132*512*512、F232*512*512叠加后经过扩张块E5中的残差注意力模块得到特征图FSResAt 32*512*512，最后使用1*1卷积得到输出特征图Fout 21*512*512，再连接sigmoid函数得到变化检测结果图χoutput，大小为512*512；
计算本轮训练后的2DSResAt-Sunet网络的损失函数值Loss：
Loss＝Loss1+Loss2+Loss3+Loss4+Lossoutput
其中，Loss1、Loss2、Loss3、Loss4分别为解码器中四个深度监督模块的损失值，Lossoutput为扩张块E5的最终输出损失值；
最后，利用每一组训练数据对2DSResAt-SUnet模型进行训练，至当损失函数收敛，则停止训练，从而得到训练完成的2DSResAt-SUnet模型；
(3)、遥感图像典型地物可视化提取；
将待提取的同地域两张遥感图像裁剪为512*512大小的图块，然后再输入至训练完成的2DSResAt-SUnet模型，从而输出遥感图像中各种典型地物变化类型对应的标签值0、1、2、3、4…20，再将标签值映射到彩色范围，形成可视化图像。
2.根据权利要求1所述的一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，所述残差注意力结构为：输入的编码特征图FC*H*W先经过1*1卷积得到特征图
Figure FDA0004109707730000051
然后经过批标准化层、relu激活函数、3*3卷积层、批标准化层得到特征图
Figure FDA0004109707730000052
最后将
Figure FDA0004109707730000053
与
Figure FDA0004109707730000054
相加得到残差注意力结构的输出特征图
Figure FDA0004109707730000055
其中，C、H、W分别表示编码特征图的通道数、高和宽，Cout为残差注意力结构输出特征图的通道数。
3.根据权利要求2所述的一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，所述通道注意力结构为：输入的特征图
Figure FDA0004109707730000056
经过两条级联链路，第一条链路：
Figure FDA0004109707730000057
经过最大池化、1*1卷积得到特征图
Figure FDA0004109707730000058
再经过relu激活函数、1*1卷积层得到特征图
Figure FDA0004109707730000059
第二条链路：
Figure FDA00041097077300000510
经过平均池化、1*1卷积层得到特征图
Figure FDA00041097077300000511
再经过relu激活函数、1*1卷积得到特征图
Figure FDA00041097077300000512
将
Figure FDA00041097077300000513
与
Figure FDA00041097077300000514
相加，再使用sigmoid函数激活得到通道注意力权重图
Figure FDA00041097077300000515
最后将
Figure FDA00041097077300000516
与
Figure FDA00041097077300000517
相乘得到通道注意力结构的输出特征图
Figure FDA00041097077300000518
4.根据权利要求2所述的一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，所述空间注意力结构为：输入的特征图
Figure FDA00041097077300000519
先进行通道维度的求平均操作得到特征图Favg 1*H*W，再对
Figure FDA00041097077300000520
进行通道维度的求最大操作得到特征图Fmax 1*H*W，将Favg 1*H*W和Fmax 1*H*W堆叠起来，使用1*1卷积得到特征图Fspatial 1*H*W，使用sigmoid函数得到空间注意力权重图FspatialAt 1*H*W，将
Figure FDA00041097077300000521
与FspatialAt 1*H*W相乘得到空间注意力结构的输出特征图
Figure FDA00041097077300000522
5.根据权利要求1所述的一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，所述Loss1、Loss2、Loss3、Loss4的计算方法为：
记步骤(1.4)得到的变化标签图像为Y，依次对变化标签图像Y进行16倍、8倍、4倍以及2倍的下采样，得到四种分辨率的标签图像，依次记为Y1、Y2、Y3和Y4；
然后按照如下公式分别计算损失值：
Lossi＝-αi(1-pi)γlog(pi)
Figure FDA0004109707730000061
其中，i＝1,2,3,4表示下采样后的四种标签图像编号；ni表示第i种标签图像的像素点个数；αi表示第i种标签图像的类别权重，γ为调节因子，pi表示第i种标签图像的样本损失值，yi,j为标签图像Yi的第j个像素点的像素值，χi,j为变化检测结果图χi的第j个像素点的像素值。
6.根据权利要求5所述的一种高分辨率遥感图像多地物变化信息提取方法，其特征在于，所述Lossoutput的计算方法为：
Lossoutput＝-αoutput(1-poutput)γlog(poutput)
Figure FDA0004109707730000062
其中，n表示变化标签图像Y的像素点个数，αoutput表示变化检测结果图χoutput的类别权重，poutput为χoutput的样本损失值，yj表示变化标签图像Y的第j个像素点的像素值，χoutput,j变化检测结果图χoutput的第j个像素点的像素值。
CN202210513448.8A 2022-05-12 2022-05-12 一种高分辨率遥感图像多地物变化信息提取方法 Active CN114898212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210513448.8A CN114898212B (zh) 2022-05-12 2022-05-12 一种高分辨率遥感图像多地物变化信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210513448.8A CN114898212B (zh) 2022-05-12 2022-05-12 一种高分辨率遥感图像多地物变化信息提取方法

Publications (2)

Publication Number Publication Date
CN114898212A CN114898212A (zh) 2022-08-12
CN114898212B true CN114898212B (zh) 2023-04-18

Family

ID=82722215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210513448.8A Active CN114898212B (zh) 2022-05-12 2022-05-12 一种高分辨率遥感图像多地物变化信息提取方法

Country Status (1)

Country Link
CN (1) CN114898212B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115648215B (zh) * 2022-11-04 2024-01-26 北京能创科技有限公司 基于注意力机制和孪生反卷积的服务机器人抓取检测方法
CN116958906B (zh) * 2023-08-25 2024-03-15 江苏秦郡环保科技有限公司 一种垃圾焚烧炉渣智能分类系统
CN117576517B (zh) * 2024-01-15 2024-04-12 西南交通大学 一种光学遥感影像自监督对比学习变化检测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990112A (zh) * 2021-04-20 2021-06-18 湖南大学 边缘引导的循环卷积神经网络建筑物变化检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990112A (zh) * 2021-04-20 2021-06-18 湖南大学 边缘引导的循环卷积神经网络建筑物变化检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yuxia Li 等.New Neural Network and an Image Postprocessing Method for High Resolution Satellite Imagery Road Extraction.IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium.2019,全文. *
孙杰.基于孪生注意力融合网络的遥感图像变化检测.中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑).2022,C028-216. *

Also Published As

Publication number Publication date
CN114898212A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114898212B (zh) 一种高分辨率遥感图像多地物变化信息提取方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN113240688A (zh) 一种一体化洪涝灾害精准监测预警方法
CN113312993B (zh) 一种基于PSPNet的遥感数据土地覆盖分类方法
CN109977968B (zh) 一种深度学习分类后比较的sar变化检测方法
CN113887515A (zh) 一种基于卷积神经网络的遥感滑坡识别方法及系统
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
Peng et al. Urban flood mapping with bitemporal multispectral imagery via a self-supervised learning framework
CN107247927A (zh) 一种基于缨帽变换的遥感图像海岸线信息提取方法及系统
El-Hallaq et al. Using cellular automata-Markov analysis and multi criteria evaluation for predicting the shape of the Dead Sea
CN111178304A (zh) 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN116403121A (zh) 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
Song et al. Remote sensing image spatiotemporal fusion via a generative adversarial network with one prior image pair
CN113553949A (zh) 一种基于摄影测量数据的尾矿库语义分割方法
CN113505636A (zh) 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
Meng et al. A modified fully convolutional network for crack damage identification compared with conventional methods
CN116977632A (zh) 基于非对称卷积的改进U-Net网络的滑坡提取方法
CN112907567B (zh) 基于空间推理方法的sar图像有序人造构筑物提取方法
Mahphood et al. Virtual first and last pulse method for building detection from dense LiDAR point clouds
CN114511787A (zh) 一种基于神经网络的遥感图像地物信息生成方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant