CN115272278A - 一种用于遥感图像变化检测的变化检测模型的构建方法 - Google Patents

一种用于遥感图像变化检测的变化检测模型的构建方法 Download PDF

Info

Publication number
CN115272278A
CN115272278A CN202210975746.9A CN202210975746A CN115272278A CN 115272278 A CN115272278 A CN 115272278A CN 202210975746 A CN202210975746 A CN 202210975746A CN 115272278 A CN115272278 A CN 115272278A
Authority
CN
China
Prior art keywords
module
branch
input
convolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210975746.9A
Other languages
English (en)
Inventor
罗小燕
赵博
唐攀攀
王辉
白石
万昊明
欧阳宁雷
勾鹏
焦文品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Laboratory
Original Assignee
Nanhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Laboratory filed Critical Nanhu Laboratory
Priority to CN202210975746.9A priority Critical patent/CN115272278A/zh
Publication of CN115272278A publication Critical patent/CN115272278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本方案公开了一种用于遥感图像变化检测的变化检测模型的构建方法,模型包括两个孪生网络，孪生网络均依次包括输入层、网络层一、网络层二和分类层，输入层的输入为图象块一和图象块二，检测模型根据两个分类层的输出得到两个图象块的差异图像；输入层包括卷积模块、FMBConv模块和ASPP模块；网络层一包括第一双分支模块和第二双分支模块，其中一个分支均包括可变形卷积；网络层二包括多头自注意力瓶颈模块。本方案使用包括可变形卷积的双分支结构和多头自注意力机制，使模型在保证特征图空间分辨率的同时增大其感受野，提高模型的检测精度。

Description

一种用于遥感图像变化检测的变化检测模型的构建方法
技术领域
本发明属于变化检测技术，尤其是涉及一种用于遥感图像变化检测的新型模型。
背景技术
遥感图像变化检测是对同一地理位置不同时相获取的两幅或多幅图像进行分析和检测，从而获得地物变化信息的技术。在遥感影像中地物光谱或纹理特征能够反映地物类别和属性信息，因此根据多时相遥感影像同一位置像素光谱/纹理特征的变化就能够获取地表地物的变化情况，包括地物发生变化的区域以及详细的变化类型信息等。目前遥感影像变化检测已经广泛应用到土地覆盖和土地利用监测、城市发展研究、资源管理、灾害评估和生态系统监测等领域。
按照分析对象使用的基本单元大小可将变化检测方法分为基于像素的变化检测和基于对象的变化检测。基于像素的变化检测方法以像元为处理单位逐个分析像元之间的差异，利用遥感图像的光谱特征等对图像进行变化检测，此类算法早期一般采用直接分析法或分类后比较法。直接分析法是根据遥感影像的灰度值，将图像各波段组合后进行差值、比值、对数比值、主成分分析等运算得到变化差异图，然后设定适当的阈值对变化差异图进行分析获取具体变化信息。分类后比较法则是先将待检测的遥感影像进行分类，然后比较分类结果获得变化检测结果。而基于对象的变化检测方法则采用先按对象类别分割(常用的方法有边缘检测法、阈值分割法和区域分割法)再检测的方法，根据设定的尺度参数，将光谱、纹理、形状等特征相似性的像素划分为同质区域对象，充分地利用了像素纹理和上下文信息，一定程度上提高了检测精度。传统的变化检测方法主要是在基于像元或面向对象的框架下，通过非监督分类(如规则集、阈值分割等)或机器学习(如支持向量机、随机森林等)进行变化信息的提取，这些方法严重依赖手工构建的特征表示，对复杂的高层次变化信息的建模能力有限，并且当变化类和非变化类的特征重叠或其统计分布建模不准确时，检测结果会产生误差。
相较于传统算法，深度学习模型利用卷积神经网络自动、多层次、多维度的提取复杂图像的特征，且更深层次的网络结构提取出的特征对于噪声具有更强的鲁棒性。基于深度学习的变化检测网络框架主要包括语义分割式早期融合框架和孪生网络式晚期融合框架。前者将不同时期的图像沿着通道维度连接起来，作为语义分割网络的输入，从而提取变化信息。后者使用并行孪生网络从两个相互配准的图像中提取特征，后通过拼接、相减、LSTM、欧式距离等方式进行特征融合。为了提高检测精度，增加网络深度和宽度是一种常用的策略，但这会引入大量的可训练网络参数，需要占用很大的存储空间。在实际的工程应用中，基于深度学习的变化检测模型存在复杂度高、参数量大、计算开销大等问题。在模型训练和推断过程中对终端设备的计算性能要求高，导致模型在低性能的计算平台如嵌入式或者移动端设备上出现难以部署、或者部署后的检测实时性差等问题。
为了解决前述问题，目前有较多领域内人员着手于变化检测模型的轻量化，如《K.Song,F.Cui,and J.Jiang,“An efficient lightweight neural network for remotesensing image change detection,”Remote Sensing,vol.13,no.24,pp.1-24,Dec.2021.》提出了轻量化变化检测模型(3M-CDNet)，该模型能够解决现行变化检测模型复杂度高，参数量大，计算开销大等问题，但是仍然存在一些问题，如小目标检测及边界信息的捕捉精确度不足，模型解译精度不高等，而其所存在的这些问题将导致最终检测结果不够准确。
发明内容
本发明的目的是针对上述问题，设计了新的适用于遥感影像的变化检测的网络模型。
为达到上述目的，本发明采用了下列技术方案：
一种用于遥感图像变化检测的变化检测模型的构建方法，所述模型包括两个孪生网络，每个孪生网络均依次包括输入层、网络层一、网络层二和分类层，两个输入层的输入分别为图象块一和图象块二，检测模型根据两个分类层的输出得到两个图象块的差异图像，网络层一的输入为相应输入层的输出，网络层二的输入为相应输入层输出和网络层一输出沿通道维度方向拼接后的结果，分类层的输入为相应输入层输出、网络层一输出和网络层二输出沿通道维度方向拼接后的结果；
且所述的输入层包括卷积模块、FMBConv模块和ASPP模块；所述的网络层一包括均采用双分支结构的第一双分支模块和第二双分支模块，且两个双分支模块的其中一个分支均包括可变形卷积以用于捕捉不同几何特征的变化目标；所述的网络层二包括多头自注意力瓶颈模块。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的FMBConv模块包括一个多倍数于FMBConv模块输入特征维度的多倍卷积和与输入特征维度相等的同维度卷积；输入至FMBConv模块的特征首先输入至多倍卷积进行卷积处理，多倍卷积的处理结果作为同维度卷积的输入，且同维度卷积的输出与FMBConv模块的输入特征相加的结果作为FMBConv模块的输出输入至下一模块；
所述的ASSP模块包括并列存在的多个分支，输入至APP模块的特征分别输入所述多个分支，最后将所述多个分支的输出特征在通道维度上拼接后使用1*1卷积对输出的通道数进行调整后输出。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的ASSP模块包括分支一、分支二、分支三、分支四和分支五，所述的分支一采用1*1卷积，分支二采用扩张率为6的3*3的空洞卷积，分支三采用扩张率为12的3*3的空洞卷积，分支四采用扩张率为18的3*3的空洞卷积，分支五采用用于全局平均池化的平均池化层。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述第一双分支模块的第一分支包括1*1卷积，第二分支包括可变形卷积，输入至第一双分支模块的特征图分别被输入至1*1卷积和可变形卷积，并将1*1卷积和可变形卷积的输出通过残差连接后输出最终得到特征维度为256，尺度大小为H/4*W/4的特征图，H、W分别表示输入特征图的长度和宽度；
所述第二双分支模块的第一分支为直连结构，第二分支包括可变形卷积，输入至第二分支模块的特征图被输入至可变形卷积网络，直连结构直接引入输入至第二分支模块的特征图，可变形卷积网络的输出与来自直连结构的输入至第二分支模块的特征图通过残差连接后输出。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的多头自注意力瓶颈模块依次包括一个自注意力瓶颈模块一和两个自注意力瓶颈模块二；
且自注意力瓶颈模块一和自注意力瓶颈模块二均采用双分支结构；
自注意力瓶颈模块一的第一分支包括1*1卷积，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块一的特征图分别被输入至其第一分支和第二分支，并将第一分支和第二分支的输出通过残差连接后输出；
自注意力瓶颈模块二的第一分支为直连结构，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块二的特征图被输入至第二分支，第一分支直接引入输入至自注意力瓶颈模块二的特征图，第二分支的输出与来自第一分支的特征图的输入至第二分支模块的特征图通过残差连接后输出。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的多头自注意力模块均包括四个自注意力层和一个相对位置编码模块。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的输入层依次包括一个卷积模块、两个FMBConv模块、一个最大池化层和一个ASPP模块；
所述的网络层一依次包括一个第一双分支模块和两个第二双分支模块；
所述的网络层二依次包括一个最大池化层、一个多头自注意力瓶颈模块和一个上采样模块。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述的分类层依次包括第一卷积层、第一上采样模块、第二卷积层、通道注意力模块、第三卷积层、第四卷基层和第二上采样模块。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，所述模型通过以下深监督方式进行训练：
S1.分别将图象块一和图象块二通过输入层、网络层一、网络层二和分类层处理后的特征图进行张量相减形成新的含有变化信息的特征图；
S2.对所述新的特征图进行1*1卷积使其通道维度为分类数(1)；
S3.将经步骤S2处理的特征图上采样至原始输入图像大小，最后依次计算其损失函数并进行多次反向传播。
在上述的用于遥感图像变化检测的变化检测模型的构建方法中，步骤S3中，使用公式(1)分别对输入层、网络层一、网络层二和分类层处得到的预测图计算损失，通过反向传播进行梯度的更新，完成指定轮数的模型训练后，保存模型的参数，将其部署到其他设备端开展预测工作：
L＝Ldice+Lfocal (1)
Lfocal(pt)＝-αt(1-pt)γlog(pt) (2)
Figure BDA0003797336720000061
Ldice表示Dice Loss，Lfocal为Focal Loss，pt为预测概率，α和γ均为调整参数，ε为平滑因子，y为预测值，t为真实值/标签。
本发明的优点在于：使用包括可变形卷积的双分支结构和多头自注意力机制，使模型在保证特征图空间分辨率的同时增大其感受野，从而有利于小目标和狭窄地物的检测和变化对象边界信息的精确捕捉，生成语义特征更加鲜明的预测图，提高模型的检测精度；利用深监督缓解了梯度消失现象，通过在输入层使用ASSP模块、FMBConv模块提高网络处理不同尺度变化的能力，在此基础上对输入层、网络层一、网络层二和分类层采用跳级连接方式连接，能够更好地融合不同层的特征以捕捉不同大小的变化目标，缓解图像受成像角度和几何失真给模型的性能带来的干扰。通过前述各模块的搭配使用能够在保证模型预测精度和推理速度的前提下提高模型的解译精度、防止梯度消失和过拟合，从而提高利用本检测模型实现的变化检测精度。
附图说明
图1为本发明用于遥感图像变化检测的变化检测模型的构建方法的整体工作流程图；
图2为本发明用于遥感图像变化检测的变化检测模型的构建方法中输入层的结构图；
图3为本发明用于遥感图像变化检测的变化检测模型的构建方法中FMBConv模块的结构图；
图4为本发明用于遥感图像变化检测的变化检测模型的构建方法中ASPP模块的结构图；
图5为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层一的结构图；
图6a为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层一DConvBottleneck-A的结构图；
图6b为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层一的DConvBottleneck-B模块结构图；
图7为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层二的结构图；
图8a为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层二的MHSABottleneck-1模块结构图；
图8b为本发明用于遥感图像变化检测的变化检测模型的构建方法中网络层二的MHSABottleneck-2模块结构图；
图9为本发明用于遥感图像变化检测的变化检测模型的构建方法中MHSA模块的结构图；
图10为本发明用于遥感图像变化检测的变化检测模型的构建方法中分类层的结构图；
图11为本发明用于遥感图像变化检测的变化检测模型的构建方法中通道注意力机制的结构图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细的说明。
本方案提出了一种用于遥感图像变化检测的变化检测模型的构建方法及其构建方法。如图1所示，所述模型包括两个孪生网络，每个孪生网络均依次包括输入层、网络层一、网络层二和分类层，两个输入层的输入分别为第一时相的图象块一和第二时相的图象块二，检测模型根据两个分类层的输出得到两个图象块的深度特征图，并据以生成差异图像。本实施例得到差异图像的方式具体为：对两个分类层的输出结果进行相减，然后对相减的结果进行1*1卷积卷积并上采样至原始输入图像大小得到原尺寸的差异图像。
特别地，网络层一的输入为相应孪生网络输入层的输出，网络层二的输入为相应孪生网络的输入层的输出和网络层一的输出沿通道维度方向拼接后的结果，分类层的输入为相应孪生网络的输入层的输出，网络层一的输出，和网络层二的输出沿通道维度方向拼接后的结果。将变化检测问题看待成一个特殊的语义分割问题，分别对图像块一、图像块二进行输入层、网络层一、网络层二以及分类层的一系列处理，再对不同阶段两个图像所产生的结果进行后期融合，然后进行变化信息的二分类预测。
具体地，如图2所示，输入层依次包括一个卷积模块、两个FMBConv模块、一个最大池化层和一个ASPP模块。假设将尺寸大小为H*W*3的图像块一、二分别输入孪生网络的输入层进行相关处理，首先图像被输入至一个卷积核为3*3、步长为2的卷积层，其后通过两个FMBConv模块，最后通过一个窗口大小为3*3的最大池化层以及一个ASPP层，最终，输入模块将输入影像重采样为H/4*W/4*128大小的特征图。
具体地，卷积模块包括卷积核为3*3、步长为2的卷积层；所述最大池化层的窗口大小为3*3。
其中，如图3所示，H,W,C分别为特征图的长度、宽度和通道维度，FMBConv模块包括一个多倍数于FMBConv模块输入特征维度的多倍卷积和与输入特征维度相等的同维度卷积；输入至FMBConv模块的特征首先输入至多倍卷积进行卷积处理，多倍卷积的处理结果作为同维度卷积的输入，且同维度卷积的输出与FMBConv模块的输入特征相加的结果作为FMBConv模块的输出输入至下一模块。FMBConv模块的引入能够增强模型的信息提取能力，本实施例多倍卷积的维度是输入维度的4倍，使模型能够捕捉更多细粒度的特征，同时也更容易训练。
如图4所示，x为输入特征图，
Figure BDA0003797336720000091
为经过ASPP模块处理后的输出，ASSP模块包括并列存在的多个分支，包括分支一、分支二、分支三、分支四和分支五，分支一采用1*1卷积，分支二采用扩张率为6的3*3的空洞卷积，分支三采用扩张率为12的3*3的空洞卷积，分支四采用扩张率为18的3*3的空洞卷积，分支五采用用于全局平均池化的平均池化层。输入至APP模块的特征分别输入所述多个分支，最后将所述多个分支的输出特征在通道维度上拼接后使用1*1卷积对输出的通道数进行调整后输出。本方案将ASPP加入输入层，能够获得多个不同大小的感受野，提高网络处理不同尺度变化的能力，配合对输入层、网络层一、网络层二和分类层采用跳级连接方式连接，能够能够获得多个不同大小的感受野，提高网络处理不同尺度变化的能力，更好地融合不同层的特征以捕捉不同大小的变化目标，缓解图像受成像角度和几何失真给模型的性能带来的干扰。
如图5所示，所述的网络层一依次包括一个第一双分支模块和两个第二双分支模块；第一双分支模块DConvBottleneck-A和第二双分支模块DConvBottleneck-B均采用双分支结构，且两个双分支模块的其中一个分支均包括可变形卷积以用于捕捉不同几何特征的变化目标。
具体地，如图6a所示，第一双分支模块DConvBottleneck-A的第一分支(即图中左侧分支)包括1*1卷积，第二分支(即图中右侧分支)包括可变形卷积，输入至第一双分支模块的特征图分别被输入至1*1卷积和可变形卷积，1*1卷积将输入特征图的通道数由128变为256，之后用BN(Batch Normalization)层进行归一化，右侧分支用于捕获不同几何特征的变化目标，同时增大特征图的感受野。1*1卷积和可变形卷积的输出通过残差连接后输出，并最终得到特征维度为256，尺度大小为H/4*W/4的特征图，H、W分别表示输入特征图的长度和宽度。
如图6b所示，类似地，第二双分支模块DConvBottleneck-B与第一分支模块类似，只是第二分支模块的左侧分支采用直连结构，直连结构直接引入输入至第二分支模块的特征图，第二分支(右侧分支)同样包括可变形卷积，输入至第二分支模块的特征图被输入至可变形卷积网络，可变形卷积网络的输出与来自直连结构的输入至第二分支模块的特征图通过残差连接后输出。最终得到特征维度为256，尺度大小为H/4*W/4的特征图。可变形卷积的引入可在保证特征图空间分辨率的同时增大其感受野，从而有利于小目标的检测和变化地物边缘信息的捕捉。
如图7所示，网络层二依次包括一个最大池化层、一个多头自注意力瓶颈模块和一个上采样模块。多头自注意力瓶颈模块依次包括一个自注意力瓶颈模块一MHSABottleneck-1和两个自注意力瓶颈模块二MHSABottleneck-2。且自注意力瓶颈模块一和自注意力瓶颈模块二均采用双分支结构。
如图8a所示，自注意力瓶颈模块一MHSABottleneck-1的第一分支包括1*1卷积，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块一的特征图分别被输入至其第一分支和第二分支，并将第一分支和第二分支的输出通过残差连接后输出；
如图8b所示，自注意力瓶颈模块二MHSABottleneck-2的第一分支为直连结构，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块二的特征图被输入至第二分支，第一分支直接引入输入至自注意力瓶颈模块二的特征图，第二分支的输出与来自第一分支的特征图的输入至第二分支模块的特征图通过残差连接后输出。
图8a和图8b中，x为输入特征图，
Figure BDA0003797336720000111
为经过MHSABottleneck模块处理后的输出,MHSA为多头自注意力模块。
其中多头自注意力模块MHSA(Multi-Head Self-Attention)是由4个自注意力层(Self-Attention Layer)以及一个相对位置编码模块组合而成，其网络结构如图9所示，该模块使用了4个Self-Attention Layer，为了简单起见，这里没有在图上全部显示，其中，q、k、v、r分别表示查询向量、被查询信息与其他信息的相关性向量、被查询信息的向量和位置编码，x是大小为H×W×d的输入特征图，z为输出特征图，1×1表示1×1卷积。
同时引入可变形卷积和多头自注意力机制，使其在保证特征图空间分辨率的同时增大其感受野，从而有利于小目标的检测和变化对象边界信息的精确捕捉。
如图10所示，分类层依次包括第一卷积层、第一上采样模块、第二卷积层、通道注意力模块、第三卷积层、第四卷基层和第二上采样模块。通道注意力模块的结构如图11所示，图中x为输入特征图，
Figure BDA0003797336720000121
为经过Channel Attention模块处理后的输出，FC为全连接层，ReLU为激活函数。
优选地，本模型通过以下深监督方式进行训练，使中间的网络层(输入层、网络层一、网络层二)也能够被有效地训练，网络的权重也能更好的更新，从而避免了梯度消失，改善了模型的性能：
S1.分别将时图象块一和图象块二通过输入层、网络层一、网络层二和分类层处理后的特征图进行张量相减形成新的含有变化信息的特征图；
S2.对所述新的特征图进行1*1卷积使其通道维度为分类数(1)；
S3.将经步骤S2处理的特征图上采样至原始输入图像大小，最后依次计算其损失函数并进行多次反向传播。
进一步地，步骤S3中，使用公式(1)分别对输入层、网络层一、网络层二和分类层处得到的预测图计算损失，通过反向传播进行梯度的更新，完成指定轮数的模型训练后，保存模型的参数，将其部署到其他设备端开展预测工作：
L＝Ldice+Lfocal (1)
Lfocal(pt)＝-αt(1-pt)γlog(pt) (2)
Figure BDA0003797336720000131
Ldice表示Dice Loss，Lfocal为Focal Loss，pt为预测概率，α和γ均为调整参数，ε为平滑因子，y为预测值，t为真实值/标签。
Focal Loss在交叉熵上加入调整参数(α和γ)，使得模型可以降低那些容易的负样本的权值，更加关注那些困难和错误分类的样本的学习。Dice Loss则侧重对正样本的挖掘，可以有效地缓解样本失衡问题。
通过上述方法实现的模型的参数量较小，能方便的移植到其他移动设备上，此外该模型能够以较大的batch size(批量大小)进行快速训练，且模型具有较好的泛化性，二这些改良有利于实际的工程化应用和快速部署，提高模型对遥感影像变化检测的效率和精度。
本方案重点在于提出一种能够提取到高精度的差异图像的变化检测模型，变化检测的后续步骤，如对差异图像进行处理得到变化检测结果的方式与现有技术一致，不在此赘述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了输入层、网络层一、网络层二、分类层、卷积模块、FMBConv模块、ASPP模块、第一双分支模块、第二双分支模块、可变形卷积、多头自注意力瓶颈模块等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种用于遥感图像变化检测的变化检测模型的构建方法，所述模型包括两个孪生网络，每个孪生网络均依次包括输入层、网络层一、网络层二和分类层，两个输入层的输入分别为图象块一和图象块二，检测模型根据两个分类层的输出得到两个图象块的差异图像，其特征在于，网络层一的输入为相应输入层的输出，网络层二的输入为相应输入层输出和网络层一输出沿通道维度方向拼接后的结果，分类层的输入为相应输入层输出、网络层一输出和网络层二输出沿通道维度方向拼接后的结果；
且所述的输入层包括卷积模块、FMBConv模块和ASPP模块；所述的网络层一包括均采用双分支结构的第一双分支模块和第二双分支模块，且两个双分支模块的其中一个分支均包括可变形卷积；所述的网络层二包括多头自注意力瓶颈模块。
2.根据权利要求1所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述的FMBConv模块包括一个多倍数于FMBConv模块输入特征维度的多倍卷积和与输入特征维度相等的同维度卷积；输入至FMBConv模块的特征首先输入至多倍卷积进行卷积处理，多倍卷积的处理结果作为同维度卷积的输入，且同维度卷积的输出与FMBConv模块的输入特征相加的结果作为FMBConv模块的输出输入至下一模块；
所述的ASSP模块包括并列存在的多个分支，输入至APP模块的特征分别输入所述多个分支，最后将所述多个分支的输出特征在通道维度上拼接后使用1*1卷积对输出的通道数进行调整后输出。
3.根据权利要求2所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述的ASSP模块包括分支一、分支二、分支三、分支四和分支五，所述的分支一采用1*1卷积，分支二采用扩张率为6的3*3的空洞卷积，分支三采用扩张率为12的3*3的空洞卷积，分支四采用扩张率为18的3*3的空洞卷积，分支五采用用于全局平均池化的平均池化层。
4.根据权利要求1所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述第一双分支模块的第一分支包括1*1卷积，第二分支包括可变形卷积，输入至第一双分支模块的特征图分别被输入至1*1卷积和可变形卷积，并将1*1卷积和可变形卷积的输出通过残差网络连接后输出；
所述第二双分支模块的第一分支为直连结构，第二分支包括可变形卷积，输入至第二分支模块的特征图被输入至可变形卷积网络，直连结构直接引入输入至第二分支模块的特征图，可变形卷积网络的输出与来自直连结构的特征图通过残差网络连接后输出。
5.根据权利要求1所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述的多头自注意力瓶颈模块依次包括一个自注意力瓶颈模块一和两个自注意力瓶颈模块二；
且自注意力瓶颈模块一和自注意力瓶颈模块二均采用双分支结构；
自注意力瓶颈模块一的第一分支包括1*1卷积，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块一的特征图分别被输入至其第一分支和第二分支，并将第一分支和第二分支的输出通过残差网络连接后输出；
自注意力瓶颈模块二的第一分支为直连结构，第二分支包括多头自注意力模块，输入至自注意力瓶颈模块二的特征图被输入至第二分支，第一分支直接引入输入至自注意力瓶颈模块二的特征图，第二分支的输出与来自第一分支的特征图通过残差网络连接后输出。
6.根据权利要求5所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述的多头自注意力模块均包括四个自注意力层和一个相对位置编码模块。
7.根据权利要求1-6任意一项所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述的输入层依次包括一个卷积模块、两个FMBConv模块、一个最大池化层和一个ASPP模块；
所述的网络层一依次包括一个第一双分支模块和两个第二双分支模块；
所述的网络层二依次包括一个最大池化层、一个多头自注意力瓶颈模块和一个上采样模块。
8.根据权利要求1-6任意一项所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述的分类层依次包括第一卷积层、第一上采样模块、第二卷积层、通道注意力模块、第三卷积层、第四卷基层和第二上采样模块。
9.根据权利要求1-6任意一项所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，所述模型通过以下深监督方式进行训练：
S1.分别将图象块一和图象块二通过输入层、网络层一、网络层二和分类层处理后的特征图进行张量相减形成新的含有变化信息的特征图；
S2.对所述新的特征图进行1*1卷积使其通道维度为分类数(1)；
S3.将经步骤S2处理的特征图上采样至原始输入图像大小，最后依次计算其损失函数并进行多次反向传播。
10.根据权利要求9所述的用于遥感图像变化检测的变化检测模型的构建方法，其特征在于，步骤S3中，使用公式(1)分别对输入层、网络层一、网络层二和分类层处得到的预测图计算损失，通过反向传播进行梯度的更新：
L＝Ldice+Lfocal (1)
Lfocal(pt)＝-αt(1-pt)γlog(pt) (2)
Figure FDA0003797336710000031
Ldice表示Dice Loss，Lfocal为Focal Loss，pt为预测概率，α和γ均为调整参数，ε为平滑因子，y为预测值，t为真实值/标签。
CN202210975746.9A 2022-08-15 2022-08-15 一种用于遥感图像变化检测的变化检测模型的构建方法 Pending CN115272278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210975746.9A CN115272278A (zh) 2022-08-15 2022-08-15 一种用于遥感图像变化检测的变化检测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210975746.9A CN115272278A (zh) 2022-08-15 2022-08-15 一种用于遥感图像变化检测的变化检测模型的构建方法

Publications (1)

Publication Number Publication Date
CN115272278A true CN115272278A (zh) 2022-11-01

Family

ID=83750834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210975746.9A Pending CN115272278A (zh) 2022-08-15 2022-08-15 一种用于遥感图像变化检测的变化检测模型的构建方法

Country Status (1)

Country Link
CN (1) CN115272278A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601549A (zh) * 2022-12-07 2023-01-13 山东锋士信息技术有限公司（Cn） 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN116229095A (zh) * 2022-12-30 2023-06-06 北京百度网讯科技有限公司 一种模型训练方法、视觉任务处理方法、装置及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601549A (zh) * 2022-12-07 2023-01-13 山东锋士信息技术有限公司（Cn） 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN115601549B (zh) * 2022-12-07 2023-04-07 山东锋士信息技术有限公司 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN116229095A (zh) * 2022-12-30 2023-06-06 北京百度网讯科技有限公司 一种模型训练方法、视觉任务处理方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN110969088B (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN111310861A (zh) 一种基于深度神经网络的车牌识别和定位方法
CN111368896A (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN115272278A (zh) 一种用于遥感图像变化检测的变化检测模型的构建方法
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN109977968A (zh) 一种深度学习分类后比较的sar变化检测方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN115471754A (zh) 一种基于多维多尺度U-net网络的遥感图像道路提取方法
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
Wang et al. Air quality classification and measurement based on double output vision transformer
CN114299305A (zh) 聚合密集和注意力多尺度特征的显著性目标检测算法
CN113378642A (zh) 一种对农村违法占地建筑物进行检测的方法
CN117523401A (zh) 一种多模态遥感数据变化检测方法
Yin et al. Road Damage Detection and Classification based on Multi-level Feature Pyramids.
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN114937154B (zh) 一种基于递归解码器的显著性检测方法
CN116402761A (zh) 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination