CN111274892A - 一种鲁棒的遥感影像变化检测方法及系统 - Google Patents
一种鲁棒的遥感影像变化检测方法及系统 Download PDFInfo
- Publication number
- CN111274892A CN111274892A CN202010037761.XA CN202010037761A CN111274892A CN 111274892 A CN111274892 A CN 111274892A CN 202010037761 A CN202010037761 A CN 202010037761A CN 111274892 A CN111274892 A CN 111274892A
- Authority
- CN
- China
- Prior art keywords
- network
- remote sensing
- flow
- sensing image
- deeplab
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000007246 mechanism Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000009977 dual effect Effects 0.000 claims description 13
- 238000012805 post-processing Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000003628 erosive effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种鲁棒的遥感影像变化检测方法及系统,该方法包括:将Flownet网络中的通道结构加入到Deeplab网络中,构建出Flow‑Deeplab网络;生成训练数据集,利用训练数据集对Flow‑Deeplab网络进行训练并优化,得到训练好的Flow‑Deeplab网络;利用训练好的Flow‑Deeplab网络对待检测遥感图像进行变化检测,根据Flow‑Deeplab网络的输出得到遥感图像的变化区域。本发明的Flow‑Deeplab网络可以实现双时相的遥感影像变化自动检测,并通过加入双重注意力机制可分别从空间维度和通道维度上的提取语义特征。
Description
技术领域
本发明涉及遥感影像变化检测技术领域,特别是指一种鲁棒的遥感影像变化检测方法及系统。
背景技术
遥感影像变化检测方法是把不同时间的遥感影像变化部分识别出来,从前时相遥感影像和后时相遥感影像中寻找变化区域的一种技术,可挖掘高分辨率遥感影像数据的价值,应用于土地监督和土地利用上。
现有的技术基于传统方法的遥感影像变化检测算法,如C均值聚类,一般属于两阶段算法,先分类,然后使用做差法或者比值法得到变化区域,算法比较复杂而且对配准的要求比较高。
发明内容
本发明要解决的技术问题是提供一种鲁棒的遥感影像变化检测方法及系统,以解决现有遥感影像变化检测方法较复杂且对配准的要求比较高的问题。
为解决上述技术问题,本发明提供如下技术方案:
一种鲁棒的遥感影像变化检测方法,所述方法包括:
将Flownet网络中的通道结构加入到Deeplab网络中,使得所述Deeplab网络的输入可接受两张待检测的遥感图像,构建出Flow-Deeplab网络;
生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化,得到训练好的Flow-Deeplab网络;
利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域。
进一步地,在构建出Flow-Deeplab网络后,所述方法还包括:
在所述Flow-Deeplab网络中加入双重注意力机制,所述双重注意力机制包括位置注意力机制和通道注意力机制;其中,所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重;所述通道注意力机制对每个通道的特征图进行加权,选择最终的输出特征图。
进一步地,所述利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,包括:
首先使用Resnet101对待检测遥感图像进行图像特征提取,然后将提取的图像特征经过空间金字塔池化和全连接层;全连接层每一层产生的特征都含有加强的语义信息;采用ReLU函数作为所有激活函数;并在卷积神经网络中添加BN层,对数据做归一化操作,调整数据分布使得每层数据分布相对稳定;
对图像特征进行融合后采用3x3的卷积核进行卷积操作;其中,在Flow-Deeplab网络的上采样部分,最后一层上采样的输出图像与输入图像的大小相同;并使用交叉熵损失函数,保证误差的反向传播。
进一步地,在利用所述训练数据集对Flow-Deeplab网络进行训练并优化时,使用Adam优化方法优化损失,最终得到训练好的的Flow-Deeplab网络。
进一步地,所述根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域,包括:
对Flow-Deeplab网络的输出结果进行后处理,得到待检测遥感图像的变化区域;其中,所述后处理包括腐蚀、膨胀以及去噪点操作。
相应地,为解决上述技术问题,本发明还提供如下技术方案:
一种鲁棒的遥感影像变化检测系统,所述系统包括:
第一改进模块,用于将Flownet网络中的通道结构加入到Deeplab网络中,使得Deeplab网络的输入可接受两张待检测遥感图像,构建Flow-Deeplab网络;
训练模块,用于生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化,得到训练好的Flow-Deeplab网络;
检测模块,用于利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,根据Flow-Deeplab网络的输出得到待检测遥感图像的变化区域。
进一步地,所述系统还包括第二改进模块,用于在Flow-Deeplab网络中加入双重注意力机制,所述双重注意力机制包括位置注意力机制和通道注意力机制;所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重;所述通道注意力机制对每个通道的特征图进行加权,选择最终的输出特征图。
进一步地,所述检测模块具体用于:
首先使用Resnet101对待检测遥感图像进行图像特征提取,然后将提取的图像特征经过空间金字塔池化和全连接层;全连接层每一层产生的特征都含有加强的语义信息;采用ReLU函数作为所有激活函数;并在卷积神经网络中添加BN层,对数据做归一化操作,调整数据分布使得每层数据分布相对稳定;
对图像特征进行融合后采用3x3的卷积核进行卷积操作;其中,在Flow-Deeplab网络的上采样部分,最后一层上采样的输出图像与输入图像的大小相同;并使用交叉熵损失函数,保证误差的反向传播。
进一步地,所述训练模块具体用于:
生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练,并使用Adam优化方法优化损失,得到训练好的的Flow-Deeplab网络。
进一步地,所述检测模块还用于:
对Flow-Deeplab网络的输出结果进行后处理,得到待检测遥感图像的变化区域;其中,所述后处理包括腐蚀、膨胀以及去噪点操作。
本发明的上述技术方案的有益效果如下:
本发明设计的鲁棒的遥感影像变化检测方法通过将Flownet网络中的双输入结构运用到Deeplab中,构建Flow-Deeplab网络;并将双通道注意力机制引入Flow-Deeplab网络,设计了Flow-Deeplab-Attention遥感影像变化检测网络;可实现双时相的遥感影像变化自动检测,并可分别从空间维度和通道维度上的提取语义特征;当高分辨率遥感影像比较复杂,普通卷积神经网络难以处理时,本发明设计的Flow-Deeplab-Attention网络模型比其他方法更为灵活、有效。
附图说明
图1为Flownet网络的示意图;
图2为本发明实施例提供的Flow-Deeplab网络的示意图;
图3为本发明实施例提供的鲁棒的遥感影像变化检测方法的流程图;
图4为本发明实施例提供的加入双注意力机制的Flow-Deeplab网络的网络框架图;
图5为位置注意力机制的网络结构图;
图6为通道注意力机制的网络结构图;
图7为加入双注意力机制的Flow-Deeplab和其他模型分割结果对比图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
第一实施例
请参阅图1至图7,本实施例提供一种鲁棒的遥感影像变化检测方法,通过深度卷积神经网络模型充分挖掘高分辨率遥感影像数据的价值,应用于土地监督和土地利用上。深度卷积神经网络模型从给定包含高分辨率遥感影像与相应真实标签的数据集,学习高分辨率遥感影像的数据信息与变化关系,最终能够直接从输入的高分辨率遥感卫星影像检测变化区域。
具体地,本实施例提供的鲁棒的遥感影像变化检测方法包括:
S101,将Flownet网络中的通道结构加入到Deeplab网络中,使得Deeplab网络的输入可接受两张待检测的遥感图像,构建出Flow-Deeplab网络;
需要说明的是,变化检测不仅需要提取每张遥感图像的特征,还需要找到不同时期遥感影像之间对应像素点的关系。光流预测就是寻找不同帧之间的变化关系,使用相邻帧之间的相关性计算物体运动信息。并且利用不同时期图像的像素在时间域上的变化寻找两帧之间的变化关系,并依据这个变化关系来计算不同帧之间物体的运动信息。Flownet网络最初是用在光流检测的网络,该网络的结构如图1所示。将一对图片分开处理,分别进入卷积层提取各自的特征,然后再对它们的特征进行匹配,寻找它们之间的联系。Flownet可以从一对图片中预测出变化区域。将图片对作为输入送入网络。
Flownet网络包含两个主要部分,分别是收缩部分和放大部分,收缩部分是网络的下采样部分,主要包含九层卷积结构,收缩部分具体实现方法是:第一个层使用卷积核的大小是7x7,第二个卷积层使用卷积核大小是5x5,第三个卷积层使用卷积核大小是3x3,第四个卷积层使用的卷积核大小是1x1,然后使用九次3x3大小的卷积核。使用的激活函数是ReLU激活函数。放大部分的作用是网络的上采样,此步骤重复四次,每一步提升两倍分辨率。
其中,上述S101主要是利用Flownet中的多张图像输入网络的特点,把Flownet中的通道结构作为改进,加入到Deeplab,改变Deeplab的输入使得网络接受两张遥感图像,融合Flownet网络的特点,融合了低层高分辨率信息与高层语义信息,增强卷积神经网络对遥感图像的表达能力,提高网络检测精度。
Flow-Deeplab网络的网络结构如图2所示,该网络呈对称结构,输入图像与输出图像大小相等,输入两张图像,适用于变化检测。
S102,生成训练数据集,利用训练数据集对Flow-Deeplab网络进行训练并优化,得到训练好的Flow-Deeplab网络;
其中,训练数据集的生成过程为:首先对数据进行预处理,包括数据增强、数据归一化、数据裁剪等等;然后把遥感影像数据集按8:1:1的比例划分,得到训练数据集、验证数据集以及测试数据集;其中训练集用于网络的训练。
训练时,把不同年份相应位置的遥感影像作为网络的输入,使得网络得到充分的训练;并使用Adam优化方法优化损失,最终得到训练好的网络模型。
S103,利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域。
其中,为了得到更好的结果,本实施例对网络的输出结果使用膨胀、腐蚀以及去噪点等后处理操作后,得到更加平滑的最终结果。
具体地,利用本Flow-Deeplab网络进行遥感图像变化检测的过程包括:
首先使用Resnet101提取特征;然后经过空间金字塔池化,无全连接层,每一层产生的特征都含有加强的语义信息。因为随着网络的加深可能出现梯度消失,为了解决这个问题,本实施例采用ReLU函数作为所有激活函数。并且为了防止网络的过拟合,在卷积神经网络中添加了BN层,对数据做归一化操作,调整数据分布使得每层数据分布相对稳定,可以增强网络的泛化性能。融合后采用3x3的卷积核进行卷积。在上采样部分,最后一层上采样的输出与输入图像大小相同,并使用交叉熵损失函数,保证误差的反向传播。
此外,为了区分一些容易混淆的类别,有效完成遥感影像变化检测任务,本实施例在Flow-Deeplab网络中加入了双重注意力机制,可以分别从空间维度和通道维度上的提取语义特征。当高分辨率遥感影像比较复杂,普通卷积神经网络难以处理时,本实施例加入双重注意力机制的Flow-Deeplab网络比其他卷积神经网络更为灵活、有效,该网络模型的网络结构如图4所示。
视觉注意力机制是比较特别的信号处理机制。它的机制是首先扫描全局图像,从图像中获得重点目标区域,也就是注意力焦点,而后对这一区域投入更多注意力资源,以获取更多所需要关注目标的细节信息,而抑制其他无用信息。这种机制使得人类利用有限的注意力资源从大量信息中快速筛选出高价值信息,甚至是人类为了更好的生存进化中形成的结果,人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。
深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似,核心目标也是从众多信息中选出对当前任务目标更关键的信息。至于注意力机制的具体计算过程,若对目前大多数方法进行抽象的话,可将其归纳为两个过程:第一个过程是计算权重系数,第二个过程根据权重系数进行加权求和。
本实施例主要是设计了一种基于双重自注意力机制的卷积神经网络Flow-Deeplab-Attention来捕获丰富的语境关联信息,并以此网络提高变化检测中容易混淆的类别问题。本实施例不是简单的用多尺度特征融合捕获语义信息,而是使用双重注意力机制的特点,结合局部特征与其全局依赖捕捉关联信息。具体实现方法是,本实施例巧妙的在原有的Flow-Deeplab网络上添加了两种注意力模块,构成了Flow-Deeplab-Attention。
Flow-Deeplab-Attention网络可以在空间维度和通道维度两个维度上找到语义关联信息。其中,位置注意力模块(Position Attention Module,PAM)对位置特征进行关联来决定每个位置的权重。另外,通道注意力模块(Channel Attention Module,CAM)对每个通道的特征图进行加权,选择最终的输出特征图。本实施例把两种注意力机制模块融合在一起,组成双重注意力机制模块,用来改进特征表示,并以此获得更高的精度和更好的输出效果。系统框架图如图4所示,位置注意力模块和通道注意力模块结构图分别如图5、图6所示。
位置注意力模块的作用机制是把不同位置上的两点上的信息关系找出来,来相互增强每个点的特征信息。它的做法是,首先把任意两点特征之间关联强度矩阵求解出来,假设原始特征为A,分别卷积降维得到B、C、D,然后转换特征图B的特征维度格式为((HxW)xC'),把特征图C的特征格式转换为(C'x(HxW)),然后把转换后的特征图B和转换后的特征图C相乘得到关联强度矩,关联强度矩的维度是((HxW)x(HxW))。关联强度矩经过softmax操作归一化得到特征图S,特征图S表示每个点对其他点的位置信息,两点对应的响应值表示两点特征相似度,如公式(1)所示。然后把特征图S中响应值作为加权对特征D进行加权融合,最后与原始特征A相加得到输出特征图E。
通道注意力模块的作用机制是融合不同通道之间的关联信息,把不同通道之间的信息关联起来。它的做法与位置注意力模块的做法比较相似,值得一提的区别是通道注意力机制并没有先使用卷积,而是将两个通道特征进行维度变换,然后做矩阵乘积,然后同样经过softmax操作获得特征注意力图X,特征注意力图X表示通道之间的关联强度。最后通道之间的加权融合,可以把通道之间的关系信息进行关联,得到的结果也会融合通道信息,获得的特征具有更强的语义响应。
本实施例把双重注意力机制融合进Flow-Deeplab网络得到了更为强大的Flow-Deeplab-Attention网络,为了可以准确的获得全局依赖关系的特征,把位置注意力模块和通道注意力模块的输出结果进行融合,形成了双重注意力机制,得到更强大的特征,更好的检测效果。
使用实验对比Flow-Deepplab以及Flow-Unet和Flow-Deeplab-Attention。并且每个模型预测结果都使用后处理,对比使用后处理操作前/后的预测结果。实验结果如图7所示,可看出本实施例设计的Flow-Deeplab-Attention有最好的精度,鲁棒性也比较好。并且能够快速地检测不同年份的高分辨率遥感影像变化区域,并很好的分割出来,具有很好的实际意义。
本实施例设计的鲁棒的遥感影像变化检测方法通过将Flownet网络中的双输入结构运用到Deeplab中,构建Flow-Deeplab网络;并将双通道注意力机制引入Flow-Deeplab网络,构建Flow-Deeplab-Attention遥感影像变化检测网络;可实现双时相的遥感影像变化自动检测,并可分别从空间维度和通道维度上的提取语义特征;当高分辨率遥感影像较复杂,普通卷积神经网络难以处理时,本实施例设计的Flow-Deeplab-Attention网络模型比其他方法更灵活、有效。
第二实施例
本实施例提供一种鲁棒的遥感影像变化检测系统,该系统包括:
第一改进模块,用于将Flownet网络中的通道结构加入到Deeplab网络中,使得Deeplab网络的输入可接受两张待检测遥感图像,构建Flow-Deeplab网络;
训练模块,用于生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化,得到训练好的Flow-Deeplab网络;
检测模块,用于利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,根据Flow-Deeplab网络的输出得到待检测遥感图像的变化区域。
本实施例的鲁棒的遥感影像变化检测系统与上述第一实施例的鲁棒的遥感影像变化检测方法相对应;其中,本实施例的鲁棒的遥感影像变化检测系统中的各功能模块所实现的功能与上述第一实施例的鲁棒的遥感影像变化检测方法中的各流程步骤一一对应;故,在此不再赘述。
此外,需要说明的是,本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (10)
1.一种鲁棒的遥感影像变化检测方法,其特征在于,所述方法包括:
将Flownet网络中的通道结构加入到Deeplab网络中,使得所述Deeplab网络的输入可接受两张待检测的遥感图像,构建出Flow-Deeplab网络;
生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化,得到训练好的Flow-Deeplab网络;
利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域。
2.如权利要求1所述的鲁棒的遥感影像变化检测方法,其特征在于,在构建出Flow-Deeplab网络后,所述方法还包括:
在所述Flow-Deeplab网络中加入双重注意力机制,所述双重注意力机制包括位置注意力机制和通道注意力机制;其中,所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重;所述通道注意力机制对每个通道的特征图进行加权,选择最终的输出特征图。
3.如权利要求1所述的鲁棒的遥感影像变化检测方法,其特征在于,所述利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,包括:
首先使用Resnet101对待检测遥感图像进行图像特征提取,然后将提取的图像特征经过空间金字塔池化和全连接层;全连接层每一层产生的特征都含有加强的语义信息;采用ReLU函数作为所有激活函数;并在卷积神经网络中添加BN层,对数据做归一化操作,调整数据分布使得每层数据分布相对稳定;
对图像特征进行融合后采用3x3的卷积核进行卷积操作;其中,在Flow-Deeplab网络的上采样部分,最后一层上采样的输出图像与输入图像的大小相同;并使用交叉熵损失函数,保证误差的反向传播。
4.如权利要求1所述的鲁棒的遥感影像变化检测方法,其特征在于,在利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化时,使用Adam优化方法优化损失,最终得到训练好的的Flow-Deeplab网络。
5.如权利要求1所述的鲁棒的遥感影像变化检测方法,其特征在于,所述根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域,包括:
对Flow-Deeplab网络的输出结果进行后处理,得到待检测遥感图像的变化区域;其中,所述后处理包括腐蚀、膨胀以及去噪点操作。
6.一种鲁棒的遥感影像变化检测系统,其特征在于,所述系统包括:
第一改进模块,用于将Flownet网络中的通道结构加入到Deeplab网络中,使得Deeplab网络的输入可接受两张待检测遥感图像,构建Flow-Deeplab网络;
训练模块,用于生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化,得到训练好的Flow-Deeplab网络;
检测模块,用于利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测,根据Flow-Deeplab网络的输出得到待检测遥感图像的变化区域。
7.如权利要求6所述的鲁棒的遥感影像变化检测系统,其特征在于,所述系统还包括第二改进模块,用于在Flow-Deeplab网络中加入双重注意力机制,所述双重注意力机制包括位置注意力机制和通道注意力机制;所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重;所述通道注意力机制对每个通道的特征图进行加权,选择最终的输出特征图。
8.如权利要求6所述的鲁棒的遥感影像变化检测系统,其特征在于,所述检测模块具体用于:
首先使用Resnet101对待检测遥感图像进行图像特征提取,然后将提取的图像特征经过空间金字塔池化和全连接层;全连接层每一层产生的特征都含有加强的语义信息;采用ReLU函数作为所有激活函数;并在卷积神经网络中添加BN层,对数据做归一化操作,调整数据分布使得每层数据分布相对稳定;
对图像特征进行融合后采用3x3的卷积核进行卷积操作;其中,在Flow-Deeplab网络的上采样部分,最后一层上采样的输出图像与输入图像的大小相同;并使用交叉熵损失函数,保证误差的反向传播。
9.如权利要求6所述的鲁棒的遥感影像变化检测系统,其特征在于,所述训练模块具体用于:
生成训练数据集,利用所述训练数据集对所述Flow-Deeplab网络进行训练,并使用Adam优化方法优化损失,得到训练好的的Flow-Deeplab网络。
10.如权利要求6所述的鲁棒的遥感影像变化检测系统,其特征在于,所述检测模块还用于:
对Flow-Deeplab网络的输出结果进行后处理,得到待检测遥感图像的变化区域;其中,所述后处理包括腐蚀、膨胀以及去噪点操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010037761.XA CN111274892B (zh) | 2020-01-14 | 2020-01-14 | 一种鲁棒的遥感影像变化检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010037761.XA CN111274892B (zh) | 2020-01-14 | 2020-01-14 | 一种鲁棒的遥感影像变化检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274892A true CN111274892A (zh) | 2020-06-12 |
CN111274892B CN111274892B (zh) | 2020-12-18 |
Family
ID=70997107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010037761.XA Active CN111274892B (zh) | 2020-01-14 | 2020-01-14 | 一种鲁棒的遥感影像变化检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274892B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899249A (zh) * | 2020-08-05 | 2020-11-06 | 吉林大学 | 基于ResNet50和DeeplabV3+的卷积神经网络的遥感图像变化检测方法 |
CN111968150A (zh) * | 2020-08-19 | 2020-11-20 | 中国科学技术大学 | 一种基于全卷积神经网络的弱监督视频目标分割方法 |
CN112417984A (zh) * | 2020-10-29 | 2021-02-26 | 西南交通大学 | 基于共注意力机制的时序鲁棒遥感影像变化检测方法 |
CN112686184A (zh) * | 2021-01-05 | 2021-04-20 | 浙江臻善科技股份有限公司 | 基于神经网络的遥感房屋变化检测方法 |
CN113034412A (zh) * | 2021-02-25 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
CN113033448A (zh) * | 2021-04-02 | 2021-06-25 | 东北林业大学 | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 |
CN113269237A (zh) * | 2021-05-10 | 2021-08-17 | 青岛理工大学 | 基于注意力机制的装配体变化检测方法、设备和介质 |
CN113344876A (zh) * | 2021-06-08 | 2021-09-03 | 安徽大学 | 一种ct和cbct间可变形配准方法 |
CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113610032A (zh) * | 2021-08-16 | 2021-11-05 | 北京市城市规划设计研究院 | 基于遥感影像的建筑物识别方法和装置 |
CN114359355A (zh) * | 2021-12-24 | 2022-04-15 | 上海应用技术大学 | 遥感图像配准方法 |
CN115527123A (zh) * | 2022-10-21 | 2022-12-27 | 河北省科学院地理科学研究所 | 一种基于多源特征融合的土地覆被遥感监测方法 |
CN116091492A (zh) * | 2023-04-06 | 2023-05-09 | 中国科学技术大学 | 一种图像变化像素级检测方法与系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330385A (zh) * | 2017-06-21 | 2017-11-07 | 华东师范大学 | 一种基于语义通道的多特征行人检测方法 |
CN109285162A (zh) * | 2018-08-30 | 2019-01-29 | 杭州电子科技大学 | 一种基于局部区域条件随机场模型的图像语义分割方法 |
CN109558806A (zh) * | 2018-11-07 | 2019-04-02 | 北京科技大学 | 高分遥感图像变化的检测方法和系统 |
CN109871532A (zh) * | 2019-01-04 | 2019-06-11 | 平安科技(深圳)有限公司 | 文本主题提取方法、装置及存储介质 |
CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 医学图像分割方法、装置和存储介质 |
CN109934166A (zh) * | 2019-03-12 | 2019-06-25 | 中山大学 | 基于语义分割和孪生神经网络的无人机图像变化检测方法 |
CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
CN110176027A (zh) * | 2019-05-27 | 2019-08-27 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法、装置、设备及存储介质 |
CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
CN110245665A (zh) * | 2019-05-13 | 2019-09-17 | 天津大学 | 基于注意力机制的图像语义分割方法 |
CN110298843A (zh) * | 2019-05-17 | 2019-10-01 | 同济大学 | 基于改进DeepLab的二维图像部件分割方法及应用 |
CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
CN110533084A (zh) * | 2019-08-12 | 2019-12-03 | 长安大学 | 一种基于自注意力机制的多尺度目标检测方法 |
CN110569695A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于定损图像判定模型的图像处理方法和装置 |
-
2020
- 2020-01-14 CN CN202010037761.XA patent/CN111274892B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330385A (zh) * | 2017-06-21 | 2017-11-07 | 华东师范大学 | 一种基于语义通道的多特征行人检测方法 |
CN109285162A (zh) * | 2018-08-30 | 2019-01-29 | 杭州电子科技大学 | 一种基于局部区域条件随机场模型的图像语义分割方法 |
CN110569695A (zh) * | 2018-08-31 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于定损图像判定模型的图像处理方法和装置 |
CN109558806A (zh) * | 2018-11-07 | 2019-04-02 | 北京科技大学 | 高分遥感图像变化的检测方法和系统 |
CN109871532A (zh) * | 2019-01-04 | 2019-06-11 | 平安科技(深圳)有限公司 | 文本主题提取方法、装置及存储介质 |
CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 医学图像分割方法、装置和存储介质 |
CN109934166A (zh) * | 2019-03-12 | 2019-06-25 | 中山大学 | 基于语义分割和孪生神经网络的无人机图像变化检测方法 |
CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
CN110245665A (zh) * | 2019-05-13 | 2019-09-17 | 天津大学 | 基于注意力机制的图像语义分割方法 |
CN110298843A (zh) * | 2019-05-17 | 2019-10-01 | 同济大学 | 基于改进DeepLab的二维图像部件分割方法及应用 |
CN110176027A (zh) * | 2019-05-27 | 2019-08-27 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法、装置、设备及存储介质 |
CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
CN110533084A (zh) * | 2019-08-12 | 2019-12-03 | 长安大学 | 一种基于自注意力机制的多尺度目标检测方法 |
CN110532955A (zh) * | 2019-08-30 | 2019-12-03 | 中国科学院宁波材料技术与工程研究所 | 基于特征注意力和子上采样的实例分割方法和装置 |
Non-Patent Citations (7)
Title |
---|
DOSOVITSKIY, A等: "FlowNet: Learning optical flow with convolutional networks", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
JIA SUN等: "Mask Propagation Network for Video Object Segmentation", 《ARXIV》 * |
JUN FU等: "Dual Attention Network for Scene Segmentation", 《CVPR2019》 * |
YONGYANG XU等: "Building extraction in very high resolution remote sensing imagery using deep learning and guided filters", 《REMOTE SENSING》 * |
向阳等: "基于改进UNet孪生网络的遥感影像矿区变化检测", 《煤炭学报》 * |
袁立等: "基于DeepLab-v3+的遥感影像分类", 《激光与光电子学进展》 * |
顾炼等: "基于FlowS-Unet的遥感图像建筑物变化检测", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/11.2109.TP.20190104.1439.007.HTML》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899249A (zh) * | 2020-08-05 | 2020-11-06 | 吉林大学 | 基于ResNet50和DeeplabV3+的卷积神经网络的遥感图像变化检测方法 |
CN111968150A (zh) * | 2020-08-19 | 2020-11-20 | 中国科学技术大学 | 一种基于全卷积神经网络的弱监督视频目标分割方法 |
CN112417984B (zh) * | 2020-10-29 | 2022-07-05 | 西南交通大学 | 基于共注意力机制的时序鲁棒遥感影像变化检测方法 |
CN112417984A (zh) * | 2020-10-29 | 2021-02-26 | 西南交通大学 | 基于共注意力机制的时序鲁棒遥感影像变化检测方法 |
CN112686184A (zh) * | 2021-01-05 | 2021-04-20 | 浙江臻善科技股份有限公司 | 基于神经网络的遥感房屋变化检测方法 |
CN113034412A (zh) * | 2021-02-25 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
CN113034412B (zh) * | 2021-02-25 | 2024-04-19 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
CN113033448A (zh) * | 2021-04-02 | 2021-06-25 | 东北林业大学 | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 |
CN113269237A (zh) * | 2021-05-10 | 2021-08-17 | 青岛理工大学 | 基于注意力机制的装配体变化检测方法、设备和介质 |
CN113344876A (zh) * | 2021-06-08 | 2021-09-03 | 安徽大学 | 一种ct和cbct间可变形配准方法 |
CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113469074B (zh) * | 2021-07-06 | 2023-12-19 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113610032A (zh) * | 2021-08-16 | 2021-11-05 | 北京市城市规划设计研究院 | 基于遥感影像的建筑物识别方法和装置 |
CN114359355A (zh) * | 2021-12-24 | 2022-04-15 | 上海应用技术大学 | 遥感图像配准方法 |
CN114359355B (zh) * | 2021-12-24 | 2023-08-01 | 上海应用技术大学 | 遥感图像配准方法 |
CN115527123A (zh) * | 2022-10-21 | 2022-12-27 | 河北省科学院地理科学研究所 | 一种基于多源特征融合的土地覆被遥感监测方法 |
CN116091492A (zh) * | 2023-04-06 | 2023-05-09 | 中国科学技术大学 | 一种图像变化像素级检测方法与系统 |
CN116091492B (zh) * | 2023-04-06 | 2023-07-14 | 中国科学技术大学 | 一种图像变化像素级检测方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111274892B (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111274892B (zh) | 一种鲁棒的遥感影像变化检测方法及系统 | |
Shi et al. | Building segmentation through a gated graph convolutional neural network with deep structured feature embedding | |
Chen et al. | DASNet: Dual attentive fully convolutional Siamese networks for change detection in high-resolution satellite images | |
CN112347859B (zh) | 一种光学遥感图像显著性目标检测方法 | |
CN113298818B (zh) | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 | |
CN108256562B (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
CN111480169A (zh) | 用于模式识别的方法、系统和装置 | |
CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
Xu et al. | Infrared and visible image fusion via parallel scene and texture learning | |
Xia et al. | A deep Siamese postclassification fusion network for semantic change detection | |
Cheng et al. | S3Net: 3D LiDAR sparse semantic segmentation network | |
Peng et al. | Full-level domain adaptation for building extraction in very-high-resolution optical remote-sensing images | |
Yin et al. | Attention-guided siamese networks for change detection in high resolution remote sensing images | |
CN113901900A (zh) | 一种同源或异源遥感图像用无监督变化检测方法及系统 | |
Chen et al. | Change detection of remote sensing images based on attention mechanism | |
Chen et al. | MSF-Net: A multiscale supervised fusion network for building change detection in high-resolution remote sensing images | |
Zhao et al. | Bilateral U‐Net semantic segmentation with spatial attention mechanism | |
Du et al. | Bilateral semantic fusion siamese network for change detection from multitemporal optical remote sensing imagery | |
Zhu et al. | MDAFormer: Multi-level difference aggregation transformer for change detection of VHR optical imagery | |
CN114550014A (zh) | 道路分割方法及计算机装置 | |
Alimjan et al. | An image change detection algorithm based on multi-feature self-attention fusion mechanism UNet network | |
Wang et al. | An unsupervised heterogeneous change detection method based on image translation network and post-processing algorithm | |
Wang et al. | Multi-scale dense and attention mechanism for image semantic segmentation based on improved DeepLabv3+ | |
Han et al. | HEAT: Incorporating hierarchical enhanced attention transformation into urban road detection | |
Sariturk et al. | Comparison of residual and dense neural network approaches for building extraction from high-resolution aerial images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |