CN112507826B - 一种端到端生态变化监测方法、终端、计算机设备及介质 - Google Patents
一种端到端生态变化监测方法、终端、计算机设备及介质 Download PDFInfo
- Publication number
- CN112507826B CN112507826B CN202011364904.4A CN202011364904A CN112507826B CN 112507826 B CN112507826 B CN 112507826B CN 202011364904 A CN202011364904 A CN 202011364904A CN 112507826 B CN112507826 B CN 112507826B
- Authority
- CN
- China
- Prior art keywords
- local
- net
- network
- change detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 112
- 238000001514 detection method Methods 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 1
- 241000282414 Homo sapiens Species 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
Abstract
本发明属于生态环境变化检测技术领域，公开了一种基于非局部U‑net端到端神经网络的生态变化监测方法、终端、计算机设备及介质，输入两幅同地区不同时间的SAR图像，利用对数比算子和均值比算子分别生成对数比差异图和均值比差异图，并通过数据增强方法扩增数据作为模型的训练和测试数据集；采用非局部U‑net为主干网络，并改进CRF as RNN模块然后与非局部网络构建端到端的变化检测模型；基于上述端到端的变化检测模型，通过利用非局部U‑net网络和CRF as RNN的联合作用，获得最终的变化检测结果。本发明取得了较高的检测精度，对于研究人类与生态环境的交互关系有着重要意义。
Description
技术领域
本发明属于生态环境变化检测技术领域，尤其涉及一种基于非局部U-net端到端神经网络的生态变化监测方法、终端、计算机设备及介质。
背景技术
自从美国在1961年成功发射了第一颗气象卫星，人类利用遥感技术对全球资源进行了广泛的研究。进入21世纪这个信息化时代之后，航天技术的蓬勃发展促进了遥感技术的快速前进，海量的遥感数据为人类进行各类科学研究和工程应用提供了坚实的数据基础。对土地覆盖变化信息的掌握有利于人类对现实问题的认知以及未来发展的预测，对遥感图像进行变化检测已经发展为一个非常热门的研究课题。
遥感图像变化检测技术是一种利用覆盖同一地表区域的多时相遥感影像定量地分析和确定地表变化特征过程的技术，被广泛应用于土地覆盖监测、森林覆盖监测、农业资源勘查、军事目标动态监视等多个领域，因此具有重要的研究意义和广泛的应用前景。成孔径雷达(SAR)是一种地表穿透能力强、可全时段获取高分辨率的遥感成像效果的微波遥感，在遥感领域获得了极大的关注。由于利用SAR系统获取图像数据的便捷性和其地表穿透能力强、可全时段获取高分辨率遥感图像的优点，因此，SAR图像广泛应用于变化检测领域，可以有效识别出变化区域、范围、类别等关键信息，为科学决策提供有力证据支撑。
遥感图像变化检测本质上是一种像素级的二分类问题，即将差异图像的所有像素点分为变化类和非变化类。在过去的十几年中，国内外学者为研究各种变化检测方法做出了巨大的贡献，以图像分析的基本单元为标准，这些研究方法可以分为两类，由基于像素的方法逐渐发展为基于目标对象的方法。
基于像素的方法以像素为分析单元，通常需要利用差值法或比值法等先生成初始差异图像，其次选择合适的阈值进行分割或采用无监督的聚类操作来确定变化区域。阈值分割的方法有：OSTU阈值法、K-I最小误差阈值法等；变化检测领域常用的聚类算法有：K-means聚类、模糊C均值聚类和谱聚类等。基于目标对象的变化检测方法通常是以分割对象作为基本处理单元。Peng D等首先利用简单线性迭代聚类算法将去噪后的SAR图像分割成超像素，然后利用高斯混合模型和最佳传输距离(OTD)得到差异图，最后利用广义KI阈值算法得到变化检测结果。
传统的基于像素和基于对象的变化检测方法均需要人为构造特征，其缺陷主要在于：(1)无法保证人为构造特征的有效性，即是否能完整提取遥感图像中的有效变化信息；(2)人为构造特征的层次较浅，难以描述遥感图像中的语义变化信息，导致检测精度不高。
随着深度学习理论和技术的快速发展，有研究者尝试使用深度学习来解决变化检测问题。Lv N等提出了一种基于叠加压缩自编码器(sCAE)的特征学习方法，首先通过三种度量方法建立了一个在像素级的时间变化图像，其次采用Mean-shift算法生成超混合像元作为样本，训练sCAE网络学习语义变化特征，最后将该sCAE模型编码的特征进行二值分类，生成变化结果图，实验结果表明，该模型能有效地分离非线性噪声和变化特征，取得了较高的检测精度。
尽管深度学习在遥感图像变化检测问题上取得了较高的变化检测精度，但是存在不足之处：(1)由于语义鸿沟、噪声等干扰因素导致变化检测结果中出现语义信息错误的现象；(2)存在由于变化特征不显著而无法精确界定的边界像素点，即边界模糊现象。
综上所述，现有技术存在的问题是：传统的基于像素和基于对象的变化检测方法需要人工构造特征，变化检测结果依赖于人工特征的有效性，但往往我们无法保证构造特征的有效性且难以挖掘遥感图像的深层特征；目前利用神经网络模型解决变化检测任务存在由于神经网络模型对变化语义的感知能力有限或噪声等因素导致的变化语义错误、细节保留不完整、边界分割不精确等问题。
解决上述技术问题的难度：如何提高神经网络模型对图像语义信息的感知能力以及如何抑制噪声等因素导致的变化语义信息错误现象。
解决上述技术问题的意义：遥感图像变化检测被广泛应用于土地覆盖监测、森林覆盖监测、农业资源勘查、军事目标动态监视等多个领域，获取高精度的变化检测结果对于研究人类与生态环境的交互关系有着重要意义。
发明内容
针对现有技术存在的问题，本发明提供了一种基于非局部U-net端到端神经网络的生态变化监测方法、终端、计算机设备及介质。
具体涉及一种基于非局部U-net端到端神经网络的生态变化监测方法。
本发明是这样实现的，一种基于非局部U-net端到端神经网络的生态变化监测方法，所述基于非局部U-net端到端神经网络的生态变化监测方法包括：输入两幅不同时间相同地区的SAR图像，利用对数比算子和均值比算子分别生成对数比差异图和均值比差异图，并通过数据增强方法扩增数据作为模型的训练和测试数据集；采用增加了多头注意力机制的非局部U-Net网络为主干网络，并对CRF as RNN模块进行改进然后与非局部U-Net网络构建端到端的变化检测模型；基于上述端到端的变化检测模型，通过利用非局部U-net网络和CRF as RNN的联合作用，获得最终的变化检测结果。
进一步，所述基于非局部U-net端到端神经网络的生态变化监测方法包括以下步骤：
(1)输入两幅同地区不同时间的SAR图像I1和I2；
(2)对I1和I2两幅图像采用对数比算子和均值比算子分别得到对数比差异图Xl和均值比差异图Xm，然后利用非局部均值滤波方法对这两种差异图像进行滤波得到滤波后的差异图像Fl和Fm；
(3)对未滤波的差异图像Xl和Xm及滤波后的差异图像Fl和Fm这四种图像分别采用数据增强技术进行数据扩增，具体操作包括：图像平移、图像旋转、图像镜像等，获得变化检测网络的训练数据集和测试数据集；
(4)对由增加多头注意力机制的非局部U-Net网络和改进后的CRF as RNN模块搭建的端到端变化检测网络进行训练得到变化检测模型；
(5)输入滤波后的差异图像Fl和Fm进行测试，获得变化检测结果。
进一步，采用对数比算子与均值比算子计算差异图像，其计算公式分别如下：
其中，μ1，μ2分别表示I1和I2的局部均值。
进一步，利用非局部均值滤波方法对两种差异图像Xl和Xm进行滤波，计算过程如下：
已知一幅图像p＝{p(x),x∈I}，I为图像的像素域，经过非局部均值滤波进行滤波之后，图像中任意像素点p(x)的灰度估计值为：
其中，权值ω(i,j)表示像素p(i)与p(j)之间的相似程度，其满足条件0≤ω(i,j)≤1且
进一步，对由增加多头注意力机制的非局部U-Net网络和改进后的CRF as RNN模块搭建的端到端变化检测网络进行训练得到变化检测模型，按照如下步骤进行：
a)将扩增后的数据集划分为训练数据集与测试数据集；
b)非局部U-Net网络增加多头注意力机制：将非局部U-Net网络底部块中的单头注意力机制改为双头注意力机制；
c)输入数据经过非局部U-net模块，其最后一层的输出结果作为一元势输入改进之后的CRF as RNN模块，从而获得最终变化检测结果；对每个像素的所有标签上的一元势U进行初始化，公式如下：
其中Q为初始化之后的一元势函数，n为所有像素点个数；
当不收敛的情况下循环执行以下步骤：
c1)利用联合双边滤波和空间滤波计算二阶势函数，公式如下：
其中，k(m)(fi,fj)表示第m个滤波器权重分布函数，fi和fj分别为像素i和像素j的特征向量，w(1)(i,j,k,l)为联合双边滤波器的加权系数，w(2)(i,j,k,l)为空间滤波器的加权系数，i,j为当前被卷积像素的坐标点，k,l为邻域像素的坐标点，f(i,j)为滤波图像上当前被卷积像素的特征向量，是参考图像(网络输入差异图)上邻域像素的特征向量；
c2)对于每个类别标签l，取前一步两个滤波器输出的加权和，公式如下：
其中，ω(m)为权重系数，是参与网络训练的参数；
c3)接下来进行兼容性转换，公式如下：
其中，L是标签集合，μ(l,l')为标签兼容性函数，是参与网络训练的参数；
c4)构造能量函数，从一元势输入中逐项减去兼容性转换阶段的输出，公式如下：
其中，Ui(l)是非局部U-net最后一个卷积层的输出结果，Qi(l)是CRF as RNN上次迭代的输出结果；
d)搭建的端到端变化检测网络采用反向传播BP算法进行训练：
搭建的端到端变化检测网络按照BP算法进行训练，包含前向计算和误差反传更新两部分；首先对网络参数进行初始化设置，然后按照批次输入训练数据进行前向运算得到输出层的结果；接着计算目标函数得到误差并通过反向传播算法对网络参数进行更新；目标函数定义为网络最终的输出结果与期望输出结果的交叉熵损失，公式如下：
其中，y是真实标签，是网络预测标签；
e)训练参数设置：
学习率Learning_rate：1e-3；
批次大小Batch_size：设置批次大小为4；
图像块大小Patch_size：设置图像块大小为256；
重叠步长overlap_step：设置重叠步长为4；
优化器Optimizer：采用Adam优化器，实现网络快速收敛；
迭代次数：设置迭代次数为500次；
激活函数：采用tf.nn.Relu6激活函数，定义如下：
tf.nn.relu6(x)＝min(max(0,x),6)。
进一步，在获得训练模型之后，输入滤波后的差异图像Fl和Fm进行测试，获得变化检测结果。
本发明的另一目的在于提供一种应用所述基于非局部U-net端到端神经网络的生态变化监测方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于非局部U-net端到端神经网络的生态变化监测方法。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行实施所述基于非局部U-net端到端神经网络的生态变化监测方法。
综上所述，本发明的优点及积极效果为：本发明主要作用于遥感图像变化检测领域，不仅解决传统的基于像素和基于对象的变化检测方法中存在的无法保证人工构造特征有效性和难以挖掘遥感图像中深层特征的技术问题，而且解决利用神经网络模型进行变化检测时存在由于神经网络模型对变化语义的感知能力有限或噪声等因素导致的变化语义错误、细节保留不完整、边界分割不精确等问题；本发明将变化检测问题转换为二分类的语义分割问题，提出了一种针对像素级语义分割的端到端深度学习解决方案：采用增加了多头注意力机制的非局部U-net网络获取粗输出，CRF推理细化预测结果；在前向传递过程中CRF as RNN模块可以从非局部U-net中获得粗输出，并在训练期间将误差差分传递回非局部U-net，从而可以将深度神经网络与CRF的优势结合起来，进一步提高变化检测的性能。
本发明将深度学习理论和条件随机场理论联合作用于SAR的变化检测过程中，考虑到非局部U-net网络由于卷积和池化等操作会产生粗糙的输出，如分割结果中出现的非清晰边界和类似斑点的形状，而CRF理论可以结合原始图像中所有像素之间的关系进行全局相关性建模可以有效抑制噪声、语义鸿沟等因素的干扰，因此可以获得更为准确地变化检测结果。
本发明将非局部U-net网络与CRF建模进行完全集成，不仅使得用通常的反向传播算法对整个系统进行端到端的训练成为可能，而且可以获得具有非局部U-net和CRF所需特性的端到端遥感图像变化检测系统；建立端到端系统可以对原先多步骤需要确定的参数进行联合训练，从而避免了各个模块训练目标不一致或累积误差对系统性能的影响，相较于使用CRF作为后处理的变化检测方法，本发明所提出的方法可以获得更高的检测性能。
附图说明
图1是本发明实施例提供的基于非局部U-net端到端神经网络的生态变化监测方法流程图。
图2是本发明实施例提供的基于非局部U-net端到端神经网络的生态变化监测方法实现流程图。
图3是本发明实施例提供的非局部U-net的网络结构图。
图4是本发明实施例提供的对Berne数据集进行变化检测的结果图。
图5是本发明实施例提供的对Ottawa数据集进行变化检测的结果图。
图6是本发明实施例提供的与U-net算法、原始非局部U-net算法、增加多头注意力的非局部U-net算法、增加多头注意力的非局部U-net+原始CRF as RNN算法和增加多头注意力的非局部U-net+全连接CRF算法对Berne数据集的变化检测结果图。
图7是本发明实施例提供的与U-net算法、原始非局部U-net算法、增加多头注意力的非局部U-net算法、增加多头注意力的非局部U-net+原始CRF as RNN算法和增加多头注意力的非局部U-net+全连接CRF算法对Ottawa数据集的变化检测结果图。
图8是本发明实施例提供的与现有算法PCANET对Berne数据集的变化检测结果图。
图9是本发明实施例提供的与现有算法PCANET对Ottawa数据集的变化检测结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了基于非局部U-net端到端神经网络的生态变化监测方法，下面结合附图对本发明作详细的描述。
本发明提供的基于非局部U-net端到端神经网络的生态变化监测方法包括：
输入两幅不同时间相同地区的SAR图像，利用对数比算子和均值比算子分别生成对数比差异图和均值比差异图，并通过数据增强方法扩增数据作为模型的训练和测试数据集；采用增加了多头注意力机制的非局部U-Net网络为主干网络，并对CRF as RNN模块进行改进然后与非局部U-Net网络构建端到端的变化检测模型；基于上述端到端的变化检测模型，通过利用非局部U-net网络和CRF as RNN的联合作用，获得最终的变化检测结果。本发明通过联合非局部U-net网络和条件随机场，获得具有非局部U-net和CRF所需特性的端到端遥感图像变化检测系统，成功应用一体化变化检测框架来统一解决变化语义信息不准确和变化边界不稳定问题，并取得了较高的检测精度，对于研究人类与生态环境的交互关系有着重要意义。
具体地，如图1所示，本发明实施例提供的基于非局部U-net端到端神经网络的生态变化监测方法包括以下步骤：
S101：利用输入的两时相图，生成均值比差异图和对数比差异图，并采用数据增强技术进行数据扩增基于非局部U-net的端到端变化检测网络的训练和测试数据集；
S102：对由增加多头注意力机制的非局部U-Net网络和改进后的CRF as RNN模块搭建的端到端变化检测网络进行训练得到变化检测模型；
S103：输入滤波后的差异图像进行测试，获得变化检测结果。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明实施例提供的基于非局部U-net端到端神经网络的生态变化监测方法具体包括以下步骤：
步骤1，输入两幅不同时间相同地区的SAR图像I1和I2；
步骤2，对I1和I2两幅图像采用对数比算子和均值比算子分别得到对数比差异图Xl和均值比差异图Xm，然后利用非局部均值滤波方法对这两种差异图像进行滤波得到滤波后的差异图像Fl和Fm；
2a)采用对数比算子与均值比算子获得对数比值差异图Xl和均值比值差异图Xm，其计算公式分别如下：
其中，μ1，μ2分别表示I1和I2的局部均值。
2b)利用非局部均值滤波方法对两种差异图像Xl和Xm进行滤波，计算过程如下：
已知一幅图像p＝{p(x),x∈I}，I为图像的像素域，经过非局部均值滤波进行滤波之后，图像中任意像素点p(x)的灰度估计值为：
其中，权值ω(i,j)表示像素p(i)与p(j)之间的相似程度，其满足条件0≤ω(i,j)≤1且
步骤3，对未滤波的差异图像Xl和Xm及滤波后的差异图像Fl和Fm这四种图像分别采用数据增强技术进行数据扩增，具体操作包括：图像平移、图像旋转、图像镜像等，获得变化检测网络的训练数据集和测试数据集；
步骤4，对由增加多头注意力机制的非局部U-Net网络和改进后的CRF as RNN模块搭建的端到端变化检测网络进行训练得到变化检测模型；
4a)划分训练数据集与测试数据集；
4b)非局部U-Net网络增加多头注意力机制：将非局部U-Net网络底部块中的单头注意力机制改为双头注意力机制；
4c)输入数据经过非局部U-net模块，其最后一层的输出结果作为一元势输入改进之后的CRF as RNN模块，从而获得最终变化检测结果；对每个像素的所有标签上的一元势U进行初始化，公式如下：
其中Q为初始化之后的一元势函数，n为所有像素点个数；
当不收敛的情况下循环执行以下步骤：
4c1)利用联合双边滤波和空间滤波计算二阶势函数，公式如下：
其中，k(m)(fi,fj)表示第m个滤波器权重分布函数，fi和fj分别为像素i和像素j的特征向量，w(1)(i,j,k,l)为联合双边滤波器的加权系数，w(2)(i,j,k,l)为空间滤波器的加权系数，i,j为当前被卷积像素的坐标点，k,l为邻域像素的坐标点，f(i,j)为滤波图像上当前被卷积像素的特征向量，是参考图像(网络输入差异图)上邻域像素的特征向量；
4c2)对于每个类别标签l，取前一步2个滤波器输出的加权和，公式如下：
其中，ω(m)为权重系数，是参与网络训练的参数；
4c3)接下来进行兼容性转换，公式如下：
其中，L是标签集合，μ(l,l')为标签兼容性函数，是参与网络训练的参数；
4c4)构造能量函数，从一元势输入中逐项减去兼容性转换阶段的输出，公式如下：
其中，Ui(l)是非局部U-net最后一个卷积层的输出结果，Qi(l)是CRF as RNN上次迭代的输出结果；
4d)搭建的基于非局部U-net的端到端变化检测网络，该网络模型如图3所示，采用反向传播BP算法进行训练：
搭建的端到端变化检测网络按照BP算法进行训练，包含前向计算和误差反传更新两部分；首先对网络参数进行初始化设置，然后按照批次输入训练数据进行前向运算得到输出层的结果；接着计算目标函数得到误差并通过反向传播算法对网络参数进行更新；目标函数定义为网络最终的输出结果与期望输出结果的交叉熵损失，公式如下：
其中，y是真实标签，是网络预测标签；
4e)训练参数设置：
学习率Learning_rate：1e-3
批次大小Batch_size：设置批次大小为4；
图像块大小Patch_size：设置图像块大小为256；
重叠步长overlap_step：设置重叠步长为4；
优化器Optimizer：采用Adam优化器，实现网络快速收敛；
迭代次数：设置迭代次数为500次；
激活函数：采用tf.nn.Relu6激活函数，定义如下：
tf.nn.relu6(x)＝min(max(0,x),6)；
步骤5，采用基于非局部U-net的端到端变化检测网络进行训练得到网络模型，输入滤波后的差异图像Fl和Fm进行测试，获得变化检测结果。
下面结合仿真对本发明的技术效果作详细的描述。
1、仿真条件
本发明是在CPU为Intel(R)Core(TM)i7-7700、CPU3.60GHz、RAM 8.00GB、Windows10操作系统的PC上，运用Pycharm软件完成本发明仿真实验。
2、仿真实验内容
本实验选择了Berne地区和Ottawa地区两个数据集做变化检测结果的验证，Berne数据集图像的分辨率为301×301，Ottawa数据集图像的分辨率为350×290。
仿真1，采用本发明方法对Berne数据集和Ottawa数据集进行变化检测，检测结果如图4、图5所示，其中：
(1)图4(a)表示Berne数据集中的变化前图像；
(2)图4(b)表示Berne数据集中的变化后图像；
(3)图4(c)表示Berne数据集中的标准参考变化图；
(4)图4(d)表示Berne数据集利用本发明得到的变化检测结果图；
(5)图5(a)表示Ottawa数据集中的变化前图像；
(6)图5(b)表示Ottawa数据集中的变化后图像；
(7)图5(c)表示Ottawa数据集中的标准参考变化图；
(8)图5(d)表示Ottawa数据集利用本发明得到的变化检测结果图；
仿真2，采用U-net算法、原始非局部U-net算法、增加多头注意力的非局部U-net算法、增加多头注意力的非局部U-net+原始CRF as RNN算法、增加多头注意力的非局部U-net+全连接CRF算法和本发明方法对Berne数据集和Ottawa数据集进行变化检测，结果如图6、图7所示，其中：
(1)图6(a)表示Berne数据集采用U-net算法的检测结果；
(2)图6(b)表示Berne数据集采用原始非局部U-net算法的检测结果；
(3)图6(c)表示Berne数据集采用增加多头注意力的非局部U-net算法的检测结果；
(4)图6(d)表示Berne数据集采用增加多头注意力的非局部U-net+原始CRF asRNN算法的检测结果；
(5)图6(e)表示Berne数据集采用增加多头注意力的非局部U-net+全连接CRF算法的检测结果；
(6)图6(f)表示Berne数据集采用本发明方法的检测结果；
(7)图7(a)表示Ottawa数据集采用U-net算法的检测结果；
(8)图7(b)表示Ottawa数据集采用原始非局部U-net算法的检测结果；
(9)图7(c)表示Ottawa数据集采用增加多头注意力的非局部U-net算法的检测结果；
(10)图7(d)表示Ottawa数据集采用增加多头注意力的非局部U-net+原始CRF asRNN算法的检测结果；
(11)图7(e)表示Ottawa数据集采用增加多头注意力的非局部U-net+全连接CRF算法的检测结果；
(12)图7(f)表示Ottawa数据集采用本发明方法的检测结果。
仿真3，采用现有PCANET算法和本发明方法对Berne数据集和Ottawa数据集进行变化检测，结果如图8、图9所示，其中：
(1)图8(a)表示Berne数据集采用现有PCANET算法的检测结果；
(2)图8(b)表示Berne数据集采用本发明方法的检测结果；
(3)图7(a)表示Ottawa数据集采用现有PCANET算法的检测结果。
(4)图7(b)表示Ottawa数据集采用本发明方法的检测结果。
3.仿真实验结果及分析
由图4和图5可以看出，本发明方法能够有效地将SAR图像中的变化区域准确的检测出来。由图6和图7可以看出，本发明提出的改进方法相比于原始算法可以显著提升变化检测性能。由图8和图9可以看出，相比于其他算法，本发明方法能够能降低语义信息错误并清晰的检测出变化边界，从而提高了SAR图像中变化区域的检测精确度。综上所述，本发明成功利用一体化变化检测框架来统一解决变化语义信息不准确和变化边界不稳定问题，并取得了较高的检测精度，对于研究人类与生态环境的交互关系有着重要意义
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于非局部U-net端到端神经网络的生态变化监测方法，其特征在于，所述基于非局部U-net端到端神经网络的生态变化监测方法包括：
输入两幅不同时间相同地区的SAR图像，利用对数比算子和均值比算子分别生成对数比差异图和均值比差异图，并通过数据增强方法扩增数据作为模型的训练和测试数据集；
采用增加了多头注意力机制的非局部U-Net网络为主干网络，并对CRF as RNN模块进行改进，然后与非局部U-Net网络构建端到端的变化检测模型；
基于所述端到端的变化检测模型，通过利用非局部U-net网络和CRF as RNN的联合作用，获得最终的变化检测结果；
所述基于非局部U-net端到端神经网络的生态变化监测方法具体包括：
步骤一，输入两幅不同时间相同地区的SAR图像I1和I2；
步骤二，对I1和I2两幅图像采用对数比算子和均值比算子分别得到对数比差异图Xl和均值比差异图Xm，然后利用非局部均值滤波方法对这两种差异图像进行滤波得到滤波后的差异图像Fl和Fm；
步骤三，对未滤波的差异图像Xl和Xm及滤波后的差异图像Fl和Fm这四种图像分别采用数据增强技术进行数据扩增；
步骤四，对由增加多头注意力机制的非局部U-Net网络和改进后的CRF as RNN模块搭建的端到端变化检测网络进行训练得到变化检测模型；包括：
a)将扩增后的数据集划分为训练数据集与测试数据集；
b)非局部U-Net网络增加多头注意力机制：在非局部U-Net网络的底部块中的单头注意力机制改为双头注意力机制；
c)输入数据经过非局部U-net模块，其最后一层的输出结果作为一元势输入改进之后的CRF as RNN模块进行迭代优化，获得最终变化检测结果；
d)搭建的端到端变化检测网络采用反向传播BP算法进行训练：
搭建的端到端变化检测网络按照BP算法进行训练，包含前向计算和误差反传更新两部分；首先对网络参数进行初始化设置，然后按照批次输入训练数据进行前向运算得到输出层的结果；接着计算目标函数得到误差并通过反向传播算法对网络参数进行更新；目标函数定义为网络最终的输出结果与期望输出结果的交叉熵损失，公式如下：
其中，y是真实标签，是网络预测标签；
e)训练参数设置：
学习率Learning_rate：1e-3；
批次大小Batch_size：设置批次大小为4；
图像块大小Patch_size：设置图像块大小为256；
重叠步长overlap_step：设置重叠步长为4；
优化器Optimizer：采用Adam优化器，实现网络快速收敛；
迭代次数：设置迭代次数为500次；
激活函数：采用tf.nn.Relu6激活函数，为：
tf.nn.relu6(x)＝min(max(0,x),6)；
步骤五，输入滤波后的差异图像Fl和Fm进行测试，获得变化检测结果。
2.如权利要求1所述的基于非局部U-net端到端神经网络的生态变化监测方法，其特征在于，所述步骤二包括：
1)采用对数比算子与均值比算子计算差异图像，其计算公式分别如下：
其中，μ1，μ2分别表示I1和I2的局部均值；
2)利用非局部均值滤波方法对两种差异图像Xl和Xm进行滤波计算。
3.如权利要求2所述的基于非局部U-net端到端神经网络的生态变化监测方法，其特征在于，所述步骤2)滤波计算包括：
已知一幅图像p＝{p(x),x∈I}，I为图像的像素域，经过非局部均值滤波进行滤波之后，图像中任意像素点p(x)的灰度估计值为：
其中，权值ω(i,j)表示像素p(i)与p(j)之间的相似程度，其满足条件0≤ω(i,j)≤1且
4.如权利要求1所述的基于非局部U-net端到端神经网络的生态变化监测方法，其特征在于，所述步骤三进行数据扩增，具体操作包括：图像平移、图像旋转、图像镜像等，获得变化检测网络的训练数据集和测试数据集。
5.如权利要求1所述的基于非局部U-net端到端神经网络的生态变化监测方法，其特征在于，所述步骤c)包括：
对每个像素的所有标签上的一元势U进行初始化，公式如下：
其中Q为初始化之后的一元势函数，n为所有像素点个数；
当不收敛的情况下循环执行以下步骤：
c1)利用联合双边滤波和空间滤波计算二阶势函数，公式如下：
其中，k(m)(fi,fj)表示第m个滤波器权重分布函数，fi和fj分别为像素i和像素j的特征向量，w(1)(i,j,k,l)为联合双边滤波器的加权系数，w(2)(i,j,k,l)为空间滤波器的加权系数，i,j为当前被卷积像素的坐标点，k,l为邻域像素的坐标点，f(i,j)为滤波图像上当前被卷积像素的特征向量，是参考图像上邻域像素的特征向量；
c2)对于每个类别标签l，取前一步两个滤波器输出的加权和，公式如下：
其中，ω(m)为权重系数，是参与网络训练的参数；
c3)接下来进行兼容性转换，公式如下：
其中，L是标签集合，μ(l,l')为标签兼容性函数，是参与网络训练的参数；
c4)构造能量函数，从一元势输入中逐项减去兼容性转换阶段的输出，公式如下：
其中，Ui(l)是非局部U-net最后一个卷积层的输出结果，Qi(l)是CRF as RNN上次迭代的输出结果。
6.一种信息数据处理终端，其特征在于，所述信息数据处理终端实施权利要求1～5任意一项所述基于非局部U-net端到端神经网络的生态变化监测方法。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～5任意一项所述基于非局部U-net端到端神经网络的生态变化监测方法。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行实施权利要求1～5任意一项所述基于非局部U-net端到端神经网络的生态变化监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011364904.4A CN112507826B (zh) | 2020-11-27 | 2020-11-27 | 一种端到端生态变化监测方法、终端、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011364904.4A CN112507826B (zh) | 2020-11-27 | 2020-11-27 | 一种端到端生态变化监测方法、终端、计算机设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507826A CN112507826A (zh) | 2021-03-16 |
| CN112507826B true CN112507826B (zh) | 2024-02-06 |
Family
ID=74967251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011364904.4A Active CN112507826B (zh) | 2020-11-27 | 2020-11-27 | 一种端到端生态变化监测方法、终端、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507826B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592843B (zh) * | 2021-08-09 | 2023-06-23 | 北京联合大学 | 基于改进的U-Net眼底视网膜血管图像分割方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111008644A (zh) * | 2019-10-30 | 2020-04-14 | 西安电子科技大学 | 基于局部动态能量函数fcn-crf模型的生态变化监测方法 |
| WO2020107687A1 (zh) * | 2018-11-27 | 2020-06-04 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
| CN111681197A (zh) * | 2020-06-12 | 2020-09-18 | 陕西科技大学 | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 |
| CN111767409A (zh) * | 2020-06-14 | 2020-10-13 | 南开大学 | 一种基于多头自注意力机制的实体关系抽取方法 |
-
2020
- 2020-11-27 CN CN202011364904.4A patent/CN112507826B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020107687A1 (zh) * | 2018-11-27 | 2020-06-04 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111008644A (zh) * | 2019-10-30 | 2020-04-14 | 西安电子科技大学 | 基于局部动态能量函数fcn-crf模型的生态变化监测方法 |
| CN111681197A (zh) * | 2020-06-12 | 2020-09-18 | 陕西科技大学 | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 |
| CN111767409A (zh) * | 2020-06-14 | 2020-10-13 | 南开大学 | 一种基于多头自注意力机制的实体关系抽取方法 |
Non-Patent Citations (3)
| Title |
|---|
| 夏鹤珑 ; 严丹丹 ; .基于多头注意力机制的人物关系抽取方法.成都工业学院学报.2020,(第01期),全文. * |
| 崔斌 ; 张永红 ; 闫利 ; 魏钜杰 ; .一种基于卷积神经网络的SAR变化检测方法.测绘科学.2019,(第06期),全文. * |
| 王帅帅 ; 刘建国 ; 纪郭 ; .基于全卷积神经网络的车道线检测.数字制造科学.2020,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507826A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Postels et al. | Sampling-free epistemic uncertainty estimation using approximated variance propagation | |
| Wu et al. | Commonality autoencoder: Learning common features for change detection from heterogeneous images | |
| CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
| Chen et al. | CycleGAN-STF: Spatiotemporal fusion via CycleGAN-based image generation | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| CN107833208B (zh) | 一种基于动态权重深度自编码的高光谱异常检测方法 | |
| CN111161229B (zh) | 一种基于几何主动轮廓模型和稀疏自编码的变化检测方法 | |
| Li et al. | YOLOSR-IST: A deep learning method for small target detection in infrared remote sensing images based on super-resolution and YOLO | |
| CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
| Masouleh et al. | Fusion of deep learning with adaptive bilateral filter for building outline extraction from remote sensing imagery | |
| CN113392931A (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
| CN111008644B (zh) | 基于局部动态能量函数fcn-crf模型的生态变化监测方法 | |
| Duan et al. | Multi-scale convolutional neural network for SAR image semantic segmentation | |
| Zhu et al. | Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure | |
| Zhang et al. | Learning an SAR image despeckling model via weighted sparse representation | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN114913434A (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| Guo et al. | DerainAttentionGAN: Unsupervised single-image deraining using attention-guided generative adversarial networks | |
| CN112507826B (zh) | 一种端到端生态变化监测方法、终端、计算机设备及介质 | |
| Luo et al. | Infrared and visible image fusion based on Multi-State contextual hidden Markov Model | |
| CN114119690A (zh) | 一种基于神经网络重建高斯混合模型的点云配准方法 | |
| Pandhiani et al. | Time series forecasting by using hybrid models for monthly streamflow data | |
| Yuan et al. | Locally and multiply distorted image quality assessment via multi-stage CNNs | |
| CN112967210A (zh) | 一种基于全卷积孪生网络的无人机图像去噪方法 | |
| Son et al. | Partial convolutional LSTM for spatiotemporal prediction of incomplete data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |