CN114241208A - 图像间变化检测的局部和全局深度对比特征学习网络构建方法 - Google Patents

图像间变化检测的局部和全局深度对比特征学习网络构建方法 Download PDF

Info

Publication number
CN114241208A
CN114241208A CN202111605921.7A CN202111605921A CN114241208A CN 114241208 A CN114241208 A CN 114241208A CN 202111605921 A CN202111605921 A CN 202111605921A CN 114241208 A CN114241208 A CN 114241208A
Authority
CN
China
Prior art keywords
global
feature
local
image
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111605921.7A
Other languages
English (en)
Inventor
肖亮
张皓程
虎玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202111605921.7A priority Critical patent/CN114241208A/zh
Publication of CN114241208A publication Critical patent/CN114241208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像间变化检测的局部和全局深度对比特征学习网络构建方法,包括:对输入图像进行编码获得全局高维表示特征;构造特征域与全局特征相似的正样本数据和不相似的负样本数据;度量全局特征与构建的正负样本数据之间的关联程度;建立特征域层级化输入的带约束先验模型;获得最优的编码表示特征;迭代优化概率模型,求解差异概率图矩阵;输出二值变化结果图。本发明充分利用特征域层级化输入的结构信息,构建一个基于正负样本的全局特征、局部特征和先验损失三项的网络损失函数,通过优化损失函数更新编码器的参数,使得编码器能有效地学习图像间的局部和全局深度对比特征,体现抽象的语义信息和空间信息的关联性。

Description

图像间变化检测的局部和全局深度对比特征学习网络构建 方法
技术领域
本发明属于遥感图像处理技术领域,具体涉及一种图像间变化检测的局部和全局深度对比特征学习网络构建方法。
背景技术
遥感图像的变化检测是针对同一区域不同时间所获取的多时相遥感影像进行定量地分析和确定地物变化的特征的过程。变化检测的目的是找到变化区域并用二值图进行表示。变化检测任务能及时准确地检测地球表面特征,为更好地理解人与自然现象之间的关系和相互作用提供了基础,从而可以更好地管理和使用资源,具有迫切的科学应用需求和广泛的应用前景。该技术已在森林防火变迁,环境变化,冰川的变化,城市扩张,农田检测,洪水预警,道路分析,地震灾后探测和军事的动态监测领域获得了广泛的应用。
目前的变化检测方法大多针对同源图像,即同一传感器获取的图像。例如SAR影像变化检测,图像中未变化的区域呈现出相同的特征,可以直接进行比较,相对较为简单。但在实际应用中受到很多限制,因为要检测某一区域某一事件发生后产生的变化情况,不仅要有事件前该区域的图像,还需要事件后该区域同一传感器的图像。如果都采用SAR传感器,虽然SAR图像不受天气和光照影响,可以全天时工作,但又由于雷达回波特性的影响,SAR图像大多受乘性斑点噪声的影响。光学图像几乎覆盖全球,而如果仅采用光学传感器,则图像质量易受光照和天气的影响,如果事件紧急,很难进行快速检测。例如在地震救援中,由于受天气影响,光学传感器很难在第一时间获取受灾区域的高质量图像,SAR传感器可以不受天气干扰,因此大多第一时间获取的是SAR图像。由于SAR图像覆盖范围不广,很难找到受灾区域震前的SAR图像与之比较,但光学图像覆盖范围广,因此很容易得到受灾区域的震前图像。因此,首先考虑结合光学图像和SAR图像的优势进行变化检测分析。故异源图像中的变化检测已经成为研究的重点,但也是一个巨大的挑战,即如何度量异质图像之间的差异信息。一种采用网络的有效方法是基于端到端的方法[Gong M G,Zhao J J,Liu J,et al.Change Detection in Synthetic Aperture Radar Images Based on DeepNeural Networks[J].IEEE Transactions on Neural Networks and Learning Systems,2017,27(1):125-138.]。对输入的两幅图像直接使用经过训练的深度神经网络生成变化检测图。该方法省略生成差异图像的过程,网络输出的结果即为变化检测二值图像。另一种是基于网络生成差异图的方法,如SCNN方法[Liu J,Gong M G,Qin K,et al.A DeepConvolutional Coupling Network for Change Detection Based on HeterogeneousOptical and Radar Images[J].IEEE Transactions on Neural Networks and LearningSystems,2018,29(3):545-559.]。采用无监督学习提取异源图像的局部特征并转换到相同特征空间中以进行比较,优化训练神经网络,最终得到差异图,再对差异图采用聚类的方法进行分析,从而获得二值变化检测图像。上述两种方法都没有最大化特征域中全局特征与局部特征之间和与之相似特征(正样本)之间的关联,最小化与全局特征不相似特征(负样本)之间的关联,难以有效的建立空间关联。
发明内容
本发明的目的是提供一种图像间变化检测的局部和全局深度对比特征学习网络构建方法,该方法通过特征域层级化输入的结构信息,提升样本的信息利用率;利用构建图像的正负样本的对比损失函数来学习模型参数,无需人工手动分析特征,是一种无监督的方法。
实现本发明目的的技术解决方案为:一种图像间变化检测的局部和全局深度对比特征学习网络构建方法,包括如下步骤:
(1)利用网络对输入图像进行编码获得全局高维表示特征和中间层特征;
(2)构造全局正负样本数据和局部正负样本数据;
(3)构造对比损失函数;
(4)求解差异概率图矩阵;
(5)对差异概率图矩阵进行聚类,输出二值变化结果图。
进一步的,输入不同时期同一场景的一幅图像X1∈RW×H和一幅图像X2∈RW×H,W表示图像的宽度,H表示图像的高度。
进一步的,将原始图像按像素随机取块xi,(i=1,2,...,N),块xi拉成一个一维向量作为编码器Eψ(xi)的输入图像,获得特征域的全局高维表示特征(高维特征表示最后一层特征)yψ和中间层特征Mψ
进一步的,构造全局正负样本数据和局部正负样本数据,具体过程为:
(1)全局正负样本数据:中间层特征Mψ作为全局正样本数据yψ。将每个批次的第一张图片的中间层特征与该批次的末尾特征合并,构造全局负样本数据M_primeψ
(2)局部正负样本数据:将中间层特征Mψ与全局高维特征yψ拼接,得到局部正样本数据y_Mψ。将全局负样本的中间层特征M_primeψ和高维特征yψ拼接,得到局部负样本数据y_M_primeψ
进一步的,构造对比损失函数,具体如下:
(1)全局特征损失函数
Figure BDA0003433838140000031
定义为:
Figure BDA0003433838140000032
其中,
Figure BDA0003433838140000033
表示全局特征判别器,Sp表示激活函数,E表示求期望。
(2)局部特征损失函数
Figure BDA0003433838140000034
定义为:
Figure BDA0003433838140000035
其中,
Figure BDA0003433838140000036
表示局部特征判别器,Sp表示激活函数,E表示求期望。
(3)先验损失函数PRIORφ,ψ为:
PRIORφ,ψ=-(log(Pφ(yrand)+log(1-Pφ(yψ)))
其中,Pφ表示先验判别器,yrand为服从U(0,1)均匀分布的随机向量,与yψ的大小保持一致。
本发明在特征域中构建与全局特征相关的正样本数据和与之不相关的负样本数据,提出了局部和全局深度对比特征学习的网络框架,构建一个包含全局特征、局部特征和先验损失三项的网络损失函数来学习模型参数,度量全局特征与正样本数据和负样本数据之间的相似性,有效体现抽象的语义信息和空间信息的关联性;在先验损失中,使得高维表示具有期望先验分布的特性。与现有技术相比,本发明将有机融合高级语义信息和低级空间信息,形成更精细的特征表示,同时通过对比特征学习框架形成区分能力更强的对于抽象语义特征,模型参数少、优化简单,而且具有更强的泛化能力,可以广泛应用于异源遥感图像变化检测,光照鲁棒的视频监控等。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的总流程图。
图2是模型整体框架图。
图3是全局特征示意图。
图4是局部特征示意图。
图5是先验约束示意图。
图6(a)为天河机场数据集:2002年7月的光学图像。
图6(b)为天河机场数据集:2013年6月的光学图像。
图7(a)为NJUST数据集:2013年9月的光学图像。
图7(b)为NJUST数据集:2019年3月的光学图像
图8(a)为黄河数据集:2008年6月的SAR图像。
图8(b)为黄河数据集:2009年6月的SAR图像
图9(a)为天河机场数据集采用NR-FLICM方法的变化检测结果图。
图9(b)为天河机场数据集采用CWNN方法的变化检测结果图。
图9(c)为天河机场数据集采用SCNN方法的变化检测结果图。
图9(d)为天河机场数据集采用cGAN方法的变化检测结果图。
图9(e)为天河机场数据集采用本发明的变化检测结果图。
图9(f)为天河机场数据集的参考图。
图10(a)为NJUST数据集采用NR-FLICM方法的变化检测结果图。
图10(b)为NJUST数据集采用CWNN方法的变化检测结果图。
图10(c)为NJUST数据集采用SCNN方法的变化检测结果图。
图10(d)为NJUST数据集采用cGAN方法的变化检测结果图。
图10(e)为NJUST数据集采用本发明的变化检测结果图。
图10(f)为NJUST数据集的参考图。
图11(a)为黄河数据集采用NR-FLICM方法的变化检测结果图。
图11(b)为黄河数据集采用CWNN方法的变化检测结果图。
图11(c)为黄河数据集采用SCNN方法的变化检测结果图。
图11(d)为黄河数据集采用cGAN方法的变化检测结果图。
图11(e)为黄河数据集采用本发明的变化检测结果图。
图11(f)为黄河数据集的参考图。
具体实施方式
通过分析,相似的样本在同一区域有着较高的互信息,这有利于全面构建图像信息表征,共享数据的各个方面的信息。同时,通过度量层级化结构信息之间的相似性,使得模型对图像的特征表示与图像的正样本损失值更小,与负样本的损失值更大,从而有效准确地抽取图像的特征信息。进一步地,虽然低级特征细节精细但缺乏语义信息。因此,将高级语义信息和低级空间信息融合起来,能够产生更精细的特征表示,而且由于该模型能够在抽象语义级别的特征空间上学会到区分能力更强的对比语义特征,因此模型泛化能力更强。
本发明基于对比学习模型提出了一种新的针对多源异质图像的无监督变化检测方法。通过优化基于对比学习模型构建的目标函数对网络参数进行训练,利用对比学习模型抽取图像特征,将不同性质的图像转化到同一个特征空间,然后进行比较得到差异图。
结合图1~图5,下面详细说明本发明的实施过程,步骤如下:
步骤1:输入两幅异源遥感图像
输入不同时期同一场景的一幅SAR图像X1∈RW×H和一幅光学图像X2∈RW×H,图像的宽度W=523和图像的高度H=447。随机初始化编码器Eψ(X)的网络参数ψ以及判别器
Figure BDA0003433838140000051
和Pφ的参数。
步骤2:编码特征表示
(1)编码器Eψ(X)的网络结构
一幅图像X作为编码网络的输入,经过卷积层和全连接层获得编码特征表示
Figure BDA0003433838140000052
其中,yψ表示编码特征表示的高维特征,Mψ表示编码特征表示的中间层特征,
Figure BDA0003433838140000053
表示第nfc个全连接层,
Figure BDA0003433838140000054
表示第ncov个卷积层。卷积层个数ncov=4,全连接层个数nfc=1。
(2)对一幅输入的SAR图像X1按像素随机取块xi,(i=1,2,...,N),取块的个数N=233781,块xi拉成一个一维向量作为编码器Eψ(xi)的原始图像输入,获得SAR图像X1在特征域的全局表示特征yψ和全局中间层特征Mψ
(3)对另一幅输入的光学图像X2按像素随机取块xi,(i=1,2,...,N),取块的个数N=233781,块xi拉成一个一维向量作为编码器Eψ(xi)的原始图像输入,获得光学图像X2在特征域的全局表示特征yψ和全局中间层特征Mψ
步骤3:构造特征域正负样本
构造全局正负样本数据和局部正负样本数据,具体过程为:
(1)全局正负样本数据:中间层特征Mψ作为全局正样本数据yψ。将每个批次的第一张图片的中间层特征与该批次的末尾特征合并,构造全局负样本数据M_primeψ
(2)局部正负样本数据:将中间层特征Mψ与全局高维特征yψ拼接,得到局部正样本数据y_Mψ。将全局负样本的中间层特征M_primeψ和高维特征yψ拼接,得到局部负样本数据y_M_primeψ
步骤4:构造对比损失函数
(1)全局特征损失函数
Figure BDA0003433838140000061
定义为:
Figure BDA0003433838140000062
其中,全局特征判别器
Figure BDA0003433838140000063
为卷积全连接结构的判别器,Sp表示softplus激活函数:S(x)=log(1+ex),E表示求期望。
(2)局部特征损失函数
Figure BDA0003433838140000064
定义为:
Figure BDA0003433838140000065
其中,局部特征判别器
Figure BDA0003433838140000066
为1×1的卷积判别器,Sp表示softplus激活函数:S(x)=log(1+ex),E表示求期望。
(3)先验损失函数PRIORφ,ψ为:
PRIORφ,ψ=-(log(Pφ(yrand)+log(1-Pφ(yψ)))
其中,先验判别器Pφ为全连接判别器,yrand为服从U(0,1)均匀分布的随机向量,与yψ的大小保持一致。
(4)总体损失函数为:
Figure BDA0003433838140000067
其中,α,β和γ为正则化参数。
(5)分别用反向传播算法训练网络,反复迭代,更新网络参数:ψ,ω12,φ,不断优化网络,直到Loss收敛。
(6)分别得到两幅输入图像的编码特征表示Eψ(X)的模型参数。
(7)SAR图像X1和光学图像X2通过优化的编码器Eψ(X),分别获得训练好的图像特征F1(X1)和F2(X2)。
步骤5:生成差异图
(1)基于训练好的图像全局特征F1(X1)和F2(X2),采用概率图矩阵Pu的模型,具体为:
Figure BDA0003433838140000071
其中,Pu为概率图矩阵,每个像素的值表示了该像素位置没有发生变化的概率,其大小为输入图像大小,λ为正则化因子。
(2)当F1(X1)-F2(X2)固定时,概率图矩阵Pu的解为:
Figure BDA0003433838140000072
Pu即为变化检测的差异图。
步骤6:分析差异图
采用局部邻域信息模糊C均值聚类算法(FLICM)[Krinidis S,Chatzis V.Arobust fuzzy local information C-means clustering algorithm[J].IEEEtransactions on image processing,2010,19(5):1328-1337.]对差异图Pu进行分析,获得最终的二值变化图。
步骤7:输出二值变化图
输出由差异图分析得到的二值变化结果图。
本发明的效果可通过以下仿真实验进一步说明:
仿真条件
仿真实验采用三组真实遥感影像数据,每一组数据集包含2幅已配准的不同时期的遥感图像和1幅人工标注的二值图。
如图6(a)、图6(b)所示,第一组是天河机场数据集,属于异源图像数据集,它是由一幅SAR图像和一幅光学图像组成。该数据集一张获取自Landsat-7的全色态图像和一张获取自谷歌地球的彩色光学图像,具体是武汉天河国际机场的附近,显示了机场扩建前后公路机场区域变化的实际情况。图像的大小为666×615,分别获得自2002年7月和2013年6月。由于两张遥感图像获取方式的不同,图像的性质的差异性给变化检测任务带来了挑战。
如图7(a)、图7(b)所示,第二组是NJUST数据集,属于同源数据集,它由两幅光学图像组成。该数据集分别于2013年9月和2019年3月在南京理工大学地区获取的谷歌地球图片,图像大小为523×447。具体展示的是南京理工大学学校建筑群变迁前后的样子。由于季节的不同,图中道路,宿舍楼,体育馆附件的树木也会发生细微的变化,这些属于干扰性的因素,需要排除在外。
如图8(a)、图8(b)所示,第三组是黄河数据集,属于同源数据集,它由两幅SAR图像组成。该数据集由Radarsat-2在2008年6月和2009年6月在中国黄河口地区采集。原始图像大小为7666×7692,其过大的尺寸,很难在如此大的范围内收集整合图像的先验信息。因此选取其子区域大小为257×289用作本发明的变化检测实验。参考图是根据实地观测和人工先验手动标定获得,展现了黄河岸边农田变迁和河道扩张的变化。值得一提的是,2009年采集的图像散斑噪声影像更大,所使用的两幅图像之间散斑噪声水平的巨大差异可能会使变化检测的处理变得复杂。
仿真实验均在Windows 10操作系统下采用C++和Python完成。对于黄河数据集,块xi设置为5;对于天河机场数据集,块xi设置为7;对于NJUST数据集,块xi设置为11。权重参数α、β和γ分别设为0.6,0.8和0.12。编码器Eψ(xi)为4层的二维卷积层和1层的线性层组成,输出通道数为64,卷积核大小均为4×4,激活函数为Sigmoid。全局特征判别器
Figure BDA0003433838140000081
为2层的二维卷积层和3层线性层组成,输出通道数为1,卷积核大小均为3×3。局部特征判别器
Figure BDA0003433838140000082
为3层的二维卷积层组成,输出通道数为1,卷积核大小均为1×1。先验判别器Pφ为3层的线性层组成,输出通道数为1,卷积核大小均为3×3。使用Adam优化器进行优化,步长大小均为(1,1),批次大小设为64,学习率为0.0001。
本发明采用六种评价指标,其分别为:错检数(False positive,FP),漏检数(False negative,FN),总分类错误数(Overall Errors,OE),总分类正确率(PercentageCorrect Classification,PCC),Kappa系数(Kappa coefficient,KC)和ROC(Receiveroperating characteristic)曲线下的面积(Area under the curve,AUC)。
仿真内容
本发明采用真实天河机场数据集、NJUST数据集和黄河数据集检验算法的变化检测性能。为测试本发明算法的性能,将提出的图像间变化检测的局部和全局深度对比特征学习网络(Deep Comparative Learning based on Local and Global,DCL)与基于邻域的比值差异图算子(NR-FLICM)[Gong M,Cao Y,Wu Q.A neighborhood-based ratioapproach for change detection in SAR images[J].IEEE Geoscience and RemoteSensing Letters,2011,9(2):307-311.]、卷积小波网络(CWNN)[Gao F,Wang X,Gao Y H,et al.Sea Ice Change Detection in SAR Images Based on Convolutional-WaveletNeural Networks[J].IEEE Geoscience and Remote Sensing Letters,2019,16(8):1240-1244.]、SCCN和条件对抗生成式网络(cGAN)[Niu X D,Gong M G,Zhan T,et al.AConditional Adversarial Network for Change Detection in Heterogeneous Images[J].IEEE Geoscience and Remote Sensing Letters,2019,16(1):45-49.]四种算法进行对比。
仿真实验结果分析
表1为第一组天河机场数据集在不同变化检测算法下的对比结果,图9(a)~图9(f)为天河数据集在不同变化检测算法下的变化检测结果图。实验结果表明CWNN算法在异源数据集上并不能很好的区分别出异质图像未变化区域,误检区域较多,检测效果大幅度下降。SCCN虽然误检区域少,但是只检测出部分机场变化区域,并且差异图的噪音较多,不容易分析。cGAN能检测出机场变化区域,但是会受到边缘和SAR噪声的影响,误检测部分较多。由图9可以看出本发明的算法优于其他基于深度学习的算法,能比较准确的检测出天河机场的变化区域,PCC、KC和AUC值都有显著提升,其中KC系数比表现较好的SCCN高0.1425。其原因在于本发明所提出的图像间变化检测的局部和全局深度对比特征学习网络联合了层级特征之间的信息。
表1第一组天河机场数据集的变化检测评价指标对比
Figure BDA0003433838140000101
表2为第二组NJUST数据集在不同变化检测算法下的对比结果,图10(a)~图10(f)为NJUST数据集在不同变化检测算法下的变化检测结果图。NJUST数据集是由两幅拍摄视角有偏差且能明显看出季节变化的图像组成。我们的任务是检测建筑物变迁变化,而道路两旁草木变化是干扰检测的因素。实验结果表明CWNN算法由于其适用性较窄,受到众多场景因素干扰,无法检测出准确结果。而SCCN算法和cGAN算法虽然能检测出变化的部分建筑,但会受到拍摄视角不一致和季节性变化的影响,而本发明的算法能比较好的克服这些干扰因素,PCC、KC和AUC都有明显提升。因此,本发明所提出的图像间变化检测的局部和全局深度对比特征学习网络也能够在同源图像上进行检测,其变化检测效果显著。
表2第二组NJUST数据集的变化检测评价指标对比
Figure BDA0003433838140000102
表3为第三组黄河数据集在不同变化检测算法下的对比结果,图11(a)~图11(f)为黄河数据集在不同变化检测算法下的变化检测结果图。由于CWNN算法是专门用于检测同源SAR图像的,因此在此数据集上优于本发明所提的算法,但CWNN在其他数据集表现不佳。本发明所提的算法虽不及CWNN,但效果优于其他深度学习异源检测算法,也能比较好的检测出变化的区域,验证了本算法的理论可行性。
表3第三组黄河数据集的变化检测评价指标对比
Figure BDA0003433838140000111
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,包括如下步骤:
(1)利用网络对输入图像进行编码获得全局高维表示特征和中间层特征;
(2)构造全局正负样本数据和局部正负样本数据;
(3)构造对比损失函数;
(4)求解差异概率图矩阵;
(5)对差异概率图矩阵进行聚类,输出二值变化结果图。
2.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,输入不同时期同一场景的两幅图像:X1∈RW×H和X2∈RW×H,W表示图像的宽度,H表示图像的高度。
3.根据权利要求2所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,将原始图像按像素随机取块xi,i=1,2,...,N,块xi拉成一个一维向量作为编码器Eψ(xi)的输入,获得特征域的全局高维表示特征yψ和中间层特征Mψ,全局高维特征表示最后一层特征。
4.根据权利要求3所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,编码特征表示的具体步骤如下:
1)编码器Eψ(X)的网络结构
一幅图像X作为编码网络的输入,经过卷积层和全连接层获得编码特征表示
Figure FDA0003433838130000011
其中,yψ表示编码特征表示的高维特征表示,Mψ表示编码特征表示的中间层特征表示,
Figure FDA0003433838130000012
表示第nfc个全连接层,
Figure FDA0003433838130000013
表示第ncov个卷积层;
2)对一幅输入的图像X1按像素随机取块xi,i=1,2,...,N,N表示X1图像取块的个数,块xi拉成一个一维向量作为编码器Eψ(xi)的输入,获得SAR图像X1在特征域的全局表示特征yψ和全局中间层特征Mψ
3)对另一幅输入的图像X2按像素随机取块xi,i=1,2,...,N,N表示X2图像取块的个数,块xi拉成一个一维向量作为编码器Eψ(xi)的输入,获得光学图像X2在特征域的全局表示特征yψ和全局中间层特征Mψ
5.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,构造全局正负样本数据和局部正负样本数据,具体过程为:
全局正负样本数据:中间层特征Mψ作为全局正样本数据;将每个批次的第一张图片的中间层特征与该批次的末尾特征合并,构造全局负样本数据M_primeψ
局部正负样本数据:将中间层特征Mψ与全局高维特征yψ拼接,得到局部正样本数据y_Mψ;将全局负样本的中间层特征M_primeψ和高维特征yψ拼接,得到局部负样本数据y_M_primeψ
6.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,构造对比损失函数:
全局特征损失函数
Figure FDA0003433838130000021
定义为:
Figure FDA0003433838130000022
其中,
Figure FDA0003433838130000023
表示全局特征判别器,Sp表示激活函数,E表示求期望;
局部特征损失函数
Figure FDA0003433838130000024
定义为:
Figure FDA0003433838130000025
其中,
Figure FDA0003433838130000026
表示局部特征判别器;
先验损失函数PRIORφ,ψ为:
PRIORφ,ψ=-(log(Pφ(yrand)+log(1-Pφ(yψ)))
其中,Pφ表示先验判别器,yrand为服从U(0,1)均匀分布的随机向量,与yψ的大小保持一致。
7.根据权利要求6所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,三部分损失构成总的损失函数,具体定义如下:
Figure FDA0003433838130000027
其中,α,β和γ为正则化参数。
8.根据权利要求6所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,所述全局特征判别器
Figure FDA0003433838130000031
为卷积全连接结构的判别器,局部特征判别器
Figure FDA0003433838130000032
为1×1的卷积判别器,先验判别器Pφ为全连接判别器;激活函数Sp为softplus函数,其表达式如下:
Sp(x)=log(1+ex)
9.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,求解差异概率图矩阵,包括如下步骤:
1)基于训练好的全局图像特征F1(X1)和F2(X2),采用概率图矩阵Pu的模型,具体为:
Figure FDA0003433838130000033
其中,Pu为概率图矩阵,每个像素的值表示了该像素位置没有发生变化的概率,并且其大小为输入图像大小,λ为正则化因子;
2)当F1(X1)-F2(X2)固定时,概率图矩阵Pu的解为:
Figure FDA0003433838130000034
Pu为变化检测的差异图。
10.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法,其特征在于,采用局部邻域信息模糊C均值聚类法对差异图进行分析,获得最终的二值变化图。
CN202111605921.7A 2021-12-25 2021-12-25 图像间变化检测的局部和全局深度对比特征学习网络构建方法 Pending CN114241208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111605921.7A CN114241208A (zh) 2021-12-25 2021-12-25 图像间变化检测的局部和全局深度对比特征学习网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111605921.7A CN114241208A (zh) 2021-12-25 2021-12-25 图像间变化检测的局部和全局深度对比特征学习网络构建方法

Publications (1)

Publication Number Publication Date
CN114241208A true CN114241208A (zh) 2022-03-25

Family

ID=80763003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111605921.7A Pending CN114241208A (zh) 2021-12-25 2021-12-25 图像间变化检测的局部和全局深度对比特征学习网络构建方法

Country Status (1)

Country Link
CN (1) CN114241208A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385866A (zh) * 2023-02-09 2023-07-04 中国铁道科学研究院集团有限公司铁道建筑研究所 基于sar图像的铁路沿线彩钢房变化检测方法和装置
CN117114513A (zh) * 2023-10-24 2023-11-24 北京英视睿达科技股份有限公司 基于图像的农作物药肥使用评估方法、装置、设备及介质
CN117664567A (zh) * 2024-01-30 2024-03-08 东北大学 一种面向多源域不平衡数据的滚动轴承跨域故障诊断方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385866A (zh) * 2023-02-09 2023-07-04 中国铁道科学研究院集团有限公司铁道建筑研究所 基于sar图像的铁路沿线彩钢房变化检测方法和装置
CN116385866B (zh) * 2023-02-09 2024-05-10 中国铁道科学研究院集团有限公司铁道建筑研究所 基于sar图像的铁路沿线彩钢房变化检测方法和装置
CN117114513A (zh) * 2023-10-24 2023-11-24 北京英视睿达科技股份有限公司 基于图像的农作物药肥使用评估方法、装置、设备及介质
CN117664567A (zh) * 2024-01-30 2024-03-08 东北大学 一种面向多源域不平衡数据的滚动轴承跨域故障诊断方法
CN117664567B (zh) * 2024-01-30 2024-04-02 东北大学 一种面向多源域不平衡数据的滚动轴承跨域故障诊断方法

Similar Documents

Publication Publication Date Title
CN108399362B (zh) 一种快速行人检测方法及装置
CN114241208A (zh) 图像间变化检测的局部和全局深度对比特征学习网络构建方法
Touati et al. An energy-based model encoding nonlocal pairwise pixel interactions for multisensor change detection
Chen et al. Adaptive effective receptive field convolution for semantic segmentation of VHR remote sensing images
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
Ge Sub-pixel land-cover mapping with improved fraction images upon multiple-point simulation
Dibs et al. Fusion Landsat-8 thermal TIRS and OLI datasets for superior monitoring and change detection using remote sensing
Li et al. Bayesian Markov chain random field cosimulation for improving land cover classification accuracy
CN115147731A (zh) 一种基于全空间编码注意力模块的sar图像目标检测方法
CN110555841A (zh) 基于自注意图像融合和dec的sar图像变化检测方法
Wang et al. Object-oriented change detection approach for high-resolution remote sensing images based on multiscale fusion
Talal et al. Detection of water-bodies using semantic segmentation
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Lv et al. Novel automatic approach for land cover change detection by using VHR remote sensing images
Zhao et al. Change detection method of high resolution remote sensing image based on DS evidence theory feature fusion
Chen et al. Exchange means change: An unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange
CN115272278A (zh) 一种用于遥感图像变化检测的变化检测模型的构建方法
Miao et al. Integration of satellite images and open data for impervious surface classification
Bulatov et al. Classification of airborne 3D point clouds regarding separation of vegetation in complex environments
Xiao et al. Multiresolution-Based Rough Fuzzy Possibilistic C-Means Clustering Method for Land Cover Change Detection
CN114511787A (zh) 一种基于神经网络的遥感图像地物信息生成方法及其系统
Chi et al. Remote sensing data processing and analysis for the identification of geological entities
CN115829996A (zh) 基于深度特征图的无监督合成孔径雷达图像变化检测方法
CN116071346A (zh) 一种异质双时图像变化检测方法及装置
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination