CN111681197B - 一种基于Siamese网络结构的遥感图像无监督变化检测方法 - Google Patents
一种基于Siamese网络结构的遥感图像无监督变化检测方法 Download PDFInfo
- Publication number
- CN111681197B CN111681197B CN202010535407.XA CN202010535407A CN111681197B CN 111681197 B CN111681197 B CN 111681197B CN 202010535407 A CN202010535407 A CN 202010535407A CN 111681197 B CN111681197 B CN 111681197B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- difference
- change detection
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000009412 basement excavation Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于Siamese网络结构的遥感图像无监督变化检测方法,包括以下步骤:(1)初始化参数;(2)获取差异图像;(3)利用自适应局部能量加权算法对步骤(2)的两幅信息互补的差异图像进行像素级融合得到新的差异图像;(4)采用聚类算法实现预分类;(5)以预分类结果为标签,利用DFF‑Siamese网络实现SAR图像变化区域的精准检测;本发明实现了SAR图像的无监督变化检测,将先验知识引入到深度卷积神经网络中,在Siamese网络中通过增加逐层差异性度量模块使特征挖掘更深入,有效提升了网络的学习能力,能够获得更为理想的变化检测结果。
Description
技术领域
本发明属于图像处理及模式识别领域,涉及遥感图像变化检测方法,具体涉及一种基于Siamese网络结构的遥感图像无监督变化检测方法。
背景技术
遥感影像变化检测是通过在不同时间同一场景拍摄到的两幅或多幅影像分析地表差异的一项技术。随着遥感技术的迅速发展,基于遥感影像的变化检测已成为地理大数据更新的关键技术。其中合成孔径雷达遥感影像因为不易受光照和大气的影响,具有全天候、全天时、多极化、多波段等特点而被广泛应用于环境监测、城市研究、灾害评估、森林资源监测等多个领域。由于受波的干涉现象影响,雷达传感器的成像设备接收到的总回波会存在误差,导致真实的SAR影像中存在大量噪声,图像分辨率较低,地表的原有信息和特征易丢失。因此如何有效抑制噪声的同时获得较高精度的检测结果仍然是一个具有挑战性的课题。
变化检测方法从实现方式的角度可分为有监督和无监督两种。有监督变化检测不仅依赖于双时相遥感图像,而且需要大量的人工标注结果,而无监督变化检测仅依赖于原始双时相遥感图像。由于人工标注工作效率低下,难以满足目前的应用需求,因此无监督变化检测方法的应用前景更为广阔。基于传统算法的无监督变化检测算法主要有以下三个步骤:图像预处理、生成差异图像、对差异图像进行变化和未变化区域分类。预处理是后续步骤的基础,主要包含辐射校正、几何校正、图像几何配准、降噪等操作。具有代表性的差异特征信息有助于获得高精度的变化检测结果,是变化检测的核心步骤。研究初期,学者们提出了差值法、对数比值法(log-ratio)、均值比值法(mean-ratio)等差异图构造算法,这些算法均采用了像素点无差别的计算方式。由于SAR图像中固有噪声具有乘法性,因此比值运算相比于差异运算在消除辐射测量所带来的噪声时更具优势,鲁棒性更强。
然而,上述三种差异图的构造算法过于单一,对变化区域的计算方式忽略了图像的局部特征差异,导致后续步骤的漏检率、错检率较高。为了更好的突出变化区域并抑制背景区域,Gong等人利用小波变换融合对数比值和均值比值生成差异图,进而实现变化检测。其主要方法是通过小波变换将图像在方向(水平、垂直、对角)上进行转换以得到不同尺度的特征信息,在特征域内进行融合,然而小波变换仅能反映“点”的奇异性,难以反映“线”或“面”的奇异性,且计算复杂度较高。为了实现简单快速的差异图融合,Zheng等人提出基于差值和对数差值的加权平均融合算法,该算法在实现差异图融合的同时能有效抑制斑点噪声的影响,然而该算法受限于差异算子的构造且容易引起融合结果的空间扭曲。对此,邵攀等人以模糊积分为基础,提出一种顾及冲突分析的图像融合算法,可实现四种差异图的决策级融合。
在获取差异图像后,通常利用阈值法或聚类算法实现差异图分类。阈值法可通过差异图像的直方图确定最优阈值,如Otsu、最小误差阈值算法、期望最大化(expectationmaximization,EM)算法等,该类算法思路简单,但检测结果对阈值的选取较为敏感,鲁棒性差。相比阈值法,聚类算法不需要设定阈值且鲁棒性强,因此在变化检测中得到了广泛应用。针对传统的模糊C均值聚类(fuzzy c-menas clustering,FCM)算法容易忽略图像空间信息、对噪声敏感的缺陷,Gong等人提出基于隐马尔科夫(markov random field,MRF)能量函数的模糊聚类算法(MRF-FCM)用于解决SAR图像变化检测问题,该算法在FCM中结合了一种基于能量函数的MRF模型以实现更好的变化检测结果。上述算法一定程度上改进了图像的变化检测精度,然而没有考虑算法的计算复杂性。为了实现快速图像变化检测算法,Lei等人提出快速模糊C均值聚类的无监督变化检测算法(change detection using fastfuzzy c-means clustering,CDFFCM),该算法将高斯金字塔和FCM算法相结合,通过有效减少图像中的冗余数据,提升了算法的计算效率。
以上基于传统算法的变化检测模型虽然能够不同程度的实现变化检测,但仍然存在以下缺陷:1)差异图生成算法对噪声敏感,难以有效区分前景及背景;2)图像特征描述困难,导致对变化和未变化像素的分类结果精度有限;3)算法鲁棒性较低,需要通过调整参数以适应不同的数据。
近年来深度学习在计算机视觉领域获得了巨大的成功,由于深度卷积神经网络的层级结构能够有效解析图像本质从而获得图像的高层语义特征,因此深度卷积神经网络实现了高精度图像分类及目标识别。目前,面向SAR影像的无监督变化检测的深度学习模型主要包括深度置信网络、自编码器、限制玻尔兹曼机、卷积神经网络等。Liu等人设计了一种对称耦合网络(symmetric convolutional coupling network,SCCN)用于解决非同源图像间的变化检测问题,该网络利用多层特征转换的对称结构,可将光学图像和SAR图像分别转换到同一特征空间中进行比较以生成差异图,然而该网络仅选择未变化区域作为训练样本,因此差异图的信息缺失严重。对此,Zhao等人提出近似对称的深度神经网络(approximately symmetrical deep neural network,ASDNN),该网络在训练中引入了两种类型的标签进行参数微调,进而更加突出变化区域以提升检测精度。以上两种对称网络的思路是一种端到端的检测算法,虽避免了滤波算法对检测结果的影响但检测结果依赖于差异图的构造。Gong等人提出了一种基于监督策略的无监督变化检测算法,该算法利用传统的无监督图像分割算法来获得一个“伪标签”,再以监督方式训练一个分类学习网络,在测试阶段可实现更高精度的变化检测。由于该算法成功消除了滤波与差异图构造两个步骤对变化检测结果的影响,因此具有较好的检测性能。然而,该算法利用deep neuralnetworks(DNN)网络所构造的分类器不能有效利用像素之间的位置信息,导致检测模型抗干扰能力差。基于Gong等人提出的无监督检测策略,Gao等人通过设计一个预分类模型以获得部分高精度的伪标签,利用principal component analysis(PCA)滤波器代替传统的卷积滤波器,从而有效提升了网络模型的鲁棒性。
对于具有高复杂性的遥感图像变化检测问题,深度卷积神经网络通过自动提取图像的深层语义特征实现了较传统算法更高的变化检测精度。然而以上所提出的无监督变化检测算法(SCCN、ASDNN、DNN和PCA-net)不能充分挖掘双时相图像所包含的特征信息,差异性对比不充分,导致这些算法鲁棒性差、检测精度低。因此如何利用深度神经网络构建一个高效的变化检测模型还需进一步探究。
发明内容
本发明目的在于提出一种基于Siamese网络结构的遥感图像无监督变化检测方法,解决SAR图像无监督变化检测问题,在突出变化区域和抑制斑点噪声之间做到更好的平衡,获得更高的检测精度。
为了实现上述目的,本发明采用以下技术方案。
一种基于Siamese网络结构的遥感图像无监督变化检测方法,包括如下步骤:
(1)初始化:设置预分类算法参数和网络运行参数;
(2)获取差异图像:利用对数比值差异算子和均值比值差异算子得到两幅差异图DIlog和DImean,具体操作为:
其中,I1,I2分别为双时相图像,μ1,μ2分别表示I1,I2的均值滤波结果;
(3)预分类:利用自适应局部能量加权算法(adaptive local energy weight,ALEW)对对数比值差异图像和均值比值差异图像进行像素级融合,采用聚类算法对其进行变化与未变化的二分类,输出预分类结果,具体为:
(a)根据局部能量函数公式计算DIlog所对应的局部能量矩阵Elog(x,y),能量函数的数学表达式如下:
其中(x,y)表示差异图像像素位置,w表示窗口大小,W可表示为w×w的滤波模版,w通常取3;
(b)将局部能量矩阵归一化到(0~1)之间,得到Elog
(c)自适应融合系数α
(d)根据融合公式得到差异融合图像DIF,具体操作如下:
DIF=α×DIlog+(1-α)×DImean
(e)获取融合差异图后,利用模糊聚类算法将差异图分为变化及未变化区域;
(4)提出DFF-Siamese网络:以Siamese结构为基础引入逐层卷积特征之间的差异性,将双时相图像的高层特征图和逐层差异特征图转换为一维向量在全连接层合并,以此构建基于差异特征融合的Siamese网络(Difference Feature Fusion for Siamese,DFF-Siamese)网络;
(5)网络训练:以步骤(3)的预分类结果作为像素类别标签用于DFF-Siamese网络训练,获得多层特征提取的分类器;
(6)输出网络预测结果:将测试图像输入已训练好网络获得最终变化检测结果。
进一步,所述步骤(1)初始化过程具体为:设置预分类算法中滤波模板W为3×3,将变化前后图像中相同位置的逐像素邻域作为输入,两组输入表示为:
进一步,所述步骤(5)以步骤(3)的预分类结果作为像素类别标签,将步骤(1)两组输入X1和X2输入至DFF-Siamese网络中进行模型训练,直至网络收敛。
本发明与现有技术相比具有以下优点:
1、本发明设计了一种新的图像融合算法,该算法根据邻域信息自适应权值,解决了加权平均算法权值选择困难的问题,并进一步提高了信噪比,能够充分挖掘双时相图像的差异信息,特征表达能力更强,具有更广阔的应用前景,有效提升传统Siamese网络对SAR影像的差异特征挖掘能力,为遥感影像的无监督变化检测方法提供了新的研究思路和技术手段。
2、本发明设计了一个可实现分类的网络模型,在Siamese网络的基础上引入了逐层卷积特征之间的差异性,将先验知识引入到深度卷积神经网络中,在Siamese网络中通过增加逐层差异性度量模块使特征挖掘更深入,使特征描述更加丰富,有效提升了网络的学习能力,有利于提高细节检测的准确度并增强模型抗干扰能力,实现了SAR图像的无监督变化检测,能够获得更为理想的变化检测结果。
附图说明
图1是本发明实现的流程图
图2是本发明设计的用于遥感图像的变化检测网络模型
图3是利用6种对比方法对Ottawa数据集进行变化检测的结果对比图
图4是利用6种对比方法对Bern数据集进行变化检测的结果对比图
具体实施方式
下面结合具体实施例对本发明作进一步详细描述,但不作为对本发明的限定。
如图1所示,本发明基于Siamese网络结构的遥感图像无监督变化检测方法,基于知识驱动联合数据驱动的思路,将先验知识引入到深度卷积神经网络中,描述如下:
(1)初始化:ALEW算法中滤波模板W为3×3。DFF-Siamese将变化前后图像中相同位置的逐像素邻域作为输入,两组输入可表示为:
输入大小设置为5×5,为了避免卷积过程中特征图尺寸过小,统一将输入填充至9×9,学习率为0.1,动量取0.9,Dropout设置为0.3。
(2)获取差异图像:利用对数比值差异算子和均值比值差异算子得到两幅差异图DIlog和DImean,具体操作为:
其中,I1,I2分别为双时相图像,μ1,μ2分别表示I1,I2的均值滤波结果
(3)预分类:通过引入能量矩阵对对数比值差异图像和均值比值差异图像进行像素级融合。
(a)根据局部能量函数公式计算DIlog所对应的局部能量矩阵Elog(x,y),能量函数的数学表达式如下:
其中(x,y)表示差异图像像素位置,w表示窗口大小,W可表示为w×w的滤波模版,w通常取3。
(b)将局部能量矩阵归一化到(0~1)之间,得到E′log
(d)根据融合公式得到差异融合图像DIF,具体操作如下:
DIF=α×DIlog+(1-α)×DImean
(e)获取融合差异图后,利用模糊聚类算法将差异图分为变化及未变化区域;
(4)提出DFF-Siamese模型:在Siamese网络的基础上引入了逐层卷积特征之间的差异性,将双时相图像的高层特征图和逐层差异特征图转换为一维向量在全连接层合并。DFF-Siamese模型结构如图3所示。
(5)网络训练:以步骤(3)的预分类结果作为像素类别标签,将X1和X2输入至网络中进行模型训练,直至网络收敛,具体的参数设置参见步骤(1);
(6)输出网络预测结果:将测试图像输入已训练好的DFF-Siamese网络获得最终变化检测结果。
本发明的效果可以通过以下实验进一步说明。
为了验证本发明在SAR图像上的鲁棒性和优越性,实验均在Ottawa和Bern两组真实的公开遥感数据集上完成,图像大小依次为350×290像元、301×301像元。所选计算机硬件环境CPU为Intel Core i9 9900X@3.40GHz,GPU为NVIDIA GeForce RTX 2080Ti 11GB的计算机上实现;软件平台为PyTorch。本发明选择四种评价指标对各类算法进行定量分析,分别为FN、FP、 其中,FN表示将未变化区域检测为变化区域的像素总数;FP表示将未变化区域检测为变化区域的像素总数;TP表示检测到真实变化区域的像素总数;TN表示将变化区域检测为未变化区域的像素总数;OE表示总错误率;Kappa系数是衡量真实地表变化与检测结果是否一致性的评价指标;PCC表示实际的一致率;PRE表示理论的一致率。
本发明共设置两组实验分别验证预分类模型和DFF-Siamese网络的有效性:
1)将DFF-Siamese网络与其他六种深度学习网络进行比较,参与验证的对比方法有:SCCN,ASDNN,PCA-Net,2-Channel,基于多尺度输入的2-Channel网络(2-Channel-Stream),Siamese,其中,2-Channel,2-Channel-Stream,Siamese和DFF-Siamese网络在监督训练阶段的“伪标签”来自于FCM算法对融合差异图的聚类结果。
Ottawa和Bern两组遥感数据集的变化检测结果分别如图3(a)~图3(l)和图4(a)~图4(l)所示。图3是利用6种对比方法对Ottawa数据集进行变化检测,图4是利用6种对比方法对Bern数据集进行变化检测的结果对比;图3和图4中其中图(a)~(e)依次为:前时相图像、后时相图像、真实变化区域二值图像、差异融合图、预分类结果,图(f)~(l)依次为SCCN、ASDNN、PCA-net、2-Channel、2-Channel Stream、Siamese、DFF-Siamese的双时相变化检测结果。其中黑色区域为未变化区域,白色区域为变化区域。
实验结果的定量分析分别如表1和表2所示;表1和表2是利用6种对比方法分别对两种数据集进行变化检测后,计算以下4个指标参数:误检数(FN),漏检数(FP),总错误率(OE),Kappa系数(KC)得到的结果。
表1
Method | FP | FN | OE | KC |
ALEW+FCM | 1535 | 869 | 2.37 | 91.25 |
SCCN | 84 | 3738 | 3.77 | 84.42 |
ASDNN | 625 | 3056 | 3.63 | 85.49 |
PCA-net | 782 | 1194 | 1.92 | 93.08 |
2-Channel | 994 | 925 | 1.89 | 93.01 |
2-Channel-S | 1335 | 589 | 1.90 | 92.91 |
Siamese | 907 | 901 | 1.78 | 93.31 |
DFF-Siamese | 551 | 665 | 1.20 | 95.49 |
表2
Method | FP | FN | OE | KC |
ALEW+FCM | 248 | 175 | 0.47 | 82.01 |
SCCN | 142 | 444 | 0.65 | 70.50 |
ASDNN | 706 | 0 | 0.78 | 76.22 |
PCA-net | 30 | 416 | 0.49 | 76.58 |
2-Channel | 105 | 256 | 0.40 | 83.08 |
2-Channel-S | 201 | 156 | 0.39 | 84.64 |
Siamese | 211 | 124 | 0.37 | 84.74 |
DFF-Siamese | 110 | 173 | 0.31 | 87.15 |
2)在预分类阶段中,差异图的分类算法采用基于模糊局部信息的FCM算法(robustfuzzy local information c-means clustering,FLICM)与快速鲁棒的FCM算法(fast androbust fuzzy c-means clustering,FRFCM),并将分类结果作为DFF-Siamese网络训练“伪标签”。在两种数据集的实验结果的定量分析如表3所示。
表3
为了充分验证本发明的适用性,所选取的两个SAR图像数据集的变化特点各有不同,Ottawa数据集的特点是变化区域占有较大比例,轮廓清晰,主要的难点在于真实变化区域与噪声易混淆;Bern数据集中未变化区域占有很大比例,变化区域之间微小的间隙会给检测任务带来挑战。从图3(e)和图4(e)可以看出,基于ALEW差异融合的预分类可以显示出清晰的变化边缘,由于FCM算法未能很好的考虑图像上下文信息从而使预分类存在少量漏检与孤立的噪声点。SCCN算法的检测结果中存在明显的漏检区域,ASDNN相比SCCN变化区域完整性稍有提升。PCA-net对噪声鲁棒性较高,获得了较低的FP指标,但在Bern数据集中却以损失大量变化区域为代价,FN指标较高。2-Channel网络在卷积过程中直接导致变化前后的特征信息融合,因此FP值很高。2-Channel-Stream网络相比2-Channel网络获得了更为完整的变化区域,因此其FP指标更高,但是其本质相当于两组并行的2-Channel网络,因此伪检区域也更多,影响整体检测精度。提出的DFF-Siamese网络相比Siamese网络在噪声和变化区域的完整性之间取得了更好的平衡,获得了最小的OE指标,在两组数据集上的视觉效果与Kappa系数均达到了最优。
从表3可以得出,利用改进的FCM算法分析ALEW融合结果,其本身就可以获得更高的变化检测精度,大量的干扰信息在预分类阶段被有效处理,给网络训练提供了更好的指导作用,最终变化区域正确率相比预分类均有不同程度的提升,进一步验证了DFF-Siamese网络的鲁棒性和稳定性。
最后应该说明的是:以上实施例仅用于说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本权利要求范围当中。
Claims (3)
1.一种基于Siamese网络结构的遥感图像无监督变化检测方法,其特征在于包括如下步骤:
(1)初始化:设置预分类算法参数和网络运行参数;
(2)获取差异图像:利用对数比值差异算子和均值比值差异算子得到两幅差异图DIlog和DImean,具体操作为:
其中,I1,I2分别为双时相图像,μ1,μ2分别表示I1,I2的均值滤波结果;
(3)预分类:通过引入能量矩阵对对数比值差异图像进行像素级融合,采用聚类算法对其进行变化与未变化的二分类,输出预分类结果,具体为:
(a)根据局部能量函数公式计算DIlog所对应的局部能量矩阵Elog(x,y),能量函数的数学表达式如下:
其中(x,y)表示差异图像像素位置,w表示窗口大小,W可表示为w×w的滤波模版,w通常取3;
(b)将局部能量矩阵归一化到(0~1)之间,得到E′log
(c)自适应融合系数α
(d)根据融合公式得到差异融合图像DIF,具体操作如下:
DIF=α×DIlog+(1-α)×DImean
(e)获取融合差异图后,利用模糊聚类算法将差异图分为变化及未变化区域;
(4)提出DFF-Siamese网络:以Siamese结构为基础引入逐层卷积特征之间的差异性,将双时相图像的高层特征图和逐层差异特征图转换为一维向量在全连接层合并,构建DFF-Siamese网络;
(5)网络训练:以步骤(3)的预分类结果作为像素类别标签用于DFF-Siamese网络训练,获得多层特征提取的分类器;
(6)输出网络预测结果:将测试图像输入已训练好的网络获得最终变化检测结果。
3.根据权利要求2所述的基于Siamese网络结构的遥感图像无监督变化检测方法,其特征在于:所述步骤(5)以步骤(3)的预分类结果作为像素类别标签,将步骤(1)两组输入X1和X2输入至DFF-Siamese网络中进行模型训练,直至网络收敛。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010535407.XA CN111681197B (zh) | 2020-06-12 | 2020-06-12 | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010535407.XA CN111681197B (zh) | 2020-06-12 | 2020-06-12 | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111681197A CN111681197A (zh) | 2020-09-18 |
CN111681197B true CN111681197B (zh) | 2023-02-28 |
Family
ID=72435720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010535407.XA Active CN111681197B (zh) | 2020-06-12 | 2020-06-12 | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111681197B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112507826B (zh) * | 2020-11-27 | 2024-02-06 | 西安电子科技大学 | 一种端到端生态变化监测方法、终端、计算机设备及介质 |
CN112541904B (zh) * | 2020-12-16 | 2023-03-24 | 西安电子科技大学 | 一种无监督遥感图像变化检测方法、存储介质及计算设备 |
CN112634217A (zh) * | 2020-12-17 | 2021-04-09 | 中国人民解放军火箭军工程大学 | 一种sar图像区域变化检测方法 |
CN113222898B (zh) * | 2021-04-14 | 2024-02-09 | 西安电子科技大学 | 基于多元统计量和深度学习的双航过sar图像痕迹检测方法 |
CN113469074B (zh) * | 2021-07-06 | 2023-12-19 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113705340B (zh) * | 2021-07-16 | 2023-04-07 | 电子科技大学 | 一种基于雷达遥感数据的深度学习变化检测方法 |
CN113642486A (zh) * | 2021-08-18 | 2021-11-12 | 国网江苏省电力有限公司泰州供电分公司 | 一种具有机载前端识别模型的无人机配网巡检方法 |
CN113808166B (zh) * | 2021-09-15 | 2023-04-18 | 西安电子科技大学 | 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法 |
CN114066816B (zh) * | 2021-10-21 | 2023-08-15 | 西安理工大学 | 基于静态小波变换提取的sar图像无监督变化检测方法 |
CN114419465B (zh) * | 2022-03-31 | 2022-07-01 | 深圳市海清视讯科技有限公司 | 遥感图像变化检测方法、装置、设备及存储介质 |
CN115019186B (zh) * | 2022-08-08 | 2022-11-22 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的方法和系统 |
JP7270314B1 (ja) | 2022-11-07 | 2023-05-10 | タクトピクセル株式会社 | 検査方法、検査システム、ニューラルネットワーク |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097528B (zh) * | 2019-04-11 | 2023-04-18 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
CN110555841B (zh) * | 2019-09-10 | 2021-11-23 | 西安电子科技大学 | 基于自注意图像融合和dec的sar图像变化检测方法 |
-
2020
- 2020-06-12 CN CN202010535407.XA patent/CN111681197B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111681197A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111681197B (zh) | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN107330875B (zh) | 基于遥感图像正反向异质性的水体周边环境变化检测方法 | |
CN109086714A (zh) | 表格识别方法、识别系统及计算机装置 | |
CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
CN101996401B (zh) | 基于强度图像和深度图像的目标分析方法及设备 | |
CN109446894B (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
CN102360503B (zh) | 基于空间贴近度和像素相似性的sar图像变化检测方法 | |
CN102592128B (zh) | 一种动态图像检测处理方法、装置及显示终端 | |
CN110245600B (zh) | 自适应起始快速笔画宽度无人机道路检测方法 | |
CN110659649A (zh) | 一种基于近红外光成像的图像处理与字符识别算法 | |
CN104809433A (zh) | 一种基于最大稳定区域和随机采样的斑马线检测方法 | |
CN103971377A (zh) | 基于先验形状水平集分割的建筑物提取方法 | |
CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
Yao et al. | Automatic extraction of road markings from mobile laser-point cloud using intensity data | |
CN113822361B (zh) | 一种基于汉明距离的sar图像相似程度度量方法和系统 | |
CN106815851A (zh) | 一种基于视觉测量的栅格圆形油位计自动读数方法 | |
CN107748885B (zh) | 一种对模糊字符进行识别的方法 | |
CN117593295A (zh) | 一种手机数据线生产缺陷无损检测方法 | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
CN114943869B (zh) | 风格迁移增强的机场目标检测方法 | |
CN113379639B (zh) | 一种复杂环境中红外目标抗干扰检测跟踪方法 | |
CN115861669A (zh) | 一种基于聚类思想的红外弱小目标检测方法 | |
CN107256399A (zh) | 一种基于Gamma分布超像素算法和基于超像素TMF 的SAR 图像海岸线检测算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |