CN110555841B - 基于自注意图像融合和dec的sar图像变化检测方法 - Google Patents

基于自注意图像融合和dec的sar图像变化检测方法 Download PDF

Info

Publication number
CN110555841B
CN110555841B CN201910852799.XA CN201910852799A CN110555841B CN 110555841 B CN110555841 B CN 110555841B CN 201910852799 A CN201910852799 A CN 201910852799A CN 110555841 B CN110555841 B CN 110555841B
Authority
CN
China
Prior art keywords
dec
layer
clustering
image
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910852799.XA
Other languages
English (en)
Other versions
CN110555841A (zh
Inventor
王英华
沈丽飞
王剑
刘宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910852799.XA priority Critical patent/CN110555841B/zh
Publication of CN110555841A publication Critical patent/CN110555841A/zh
Application granted granted Critical
Publication of CN110555841B publication Critical patent/CN110555841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,旨在提高变化检测的准确率,实现步骤为:获取对数比差异图像D1;获取对数比差异图像D1的显著图S;对对数比差异图像D1与D1的显著图S进行像素级自注意融合;获取训练样本数据V和测试样本数据V';构建深度嵌入聚类DEC网络模型,并对其进行训练;获取SAR图像的变化检测结果。本发明在生成差异图像的过程中将对数比差异图像与其显著图进行像素级自注意融合,解决对数比差异图像信息不准确的问题,此外,本发明获取的训练与测试样本包含了融合后的差异图像的重要信息,并使用深度嵌入聚类DEC方法完成像素聚类,提高了检测性能。

Description

基于自注意图像融合和DEC的SAR图像变化检测方法
技术领域
本发明属于雷达图像处理技术领域,涉及一种SAR图像的变化检测方法,具体涉及一种基于自注意图像融合和深度嵌入聚类DEC(Deep Embedding Clustering,DEC)的无监督SAR图像变化检测,可用于洪涝灾害的监测以及农业调查等SAR图像变化检测任务。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)传感器对天气条件和光照条件不敏感,可以在各种气候条件和不同时段工作。许多星载SAR传感器的再访时间很短,SAR图像数据越来越容易获取,因此适用于变化检测任务,并且广泛应用于灾害监测、土地调查和军事目标侦查等民用和军用领域。SAR图像变化检测主要可分为有监督的SAR图像变化检测方法和无监督的SAR图像变化检测方法。因为在实际应用中,有标签的SAR图像训练数据难以获得,因此无监督的SAR图像变化检测方法成为SAR图像变化检测方向的研究重点,无监督SAR图像变化检测方法可以在没有难以收集的标签样本的情况下完成SAR图像变化检测任务。近年来,无监督SAR图像变化检测的主流框架包含三个部分:1)差异图像的生成和通过预分类从差异图像中选择伪标签训练样本;2)利用伪标签训练样本对模型进行训练;3)训练好的模型对变化类和未变化类像素的分类。衡量SAR图像变化检测准确率的指标主要有虚警率和漏警率。SAR图像变化检测的难点在于:1)SAR图像中存在大量的乘性相干斑噪声,SAR图像经过滤波的预处理操作后,一定程度上减少了相干斑的影响,但同时对SAR图像的变化区域也进行了滤波处理,减小了生成的差异图像中的变化类和未变化类的差异,给变化检测带来了新的难题,使变化检测的准确率较低。2)在对差异图像进行分类时,由于部分像素属于变化类像素和未变化类像素的特征差异不大,因此,SAR图像中存在部分像素点难以准确的分成变化类或未变化类,导致这部分难以区分的像素点大量出现虚警或漏警,使变化检测的准确率降低。
为了解决上述问题,Feng Gao,Junyu Dong等人在其发表的论文“AutomaticChange Detection in Synthetic Aperture Radar Images Based on PCANet”(Gao F,Dong J,Li B,et al.Automatic Change Detection in Synthetic Aperture RadarImages Based on PCANet[J].IEEE Geoscience and Remote Sensing Letters,2016,Vol.13(No.12):pp.1792-1796.)中,公开了一种基于PCANet的SAR图像无监督变化检测方法,该方法先通过FCM聚类算法对差异图进行预分类,获得带有伪标签的训练样本去训练PCANet模型,然后用训练好的模型对待分类的样本进行分类得到最后的SAR图像变化检测二值图。该方法虽然能在一定程度上提高了变化检测的准确率,但也相应的存在着一些问题。首先,差异图像不能准确的反映获取的两个时相SAR图像的变化信息,从而不能为变化检测任务的下一个步骤打好基础,影响变化检测准确率的提升;其次,该方法通过预分类方法为PCANet模型的训练提供伪标签训练样本,实际上,预分类方法倾向于以高置信度选择样本,并丢弃由于噪声的影响而难以分类的样本,并且该方法的伪标签训练样本只包含滤波后的两个时相SAR图像的信息,并不包含差异图像的重要信息,因此,所选择的伪标签训练样本可能不可靠且不具有代表性,这导致变化检测的准确率较低。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,旨在提高变化检测的准确率。
为实现上述目的,本发明采取的技术方案包含如下步骤:
(1)获取对数比差异图像D1
对像素大小为w×d的两个时相SAR图像进行滤波,得到滤波后第一时相的SAR图像I1和第二时相的SAR图像I2,并对I1和I2进行对数比操作,得到对数比差异图像D1,其中w≥200,d≥200;
(2)获取对数比差异图像D1的显著图S:
采用上下文感知的显著性检测方法(参考文献:S.Goferman,L.Zelnik-Manor,andA.Tal,“Context-aware saliency detection,”IEEE Trans.Pattern Analysis andMachine Intelligence,vol.34,no.10,pp.1915-1926,Oct.2012.)计算对数比差异图像D1的不同区域的显著性值,得到对数比差异图D1的显著图S',并对S'进行最大最小归一化,得到对数比差异图像D1的显著图S,S∈[0,1];
(3)对对数比差异图像D1与D1的显著图S进行像素级自注意融合:
对对数比差异图像D1中每个位置(x,y)处的像素值D1(x,y)与显著图S中对应位置(x,y)处的显著性值S(x,y)进行融合,实现D1与S的像素级自注意融合,得到差异图像D2,其中差异图像D2在位置(x,y)处的像素值D2(x,y)的计算公式为:
D2(x,y)=D1(x,y)·αS(x,y)α≥1
其中,αS(x,y)是像素值D1(x,y)的增强度,α是参数;
(4)获取训练样本数据V和测试样本数据V':
(4a)采用k均值聚类算法对差异图像D2进行聚类,得到像素数量为t1的c1类像素簇和像素数量为t2的c2类像素簇,其中t1+t2=w×d;
(4b)判断t1≤t2是否成立,若是,将c1类像素簇的t1个样本和c2类像素簇中任意t1个样本作为样本集P,并将P中样本的数量表示为K,K=2t1,否则,将c2类像素簇的t2个样本和c1类像素簇中任意t2个样本作为样本集P,并将P中样本的数量表示为K,K=2t2
(4c)设样本集P中的每个样本在D2中的位置坐标为(x',y'),并分别获取I1、I2和D2中以(x',y')为中心、邻域大小为k×k的像素点邻域图像块
Figure GDA0003255920500000031
Figure GDA0003255920500000032
其中3≤k≤9;
(4d)将
Figure GDA0003255920500000033
Figure GDA0003255920500000034
转化为向量形式
Figure GDA0003255920500000035
Figure GDA0003255920500000036
并将
Figure GDA0003255920500000037
Figure GDA0003255920500000038
顺次连接,得到维度大小为3×k2的特征向量Vx',y',样本集P中K个样本对应的特征向量组成训练样本数据V;
(4e)设D2中的每个位置坐标为(x”,y”),并分别获取I1、I2和D2中以(x”,y”)为中心、邻域大小为k×k的像素点邻域图像块
Figure GDA0003255920500000041
Figure GDA0003255920500000042
(4f)将
Figure GDA0003255920500000043
Figure GDA0003255920500000044
转化为向量形式
Figure GDA0003255920500000045
Figure GDA0003255920500000046
并将
Figure GDA0003255920500000047
Figure GDA0003255920500000048
顺次连接,得到维度大小为3×k2的特征向量Vx”,y”,D2中w×d个位置对应的特征向量组成测试样本数据V';
(5)构建深度嵌入聚类DEC网络模型,并对其进行训练:
(5a)构建包括四个全连接层的深度嵌入聚类DEC网络模型;
(5b)对深度嵌入聚类DEC网络模型进行逐层贪婪预训练,然后对逐层贪婪预训练获取的DEC模型各层的参数进行微调,得到深度嵌入聚类DEC分类模型;
(6)获取SAR图像的变化检测结果:
将测试样本数据V'作为深度嵌入聚类DEC分类模型的输入进行分类,得到SAR图像的二值检测图。
本发明与现有技术相比,具有以下优点:
第一,本发明在生成差异图像的过程中结合了两个时相SAR图像的变化信息及其所得到的对数比差异图像的显著性信息,并将对数比差异图像的显著图与对数比差异图像进行像素级自注意融合,解决对数比差异图像信息不准确的问题。本发明获取的训练样本数据和测试样本数据不仅包含了滤波后两个时相SAR图像的信息,还包含了融合后的差异图像的重要信息,这使获取的训练样本和测试样本对图像像素点信息的表达更加明确,产生更好的训练效果。
第二,本发明采用可学习的深度嵌入聚类DEC模型,用无标签训练样本进行训练,消除了现有技术伪标签训练样本的影响,实现了一种完全无监督的变化检测方法,提高了变化检测的准确率。
附图说明
图1为本发明的实现流程图;
图2为本发明采用的深度嵌入聚类DEC聚类模型的结构图;
图3为本发明与现有技术检测准确率实验对比图;
图4为为本发明与现有技术检测准确率第二组数据的实验对比图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细说明:
参照图1,本发明的实现步骤如下:
步骤1)获取对数比差异图像D1
为了减少原始SAR图像中噪声对检测结果的影响,对像素大小为w×d的两个时相SAR图像进行均值滤波,其中w≥200,d≥200,本实施例中,实验一的w取值为257,d取值为289;实验二的w取值为290,d取值为350;滤波器的大小设置为3×3,得到滤波后第一时相的SAR图像I1和第二时相的SAR图像I2,并对I1和I2的对应像素值进行对数比操作,得到对数比差异图像D1,其中任意位置(x,y)处的像素值为D1(x,y):
Figure GDA0003255920500000051
其中,I1(x,y)为均值滤波后的第一时相的SAR图像I1对应位置(x,y)处的像素值,I2(x,y)为均值滤波后的第二时相的SAR图像I2对应位置(x,y)处的像素值,log(·)表示自然对数运算,||为绝对值符号。
对数比操作首先对两个时相的SAR图像进行比值运算,得到比值差异图,比值差异图能较好的克服SAR图像乘性噪声这一缺点,然后将比值差异图转换到对数尺度,从而将SAR图像中的相干斑噪声转换为加性噪声,并且在经过对数转换后的差异图像素得到了非线性变换,同时增强了变化类和未变化类的对比度。
步骤2)获取对数比差异图像D1的显著图S:
采用上下文感知的显著性检测方法将对数比差异图像D1分成多个图像块,计算各个图像块的显著性值,组合得到对数比差异图D1的显著图S',并对S'进行最大最小归一化,得到对数比差异图像D1的显著图S,S∈[0,1],显著图S任意位置(x1,y1)的归一化显著性值S(x1,y1)为:
Figure GDA0003255920500000052
其中,S'min是显著图S'显著性值的最小值,S'max是显著图S'显著性值的最大值;
上下文感知的显著性检测方法(参考文献:S.Goferman,L.Zelnik-Manor,andA.Tal,“Context-aware saliency detection,”IEEE Trans.Pattern Analysis andMachine Intelligence,vol.34,no.10,pp.1915-1926,Oct.2012.)最主要的思想为:图像中显著区域的特征既要与邻域局部特征有很大区别,也要与图像全局特征有很大区别。具体的实现原则有三个:1)显著性的局部对比原则:主要包括对灰度的对比,具有较高灰度值的区域显著性值高,均匀或模糊区域的显著性值低;2)显著性的全局对比原则:抑制经常出现的特征,保持不同的特征。3)空间距离原则:显著的像素应当聚集在一起,而不是遍布整幅图像。
步骤3)对对数比差异图像D1与D1的显著图S进行像素级自注意融合:
对对数比差异图像D1中每个位置(x,y)处的像素值D1(x,y)与显著图S中对应位置(x,y)处的显著性值S(x,y)进行融合,实现D1与S的像素级自注意融合,得到差异图像D2,其中差异图像D2在位置(x,y)处的像素值D2(x,y)的计算公式为:
D2(x,y)=D1(x,y)·αS(x,y)α≥1
其中,αS(x,y)是像素值D1(x,y)的增强度,α是参数;
本实施例利用对数比差异图像中的显著性信息对对数比差异图像进行补偿和校正,在显著图的帮助下,抑制对数比差异图像中的冗余和干扰信息,是一种自注意机制。在位置(x,y)处,像素级自注意融合的增强度αS(x,y)随着参数α和显著性值S(x,y)而变化,在设置参数α的取值时,需要将重要性聚焦在具有较大显著性值的变化类像素上,因此具有较小显著性值的未变化类像素和噪声像素相对地受到不同程度的抑制。如果α设置为较大值,则D1中的细节信息将丢失;如果α设置为接近1的小值,则显著图的信息将丢失,融合后的差异图结果将接近D1。因此,应该将α设置为适当的值,本实施例中,实验一的α设置为5,实验二的α设置为2,有效地融合对数比差异图像D1和其显著图的信息,得到更能准确的初步反映两个时相SAR图像的变化信息的差异图像,从而提高变化检测的准确率。
步骤4)获取训练样本数据V和测试样本数据V':
(4a)采用k均值聚类算法对差异图像D2进行聚类,得到像素数量为t1的c1类像素簇和像素数量为t2的c2类像素簇,其中t1+t2=w×d;
(4b)判断t1≤t2是否成立,若是,将c1类像素簇的t1个样本和c2类像素簇中任意t1个样本作为样本集P,并将P中样本的数量表示为K,K=2t1,否则,将c2类像素簇的t2个样本和c1类像素簇中任意t2个样本作为样本集P,并将P中样本的数量表示为K,K=2t2
(4c)设样本集P中的每个样本在D2中的位置坐标为(x',y'),并分别获取I1、I2和D2中以(x',y')为中心、邻域大小为k×k的像素点邻域图像块
Figure GDA0003255920500000071
Figure GDA0003255920500000072
其中3≤k≤9,本实施例中,实验一的k取值为5,实验二的k取值为3;
(4d)将
Figure GDA0003255920500000073
Figure GDA0003255920500000074
转化为向量形式
Figure GDA0003255920500000075
Figure GDA0003255920500000076
并将
Figure GDA0003255920500000077
Figure GDA0003255920500000078
顺次连接,得到维度大小为3×k2的特征向量Vx',y',样本集P中K个样本对应的特征向量组成训练样本数据V;
(4e)设D2中的每个位置坐标为(x”,y”),并分别获取I1、I2和D2中以(x”,y”)为中心、邻域大小为k×k的像素点邻域图像块
Figure GDA0003255920500000079
Figure GDA00032559205000000710
(4f)将
Figure GDA00032559205000000711
Figure GDA00032559205000000712
转化为向量形式
Figure GDA00032559205000000713
Figure GDA00032559205000000714
并将
Figure GDA00032559205000000715
Figure GDA00032559205000000716
顺次连接,得到维度大小为3×k2的特征向量Vx”,y”,D2中w×d个位置对应的特征向量组成测试样本数据V';
由于差异图像信息的不准确性,较少有可学习的模型将差异图像的信息作为输入特征,本实施例由于基于自注意图像融合生成的差异图像更为准确的反映两个时相SAR图像的变化信息,所以在构建训练样本和测试样本时,不仅将滤波后的两个时相SAR图像的信息作为输入特征,而且将融合后的差异图信息作为输入特征,构成训练样本和测试样本。将包含差异图像重要信息的训练样本作为无标签的训练样本,消除了现有技术里通过预分类产生伪标签训练样本的不准确性,提高了变化检测的准确率。
步骤5)构建深度嵌入聚类DEC网络模型,并对其进行训练:
(5a)构建包括四个全连接层的深度嵌入聚类DEC网络模型,深度嵌入聚类DEC网络模型中每个全连接层的维度分别为:第一全连接层的维度为750,第二全连接层的维度为750,第三全连接层的维度为1500,第四全连接层的维度为2;
(5b)对深度嵌入聚类DEC网络模型进行逐层贪婪预训练,然后对逐层贪婪预训练获取的DEC模型各层的参数进行微调,得到训练好的深度嵌入聚类DEC模型,具体实现包括如下步骤:
(5b1)将训练样本数据V中的K个训练样本分批次作为深度嵌入聚类DEC网络模型的输入,将深度嵌入聚类DEC网络模型的每一层作为一个自编码器,采用堆叠自编码器的无监督重构损失函数优化每层的参数,一次只训练一层,将训练样本数据的特征向量作为第一层的输入,其它每层均以上一层的输出hi-1作为当前层的输入,通过最小化每层输入的重构误差对深度嵌入聚类DEC网络模型进行训练,得到逐层贪婪预训练好的深度嵌入聚类DEC网络模型,其中深度嵌入聚类DEC网络模型第i层输出的特征向量为hi
hi=σ(Wihi-1+bi)
其中Wi是深度嵌入聚类DEC网络模型第i层的权重矩阵,i∈[1,4],bi是深度嵌入聚类DEC网络模型第i层的偏置向量,σ(·)是ReLU非线性激活函数,σ(x)=max(0,x);
本实施例中,实验一和实验二的批次大小均设置为256,逐层贪婪预训练次数均设置为100个epochs,参照图2,图中Vx,y为训练样本数据的特征向量,W1表示深度嵌入聚类DEC网络第一层的参数矩阵,W2表示深度嵌入聚类DEC网络第二层的参数矩阵,W3表示深度嵌入聚类DEC网络第三层的参数矩阵,W4表示深度嵌入聚类DEC网络第四层的参数矩阵,e为DEC网络模型的输出特征向量。
(5b2)在逐层贪婪预训练好的深度嵌入聚类DEC网络模型最后一个全连接层上添加聚类层,得到深度嵌入聚类DEC分类模型,并定义训练样本数据V中的第m个训练样本经过逐层贪婪预训练好的深度嵌入聚类DEC网络模型后输出的特征向量em与分类层第n个聚类中心cn之间的相似性qmn
Figure GDA0003255920500000091
其中,1≤m≤K,N是聚类中心的总数,N≥2,β是自由度,本实施例中N的取值都为2,β取值都为1;
(5b3)计算第m个训练样本与每个聚类中心之间的相似性,得到第m个样本与N个聚类中心的概率分布qm
(5b4)定义用于监督和指导概率分布qm的辅助分布pm,并计算辅助分布pm中第m个训练样本属于第n类的概率pmn
Figure GDA0003255920500000092
其中fn是软聚类频率,
Figure GDA0003255920500000093
(5b5)将辅助分布pm中第m个训练样本属于第n类的概率pmn和特征向量em与分类层第n个聚类中心cn之间的相似性qmn之间的KL距离作为KL距离损失函数Loss,并对其进行反向传播,实现对逐层贪婪预训练获取的DEC模型参数的微调,得到深度嵌入聚类DEC分类模型,其中:
Figure GDA0003255920500000094
本实施例中,批次大小均设置为256,实验一的微调迭代次数为10000,实验二的微调迭代次数为5000。
深度嵌入聚类DEC模型是一种可学习的网络模型,其训练过程的逐层贪婪预训练阶段实际上是堆叠自编码器的训练过程:堆叠多个自编码器,并把上一层的隐藏层表示作为当前层的输入,一次只训练一层,每一层都作为一个自编码器,并通过最小化前一层的输出编码对输入的重构误差来训练。当所有层都经过预训练后,开始进入训练的微调阶段,在进行微调之前添加一层聚类层,然后将整个网络作为一个整体进行训练,得到最终训练好的深度嵌入聚类DEC分类模型。
步骤6)获取SAR图像的变化检测结果:
将测试样本数据V'作为深度嵌入聚类DEC分类模型的输入进行分类,得到每个测试样本属于变化类和未变化类的概率,然后将该测试样本分到概率较大的一类,当所有测试样本聚类完成后,得到SAR图像的二值检测图,其中0表示未变化类像素,1表示变化类像素。
以下通过实验数据,对本发明的效果作进一步说明:
1.实验条件和内容:
1)实验条件:
本实验用到两组数据,第一组数据是由RADARSAT-2传感器获取的SAR图像变化检测数据,反映的是黄河口地区的农田变化,第二组数据集是由RADARSAT-SAR卫星分别在1997年5月和1997年8月拍摄的,反映的是加拿大渥太华地区受雨季影响的洪涝灾害情况;实验设备为装有matlab 2014b的工作站。
2)实验内容:
实验一:将本发明和现有技术(基于PCANet的SAR图像无监督变化检测方法)的检测精度在第一组反映黄河口农田变化的SAR数据上进行对比试验。
其结果如表2和图3所示。表2中使用虚警率FP、漏警率FN、总错误率OE、总体分类精度PCC和Kappa系数评价指标对实验结果进行评价。
表2本发明方法与现有方法性能参数对比结果
Figure GDA0003255920500000101
图3中:
图3(a)为农田数据第一个时相的原始SAR图像;
图3(b)为农田数据第二个时相的原始SAR图像;
图3(c)为真实变化区域二值图;
图3(d)为现有技术的变化检测结果图;
图3(e)为本发明方法的变化检测结果图;
实验二:将本发明和现有技术(基于PCANet的SAR图像无监督变化检测方法)的检测精度在第二组反映渥太华地区洪涝灾害的SAR数据上进行对比试验。
其结果如表3和图4所示。表3中使用虚警率FP、漏警率FN、总错误率OE、总体分类精度PCC和Kappa系数评价指标对实验结果进行评价。
表3本发明方法与现有方法性能参数对比结果
Figure GDA0003255920500000111
图4中:
图4(a)为渥太华数据第一个时相的原始SAR图像;
图4(b)为渥太华数据第二个时相的原始SAR图像;
图4(c)为真实变化区域二值图;
图4(d)为现有技术的变化检测结果图;
图4(e)为本发明方法的变化检测结果图;
2.实验结果和分析:
从表2和表3中可见,相对于本发明实验结果而言,现有技术差异图生成方法虽然计算简单,运算效率高,但是得到的差异图像包含的变化信息不够准确。采用伪标签训练样本对PCANet模型进行训练,由于训练样本的不准确性,存在较多的虚警,导致总错误率较高,从而影响最后检测结果的准确性。而本方法首先借助差异图像的显著性信息得到融合校正后的差异图像,然后选定包含差异图像中的重要特征的无标签训练样本训练可学习的深度嵌入聚类DEC分类模型,避免了传统差异图生成过程中带来的不准确性和伪标签训练样本选择的误差,从表2和表3中可以看出,本发明的总体分类精度和Kappa系数更高,实验结果表明本发明的方法相比于现有技术更具有优势。
从图3和图4中,可以直观的对本发明检测结果图与现有技术检测结果图进行对比,从图中可以看出,本发明虽然有一定的漏警,但很大程度上降低了虚警率,综合虚警和漏警两个因素,可以看出本发明检测结果图与人工标注的真实变化区域图更加接近,更能准确地反映区域的变化部分。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,其特征在于,包括如下步骤:
(1)获取对数比差异图像D1
对像素大小为w×d的两个时相SAR图像进行滤波,得到滤波后第一时相的SAR图像I1和第二时相的SAR图像I2,并对I1和I2进行对数比操作,得到对数比差异图像D1,其中w≥200,d≥200;
(2)获取对数比差异图像D1的显著图S:
采用上下文感知的显著性检测方法计算对数比差异图像D1的不同区域的显著性值,得到对数比差异图D1的显著图S',并对S'进行最大最小归一化,得到对数比差异图像D1的显著图S,S∈[0,1];
(3)对对数比差异图像D1与D1的显著图S进行像素级自注意融合:
对对数比差异图像D1中每个位置(x,y)处的像素值D1(x,y)与显著图S中对应位置(x,y)处的显著性值S(x,y)进行融合,实现D1与S的像素级自注意融合,得到差异图像D2,其中差异图像D2在位置(x,y)处的像素值D2(x,y)的计算公式为:
D2(x,y)=D1(x,y)·αS(x,y)α≥1
其中,αS(x,y)是像素值D1(x,y)的增强度,α是参数;
(4)获取训练样本数据V和测试样本数据V':
(4a)采用k均值聚类算法对差异图像D2进行聚类,得到像素数量为t1的c1类像素簇和像素数量为t2的c2类像素簇,其中t1+t2=w×d;
(4b)判断t1≤t2是否成立,若是,将c1类像素簇的t1个样本和c2类像素簇中任意t1个样本作为样本集P,并将P中样本的数量表示为K,K=2t1,否则,将c2类像素簇的t2个样本和c1类像素簇中任意t2个样本作为样本集P,并将P中样本的数量表示为K,K=2t2
(4c)设样本集P中的每个样本在D2中的位置坐标为(x',y'),并分别获取I1、I2和D2中以(x',y')为中心、邻域大小为k×k的像素点邻域图像块
Figure FDA0003255920490000021
Figure FDA0003255920490000022
其中3≤k≤9;
(4d)将
Figure FDA0003255920490000023
Figure FDA0003255920490000024
转化为向量形式
Figure FDA0003255920490000025
Figure FDA0003255920490000026
并将
Figure FDA0003255920490000027
Figure FDA0003255920490000028
顺次连接,得到维度大小为3×k2的特征向量Vx',y',样本集P中K个样本对应的特征向量组成训练样本数据V;
(4e)设D2中的每个位置坐标为(x”,y”),并分别获取I1、I2和D2中以(x”,y”)为中心、邻域大小为k×k的像素点邻域图像块
Figure FDA0003255920490000029
Figure FDA00032559204900000210
(4f)将
Figure FDA00032559204900000211
Figure FDA00032559204900000212
转化为向量形式
Figure FDA00032559204900000213
Figure FDA00032559204900000214
并将
Figure FDA00032559204900000215
Figure FDA00032559204900000216
顺次连接,得到维度大小为3×k2的特征向量Vx”,y”,D2中w×d个位置对应的特征向量组成测试样本数据V';
(5)构建深度嵌入聚类DEC网络模型,并对其进行训练:
(5a)构建包括四个全连接层的深度嵌入聚类DEC网络模型;
(5b)对深度嵌入聚类DEC网络模型进行逐层贪婪预训练,然后对逐层贪婪预训练获取的DEC模型各层的参数进行微调,得到深度嵌入聚类DEC分类模型;
(6)获取SAR图像的变化检测结果:
将测试样本数据V'作为深度嵌入聚类DEC分类模型的输入进行分类,得到SAR图像的二值检测图。
2.根据权利要求1所述的基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,其特征在于,步骤(1)中所述的对数比差异图像D1,其中D1中任意位置(x,y)处的像素值D1(x,y)的计算公式为:
Figure FDA0003255920490000031
其中,I1(x,y)为滤波后的第一时相的SAR图像I1对应位置(x,y)处的像素值,I2(x,y)为滤波后的第二时相的SAR图像I2对应位置(x,y)处的像素值,log(·)表示自然对数运算,||为绝对值符号。
3.根据权利要求1所述的基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,其特征在于,步骤(2)中所述的对S'的显著性值进行最大最小归一化,归一化方程为:
Figure FDA0003255920490000032
其中,S是对数比差异图像D1的显著图,S'min是显著图S'显著性值的最小值,S'max是显著图S'显著性值的最大值。
4.根据权利要求1所述的基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,其特征在于,步骤(5a)中所述的深度嵌入聚类DEC网络模型中每个全连接层的维度分别为:
第一全连接层的维度为750,第二全连接层的维度为750,第三全连接层的维度为1500,第四全连接层的维度为2。
5.根据权利要求1所述的基于自注意图像融合和深度嵌入聚类DEC的无监督SAR图像变化检测方法,其特征在于,步骤(5b)中所述的深度嵌入聚类DEC分类模型,训练过程包括如下步骤:
(5b1)将训练样本数据V中的K个训练样本分批次作为深度嵌入聚类DEC网络模型的输入,将深度嵌入聚类DEC网络模型的每一层作为一个自编码器,采用堆叠式自编码器的无监督重构损失函数优化每层的参数,一次只训练一层,以上一层的输出hi-1作为当前层的输入,通过最小化每层输入的重构误差对深度嵌入聚类DEC网络模型进行训练,得到逐层贪婪预训练好的深度嵌入聚类DEC网络模型,其中深度嵌入聚类DEC网络模型第i层输出的特征向量为hi
hi=σ(Wihi-1+bi)
其中Wi是深度嵌入聚类DEC网络模型第i层的权重矩阵,i∈[1,4],bi是深度嵌入聚类DEC网络模型第i层的偏置向量,σ(·)是ReLU非线性激活函数;
(5b2)在逐层贪婪预训练好的深度嵌入聚类DEC网络模型最后一个全连接层上添加分类层,得到深度嵌入聚类DEC分类模型,并定义训练样本数据V中的第m个训练样本经过逐层贪婪预训练好的深度嵌入聚类DEC网络模型后输出的特征向量em与分类层第n个聚类中心cn之间的相似性qmn
Figure FDA0003255920490000041
其中,1≤m≤K,N是聚类中心的总数,N≥2,β是自由度;
(5b3)计算第m个训练样本与每个聚类中心之间的相似性,得到第m个样本与N个聚类中心的概率分布qm
(5b4)定义用于监督和指导概率分布qm的辅助分布pm,并计算辅助分布pm中第m个训练样本属于第n类的概率pmn
Figure FDA0003255920490000042
其中fn是软聚类频率,
Figure FDA0003255920490000043
(5b5)将辅助分布pm中第m个训练样本属于第n类的概率pmn和特征向量em与分类层第n个聚类中心cn之间的相似性qmn之间的KL距离作为KL距离损失函数Loss,并对其进行反向传播,实现对逐层贪婪预训练获取的DEC模型参数的微调,得到深度嵌入聚类DEC分类模型,其中:
Figure FDA0003255920490000051
CN201910852799.XA 2019-09-10 2019-09-10 基于自注意图像融合和dec的sar图像变化检测方法 Active CN110555841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910852799.XA CN110555841B (zh) 2019-09-10 2019-09-10 基于自注意图像融合和dec的sar图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910852799.XA CN110555841B (zh) 2019-09-10 2019-09-10 基于自注意图像融合和dec的sar图像变化检测方法

Publications (2)

Publication Number Publication Date
CN110555841A CN110555841A (zh) 2019-12-10
CN110555841B true CN110555841B (zh) 2021-11-23

Family

ID=68739778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910852799.XA Active CN110555841B (zh) 2019-09-10 2019-09-10 基于自注意图像融合和dec的sar图像变化检测方法

Country Status (1)

Country Link
CN (1) CN110555841B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681197B (zh) * 2020-06-12 2023-02-28 陕西科技大学 一种基于Siamese网络结构的遥感图像无监督变化检测方法
CN111984812B (zh) * 2020-08-05 2024-05-03 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN112348750B (zh) * 2020-10-27 2023-08-18 西安电子科技大学 基于阈值融合和邻域投票的sar图像变化检测方法
CN112861626B (zh) * 2021-01-04 2024-03-08 西北工业大学 基于小样本学习的细粒度表情分类方法
CN113191411B (zh) * 2021-04-22 2023-02-07 杭州卓智力创信息技术有限公司 一种基于照片组的电子声像类文件管理方法
CN114119443B (zh) * 2021-11-28 2022-07-01 特斯联科技集团有限公司 一种基于多光谱相机的图像融合系统
CN117173587A (zh) * 2023-08-23 2023-12-05 哈尔滨工程大学 一种基于异构图像深度转换的特征细化融合变化检测方法
CN117671437B (zh) * 2023-10-19 2024-06-18 中国矿业大学(北京) 基于多任务卷积神经网络的露天采场识别与变化检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794729A (zh) * 2015-05-05 2015-07-22 西安电子科技大学 基于显著性引导的sar图像变化检测方法
CN108447057A (zh) * 2018-04-02 2018-08-24 西安电子科技大学 基于显著性和深度卷积网络的sar图像变化检测方法
CN109242889A (zh) * 2018-08-27 2019-01-18 大连理工大学 基于上下文显著性检测与sae的sar图像变化检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620093B2 (en) * 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794729A (zh) * 2015-05-05 2015-07-22 西安电子科技大学 基于显著性引导的sar图像变化检测方法
CN108447057A (zh) * 2018-04-02 2018-08-24 西安电子科技大学 基于显著性和深度卷积网络的sar图像变化检测方法
CN109242889A (zh) * 2018-08-27 2019-01-18 大连理工大学 基于上下文显著性检测与sae的sar图像变化检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAND COVER CHANGE DETECTION USING SALIENCY AND WAVELET TRANSFORM;Haopeng Zhang, Zhiguo Jiang, Yan Cheng;《Remote Sensing and Spatial Information Sciences》;20160719;第601-605页 *
基于差异图融合及差异图去噪的SAR图像变化检测方法;吴生财;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415;全文 *

Also Published As

Publication number Publication date
CN110555841A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN110263705B (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测系统
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN108428220B (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN110751209B (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN107230197B (zh) 基于卫星云图和rvm的热带气旋客观定强方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN115471754A (zh) 一种基于多维多尺度U-net网络的遥感图像道路提取方法
CN115272278A (zh) 一种用于遥感图像变化检测的变化检测模型的构建方法
CN116071664A (zh) 基于改进CenterNet网络的SAR图像舰船检测方法
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114882373A (zh) 基于深度神经网络的多特征融合沙尘暴预测方法
CN112633123B (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN112270285B (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
CN114511787A (zh) 一种基于神经网络的遥感图像地物信息生成方法及其系统
CN110751201B (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
CN117523394A (zh) 一种基于聚合特征增强网络的sar船舰检测方法
CN116994071A (zh) 一种基于自适应光谱残差的多光谱激光雷达点云分类方法
CN117152435A (zh) 一种基于U-Net3+的遥感语义分割方法
CN116977747A (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN111881797A (zh) 滨海湿地植被精细分类方法、装置、设备和存储介质
Li et al. Change detection in synthetic aperture radar images based on log-mean operator and stacked auto-encoder
CN114202104B (zh) 热带气旋路径相似程度确定方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant