CN114926746A - 基于多尺度差分特征注意力机制的sar图像变化检测方法 - Google Patents

基于多尺度差分特征注意力机制的sar图像变化检测方法 Download PDF

Info

Publication number
CN114926746A
CN114926746A CN202210577308.7A CN202210577308A CN114926746A CN 114926746 A CN114926746 A CN 114926746A CN 202210577308 A CN202210577308 A CN 202210577308A CN 114926746 A CN114926746 A CN 114926746A
Authority
CN
China
Prior art keywords
data
network
model
vector
change detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210577308.7A
Other languages
English (en)
Other versions
CN114926746B (zh
Inventor
蒋雯
巫浩然
耿杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210577308.7A priority Critical patent/CN114926746B/zh
Publication of CN114926746A publication Critical patent/CN114926746A/zh
Application granted granted Critical
Publication of CN114926746B publication Critical patent/CN114926746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Nonlinear Science (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

本发明公开了一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,包括以下步骤:将T1时刻和T2时刻的合成孔径雷达(SAR)图像滤波后生成差分图像;利用层次聚类算法处理差分图得到部分像素点的伪标签;将少量有伪标签的数据和无标签的数据共同输入网络实现半监督;构建孪生卷积网络模块,提取T1和T2时刻图像的多尺度差分特征;添加向量映射操作,将多尺度差分特征图转换为向量集合;添加多头自注意力模块对向量化特征编码,通过全连接层分类,获取SAR图像的变化检测结果。本发明的方法,全局都没有使用变化检测参考图,利用半监督的方法训练网络;同时网络本身可以有效提取双时图像对的多尺度差分特征,并且通过多头注意力模块增强对特征图全局信息的有效利用,进行提高检测的性能。

Description

基于多尺度差分特征注意力机制的SAR图像变化检测方法
技术领域
本发明属于遥感图像变化检测领域,涉及一种基于多尺度差分特征注意力机制的SAR图像变化检测方法。
背景技术
变化检测是基于不同时间点对同一地点进行的观测,通过设计变化提取器来鉴定不同时间点观测之间差异的过程。地表生态系统和人类活动处在不断演化过程中,准确地获取地表变化信息对于生态环境保护、自然资源管理和研究社会经济发展等具有重要意义。而遥感成像技术的进步与发展使得系统的、长期的对地观测成为可能。
遥感对地观测技术具有大范围、长时间和周期性监测能力,基于多时遥感影像来获取地表地物变化情况的变化检测是遥感技术出现最早、应用最广泛的研究领域之一。且随着技术的提高,涌现了更多性能更好的变化检测算法,并被广泛应用于国土监测、农作物生长监测、灾后评估、生态环境变化监测等领域。特别地,对于地表的异常变化,如地震、火灾、洪水等,由于合成孔径雷达图像全天时、全天候、不受云雨限制的原因,因此已成为此类变化检测中关键的数据来源。
自然语言处理中的Transformer网络最近取得了成功,这促使研究人员将Transformer应用于各种计算机视觉任务,然而很少有人对 Transformer应用于SAR图像变化检测进行过研究。目前变化检测方法主要基于深度卷积网络,因为它们能够提取强大的鉴别特征。而 Transformer网络有更大的感受野,如果利用Transformer和卷积神经网络结合进行SAR图像变化检测,可以实现对现有方法的改良,并且扩展Transformer的应用。
由于存在上述问题,针对SAR图像变化检测依据提出一些算法,但是效果仍没有达到最佳,性能提升空间很大,因此SAR图像变化检测问题依然有很大的研究价值。
发明内容
针对上述技术问题,本发明提供一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,不仅可以有效提取双时SAR图像对的多尺度差分特征,而且通过多头注意力机制考虑全局又聚焦重点的特征信息,进而提高变化检测的效果,同时全局无监督局部半监督的实现方式具有现实应用的可能。
为实现上述目的,本发明采用的技术方案为:
步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本:
步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和 I2
步骤102、对于I1和I2各个像素,选取以它为中心、大小为n×n的超像素块作为总样本集合M,利用中心点相邻像素点特征来增强判别能力;
步骤二、利用层次聚类算法生成每个像素点的伪标签,并划分训练集、测试集、验证集;
步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI,对数比算子公式为:
DI=|lg(I1+1)-lg(I2+1)|
其中lg是以10为底的对数运算符,对数比算子可以有效抑制SAR图像的相干斑噪声;
步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析,得到总样本集M中对应位置样本的伪标签,聚类为“变化”、“不变”、以及“不确定”三类;
步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集,其中将前者作为有标签数据,后者作为无标签数据,每一个批次中有标签数据为X=((xb,pb),b∈(1,...,B)),无标签数据为U=((ub),b∈(1,...,B)),pb为预分类的伪标签,B为一个批次数据的数量,将所有的无标签数据作为测试集;
步骤三、构建孪生卷积网络模块,提取T1和T2时刻图像的多尺度差分特征:
步骤301、构建多尺度卷积网络,包括4个卷积单元,分别是 Common Conv1、CommonConv2、Inception Module1、Inception Module2;
步骤302、采用双分支多尺度卷积网络作为孪生网络,分别提取 T1和T2时刻SAR图像的特征,对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征
Figure RE-GDA0003741113030000031
差分模块的计算式如下:
Figure RE-GDA0003741113030000041
其中,
Figure RE-GDA0003741113030000042
Figure RE-GDA0003741113030000043
分别代表第i级编码器T1时刻和T2时刻像素块的特征图, BN代表批标准化操作,GELU是激活函数,Conv2D3×3代表深度可分离卷积;
步骤303、将各级差分特征融合后得到多尺度的差分特征FM
Figure RE-GDA0003741113030000044
C为通道数,n为超像素块的大小,双分支之间共享参数,使得模型能够获得分布更一致的特征图,同时突出特征图间的不同,并且模型的网络参数也极大减少;
步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征,从而得到分类结果:
步骤401、将孪生网络输出的多尺度差分特征FM进行向量化操作,其维度转化为
Figure RE-GDA0003741113030000045
其中N=n×n,N为像素数目,这样每对超像素块的多尺度差分特征就映射为向量集合a,即a={a1,...,aN};
步骤402、向a中插入一个专门用于变化判别的分类向量class,
Figure RE-GDA0003741113030000046
从而得到向量集合b,
Figure RE-GDA0003741113030000047
并且为了引入位置信息,让b加上位置编码得到
Figure RE-GDA0003741113030000048
其中位置编码的维度和b一致;
步骤403、将上一步得到的向量集合
Figure RE-GDA0003741113030000049
通过Transformer编码器,输出维度为
Figure RE-GDA00037411130300000410
其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器,多头注意力模块的工作流程为:输入向量通过Wq,Wk,Wv三个转换矩阵得到对应的查询向量Q,键向量K,值向量V,然后通过Wi Q,Wi K,Wi V三个映射矩阵得到每个子空间的Qi,Ki,Vi向量,接下来针对每个子空间使用自注意力机制中的方法得到对应的结果,即:
Figure RE-GDA0003741113030000051
其中,Attention(Qi,Ki,Vi)表示第i个子空间的注意力向量,
Figure RE-GDA0003741113030000052
为K的转置矩阵,dk为键向量K的维度,softmax函数的定义为
Figure RE-GDA0003741113030000053
zi为第i个节点的输出值,C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过WO矩阵(可学习的参数)进行融合,即:
Multihead(Q,K,V)=Concat(head1,...,headh)WO
其中,headi=Attention(QWi Q,KWi K,VWi V)=Attention(Qi,Ki,Vi),Concat表示拼接操作,h表示子空间的个数,Multihead(Q,K,V)表示多头注意力向量;
步骤404、从上一步Transformer编码器的输出中提取分类向量 class,接着通过全连接层进行分类,得到图像各个类别的得分,得分最高的类别即为预测的结果。全连接层的维度为
Figure RE-GDA0003741113030000054
步骤五、设计半监督训练损失函数,充分利用无标签数据的信息:
步骤501、对于每一个批次中有标签数据xb,做一次数据增强,即
Figure RE-GDA0003741113030000055
同样对于无标签数据ub,做两次数据增强,即
Figure RE-GDA0003741113030000056
k∈(1,2),其中k=1为弱增强(例如翻转和平移), k=2为强增强(例如随机遮挡和随机增广);
步骤502、上一步将得到的
Figure RE-GDA0003741113030000057
送入模型得到对应的预测标签概率 qb,k,为了让模型有更加准确的预测,首先对弱增强后分类概率qb,1应用锐化算法得到
Figure RE-GDA0003741113030000061
然后利用
Figure RE-GDA0003741113030000062
得到更为准确的预测标签,标签锐化算法即
Figure RE-GDA0003741113030000063
其中标签锐化公式
Figure RE-GDA0003741113030000064
T是温度参数,可以调节分类熵,降低温度参数T,可以促使模型作出低熵预测;
步骤503、将所有带标签的增强数据
Figure RE-GDA0003741113030000065
和所有无标签样本以及对应的预测标签数据
Figure RE-GDA0003741113030000066
进行混合,随机打乱后得到数据集 W;
步骤504、将上一步得到的
Figure RE-GDA0003741113030000067
和W做数据扩充操作得到增广标记数据X′,同样的将
Figure RE-GDA0003741113030000068
和W做数据扩充操作得到增广无标记数据U′,数据扩充算法如下:
x′=λ′x1+(1-λ')x2
p′=λ′p1+(1-λ')p2
其中
Figure RE-GDA0003741113030000069
(x2,p2)∈W,
Figure RE-GDA00037411130300000610
和W由步骤503得到,权重因子λ′通过Beta分布抽样得到,即:
λ~Beta(α,α)
λ′=max(λ,1-λ)
其中α为Beta分布的参数,max操作表示取二者的最大值;
步骤505、对于增广得到的数据X′和U′分别计算损失项
Figure RE-GDA00037411130300000611
Figure RE-GDA00037411130300000612
半监督损失函数计算公式下:
Figure RE-GDA00037411130300000613
Figure RE-GDA0003741113030000071
其中,|X′|等于一个批次中有标签样本数量,|U′|等于K倍一个批次中无标签样本数量,num_classes为类别个数,X'和U'由步骤504得到, H(p,pmodel)是交叉熵损失函数,pmodel(y|x;θ)为模型对应输入x的输出,θ为模型参数,x和p是增广的标记数据输入和标签,u和q是增广的未标记数据输入以及预测的标签;
步骤506、考虑负样本较多的情况,模型更容易将所有样本预测为同一类,因此添加正则项,来使得模型将样本不含偏见地预测为两类,正则项公式如下:
Figure RE-GDA0003741113030000072
其中πc是一个先验分布,
Figure RE-GDA0003741113030000073
c=num_classes,x为增广后的所有数据,
Figure RE-GDA0003741113030000074
Figure RE-GDA0003741113030000075
由上一步得到,
Figure RE-GDA0003741113030000076
为模型的输出,θ为模型参数,这样模型完整的损失函数为:
Figure RE-GDA0003741113030000077
其中λu和λr为可调超参数,误差反向传播更新网络参数,训练完毕后,保存网络参数;
步骤六、测试网络的性能,加载上一步保存的网络参数,将步骤 102总样本集合M输入到网络中生成结果图,结果图与变化检测参考图进行定性比较,最后通过评价指标定量分析,常见的评价指标如下:假阴性表示未检测到的变化像素数目,假阳性表示错误检测到的不变像素数目,真阳性指在参考图像和结果中被检测到为变化区域的像素数,真阴性指在参考图像和结果中检测到为不变区域的像素数,总体误差,正确分类率以及衡量结果图和变化检测参考图一致性的Kappa 系数。
本发明提供的基于多尺度差分特征注意力机制的SAR图像变化检测方法,与现有的技术相比,具有以下特点:
(1)由于本发明的多尺度差分特征提取网络采用孪生网络结构,具有两个权值共享的子网络,可以有效突出双时SAR图像对的差异性特征,提高了模型的泛化能力;
(2)由于本发明参考Vision Transformer和流形假设引入线性映射层和多头注意力机制,用于对提取的多尺度差分特征进行编码,使模型能够充分利用双时SAR图像对的有效信息,从而使模型更具判断力,增强特征的表达能力;
(3)大多数聚类方法将置信度较低的样本丢弃,降低了用于再训练的样本多样性,或者只使用聚类后有标签的样本,忽略了无标签样本中包含的信息,因此本发明提出一种对预分类后的样本用来的半监督训练的方法,有效利用了无标签数据的信息,同时保证了训练样本的代表性,避免模型过拟合。
附图说明
图1为本发明的流程框图;
具体实施方式
下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1表示的是一种基于多尺度差分特征注意力机制的SAR图像变化检测方法流程图。
如图1所示,以权利要求书中步骤102得到的双时SAR图像对超像素块作为输入,说明本发明的合理性与有效性,包含具体步骤如下:
步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本:
步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和 I2
步骤102、对于I1和I2各个像素,选取以它为中心、大小为n×n的超像素块作为总样本集合M,利用中心点相邻像素点特征来增强判别能力;
步骤二、利用层次聚类算法生成每个像素点的伪标签,并划分训练集、测试集、验证集;
步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI,对数比算子公式为:
DI=|lg(I1+1)-lg(I2+1)|
其中lg是以10为底的对数运算符,对数比算子可以有效抑制SAR图像的相干斑噪声;
步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析,得到总样本集M中对应位置样本的伪标签,聚类为“变化”、“不变”、以及“不确定”三类;
步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集,其中将前者作为有标签数据,后者作为无标签数据,每一个批次中有标签数据为X=((xb,pb),b∈(1,...,B)),无标签数据为U=((ub),b∈(1,...,B)),pb为预分类的伪标签,B为一个批次数据的数量,将所有的无标签数据作为测试集;
步骤三、构建孪生卷积网络模块,提取T1和T2时刻图像的多尺度差分特征:
步骤301、构建多尺度卷积网络,包括4个卷积单元,分别是 Common Conv1、CommonConv2、Inception Module1、Inception Module2;
步骤302、采用双分支多尺度卷积网络作为孪生网络,分别提取 T1和T2时刻SAR图像的特征,对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征
Figure RE-GDA0003741113030000101
差分模块的计算式如下:
Figure RE-GDA0003741113030000102
其中,
Figure RE-GDA0003741113030000103
Figure RE-GDA0003741113030000104
分别代表第i级编码器T1时刻和T2时刻像素块的特征图, BN代表批标准化操作,GELU是激活函数,Conv2D3×3代表深度可分离卷积;
步骤303、将各级差分特征融合后得到多尺度的差分特征FM
Figure RE-GDA0003741113030000111
C为通道数,n为超像素块的大小,双分支之间共享参数,使得模型能够获得分布更一致的特征图,同时突出特征图间的不同,并且模型的网络参数也极大减少;
步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征,从而得到分类结果:
步骤401、将孪生网络输出的多尺度差分特征FM进行向量化操作,其维度转化为
Figure RE-GDA0003741113030000112
其中N=n×n,N为像素数目,这样每对超像素块的多尺度差分特征就映射为向量集合a,即a={a1,...,aN};
步骤402、向a中插入一个专门用于变化判别的分类向量class,
Figure RE-GDA0003741113030000113
从而得到向量集合b,
Figure RE-GDA0003741113030000114
并且为了引入位置信息,让b加上位置编码得到
Figure RE-GDA0003741113030000115
其中位置编码的维度和b一致;
步骤403、将上一步得到的向量集合
Figure RE-GDA0003741113030000116
通过Transformer编码器,输出维度为
Figure RE-GDA0003741113030000117
其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器,多头注意力模块的工作流程为:输入向量通过Wq,Wk,Wv三个转换矩阵得到对应的查询向量Q,键向量K,值向量V,然后通过Wi Q,Wi K,Wi V三个映射矩阵得到每个子空间的Qi,Ki,Vi向量,接下来针对每个子空间使用自注意力机制中的方法得到对应的结果,即:
Figure RE-GDA0003741113030000118
其中,Attention(Qi,Ki,Vi)表示第i个子空间的注意力向量,
Figure RE-GDA0003741113030000119
为K的转置矩阵,dk为键向量K的维度,softmax函数的定义为
Figure RE-GDA0003741113030000121
zi为第i个节点的输出值,C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过WO矩阵(可学习的参数)进行融合,即:
Multihead(Q,K,V)=Concat(head1,...,headh)WO
其中,headi=Attention(QWi Q,KWi K,VWi V)=Attention(Qi,Ki,Vi),Concat表示拼接操作,h表示子空间的个数,Multihead(Q,K,V)表示多头注意力向量;
步骤404、从上一步Transformer编码器的输出中提取分类向量 class,接着通过全连接层进行分类,得到图像各个类别的得分,得分最高的类别即为预测的结果。全连接层的维度为
Figure RE-GDA0003741113030000122
步骤五、设计半监督训练损失函数,充分利用无标签数据的信息:
步骤501、对于每一个批次中有标签数据xb,做一次数据增强,即
Figure RE-GDA0003741113030000123
同样对于无标签数据ub,做两次数据增强,即
Figure RE-GDA0003741113030000124
k∈(1,2),其中k=1为弱增强(例如翻转和平移),k=2为强增强(例如随机遮挡和随机增广);
步骤502、上一步将得到的
Figure RE-GDA0003741113030000125
送入模型得到对应的预测标签概率 qb,k,为了让模型有更加准确的预测,首先对弱增强后分类概率qb,1应用锐化算法得到
Figure RE-GDA0003741113030000126
然后利用
Figure RE-GDA0003741113030000127
得到更为准确的预测标签,标签锐化算法即
Figure RE-GDA0003741113030000128
其中标签锐化公式
Figure RE-GDA0003741113030000129
T是温度参数,可以调节分类熵,降低温度参数T,可以促使模型作出低熵预测;
步骤503、将所有带标签的增强数据
Figure RE-GDA0003741113030000131
和所有无标签样本以及对应的预测标签数据
Figure RE-GDA0003741113030000132
进行混合,随机打乱后得到数据集 W;
步骤504、将上一步得到的
Figure RE-GDA0003741113030000133
和W做数据扩充操作得到增广标记数据X′,同样的将
Figure RE-GDA0003741113030000134
和W做数据扩充操作得到增广无标记数据U′,数据扩充算法如下:
x′=λ′x1+(1-λ')x2
p′=λ′p1+(1-λ')p2
其中
Figure RE-GDA0003741113030000135
(x2,p2)∈W,
Figure RE-GDA0003741113030000136
和W由步骤503得到,权重因子λ′通过Beta分布抽样得到,即:
λ~Beta(α,α)
λ′=max(λ,1-λ)
其中α为Beta分布的参数,max操作表示取二者的最大值;
步骤505、对于增广得到的数据X′和U′分别计算损失项
Figure RE-GDA0003741113030000137
Figure RE-GDA0003741113030000138
半监督损失函数计算公式下:
Figure RE-GDA0003741113030000139
Figure RE-GDA00037411130300001310
其中,|X′|等于一个批次中有标签样本数量,|U′|等于K倍一个批次中无标签样本数量,num_classes为类别个数,X'和U'由步骤504得到, H(p,pmodel)是交叉熵损失函数,pmodel(y|x;θ)为模型对应输入x的输出,θ为模型参数,x和p是增广的标记数据输入和标签,u和q是增广的未标记数据输入以及预测的标签;
步骤506、考虑负样本较多的情况,模型更容易将所有样本预测为同一类,因此添加正则项,来使得模型将样本不含偏见地预测为两类,正则项公式如下:
Figure RE-GDA0003741113030000141
其中πc是一个先验分布,
Figure RE-GDA0003741113030000142
c=num_classes,x为增广后的所有数据,
Figure RE-GDA0003741113030000143
Figure RE-GDA0003741113030000144
由上一步得到,
Figure RE-GDA0003741113030000145
为模型的输出,θ为模型参数,这样模型完整的损失函数为:
Figure RE-GDA0003741113030000146
其中λu和λr为可调超参数,误差反向传播更新网络参数,训练完毕后,保存网络参数;
步骤六、测试网络的性能,加载上一步保存的网络参数,将步骤 102总样本集合M输入到网络中生成结果图,结果图与变化检测参考图进行定性比较,最后通过评价指标定量分析,常见的评价指标如下:假阴性表示未检测到的变化像素数目,假阳性表示错误检测到的不变像素数目,真阳性指在参考图像和结果中被检测到为变化区域的像素数,真阴性指在参考图像和结果中检测到为不变区域的像素数,总体误差,正确分类率以及衡量结果图和变化检测参考图一致性的Kappa 系数。

Claims (6)

1.一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,其特征在于,包括以下步骤:
步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本:
步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和I2
步骤102、对于I1和I2各个像素,选取以它为中心、大小为n×n的超像素块作为总样本集合M,利用中心点相邻像素点特征来增强判别能力;
步骤二、利用层次聚类算法生成每个像素点的伪标签,并划分训练集、测试集、验证集;
步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI,对数比算子可以有效抑制SAR图像的相干斑噪声;
步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析,得到总样本集M中对应位置样本的伪标签,聚类为“变化”、“不变”、以及“不确定”三类;
步骤203、从伪标签为“变化”和“不变”的样本中随机选取T个样本并结合所有伪标签为“不确定”的样本共同作为训练集,其中将前者作为有标签数据,后者作为无标签数据,每一个批次中有标签数据为X=((xb,pb),b∈(1,…,B)),无标签数据为U=((ub),b∈(1,…,B)),pb为预分类的伪标签,B为一个批次数据的数量,将所有的无标签数据作为测试集;
步骤三、构建孪生卷积网络模块,提取T1和T2时刻图像的多尺度差分特征:
步骤301、构建多尺度卷积网络,包括4个卷积单元,分别是Common Conv1、CommonConv2、Inception Module1、Inception Module2;
步骤302、采用双分支多尺度卷积网络作为孪生网络,分别提取T1和T2时刻SAR图像的特征,对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征
Figure FDA0003660847980000021
差分模块的计算式如下:
Figure FDA0003660847980000022
其中,
Figure FDA0003660847980000023
Figure FDA0003660847980000024
分别代表第i级编码器T1时刻和T2时刻像素块的特征图,BN代表批标准化操作,GELU是激活函数,Conv2D3×3代表深度可分离卷积;
步骤303、将各级差分特征融合后得到多尺度的差分特征FM
Figure FDA0003660847980000025
C为通道数,n为超像素块的大小,双分支之间共享参数,使得模型能够获得分布更一致的特征图,同时突出特征图间的不同,并且模型的网络参数也极大减少;
步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征,从而得到分类结果:
步骤401、将孪生网络输出的多尺度差分特征FM进行向量化操作,其维度转化为
Figure FDA0003660847980000026
其中N=n×n,N为像素数目,这样每对超像素块的多尺度差分特征就映射为向量集合a,即a={a1,...,aN};
步骤402、向a中插入一个专门用于变化判别的分类向量class,
Figure FDA0003660847980000031
从而得到向量集合b,
Figure FDA0003660847980000032
并且为了引入位置信息,让b加上位置编码得到
Figure FDA0003660847980000033
其中位置编码的维度和b一致;
步骤403、将上一步得到的向量集合
Figure FDA0003660847980000034
通过Transformer编码器,输出维度为
Figure FDA0003660847980000035
其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器;
步骤404、从上一步Transformer编码器的输出中提取分类向量class,接着通过全连接层进行分类,得到图像各个类别的得分,得分最高的类别即为预测的结果。全连接层的维度为
Figure FDA0003660847980000036
步骤五、设计半监督训练损失函数,充分利用无标签数据的信息:
步骤501、对于每一个批次中有标签数据xb,做一次数据增强,即
Figure FDA0003660847980000037
同样对于无标签数据ub,做两次数据增强,即
Figure FDA0003660847980000038
其中k=1为弱增强,k=2为强增强;
步骤502、上一步将得到的
Figure FDA0003660847980000039
送入模型得到对应的预测标签概率qb,k,为了让模型有更加准确的预测,首先对弱增强后分类概率qb,1应用锐化算法得到
Figure FDA00036608479800000310
然后利用
Figure FDA00036608479800000311
得到更为准确的预测标签;
步骤503、将所有带标签的增强数据
Figure FDA00036608479800000312
和所有无标签样本以及对应的预测标签数据
Figure FDA00036608479800000313
进行混合,随机打乱后得到数据集W;
步骤504、将上一步得到的
Figure FDA00036608479800000314
和W做数据扩充操作得到增广标记数据X′,同样的将
Figure FDA00036608479800000315
和W做数据扩充操作得到增广无标记数据U′;
步骤505、对于增广得到的数据X′和U′分别计算损失项
Figure FDA0003660847980000041
Figure FDA0003660847980000042
步骤506、考虑负样本较多的情况,模型更容易将所有样本预测为同一类,因此添加正则项,来使得模型将样本不含偏见地预测为两类,正则项公式如下:
Figure FDA0003660847980000043
其中πc是一个先验分布,
Figure FDA0003660847980000044
c=num_classes,x为增广后的所有数据,
Figure FDA0003660847980000045
Figure FDA0003660847980000046
由上一步得到,
Figure FDA0003660847980000047
为模型的输出,θ为模型参数,这样模型完整的损失函数为:
Figure FDA0003660847980000048
其中λu和λr为可调超参数,误差反向传播更新网络参数,训练完毕后,保存网络参数;
步骤六、测试网络的性能,加载上一步保存的网络参数,将步骤102总样本集合M输入到网络中生成结果图,结果图与变化检测参考图进行分析比较。
2.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,其特征在于:其步骤201中的对数比算子公式为:
DI=|lg(I1+1)-lg(I2+1)|
其中lg是以10为底的对数运算符。
3.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,其特征在于:其步骤403中的多头注意力模块的工作流程为:输入向量通过Wq,Wk,Wv三个转换矩阵得到对应的查询向量Q,键向量K,值向量V,然后通过Wi Q,Wi K,Wi V三个映射矩阵得到每个子空间的Qi,Ki,Vi向量,接下来针对每个子空间使用自注意力机制中的方法得到对应的结果,即:
Figure FDA0003660847980000051
其中,Attention(Qi,Ki,Vi)表示第i个子空间的注意力向量,
Figure FDA0003660847980000052
为K的转置矩阵,dk为键向量K的维度,softmax函数的定义为
Figure FDA0003660847980000053
zi为第i个节点的输出值,C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过WO矩阵(可学习的参数)进行融合,即:
Multihead(Q,K,V)=Concat(head1,...,headh)WO
其中,headi=Attention(QWi Q,KWi K,VWi V)=Attention(Qi,Ki,Vi),Concat表示拼接操作,h表示子空间的个数,Multihead(Q,K,V)表示多头注意力向量。
4.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,其特征在于:其步骤502中的标签锐化算法即
Figure FDA0003660847980000054
其中标签锐化公式
Figure FDA0003660847980000055
T是温度参数,可以调节分类熵,降低温度参数T,可以促使模型作出低熵预测。
5.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,其特征在于:其步骤504中的数据扩充算法如下:
x′=λ′x1+(1-λ')x2
p′=λ′p1+(1-λ')p2
其中
Figure FDA0003660847980000061
Figure FDA0003660847980000062
和W由权利要求1的步骤503得到,权重因子λ′通过Beta分布抽样得到,即:
λ~Beta(α,α)
λ′=max(λ,1-λ)
其中α为Beta分布的参数,max操作表示取二者的最大值。
6.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法,其特征在于:其步骤505中的半监督损失函数计算公式下:
Figure FDA0003660847980000063
Figure FDA0003660847980000064
其中,|X′|等于一个批次中有标签样本数量,|U′|等于K倍一个批次中无标签样本数量,num_classes为类别个数,X'和U'由权利要求1的步骤504得到,H(p,pmodel)是交叉熵损失函数,pmodel(y|x;θ)为模型对应输入x的输出,θ为模型参数,x和p是增广的标记数据输入和标签,u和q是增广的未标记数据输入以及预测的标签。
CN202210577308.7A 2022-05-25 2022-05-25 基于多尺度差分特征注意力机制的sar图像变化检测方法 Active CN114926746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577308.7A CN114926746B (zh) 2022-05-25 2022-05-25 基于多尺度差分特征注意力机制的sar图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577308.7A CN114926746B (zh) 2022-05-25 2022-05-25 基于多尺度差分特征注意力机制的sar图像变化检测方法

Publications (2)

Publication Number Publication Date
CN114926746A true CN114926746A (zh) 2022-08-19
CN114926746B CN114926746B (zh) 2024-03-01

Family

ID=82810278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577308.7A Active CN114926746B (zh) 2022-05-25 2022-05-25 基于多尺度差分特征注意力机制的sar图像变化检测方法

Country Status (1)

Country Link
CN (1) CN114926746B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393966A (zh) * 2022-10-27 2022-11-25 中鑫融信(北京)科技有限公司 基于信用监督的纠纷调解数据处理方法及其系统
CN115439809A (zh) * 2022-11-07 2022-12-06 浙江非线数联科技股份有限公司 基于数字孪生的地铁人流密度实时监测系统及其方法
CN115496928A (zh) * 2022-09-30 2022-12-20 云南大学 基于多重特征匹配的多模态图像特征匹配方法
CN115731513A (zh) * 2022-11-15 2023-03-03 杭州电子科技大学信息工程学院 基于数字孪生的智慧园区管理系统
CN115723280A (zh) * 2022-12-07 2023-03-03 河北科技大学 厚度可调节的聚酰亚胺薄膜的生产设备
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116051519A (zh) * 2023-02-02 2023-05-02 广东国地规划科技股份有限公司 双时相影像建筑物变化检测方法、装置、设备及存储介质
CN116091492A (zh) * 2023-04-06 2023-05-09 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
CN117056874A (zh) * 2023-08-17 2023-11-14 国网四川省电力公司营销服务中心 一种基于深度孪生自回归网络的无监督窃电检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112613352A (zh) * 2020-12-04 2021-04-06 河海大学 一种基于孪生网络的遥感图像变化检测方法
CN113239895A (zh) * 2021-06-15 2021-08-10 天津工业大学 基于注意力机制的胶囊网络的sar图像变化检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112613352A (zh) * 2020-12-04 2021-04-06 河海大学 一种基于孪生网络的遥感图像变化检测方法
CN113239895A (zh) * 2021-06-15 2021-08-10 天津工业大学 基于注意力机制的胶囊网络的sar图像变化检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘梦岚;杨学志;贾璐;汪骏;: "融合多尺度深度特征的SAR图像变化检测", 合肥工业大学学报(自然科学版), no. 06, 30 June 2020 (2020-06-30), pages 741 - 748 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496928A (zh) * 2022-09-30 2022-12-20 云南大学 基于多重特征匹配的多模态图像特征匹配方法
CN115393966A (zh) * 2022-10-27 2022-11-25 中鑫融信(北京)科技有限公司 基于信用监督的纠纷调解数据处理方法及其系统
CN115439809A (zh) * 2022-11-07 2022-12-06 浙江非线数联科技股份有限公司 基于数字孪生的地铁人流密度实时监测系统及其方法
CN115439809B (zh) * 2022-11-07 2023-03-03 浙江非线数联科技股份有限公司 基于数字孪生的地铁人流密度实时监测系统及其方法
CN115731513A (zh) * 2022-11-15 2023-03-03 杭州电子科技大学信息工程学院 基于数字孪生的智慧园区管理系统
CN115723280A (zh) * 2022-12-07 2023-03-03 河北科技大学 厚度可调节的聚酰亚胺薄膜的生产设备
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116012364B (zh) * 2023-01-28 2024-01-16 北京建筑大学 Sar图像变化检测方法和装置
CN116051519A (zh) * 2023-02-02 2023-05-02 广东国地规划科技股份有限公司 双时相影像建筑物变化检测方法、装置、设备及存储介质
CN116051519B (zh) * 2023-02-02 2023-08-22 广东国地规划科技股份有限公司 双时相影像建筑物变化检测方法、装置、设备及存储介质
CN116091492A (zh) * 2023-04-06 2023-05-09 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116091492B (zh) * 2023-04-06 2023-07-14 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
CN116645369B (zh) * 2023-07-27 2023-11-07 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
CN117056874A (zh) * 2023-08-17 2023-11-14 国网四川省电力公司营销服务中心 一种基于深度孪生自回归网络的无监督窃电检测方法

Also Published As

Publication number Publication date
CN114926746B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN114926746A (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
Li et al. A geometry-attentional network for ALS point cloud classification
CN109214452B (zh) 基于注意深度双向循环神经网络的hrrp目标识别方法
CN110046579B (zh) 一种深度哈希的行人再识别方法
CN105930812A (zh) 一种基于融合特征稀疏编码模型的车辆品牌类型识别方法
CN116051840A (zh) 一种基于生成对抗学习的半监督水下图像语义分割方法
Ji et al. Few-shot scene classification of optical remote sensing images leveraging calibrated pretext tasks
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
Khan et al. An encoder–decoder deep learning framework for building footprints extraction from aerial imagery
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Zhao et al. High resolution remote sensing bitemporal image change detection based on feature interaction and multi-task learning
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Alshehri A content-based image retrieval method using neural network-based prediction technique
Chen et al. Exchange means change: An unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange
Zeng et al. Recurrent residual dual attention network for airborne laser scanning point cloud semantic segmentation
Meng et al. Physical knowledge-enhanced deep neural network for sea surface temperature prediction
Yanan et al. Cloud detection for satellite imagery using deep learning
CN116580243A (zh) 一种掩码图像建模引导域适应的跨域遥感场景分类方法
CN116206158A (zh) 基于双超图神经网络的场景图像分类方法及系统
Li et al. Change detection in synthetic aperture radar images based on log-mean operator and stacked auto-encoder
CN116524258A (zh) 一种基于多标签分类的滑坡检测方法和系统
CN116912550A (zh) 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法
Kumawat et al. Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant