CN114926746A - 基于多尺度差分特征注意力机制的sar图像变化检测方法 - Google Patents
基于多尺度差分特征注意力机制的sar图像变化检测方法 Download PDFInfo
- Publication number
- CN114926746A CN114926746A CN202210577308.7A CN202210577308A CN114926746A CN 114926746 A CN114926746 A CN 114926746A CN 202210577308 A CN202210577308 A CN 202210577308A CN 114926746 A CN114926746 A CN 114926746A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- model
- vector
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 title claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims 2
- 238000013139 quantization Methods 0.000 abstract 1
- 230000002123 temporal effect Effects 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Nonlinear Science (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
Abstract
本发明公开了一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，包括以下步骤：将T1时刻和T2时刻的合成孔径雷达(SAR)图像滤波后生成差分图像；利用层次聚类算法处理差分图得到部分像素点的伪标签；将少量有伪标签的数据和无标签的数据共同输入网络实现半监督；构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征；添加向量映射操作，将多尺度差分特征图转换为向量集合；添加多头自注意力模块对向量化特征编码，通过全连接层分类，获取SAR图像的变化检测结果。本发明的方法，全局都没有使用变化检测参考图，利用半监督的方法训练网络；同时网络本身可以有效提取双时图像对的多尺度差分特征，并且通过多头注意力模块增强对特征图全局信息的有效利用，进行提高检测的性能。
Description
技术领域
本发明属于遥感图像变化检测领域，涉及一种基于多尺度差分特征注意力机制的SAR图像变化检测方法。
背景技术
变化检测是基于不同时间点对同一地点进行的观测，通过设计变化提取器来鉴定不同时间点观测之间差异的过程。地表生态系统和人类活动处在不断演化过程中，准确地获取地表变化信息对于生态环境保护、自然资源管理和研究社会经济发展等具有重要意义。而遥感成像技术的进步与发展使得系统的、长期的对地观测成为可能。
遥感对地观测技术具有大范围、长时间和周期性监测能力，基于多时遥感影像来获取地表地物变化情况的变化检测是遥感技术出现最早、应用最广泛的研究领域之一。且随着技术的提高，涌现了更多性能更好的变化检测算法，并被广泛应用于国土监测、农作物生长监测、灾后评估、生态环境变化监测等领域。特别地，对于地表的异常变化，如地震、火灾、洪水等，由于合成孔径雷达图像全天时、全天候、不受云雨限制的原因，因此已成为此类变化检测中关键的数据来源。
自然语言处理中的Transformer网络最近取得了成功，这促使研究人员将Transformer应用于各种计算机视觉任务，然而很少有人对 Transformer应用于SAR图像变化检测进行过研究。目前变化检测方法主要基于深度卷积网络，因为它们能够提取强大的鉴别特征。而 Transformer网络有更大的感受野，如果利用Transformer和卷积神经网络结合进行SAR图像变化检测，可以实现对现有方法的改良，并且扩展Transformer的应用。
由于存在上述问题，针对SAR图像变化检测依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此SAR图像变化检测问题依然有很大的研究价值。
发明内容
针对上述技术问题，本发明提供一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，不仅可以有效提取双时SAR图像对的多尺度差分特征，而且通过多头注意力机制考虑全局又聚焦重点的特征信息，进而提高变化检测的效果，同时全局无监督局部半监督的实现方式具有现实应用的可能。
为实现上述目的，本发明采用的技术方案为：
步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：
步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和 I2；
步骤102、对于I1和I2各个像素，选取以它为中心、大小为n×n的超像素块作为总样本集合M，利用中心点相邻像素点特征来增强判别能力；
步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；
步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI，对数比算子公式为：
DI＝|lg(I1+1)-lg(I2+1)|
其中lg是以10为底的对数运算符，对数比算子可以有效抑制SAR图像的相干斑噪声；
步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；
步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((xb,pb),b∈(1,...,B))，无标签数据为U＝((ub),b∈(1,...,B))，pb为预分类的伪标签，B为一个批次数据的数量，将所有的无标签数据作为测试集；
步骤三、构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征：
步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是 Common Conv1、CommonConv2、Inception Module1、Inception Module2；
步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取 T1和T2时刻SAR图像的特征，对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征
差分模块的计算式如下：
其中，
和
分别代表第i级编码器T1时刻和T2时刻像素块的特征图， BN代表批标准化操作，GELU是激活函数，Conv2D3×3代表深度可分离卷积；
步骤303、将各级差分特征融合后得到多尺度的差分特征FM，
C为通道数，n为超像素块的大小，双分支之间共享参数，使得模型能够获得分布更一致的特征图，同时突出特征图间的不同，并且模型的网络参数也极大减少；
步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：
步骤401、将孪生网络输出的多尺度差分特征FM进行向量化操作，其维度转化为
其中N＝n×n，N为像素数目，这样每对超像素块的多尺度差分特征就映射为向量集合a，即a＝{a1,...,aN}；
步骤402、向a中插入一个专门用于变化判别的分类向量class，
从而得到向量集合b，
并且为了引入位置信息，让b加上位置编码得到
其中位置编码的维度和b一致；
步骤403、将上一步得到的向量集合
通过Transformer编码器，输出维度为
其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器，多头注意力模块的工作流程为：输入向量通过Wq，Wk，Wv三个转换矩阵得到对应的查询向量Q，键向量K，值向量V，然后通过Wi Q，Wi K，Wi V三个映射矩阵得到每个子空间的Qi，Ki，Vi向量，接下来针对每个子空间使用自注意力机制中的方法得到对应的结果，即：
其中，Attention(Qi,Ki,Vi)表示第i个子空间的注意力向量，
为K的转置矩阵，dk为键向量K的维度，softmax函数的定义为
zi为第i个节点的输出值，C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过WO矩阵(可学习的参数)进行融合，即：
Multihead(Q,K,V)＝Concat(head1,...,headh)WO
其中，headi＝Attention(QWi Q,KWi K,VWi V)＝Attention(Qi,Ki,Vi)，Concat表示拼接操作，h表示子空间的个数，Multihead(Q,K,V)表示多头注意力向量；
步骤404、从上一步Transformer编码器的输出中提取分类向量 class，接着通过全连接层进行分类，得到图像各个类别的得分，得分最高的类别即为预测的结果。全连接层的维度为
步骤五、设计半监督训练损失函数，充分利用无标签数据的信息：
步骤501、对于每一个批次中有标签数据xb，做一次数据增强，即
同样对于无标签数据ub，做两次数据增强，即
k∈(1,2)，其中k＝1为弱增强(例如翻转和平移)， k＝2为强增强(例如随机遮挡和随机增广)；
步骤502、上一步将得到的
送入模型得到对应的预测标签概率 qb,k，为了让模型有更加准确的预测，首先对弱增强后分类概率qb,1应用锐化算法得到
然后利用
得到更为准确的预测标签，标签锐化算法即
其中标签锐化公式
T是温度参数，可以调节分类熵，降低温度参数T，可以促使模型作出低熵预测；
步骤503、将所有带标签的增强数据
和所有无标签样本以及对应的预测标签数据
进行混合，随机打乱后得到数据集 W；
步骤504、将上一步得到的
和W做数据扩充操作得到增广标记数据X′，同样的将
和W做数据扩充操作得到增广无标记数据U′，数据扩充算法如下：
x′＝λ′x1+(1-λ')x2
p′＝λ′p1+(1-λ')p2
其中
(x2,p2)∈W，
和W由步骤503得到，权重因子λ′通过Beta分布抽样得到，即：
λ～Beta(α,α)
λ′＝max(λ,1-λ)
其中α为Beta分布的参数，max操作表示取二者的最大值；
步骤505、对于增广得到的数据X′和U′分别计算损失项
和
半监督损失函数计算公式下：
其中，|X′|等于一个批次中有标签样本数量，|U′|等于K倍一个批次中无标签样本数量，num_classes为类别个数，X'和U'由步骤504得到， H(p,pmodel)是交叉熵损失函数，pmodel(y|x；θ)为模型对应输入x的输出，θ为模型参数，x和p是增广的标记数据输入和标签，u和q是增广的未标记数据输入以及预测的标签；
步骤506、考虑负样本较多的情况，模型更容易将所有样本预测为同一类，因此添加正则项，来使得模型将样本不含偏见地预测为两类，正则项公式如下：
其中πc是一个先验分布，
c＝num_classes，x为增广后的所有数据，
和
由上一步得到，
为模型的输出，θ为模型参数，这样模型完整的损失函数为：
其中λu和λr为可调超参数，误差反向传播更新网络参数，训练完毕后，保存网络参数；
步骤六、测试网络的性能，加载上一步保存的网络参数，将步骤 102总样本集合M输入到网络中生成结果图，结果图与变化检测参考图进行定性比较，最后通过评价指标定量分析，常见的评价指标如下：假阴性表示未检测到的变化像素数目，假阳性表示错误检测到的不变像素数目，真阳性指在参考图像和结果中被检测到为变化区域的像素数，真阴性指在参考图像和结果中检测到为不变区域的像素数，总体误差，正确分类率以及衡量结果图和变化检测参考图一致性的Kappa 系数。
本发明提供的基于多尺度差分特征注意力机制的SAR图像变化检测方法，与现有的技术相比，具有以下特点：
(1)由于本发明的多尺度差分特征提取网络采用孪生网络结构，具有两个权值共享的子网络，可以有效突出双时SAR图像对的差异性特征，提高了模型的泛化能力；
(2)由于本发明参考Vision Transformer和流形假设引入线性映射层和多头注意力机制，用于对提取的多尺度差分特征进行编码，使模型能够充分利用双时SAR图像对的有效信息，从而使模型更具判断力，增强特征的表达能力；
(3)大多数聚类方法将置信度较低的样本丢弃，降低了用于再训练的样本多样性，或者只使用聚类后有标签的样本，忽略了无标签样本中包含的信息，因此本发明提出一种对预分类后的样本用来的半监督训练的方法，有效利用了无标签数据的信息，同时保证了训练样本的代表性，避免模型过拟合。
附图说明
图1为本发明的流程框图；
具体实施方式
下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1表示的是一种基于多尺度差分特征注意力机制的SAR图像变化检测方法流程图。
如图1所示，以权利要求书中步骤102得到的双时SAR图像对超像素块作为输入，说明本发明的合理性与有效性，包含具体步骤如下：
步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：
步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和 I2；
步骤102、对于I1和I2各个像素，选取以它为中心、大小为n×n的超像素块作为总样本集合M，利用中心点相邻像素点特征来增强判别能力；
步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；
步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI，对数比算子公式为：
DI＝|lg(I1+1)-lg(I2+1)|
其中lg是以10为底的对数运算符，对数比算子可以有效抑制SAR图像的相干斑噪声；
步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；
步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((xb,pb),b∈(1,...,B))，无标签数据为U＝((ub),b∈(1,...,B))，pb为预分类的伪标签，B为一个批次数据的数量，将所有的无标签数据作为测试集；
步骤三、构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征：
步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是 Common Conv1、CommonConv2、Inception Module1、Inception Module2；
步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取 T1和T2时刻SAR图像的特征，对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征
差分模块的计算式如下：
其中，
和
分别代表第i级编码器T1时刻和T2时刻像素块的特征图， BN代表批标准化操作，GELU是激活函数，Conv2D3×3代表深度可分离卷积；
步骤303、将各级差分特征融合后得到多尺度的差分特征FM，
C为通道数，n为超像素块的大小，双分支之间共享参数，使得模型能够获得分布更一致的特征图，同时突出特征图间的不同，并且模型的网络参数也极大减少；
步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：
步骤401、将孪生网络输出的多尺度差分特征FM进行向量化操作，其维度转化为
其中N＝n×n，N为像素数目，这样每对超像素块的多尺度差分特征就映射为向量集合a，即a＝{a1,...,aN}；
步骤402、向a中插入一个专门用于变化判别的分类向量class，
从而得到向量集合b，
并且为了引入位置信息，让b加上位置编码得到
其中位置编码的维度和b一致；
步骤403、将上一步得到的向量集合
通过Transformer编码器，输出维度为
其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器，多头注意力模块的工作流程为：输入向量通过Wq，Wk，Wv三个转换矩阵得到对应的查询向量Q，键向量K，值向量V，然后通过Wi Q，Wi K，Wi V三个映射矩阵得到每个子空间的Qi，Ki，Vi向量，接下来针对每个子空间使用自注意力机制中的方法得到对应的结果，即：
其中，Attention(Qi,Ki,Vi)表示第i个子空间的注意力向量，
为K的转置矩阵，dk为键向量K的维度，softmax函数的定义为
zi为第i个节点的输出值，C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过WO矩阵(可学习的参数)进行融合，即：
Multihead(Q,K,V)＝Concat(head1,...,headh)WO
其中，headi＝Attention(QWi Q,KWi K,VWi V)＝Attention(Qi,Ki,Vi)，Concat表示拼接操作，h表示子空间的个数，Multihead(Q,K,V)表示多头注意力向量；
步骤404、从上一步Transformer编码器的输出中提取分类向量 class，接着通过全连接层进行分类，得到图像各个类别的得分，得分最高的类别即为预测的结果。全连接层的维度为
步骤五、设计半监督训练损失函数，充分利用无标签数据的信息：
步骤501、对于每一个批次中有标签数据xb，做一次数据增强，即
同样对于无标签数据ub，做两次数据增强，即
k∈(1,2)，其中k＝1为弱增强(例如翻转和平移)，k＝2为强增强(例如随机遮挡和随机增广)；
步骤502、上一步将得到的
送入模型得到对应的预测标签概率 qb,k，为了让模型有更加准确的预测，首先对弱增强后分类概率qb,1应用锐化算法得到
然后利用
得到更为准确的预测标签，标签锐化算法即
其中标签锐化公式
T是温度参数，可以调节分类熵，降低温度参数T，可以促使模型作出低熵预测；
步骤503、将所有带标签的增强数据
和所有无标签样本以及对应的预测标签数据
进行混合，随机打乱后得到数据集 W；
步骤504、将上一步得到的
和W做数据扩充操作得到增广标记数据X′，同样的将
和W做数据扩充操作得到增广无标记数据U′，数据扩充算法如下：
x′＝λ′x1+(1-λ')x2
p′＝λ′p1+(1-λ')p2
其中
(x2,p2)∈W，
和W由步骤503得到，权重因子λ′通过Beta分布抽样得到，即：
λ～Beta(α,α)
λ′＝max(λ,1-λ)
其中α为Beta分布的参数，max操作表示取二者的最大值；
步骤505、对于增广得到的数据X′和U′分别计算损失项
和
半监督损失函数计算公式下：
其中，|X′|等于一个批次中有标签样本数量，|U′|等于K倍一个批次中无标签样本数量，num_classes为类别个数，X'和U'由步骤504得到， H(p,pmodel)是交叉熵损失函数，pmodel(y|x；θ)为模型对应输入x的输出，θ为模型参数，x和p是增广的标记数据输入和标签，u和q是增广的未标记数据输入以及预测的标签；
步骤506、考虑负样本较多的情况，模型更容易将所有样本预测为同一类，因此添加正则项，来使得模型将样本不含偏见地预测为两类，正则项公式如下：
其中πc是一个先验分布，
c＝num_classes，x为增广后的所有数据，
和
由上一步得到，
为模型的输出，θ为模型参数，这样模型完整的损失函数为：
其中λu和λr为可调超参数，误差反向传播更新网络参数，训练完毕后，保存网络参数；
步骤六、测试网络的性能，加载上一步保存的网络参数，将步骤 102总样本集合M输入到网络中生成结果图，结果图与变化检测参考图进行定性比较，最后通过评价指标定量分析，常见的评价指标如下：假阴性表示未检测到的变化像素数目，假阳性表示错误检测到的不变像素数目，真阳性指在参考图像和结果中被检测到为变化区域的像素数，真阴性指在参考图像和结果中检测到为不变区域的像素数，总体误差，正确分类率以及衡量结果图和变化检测参考图一致性的Kappa 系数。
Claims (6)
1.一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于，包括以下步骤：
步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：
步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和I2；
步骤102、对于I1和I2各个像素，选取以它为中心、大小为n×n的超像素块作为总样本集合M，利用中心点相邻像素点特征来增强判别能力；
步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；
步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI，对数比算子可以有效抑制SAR图像的相干斑噪声；
步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；
步骤203、从伪标签为“变化”和“不变”的样本中随机选取T个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((xb,pb),b∈(1,…,B))，无标签数据为U＝((ub),b∈(1,…,B))，pb为预分类的伪标签，B为一个批次数据的数量，将所有的无标签数据作为测试集；
步骤三、构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征：
步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是Common Conv1、CommonConv2、Inception Module1、Inception Module2；
步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取T1和T2时刻SAR图像的特征，对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征
差分模块的计算式如下：
其中，
和
分别代表第i级编码器T1时刻和T2时刻像素块的特征图，BN代表批标准化操作，GELU是激活函数，Conv2D3×3代表深度可分离卷积；
步骤303、将各级差分特征融合后得到多尺度的差分特征FM，
C为通道数，n为超像素块的大小，双分支之间共享参数，使得模型能够获得分布更一致的特征图，同时突出特征图间的不同，并且模型的网络参数也极大减少；
步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：
步骤401、将孪生网络输出的多尺度差分特征FM进行向量化操作，其维度转化为
其中N＝n×n，N为像素数目，这样每对超像素块的多尺度差分特征就映射为向量集合a，即a＝{a1,...,aN}；
步骤402、向a中插入一个专门用于变化判别的分类向量class，
从而得到向量集合b，
并且为了引入位置信息，让b加上位置编码得到
其中位置编码的维度和b一致；
步骤403、将上一步得到的向量集合
通过Transformer编码器，输出维度为
其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器；
步骤404、从上一步Transformer编码器的输出中提取分类向量class，接着通过全连接层进行分类，得到图像各个类别的得分，得分最高的类别即为预测的结果。全连接层的维度为
步骤五、设计半监督训练损失函数，充分利用无标签数据的信息：
步骤501、对于每一个批次中有标签数据xb，做一次数据增强，即
同样对于无标签数据ub，做两次数据增强，即
其中k＝1为弱增强，k＝2为强增强；
步骤502、上一步将得到的
送入模型得到对应的预测标签概率qb,k，为了让模型有更加准确的预测，首先对弱增强后分类概率qb,1应用锐化算法得到
然后利用
得到更为准确的预测标签；
步骤503、将所有带标签的增强数据
和所有无标签样本以及对应的预测标签数据
进行混合，随机打乱后得到数据集W；
步骤504、将上一步得到的
和W做数据扩充操作得到增广标记数据X′，同样的将
和W做数据扩充操作得到增广无标记数据U′；
步骤505、对于增广得到的数据X′和U′分别计算损失项
和
步骤506、考虑负样本较多的情况，模型更容易将所有样本预测为同一类，因此添加正则项，来使得模型将样本不含偏见地预测为两类，正则项公式如下：
其中πc是一个先验分布，
c＝num_classes，x为增广后的所有数据，
和
由上一步得到，
为模型的输出，θ为模型参数，这样模型完整的损失函数为：
其中λu和λr为可调超参数，误差反向传播更新网络参数，训练完毕后，保存网络参数；
步骤六、测试网络的性能，加载上一步保存的网络参数，将步骤102总样本集合M输入到网络中生成结果图，结果图与变化检测参考图进行分析比较。
2.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于：其步骤201中的对数比算子公式为：
DI＝|lg(I1+1)-lg(I2+1)|
其中lg是以10为底的对数运算符。
3.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于：其步骤403中的多头注意力模块的工作流程为：输入向量通过Wq，Wk，Wv三个转换矩阵得到对应的查询向量Q，键向量K，值向量V，然后通过Wi Q，Wi K，Wi V三个映射矩阵得到每个子空间的Qi，Ki，Vi向量，接下来针对每个子空间使用自注意力机制中的方法得到对应的结果，即：
其中，Attention(Qi,Ki,Vi)表示第i个子空间的注意力向量，
为K的转置矩阵，dk为键向量K的维度，softmax函数的定义为
zi为第i个节点的输出值，C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过WO矩阵(可学习的参数)进行融合，即：
Multihead(Q,K,V)＝Concat(head1,...,headh)WO
其中，headi＝Attention(QWi Q,KWi K,VWi V)＝Attention(Qi,Ki,Vi)，Concat表示拼接操作，h表示子空间的个数，Multihead(Q,K,V)表示多头注意力向量。
4.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于：其步骤502中的标签锐化算法即
其中标签锐化公式
T是温度参数，可以调节分类熵，降低温度参数T，可以促使模型作出低熵预测。
5.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于：其步骤504中的数据扩充算法如下：
x′＝λ′x1+(1-λ')x2
p′＝λ′p1+(1-λ')p2
其中
和W由权利要求1的步骤503得到，权重因子λ′通过Beta分布抽样得到，即：
λ～Beta(α,α)
λ′＝max(λ,1-λ)
其中α为Beta分布的参数，max操作表示取二者的最大值。
6.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于：其步骤505中的半监督损失函数计算公式下：
其中，|X′|等于一个批次中有标签样本数量，|U′|等于K倍一个批次中无标签样本数量，num_classes为类别个数，X'和U'由权利要求1的步骤504得到，H(p,pmodel)是交叉熵损失函数，pmodel(y|x；θ)为模型对应输入x的输出，θ为模型参数，x和p是增广的标记数据输入和标签，u和q是增广的未标记数据输入以及预测的标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210577308.7A CN114926746B (zh) | 2022-05-25 | 2022-05-25 | 基于多尺度差分特征注意力机制的sar图像变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210577308.7A CN114926746B (zh) | 2022-05-25 | 2022-05-25 | 基于多尺度差分特征注意力机制的sar图像变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114926746A true CN114926746A (zh) | 2022-08-19 |
| CN114926746B CN114926746B (zh) | 2024-03-01 |
Family
ID=82810278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210577308.7A Active CN114926746B (zh) | 2022-05-25 | 2022-05-25 | 基于多尺度差分特征注意力机制的sar图像变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926746B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393966A (zh) * | 2022-10-27 | 2022-11-25 | 中鑫融信(北京)科技有限公司 | 基于信用监督的纠纷调解数据处理方法及其系统 |
| CN115439809A (zh) * | 2022-11-07 | 2022-12-06 | 浙江非线数联科技股份有限公司 | 基于数字孪生的地铁人流密度实时监测系统及其方法 |
| CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
| CN115731513A (zh) * | 2022-11-15 | 2023-03-03 | 杭州电子科技大学信息工程学院 | 基于数字孪生的智慧园区管理系统 |
| CN115723280A (zh) * | 2022-12-07 | 2023-03-03 | 河北科技大学 | 厚度可调节的聚酰亚胺薄膜的生产设备 |
| CN116012364A (zh) * | 2023-01-28 | 2023-04-25 | 北京建筑大学 | Sar图像变化检测方法和装置 |
| CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116091492A (zh) * | 2023-04-06 | 2023-05-09 | 中国科学技术大学 | 一种图像变化像素级检测方法与系统 |
| CN116645369A (zh) * | 2023-07-27 | 2023-08-25 | 山东锋士信息技术有限公司 | 基于孪生自编码器和双向信息深度监督的异常检测方法 |
| CN117056874A (zh) * | 2023-08-17 | 2023-11-14 | 国网四川省电力公司营销服务中心 | 一种基于深度孪生自回归网络的无监督窃电检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112613352A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于孪生网络的遥感图像变化检测方法 |
| CN113239895A (zh) * | 2021-06-15 | 2021-08-10 | 天津工业大学 | 基于注意力机制的胶囊网络的sar图像变化检测方法 |
-
2022
- 2022-05-25 CN CN202210577308.7A patent/CN114926746B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112613352A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于孪生网络的遥感图像变化检测方法 |
| CN113239895A (zh) * | 2021-06-15 | 2021-08-10 | 天津工业大学 | 基于注意力机制的胶囊网络的sar图像变化检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘梦岚;杨学志;贾璐;汪骏;: "融合多尺度深度特征的SAR图像变化检测", 合肥工业大学学报(自然科学版), no. 06, 30 June 2020 (2020-06-30), pages 741 - 748 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
| CN115393966A (zh) * | 2022-10-27 | 2022-11-25 | 中鑫融信(北京)科技有限公司 | 基于信用监督的纠纷调解数据处理方法及其系统 |
| CN115439809A (zh) * | 2022-11-07 | 2022-12-06 | 浙江非线数联科技股份有限公司 | 基于数字孪生的地铁人流密度实时监测系统及其方法 |
| CN115439809B (zh) * | 2022-11-07 | 2023-03-03 | 浙江非线数联科技股份有限公司 | 基于数字孪生的地铁人流密度实时监测系统及其方法 |
| CN115731513A (zh) * | 2022-11-15 | 2023-03-03 | 杭州电子科技大学信息工程学院 | 基于数字孪生的智慧园区管理系统 |
| CN115723280A (zh) * | 2022-12-07 | 2023-03-03 | 河北科技大学 | 厚度可调节的聚酰亚胺薄膜的生产设备 |
| CN116012364A (zh) * | 2023-01-28 | 2023-04-25 | 北京建筑大学 | Sar图像变化检测方法和装置 |
| CN116012364B (zh) * | 2023-01-28 | 2024-01-16 | 北京建筑大学 | Sar图像变化检测方法和装置 |
| CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116051519B (zh) * | 2023-02-02 | 2023-08-22 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116091492A (zh) * | 2023-04-06 | 2023-05-09 | 中国科学技术大学 | 一种图像变化像素级检测方法与系统 |
| CN116091492B (zh) * | 2023-04-06 | 2023-07-14 | 中国科学技术大学 | 一种图像变化像素级检测方法与系统 |
| CN116645369A (zh) * | 2023-07-27 | 2023-08-25 | 山东锋士信息技术有限公司 | 基于孪生自编码器和双向信息深度监督的异常检测方法 |
| CN116645369B (zh) * | 2023-07-27 | 2023-11-07 | 山东锋士信息技术有限公司 | 基于孪生自编码器和双向信息深度监督的异常检测方法 |
| CN117056874A (zh) * | 2023-08-17 | 2023-11-14 | 国网四川省电力公司营销服务中心 | 一种基于深度孪生自回归网络的无监督窃电检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114926746B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114926746A (zh) | 基于多尺度差分特征注意力机制的sar图像变化检测方法 | |
| CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
| Li et al. | A geometry-attentional network for ALS point cloud classification | |
| CN109214452B (zh) | 基于注意深度双向循环神经网络的hrrp目标识别方法 | |
| CN110046579B (zh) | 一种深度哈希的行人再识别方法 | |
| CN105930812A (zh) | 一种基于融合特征稀疏编码模型的车辆品牌类型识别方法 | |
| CN116051840A (zh) | 一种基于生成对抗学习的半监督水下图像语义分割方法 | |
| Ji et al. | Few-shot scene classification of optical remote sensing images leveraging calibrated pretext tasks | |
| Liu et al. | Survey of road extraction methods in remote sensing images based on deep learning | |
| Khan et al. | An encoder–decoder deep learning framework for building footprints extraction from aerial imagery | |
| CN114937173A (zh) | 一种基于动态图卷积网络的高光谱图像快速分类方法 | |
| CN113988147A (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| Zhao et al. | High resolution remote sensing bitemporal image change detection based on feature interaction and multi-task learning | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| Alshehri | A content-based image retrieval method using neural network-based prediction technique | |
| Chen et al. | Exchange means change: An unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange | |
| Zeng et al. | Recurrent residual dual attention network for airborne laser scanning point cloud semantic segmentation | |
| Meng et al. | Physical knowledge-enhanced deep neural network for sea surface temperature prediction | |
| Yanan et al. | Cloud detection for satellite imagery using deep learning | |
| CN116580243A (zh) | 一种掩码图像建模引导域适应的跨域遥感场景分类方法 | |
| CN116206158A (zh) | 基于双超图神经网络的场景图像分类方法及系统 | |
| Li et al. | Change detection in synthetic aperture radar images based on log-mean operator and stacked auto-encoder | |
| CN116524258A (zh) | 一种基于多标签分类的滑坡检测方法和系统 | |
| CN116912550A (zh) | 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法 | |
| Kumawat et al. | Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |