CN110659591A - 基于孪生网络的sar图像变化检测方法 - Google Patents

Abstract

基于孪生网络的SAR图像变化检测方法，所述方法包括：对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像，对多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像；对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集；将训练数据集用于优化后的孪生网络训练；将测试数据集用于孪生网络测试，从而获得最终的变化结果图像。本发明通过基于独立性分析的预分类策略，能够获得更可靠的训练数据集，同时使用深度学习框架构建基于特征融合和自适应池化的孪生网络模型，提高了SAR图像变化检测的对噪声的鲁棒性，并且本发明的方法具有较强的任务适应性和泛化能力。

Description

基于孪生网络的SAR图像变化检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于孪生网络的SAR(SyntheticAperture Radar，合成孔径雷达)图像变化检测方法，本发明能够对多时相SAR图像的地物变化进行检测，在自然灾害检测与评估、城市规划和土地利用等领域具有重要意义。

背景技术

随着卫星遥感技术的发展，近年来遥感数据的获取量呈几何倍数增长，合成孔径雷达具有全天候、全天时的成像能力，而且可以不受气候条件的影响，因此成为当前研究热点。20世纪60年代，世界各国已经发射了越来越多的搭载高分辨率合成孔径雷达的卫星，例如：Radarsat-2、TerraSAR-X等。2016年8月，我国成功发射了高分三号卫星，能够获取分辨率达到1米的SAR图像，成像清晰、层次分明、信息丰富。随着我国遥感技术的飞速发展，对地观测遥感系统会更加成熟，更多合成孔径雷达数据可以用于变化检测分析。变化检测致力于寻找两幅同一区域的多时相图像中有效的变化信息，这能够为动态监测预报、防灾减灾事业提供强有力的信息保障。变化检测是在差异图像分析的基础上，结合像素的邻域信息进行逐像素的分类。但是，SAR图像具有大量的斑点噪声，当前方法经常难以准确的检测图像中的变化区域。

近年来，兴起了很多有关于SAR图像的变化检测研究，主要可以分为无监督方法和监督方法。(1)无监督方法的准确性极大依赖于图像的数据分布，如果数据分布合理，传统的阈值分割和聚类方法能够获得较好的结果，但是无监督方法的噪声鲁棒性和适应性较差。(2)监督方法在大多数情况下都能够获得比无监督方法更好的结果，例如受限玻尔兹曼机、极限学习机、卷积神经网络等学习模型，但是监督学习方法需要大量的标签样本用作模型训练，在标签质量差、数量不足的情况很难获得出色的表现，另外由于噪声影响模型的泛化能力也会受到极大影响。综合而言，对于多时相SAR图像进行变化检测时，当前方法容易受相干斑噪声的影响，难以获得准确的变化信息。

发明内容

有鉴于此，本发明实施例期望提供一种基于孪生网络的遥感图像变化检测方法，以解包括现有变化检测精度低在内的技术问题。本发明实施例的技术方案是这样实现的：

基于孪生网络的SAR图像变化检测方法，包括以下步骤：

对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像；

对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集；

将训练数据集用于孪生网络训练；

将测试数据集用于优化后的孪生网络测试，从而获得最终的变化结果图像。

本发明的具体步骤包括如下：

(1)对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像：

(1.1)对所述的输入图像进行差异性分析，获得差异图；

(1.2)对所述差异图进行独立性分析，从而获得最终的增强型的差异图像；

(2)对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集：

(2.1)使用模糊c均值聚类算法对增强型的差异图像进行无监督聚类，获得所有像素的伪标签矩阵；

(2.2)提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为训练数据集，L取值为不小于3的奇数；

(2.3)提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为测试数据集，L取值为不小于3的奇数；

(3)将训练数据集用于孪生网络训练：

(3.1)利用深度学习框架构建孪生网络，所构建的孪生网络是由两个分支网络组成，两支网络权值共享，并且具有相同的网络结构；任何一支网络的结构为：输入层→低层卷积块→中层卷积块→高层卷积块→自适应池化层→全连接层→输出层；其输入层为上述的训练数据集；

后续操作为：将训练数据集输入到孪生网络中，提取输入数据的低层、中层和高层特征，使用特征融合策略融合低层、中层和高层特征，通过自适应池化层获得更鲁棒的特征表示，计算网络的损失函数，然后使用随机梯度下降(SGD)算法进行网络参数优化，从而得到训练好的孪生网络模型，具体包括以下步骤3.2-3.7；

(3.2)孪生网络的低层卷积块用于提取输入层数据的低层特征；

(3.3)孪生网络的中层卷积块用于提取输入层数据的中层特征F_M；

(3.4)孪生网络的高层卷积块用于提取输入层数据的高层特征F_H；

(3.5)将所述的低层、中层和高层特征进行特征融合，获得输入数据的融合特征图F；

所述低层、层和高层特征的计算过程为：

F_L＝σ(σ(XW₁+b₁)W₂+b₂)

F_M＝σ(σ(F_LW₃+b₃)W₄+b₄)

F_H＝σ(σ(F_MW₅+b₅)W₆+b₆)

其中，F_L、F_M和F_H分别表示输入数据的低层、中层和高层特征，σ表示ReLU激活函数，W和b分别表示不同卷积层的权重和偏置；

所述特征融合策略的计算过程为：

F＝D(F_L)+D(F_M)+D(F_H)

其中，F表示融合后的特征图，D(·)表示维度匹配函数，所述的特征融合策略通过逐元素的相加实现；所述维度匹配函数的卷积核大小为1×1、卷积核个数为64；

(3.6)孪生网络中的自适应池化层用于自适应获取不同大小感受野的池化特征，从而获取上述特征F更鲁棒的特征表示F_v；

(3.7)将所述的更鲁棒的特征表示F_v通过全连接层，然后计算孪生网络的损失函数，然后使用随机梯度下降算法(SVD)优化网络参数。

(4)将测试数据集用于孪生网络测试，从而获得最终的变化结果图像：

(4a)将测试数据集输入到优化后的孪生网络中，获得测试数据集的标签信息；

(4b)结合训练数据集和测试数据集的标签信息获得最终的变化结果图像。

本发明实例所提供的基于孪生网络的遥感图像变化检测方法，通过所述的差异性分析和独立性分析对图像进行处理，利用了孪生网络分类器的噪声鲁棒和泛化能力强的特性，提高了待处理多时相图像的变化检测精度。本发明所提供的基于孪生网络的遥感图像变化检测方法具有如下优点：

1.利用差异性分析和独立性分析，获取输入图像的增强型差异图，使用多层模糊c均值聚类进行预分类，获取伪标签矩阵。增强型的差异图像能够一定程度抑制噪声干扰，有利于预分类算法获得更准确的分类表现。预分类算法使用无监督的聚类方法，能够应对无标签场景下的变化检测任务的需求，提高发明方法的适应能力。

2.孪生网络通过三组卷积操作提取输入数据的多层特征，特征融合策略能够融合低层、中层和高层特征(粗尺度到细尺度)，自适应池化操作能够自适应选择合适的感受野大小，从而获得更鲁棒的特征表示，提高变化检测方法的精度。

3.在高维特征空间使用距离度量函数，验证像素样本是否匹配，具有较强的任务适应性和泛化能力。

附图说明

图1为本发明的流程图；

图2为本发明图像处理方法的示意图；

图3为本发明孪生网络结构的示意图；

图4为本发明的自适应池化层的示意图；

图5为本发明的输入数据的示意图；

图6为实施例的方法与现有方法的效果比较图。

为了能明确实现本发明的实施例的结构，在图中标注了特定的尺寸、结构和器件，但这仅为示意需要，并非意图将本发明限定在该特定尺寸、结构、器件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在后附的权利要求的范围中。

具体实施方式

在以下的描述中，将描述本发明的多个不同的方面，然而对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

参照图1本发明实现的具体步骤：

步骤1：对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像：

步骤1.1：对所述输入的两幅多时相SAR图像使用log比率进行差异性分析，获取多时相SAR图像的差异图；

所述的差异性分析的计算过程为：

I_DI＝|logI₁-logI₂|

其中，I₁和I₂分别表示两幅多时相SAR图像，I_DI表示两幅多时相SAR图像的差异图，|·|为绝对值操作，log表示以10为底的对数操作；

步骤1.2：对所得到的差异图进行独立性分析，以获得显著性图像：

所述的独立性分析包括模式独立性分析和强度独立性分析，模式独立性的计算过程为：

D_pat(p_x)＝‖p_x-p_a‖₁

其中，x为1到N中的自然数，N表示上述差异图的像素总数，D_pat表示像素的模式独立性，p_x表示差异图中每一个像素及其周围的9×9区域，从而最终获取N个9×9区域，p_a表示所有像素的平均邻域区域，p_z表示上述差异图的N个像素中的一个，‖·‖₁表示L₁范数；

强度独立性分析的计算过程为：

其中，x为1到N中的自然数，N表示上述差异图的像素总数，r_x是由SLIC超像素算法在步骤1.1的差异图上获取的一个微小区域，而SLIC超像素算法对于每一个像素都会算得一个微小区域，其数量即像素数N；D_int表示强度独立性，r_z表示上述差异图的N个像素的其中一个，‖·‖₂表示L₂范数；对每一个r_x均计算其强度独立性，从而最终获取N个强度独立性；

所述显著性图像I_sal的计算过程为：

I_sal＝D_pat·D_int

点号表示模式独立性D_pat和强度独立性D_int的逐元素对应相乘；

步骤1.3：结合上述的差异图和显著性图像获得增强型的差异图像；

增强型的差异图像I_en的计算过程为：

I_en＝exp(k·I_sal)·I_DI

其中，exp(·)表示以e为底的指数函数，k为0至1中的实数，此处k＝0.1，点号为逐元素对应相乘；

步骤2：对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集：

步骤2.1：对所述的增强型的差异图像使用多层模糊c均值聚类算法进行预分类，获得伪标签矩阵；

步骤2.2：提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为训练数据集，L取值为不小于3的奇数；

步骤2.3：提取伪标签矩阵中标记为0.5的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为测试数据集，L取值为不小于3的奇数；

步骤3：将训练数据集用于孪生网络训练：

步骤3.1：利用深度学习框架构建孪生网络，所构建的孪生网络是由两个分支网络组成，两支网络权值共享，并且具有相同的网络结构；任何一支网络的结构为：输入层→低层卷积块→中层卷积块→高层卷积块→自适应池化层→全连接层→输出层，如图3；其输入层为步骤2.2的训练数据集；

步骤3.2：孪生网络的低层卷积块用于提取输入层数据的低层特征F_L：

所述的低层卷积块由第一、第二两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为16，激活函数为ReLU；

低层特征F_L的计算过程为：

F_L＝σ(σ(XW₁+b₁)W₂+b₂)

其中，X表低层卷积块的输入(即输入层数据)，σ表示ReLU激活函数，W₁和b₁表示第一卷积层的权重和偏置，W₂和b₂表示第二卷积层的权重和偏置；

步骤3.3：孪生网络的中层卷积块用于提取输入层数据的中层特征F_M：

所述的中层卷积块由第三、第四两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为32，激活函数为ReLU；

中层特征F_M的计算过程为：

F_M＝σ(σ(F_LW₃+b₃)W₄+b₄)

其中，F_L表示低层特征，σ表示ReLU激活函数，W₃和b₃表示第三卷积层的权重和偏置，W₄和b₄表示第四卷积层的权重和偏置。

步骤3.4：孪生网络的高层卷积块用于提取输入数据的高层特征F_H：

所述的高层卷积块由第五、第六两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为64，激活函数为ReLU；

高层特征F_H的计算过程为：

F_H＝σ(σ(F_MW₅+b₅)W₆+b₆)

其中，F_M表示中层特征，σ表示ReLU激活函数，W₅和b₅表示第五卷积层的权重和偏置，W₆和b₆表示第六卷积层的权重和偏置；

步骤3.5：两支网络的输入层分别采用步骤2.2中的两组数据训练集，并通过上述步骤3.2至3.4的操作之后，分别采用将所述的低层、中层和高层特征进行特征融合的方式，获得输入数据的融合特征图；

所述的融合特征图F的计算过程为：

F＝D(F_L)+D(F_M)+D(F_H)

其中，F表示融合后的特征图，D(·)表示维度匹配函数，所述的维度匹配函数的卷积核大小为1×1、卷积核个数为64；

步骤3.6：孪生网络中的自适应池化层用于自适应获取不同大小感受野的池化特征，从而获取上述特征F更鲁棒的特征表示F_v，如图4：

先对自适应池化层输入上述融合特征图F，获得F_p1，再对F_p1进行池化操作获得F_p2，然后对F_p2进行池化操作，获得F_p3，从而获得F_p1、F_p2和F_p3三个不同大小感受野获得的池化特征；

再计算融合后的池化特征F_p：

进而得到空间信息整合后的池化特征F_s，计算过程为：

F_s＝[F_s1,F_s2,...,F_s64]

c为1至64中的自然数，

其中，H×W表示F_p的平面空间尺寸，F_pc(i,j)表示融合特征F_p的第c个特征图中(i,j)位置的像素值，而根据步骤3.5的计算，会有64个特征图；

然后计算权重向量[a,b,c]，计算过程为：

[a,b,c]＝δ(σ(W_f1F_s)W_f2)

其中，W_f1和W_f2表示两个全连接操作，σ表示ReLU激活函数，δ表示Softmax函数，最后得到更鲁棒的特征表示F_v，计算过程为：

其中，a、b、c分别为64×1的权重向量，⊙为逐通道相乘；

步骤3.7：将所述的更鲁棒的特征表示F_v通过全连接层，得到两支全连接层的输出feat₀和feat₁，然后计算孪生网络的损失函数；所述损失函数的计算过程为：

Loss＝∑(yd²+(1-y)max(margin-d,0)²)

其中，y为步骤2.2中训练数据集的标签，y＝1表示输入数据的标签是1，即该位置像素是不变的，y＝0表示输入数据的标签是0，即该位置像素是变化的；margin是设定的阈值，margin为大于零的任意实数；d＝||feat₀-feat₁||₂表示两个全连接层输出的L₂范数，‖·‖₂表示L₂范式，feat₀和feat₁分别表示两支网络中全连接层的输出；

然后使用随机梯度下降(SGD)算法优化孪生网络参数；

步骤4：将测试数据集用于优化后的孪生网络测试，从而获得最终的变化结果图像：

步骤4.1：将测试数据集输入到优化后的孪生网络中，获得测试数据集的标签信息；

步骤4.2：结合训练数据集和测试数据集的标签信息获得最终的变化图。

下面结合仿真实验对本发明的效果进一步说明：

本发明的仿真实验在Intel Xeon E5-2620、NVIDIAGTX 1080、内存32GB的硬件环境和Ubuntu 16.04.6Caffe、Matlab2012a的软件环境下进行，实验对象为两组多时相SAR图像Ottawa数据集和Farmland数据集。Ottawa数据集由Radarsat卫星分别于1997年5月和8月在渥太华地区拍摄，大小为350×290像素，如图5第一行。Farmland数据集由Radarsat卫星于2008年6月和2009年6月在黄河地区拍摄，大小为306×291像素，如图5第二行。本发明的仿真实验数据如图5所示。图5(c)是真实的SAR图像的仿真图的变化检测参考图。

本发明方法与现有比较先进的变化检测方法的对比结果参见图6。对比试验中的Principal Component Analysis and K-means Clustering(下述简写为PCAKM)方法是文章“Unsupervised change detection in satellite images using principalcomponent analysis and k-means clustering”中提出的；Extreme Learning Machine(下述简写为ELM)方法是文章“Change detection from synthetic aperture radarimages based on neighborhood-based ratio and extreme learning machine”中提出的；PCANet方法是文章“Automatic change detection in synthetic aperture radarimages based on PCANet”中提出的；Random Multi-graphs(下述简写为RMG)方法是文章“SAR image change detection based on frequency domain analysis and randommulti-graphs”中提出的。从6中可以看出，当输入图像存在严重的噪声干扰或者噪声特性差异的情况下，本发明方法仍能够较准确地提取多时相SAR图像中的细微的变化信息，并且具有良好的噪声鲁棒性。

如图6前四列所示，其它方法容易受到噪声干扰的影响，难以准确表达变化信息；本发明方法在独立性分析和孪生网络的指导下，可以较好地抑制噪声影响；特别是，Farmland数据集存在噪声特性差异的情况，本方法仍然能够获得出色的表现。

本发明使用分类准确率(PCC)和Kappa系数(KC)在客观指标上与上述方法进行对比，计算方法如下：

其中，N为像素总数，OE＝FP+FN为总体错误数，FP为误检数量，表示参考图中未发生变化但是最终变化图中检测为变化的像素数量；FN为漏检数量，表示参考图中发生变化但是最终变化图中检测为不变化的像素数量。PRE表示误检和漏检的数量和比例关系，PRE＝[(TP+FP-FN)×TP+(TN+FN-FP)×TN]/(N×N)，其中TP为真正变化的像素数量，TN为真正不变的像素数量。较大的PCC和KC值说明变化检测结果更为准确，噪声抑制能力更强。表1和表2显示了本发明与上述方法的对比如果。从表中可以看到，在本发明的方法PCC和KC值都是最高的，这说明本发明方法能够较准确地检测到输入图像中的变化信息，并且能够抑制噪声干扰。

表1 Ottawa数据集的变化检测方法实验结果

方法	PCC(％)	KC(％)
			PKAKM	97.57	90.73
ELM	98.17	93.15
			PCANet	98.13	92.99
RMG	97.95	91.96
			本发明方法	98.21	93.20

表2 Farmland数据集的变化检测方法实验结果

方法	PCC(％)	KC(％)
			PKAKM	94.03	62.92
ELM	97.70	76.05
			PCANet	96.14	71.55
RMG	98.00	79.37
			本发明方法	98.81	88.58

本发明所提供的基于孪生网络的方法主要为提高多时相遥感图像分析与理解专门提出的。但显然，本方法也适用于普通成像设备如数码相机所拍摄图像的分析，所取得的有益效果也是相似的。

以上对本发明所提供的基于孪生网络的遥感图像变化检测方法作了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (2)

1.一种基于孪生网络的SAR图像变化检测方法，其特征在于包括以下步骤：

步骤1：对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像；

步骤1.1：对所述输入的两幅多时相SAR图像使用log比率进行差异性分析，获取多时相SAR图像的差异图；

所述的差异性分析的计算过程为：

I_DI＝|log I₁-log I₂|

其中，I₁和I₂分别表示两幅多时相SAR图像，I_DI表示两幅多时相SAR图像的差异图，|·|为绝对值操作，log表示以10为底的对数操作；

步骤1.2：对所得到的差异图进行独立性分析，以获得显著性图像：

所述的独立性分析包括模式独立性分析和强度独立性分析，模式独立性的计算过程为：

D_pat(p_x)＝‖p_x-p_a‖₁

其中，x为1到N中的自然数，N表示上述差异图的像素总数，D_pat表示像素的模式独立性，p_x表示差异图中每一个像素及其周围的9×9区域，从而最终获取N个9×9区域，p_a表示所有像素的平均邻域区域，p_z表示上述差异图的N个像素中的一个，‖·‖₁表示L₁范数；

强度独立性分析的计算过程为：

其中，x为1到N中的自然数，N表示上述差异图的像素总数，r_x是由SLIC超像素算法在步骤1.1的差异图上获取的一个微小区域，而SLIC超像素算法对于每一个像素都会算得一个微小区域，其数量即像素数N；D_int表示强度独立性，r_z表示上述差异图的N个像素的其中一个，‖·‖₂表示L₂范数；对每一个r_x均计算其强度独立性，从而最终获取N个强度独立性；

所述显著性图像I_sal的计算过程为：

I_sal＝D_pat·D_int

点号表示模式独立性D_pat和强度独立性D_int的逐元素对应相乘；

步骤1.3：结合上述的差异图和显著性图像获得增强型的差异图像；

增强型的差异图像I_en的计算过程为：

I_en＝exp(k·I_sal)·I_DI

其中，exp(·)表示以e为底的指数函数，k为0至1中的实数，点号为逐元素对应相乘；

步骤2：对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集；

步骤2.1：对所述的增强型的差异图像使用多层模糊c均值聚类算法进行预分类，获得伪标签矩阵；

步骤2.2：提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为训练数据集，L取值为不小于3的奇数；

步骤2.3：提取伪标签矩阵中标记为0.5的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为测试数据集，L取值为不小于3的奇数；

步骤3：将训练数据集用于孪生网络训练；

步骤3.1：利用深度学习框架构建孪生网络，所构建的孪生网络是由两个分支网络组成，两支网络权值共享，并且具有相同的网络结构；任何一支网络的结构为：输入层→低层卷积块→中层卷积块→高层卷积块→自适应池化层→全连接层→输出层；其输入层为步骤2.2的训练数据集；

步骤3.2：通过孪生网络的低层卷积块提取输入层数据的低层特征F_L：

所述的低层卷积块由第一、第二两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为16，激活函数为ReLU；

低层特征F_L的计算过程为：

F_L＝σ(σ(XW₁+b₁)W₂+b₂)

其中，X表示低层卷积块的输入也即输入层数据，σ表示ReLU激活函数，W₁和b₁表示第一卷积层的权重和偏置，W₂和b₂表示第二卷积层的权重和偏置；

步骤3.3：通过孪生网络的中层卷积块提取输入层数据的中层特征F_M：

所述的中层卷积块由第三、第四两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为32，激活函数为ReLU；

中层特征F_M的计算过程为：

F_M＝σ(σ(F_LW₃+b₃)W₄+b₄)

其中，F_L表示低层特征，σ表示ReLU激活函数，W₃和b₃表示第三卷积层的权重和偏置，W₄和b₄表示第四卷积层的权重和偏置。

步骤3.4：通过孪生网络的高层卷积块提取输入数据的高层特征F_H：

所述的高层卷积块由第五、第六两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为64，激活函数为ReLU；

高层特征F_H的计算过程为：

F_H＝σ(σ(F_MW₅+b₅)W₆+b₆)

其中，F_M表示中层特征，σ表示ReLU激活函数，W₅和b₅表示第五卷积层的权重和偏置，W₆和b₆表示第六卷积层的权重和偏置；

步骤3.5：两支网络的输入层分别采用步骤2.2中的两组数据训练集，并通过上述步骤3.2至3.4的操作之后，分别采用将所述的低层、中层和高层特征进行特征融合的方式，获得输入数据的融合特征图；

所述的融合特征图F的计算过程为：

F＝D(F_L)+D(F_M)+D(F_H)

其中，F表示融合后的特征图，D(·)表示维度匹配函数，所述的维度匹配函数的卷积核大小为1×1、卷积核个数为64；

步骤3.6：孪生网络中的自适应池化层用于自适应获取不同大小感受野的池化特征，从而获取上述特征F更鲁棒的特征表示F_v：

先对自适应池化层输入上述融合特征图F，获得F_p1，再对F_p1进行池化操作获得F_p2，然后对F_p2进行池化操作，获得F_p3，从而获得F_p1、F_p2和F_p3三个不同大小感受野获得的池化特征；

再计算融合后的池化特征F_p：

进而得到空间信息整合后的池化特征F_s，计算过程为：

F_s＝[F_s1,F_s2,...,F_s64]

c为1至64中的自然数，

其中，H×W表示F_p的平面空间尺寸，F_pc(i,j)表示融合特征F_p的第c个特征图中(i,j)位置的像素值，而根据步骤3.5的计算，会有64个特征图；

然后计算权重向量[a,b,c]，计算过程为：

[a,b,c]＝δ(σ(W_f1F_s)W_f2)

其中，W_f1和W_f2表示两个全连接操作，σ表示ReLU激活函数，δ表示Softmax函数，

最后得到更鲁棒的特征表示F_v，计算过程为：

其中，a、b、c分别为64×1的权重向量，⊙为逐通道相乘；

步骤3.7：将所述的更鲁棒的特征表示F_v通过全连接层，得到两支全连接层的输出feat₀和feat₁，然后计算孪生网络的损失函数；所述损失函数的计算过程为：

Loss＝∑(yd²+(1-y)max(margin-d,0)²)

其中，y为步骤2.2中训练数据集的标签，y＝1表示输入数据的标签是1，即该位置像素是不变的，y＝0表示输入数据的标签是0，即该位置像素是变化的；margin是设定的阈值，margin为大于零的任意实数；d＝||feat₀-feat₁||₂表示两个全连接层输出的L₂范数，‖·‖₂表示L₂范式，feat₀和feat₁分别表示两支网络中全连接层的输出；

然后使用随机梯度下降(SGD)算法优化孪生网络参数；

步骤4：将测试数据集用于优化后的孪生网络测试，从而获得最终的变化结果图像。

步骤4.1：将测试数据集输入到优化后的孪生网络中，获得测试数据集的标签信息；

步骤4.2：结合训练数据集和测试数据集的标签信息获得最终的变化图。

2.如权利要求1所述的基于孪生网络的SAR图像变化检测方法，其特征在于步骤1.3中所述的k＝0.1。

Images