CN112712050B - 基于ds证据融合的极化sar图像语义变化检测方法 - Google Patents

Abstract

本发明公开了一种基于DS证据融合的极化SAR图像语义变化检测方法，主要解决现有技术无法进行语义级变化检测及边缘定位差的问题。其方案为：输入两时相极化SAR图像及真实语义变化图；在两时相图像上生成训练集和测试集；构造卷积神经网络，并用训练集训练；测试集通过训练好网络得到语义变化特征，并将其输入到分类器中得到语义变化概率；通过差异算子生成两时相差异图，并对其初始化标记场；在标记场上通过马尔可夫随机场建模得到最终标记场，计算其变化概率，并将该变化概率与语义变化概率进行融合，得到语义变化检测结果。本发明实现了语义级变化检测，增强了变化边缘的定位，增强了对噪声的鲁棒性，可用于极化SAR图像目标识别。

Description

基于DS证据融合的极化SAR图像语义变化检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种极化SAR图像语义变化检测方法，可用于对极化SAR图像进行地表变化监测与评估。

背景技术

极化SAR图像变化检测是指通过分析在同一地区不同时间的两幅极化SAR图像，检测出该区域的地物的变化信息。极化合成孔径雷达系统得益于交替接收与发射不同极化方式的信号的机制，具有全天时和全天候的观测能力，并且相比于传统的SAR系统，可以获取更为丰富的地物信息，更加适合于复杂场景下的环境监测。因此，极化SAR图像的变化检测已成为当今SAR遥感图像分析与理解的重要研究分支。目前，已经开发了许多用于极化SAR图像变化检测的传统方法，这些方法的实施基本都是使用先生成差异图再进行差异图分析的策略，其中，差异图生成方法包括有Wishart距离、HLT差异算子、似然比算子和广义似然比算子，差异图分析方法包括有恒虚警率检测方法、马尔科夫随机场方法、SWT方法和阈值分割方法。

马尔科夫随机场方法是对两幅极化SAR图像生成的差异图进行分析的算法，其虽然考虑了领域信息，有助于噪声的抑制和保障边缘定位性，但是并没有考虑到语义变化信息，只能检测出变化区域，并不知道变化前后的地物类型，无法进行语义级的变化检测。随着深度学习的快速发展，基于神经网络的极化SAR图像变化检测方法显著提高了变化检测的准确率，并且能以端到端的方式自动学习判别特征，从而减少手工错误并节约成本。其中使用最多的是卷积神经网络CNN。这种基于卷积神经网络的方法可以直接通过两时相原始数据得到变化结果，能够完成语义级的变化检测，但该方法由于是将每一个像素点取其邻域作为一个图像块，将其输入到卷积神经网络来判别该像素点的是否发生变化，并没有考虑相邻像素图像块与之的关系，因而会造成边界定位性差的不足，且该方法由于没有定义语义变化类，故只能进行变化区域的检测，而不能判别变化前后的地物类型，从而影响了极化SAR图像的变化检测精度。

发明内容

本发明的目的在于针对上述技术中的不足，提出一种基于DS证据融合的极化SAR图像语义变化检测方法，以通过对卷积神经网络和马尔可夫随机场两种方法的优势融合，实现对变化前后地物类型的极化SAR图像语义变化检测，保障变化检测区域的边界定位性能，提高极化SAR图像的变化检测精度。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)获取已配准的M×N两时相极化SAR图像I₁、I₂，及其对应的相干矩阵数据T₁、T₂和这两幅极化SAR图像的真实语义变化图G，构建训练集P_sx和测试集P_sd；

(2)搭建卷积神经网络，利用训练集P_sx对该卷积神经网络进行训练网络，得到训练集的语义变化特征Z_xd，将测试集P_sd送入训练好的网络，得到测试集的语义变化特征Z_sd；

(3)用训练集的语义变化特征Z_xd训练支持向量机分类器，将语义变化特征Z_sd送入到训练好的支持向量机分类器中，得到所有像素点的每一语义变化类的概率P；

(4)采用双边取大的HLT方法构造两时相图像T₁、T₂的差异图像Y_HLTs；

(5)对差异图像Y_HLTs进行初始聚类，得到初始化的标记场X⁰＝{X_s|s∈[1,M×N]}，X_s∈{H₀,H₁}，其中H₀表示未变化，H₁表示变化；

(6)根据初始化的标记场X⁰，对差异图像Y_HLTs和初始化标号场X⁰使用马尔科夫随机场方法进行建模，迭代q次后得到最终的标记场X^q，q＞0；

(7)根据DS证据理论，将(3)得到的语义变化概率P和(6)得到的最终标记场X^q相结合，计算新的语义变化概率m：

(7a)根据(3)得到的语义变化概率P，计算发生变化的语义概率m₁(c)和未发生变化的语义概率m₁(u)，并对其进行组合，得到组合后的语义变化概率：

m₁＝{m₁(c),m₁(u)}，

其中

Pⁱ为语义变化概率P中的第i类语义变化概率，P^j表示语义变化概率P中第j类语义未变化概率；

(7b)根据(6)得到的最终的标记场X^q，计算具有邻域信息的变化概率m₂(c)和具有邻域信息的未变化概率m₂(u)，并对其进行组合，得到组合后的具有邻域信息的变化概率：

m₂＝{m₂(c),m₂(u)}，

其中，

β是一个系数，β∈[1,2]，η_s(X^q＝H_i)是以像素点s为中心的3×3邻域中标记为H_i像素的数目，i∈0,1；

(7c)根据组合后的语义变化概率m₁和组合后具有邻域信息的变化概率m₂，并对其进行融合，得到融合后的发生变化的概率

和融合后的未发生变化的概率

其中，k＝m₁(c)m₂(c)+m₁(u)m₂(u)表示归一化系数；

(8)根据(3)得到的语义变化概率P和(7c)得到融合后的发生变化的概率

和融合后的未发生变化的概率

得到最终的语义变化检测结果CM：

其中，Pⁱ为语义变化概率P中的第i类语义变化概率。

本发明与现有技术相比具有以下优点：

1.本发明通过联合两图像特征并定义语义级变化类型，通过卷积神经网络提取语义变化特征，解决了传统方法无法进行识别变化前后地物类型的问题；

2.本发明通过DS证据理论将卷积神经网络与马尔科夫随机场进行有效的融合，综合了卷积神经网络可以使用原始数据提取更深层次的语义变化特征的优势，以及马尔科夫随机场引入了邻域势能团，建立相邻像素之间的联系的优势，使得本发明不仅可以进行变化区域的检测，还可以进行变化类型的检测，并且对变化区域的边缘有着较好的定位性，提高了语义变化检测的精度。

附图说明

图1是本发明的实现流程图；

图2是用本发明对海南某机场区域1的两时相极化SAR图像的语义变化检测结果图；

图3是用本发明对海南某机场区域2的两时相极化SAR图像的语义变化检测结果图；

图4是用本发明对太湖区域1的两时相极化SAR图像的语义变化检测结果图；

图5是用本发明对太湖区域2的两时相极化SAR图像的语义变化检测结果图。

具体实施方式

下面结合附图对本发明的具体实施和效果作进一步详细说明。

参照图1，本发明的实施步骤如下：

步骤1.输入大小为M×N的已有两时相极化SAR图像I₁、I₂，及其对应的相干矩阵数据T₁、T₂和这两幅极化SAR图像的真实语义变化图G。

本实例输入的两时相极化SAR图像I₁、I₂是由高分三号分别于2017年和2019年拍摄的海南某机场区域1所得，如图2中的(2a)和(2b)所示。每一时相都包含M×N个像素，每一个像素都用3×3的极化相干矩阵T^(ij)表示：

其中，i＝1,2,...,M，j＝1,2,...,N，

为极化相干矩阵T^(ij)的第n行第m列的元素，n,m∈{1,2,3}，T^(ij)中

这三个是实数；

这两幅两时相极化SAR图像的真实语义变化图G与两时相极化SAR图像大小相等，为M×N，如图(2c)所示。该真实语义变化图G中的黑色表示未发生变化语义类，该处的标号为0，其他的每一种颜色都表示一种发生变化的语义类，即一类地物变化到一类地物，标号为{1,2,...Q}，Q为发生变化的语义类的总个数。

步骤2.构建训练集P_sx和测试集P_sd。

(2.1)根据两幅极化SAR图像的真实语义变化图G，分别对其每一语义类随机选取100个点，形成新的真实语义变化图G_s，其中s表示位置信息；

(2.2)分别对两幅极化SAR图像相干矩阵数据T₁和T₂取其主对角线元素组成新的两幅极化SAR图像相干矩阵数据T₁'和T₂'；

(2.3)使用7×7×3大小的滑动窗口在新的两幅极化SAR图像相干矩阵数据T₁'和T₂'上，分别依次从左到右、从上到下以1为步长进行滑动截取，得到两个特征块集d_1s和d_2s,1≤s≤M×N；

(2.4)将(2.3)截取的两个特征块集d_1s和d_2s按照数据维度的第一维度联合起来，组成新的联合特征块集P_s，该特征块集共有M×N个大小为14×7×3特征块；

(2.5)在新的联合特征块集P_s中选取真实语义变化图G_s位置上的联合特征块组成训练集P_s'_x，将未在真实语义变化图G_s位置上联合特征块组成测试集P_sd，

(2.6)根据P_s'_x同一语义变化类的两个样本P_i和P_j进行扩增，得到扩增后的训练集P_sx：

P_sx＝αP_i+(1-α)P_j+β，

其中，α是在区间[0,1]上均匀分布的随机值。β代表的是均值为0，方差为0.001的一个随机高斯噪声。

步骤3.搭建卷积神经网络。

(3.1)将一个输入层、二个卷积层、二个最大池化层、一个全连接层和一个Softmax分类器依次进行级联，得到由输入层→第一卷积层→第一最大池化层→第二卷积层→第二最大池化层→全连接层→Softmax分类器输出层的卷积神经网络；

(3.2)设置各层参数：

第一卷积层，设有六个卷积核，卷积核大小为5×3，移动步幅为1；

第一最大池化层，设其最大池化窗口大小是2×2，移动步幅是2；

第二卷积层，设有十二个卷积核，卷积核大小为5×3，移动步幅为1；

第二最大池化层，设其最大池化窗口大小是2×2，移动步幅是2；

全连接层设有96个单元；

Softmax分类器输出层，其输出的是每一语义变化类型。

步骤4.利用训练集P_sx对该卷积神经网络进行训练网络。

(4.1)将训练集P_sx输入到第一层卷积层中，计算第一卷积层输出的特征块C¹：

其中,N表示输入的特征块个数，v_i表示训练集P_sx的第i个输入特征块数据；w_1ni为第一卷积层中的第n个卷积核中的第i个的权重，*表示卷积操作，h()表示第一激活层的非线性激活函数，b_1i表示第一激活层的第i个的偏置；

(4.2)将第一卷积层的输出的特征块C¹，输入到第一最大池化层中，计算第一最大池化层输出的特征块：L¹＝down(C¹)，其中down()函数表示最大池化操作；

(4.3)将第一最大池化层输出的特征块L¹输入到第二卷积层中，计算第二卷积层的输出：

其中，

表示的是第一最大池化层的输出L¹中的第i个特征块，w_2ni为第二卷积层中的第n个卷积核中的第i个的权重，b_1i表示第二卷积层中第i个的偏置；

(4.4)将第二卷积层的输出C²输入到第二最大池化层中，计算第二最大池化层的输出：L²＝down(C²)；

(4.5)将第二最大池化层的输出的特征块L²输入到全连接层，输出特征Z；

(4.6)将全连接层的输出特征Z输入到softmax层中，通过如下公式计算语义变化类概率：

其中P_i,k表示特征Z中第i个样本对第k语义变化类的概率，w_k表示第k语义变化的权重；

(4.7)根据语义变化类概率P_i,k计算卷积神经网络的交叉熵损失函数E：

其中，y_i是第i个样本的真实标签值，P_i,k是第i个样本预测为第k个标签的概率值，N是总的样本个数；

(4.8)根据损失函数E分别对卷积神经网络中的第一卷积层和第二卷积层中每个权重w_lni和每个偏置b_1i求导数

(4.9)根据Adam优化算法和(4.8)中求得的导数

更新第一卷积层和第二卷积层的权重和偏置；

(4.10)根据更新后的权重和偏置重复(4.1)至(4.7)计算步骤，直到E收敛，得到训练好的卷积神经网络。

步骤5.计算所有像素点的每一语义变化类的概率P。

(5.1)将训练集P_xd送入训练好的网络中，得到训练集的语义变化特征Z_xd；

(5.2)根据训练集的语义变化特征Z_xd以及新的真实语义变化图G_s训练支持向量机分类器；

(5.1)将测试集P_sd送入训练好的网络中，按照步骤(4.1)-(4.5)的过程计算得到语义变化特征Z_sd；

(5.2)将语义变化特征Z_sd送入到训练好的支持向量机分类器中，计算所有像素点的每一语义变化类的概率P。

步骤6.构造两时相图像T₁、T₂的差异图像Y_HLTs。

现有的两时相极化SAR图像构造差异图的方法有Wishart距离、测地距离、双边取大的HLT、似然比算子和广义似然比算子多种方法，本实例使用但不限于用双边取大的HLT方法对两时相图像T₁、T₂进行差异图的构造，其公式表示如下：

Y_HLTs＝max(tr(T_1s ^-1T_2s),tr(T_2s ^-1T_1s))，

其中，tr(·)表示矩阵的迹运算，s表示像素的位置，T_1s,T_2s分别表示两时相图像I₁和I₂在s处的相干矩阵，Y_HLTs表示差异图像Y_HLT在s处的值，1≤s≤M×N。

步骤7.对差异图像Y_HLTs进行初始聚类，得到初始化的标记场X⁰。

(7.1)对差异图Y_HLTs使用FCM聚类算法将像素点依据其隶属度矩阵进行聚类分割成K类，本实例取K＝2；

(7.2)分别计算这K类的聚类中心，将聚类中心值大的作为变化类，标记为H₁，聚类中心值小的作为未变化类，标记为H₀；

(7.3)根据H₁和H₀初始化标记场：X⁰＝{X_s|s∈[1,M×N]}，X_s∈{H₀,H₁}。

步骤8.根据马尔科夫随机场理论，计算最终的标记场X^q。

(8.1)根据初始化的标号场X⁰，初始化似然参数θ⁰＝{λ,k₁₀,k₁₁,k₂₀,k₂₁}，其中，

式中k₁₀,k₁₁分别为在当前标号场X⁰下，差异图像Y_HLTs中非变化像素的均值和变化像素的均值，k₂₀,k₂₁分别为在当前标号场X⁰下，差异图像Y_HLTs中非变化像素的方差和变化像素的方差，λ为非负参数；

(8.2)采用大小为3×3的邻域构造势能函数U：

其中，y_s是差异图归一化后的数据，λ是系数，λ∈[0,3]，U(H_i|θ⁰)表示在似然参数θ⁰下，标记为H_i的势能函数，m_is表示以像素s为中心的3×3邻域中标记为H_i的个数，i＝0,1；

(8.3)根据标记场和势能函数按照下式计算后验概率：

其中，P{H_i|θ⁰}表示在似然参数θ⁰下，标记为H_i的概率；

(8.4)利用MPM准则按照下式更新在像素点s处的标号场，得到新的标记场X¹：

(8.5)根据更新后的标号场X¹按照如下公式更新似然参数θ⁰，得到新的似然参数

θ¹＝{λ,k₁₀,k₁₁,k₂₀,k₂₁}，其中

(8.6)设置迭代结束的阈值ε＝0.001，以及最大迭代次数q＝15；

(8.7)计算相邻两次的似然参数θ⁰和θ¹之间的差值t，判断是否满足t＜ε，或是否满足设定的最大迭代次数q＝15：

若是，则停止迭代,得到最终的标记场X^q，q是最终迭代的次数，q＞0；

否则，根据更新后的似然参数θ¹和标记场X¹，返回到步骤(8.2)。

步骤9.根据DS证据理论，计算融合后的发生变化的概率

和融合后的未发生变化的概率

(9.1)根据步骤(5)得到的语义变化概率P，计算发生变化的语义概率m₁(c)和未发生变化的语义概率m₁(u)，并对其进行组合，得到组合后的语义变化概率：

m₁＝{m₁(c),m₁(u)}，

其中

Pⁱ为语义变化概率P中的第i类语义变化概率，P^j表示语义变化概率P中第j类语义未变化概率；

(9.2)根据(6)得到的最终的标记场X^q，计算具有邻域信息的变化概率m₂(c)和具有邻域信息的未变化概率m₂(u)，并对其进行组合，得到组合后的具有邻域信息的变化概率：

m₂＝{m₂(c),m₂(u)}，

其中，

β是一个系数，β∈[1,2]，η_s(X^q＝H_i)是以像素点s为中心的3×3邻域中标记为H_i像素的数目，i∈0,1；

(9.3)根据组合后的语义变化概率m₁和组合后具有邻域信息的变化概率m₂，并对其进行融合，得到融合后的发生变化的概率

和融合后的未发生变化的概率

其中，k＝m₁(c)m₂(c)+m₁(u)m₂(u)表示归一化系数。

步骤10.计算最终的语义变化检测结果CM。

根据步骤(5)得到的语义变化概率P和步骤(9.3)得到融合后的发生变化的概率

和融合后的未发生变化的概率

得到最终的语义变化检测结果CM：

其中，Pⁱ为语义变化概率P中的第i类语义变化概率。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件：

本发明的仿真是在Matlab R2018b，Intel(R)Core(TM)-8300H CPU@2.30GHz2.30GHz，8.0GB内存，Windows 10版本。

2.实验内容：

实验1、应用本发明方法对高分3号拍摄的海南某机场区域1的两时相极化SAR图像进行语义变化检测。实验结果如图2所示，其中：

图2(a)是2017年实测的第一时相极化SAR图像，

图2(b)是2019年实测的第二时相极化SAR图像，

图2(c)是两时相极化SAR图像的真实语义变化图，

图2(d)是现有CNN方法对图2(a)和图2(b)这两时相极化SAR图像的语义变化检测结果图。

图2(e)是用本发明对图2(a)和图2(b)这两时相极化SAR图像的语义变化检测结果图。

从图2(e)与图2(c)的对比可以看出，本发明不仅能够检测出变化区域，而且得到的结果与真实语义变化图2(c)很接近，即可检测出草地到建筑的语义变化类以及草地到道路的语义变化类，表明本发明能够检测出两时相极化SAR图像的变化类型。从图2(e)与图2(d)的对比可以看出,本发明方法优于CNN方法,对变化的细节以及纹理信息保持的较好。

实验2，用本发明方法对高分3号拍摄的海南某机场区域2的两时相极化SAR图像进行语义变化检测。实验结果如图3所示，其中：

图3(a)是2017年实测的第一时相极化SAR图像，

图3(b)是2019年实测的第二时相极化SAR图像，

图3(c)是两时相极化SAR图像的真实语义变化图，

图3(d)是现有CNN方法对图3(a)和图3(b)这两时相极化SAR图像的语义变化检测结果图。

图3(e)是用本发明对图3(a)和图3(b)这两时相极化SAR图像的语义变化检测结果图。

从图3(e)可以看出，本发明不仅能够检测出变化区域，而且得到的结果与真实语义变化图3(c)很接近，即可检测出建筑物到道路的语义变化类以及草地到道路的语义变化类。表明本发明能够检测出两时相极化SAR图像的变化类型。从图3(e)与图3(d)的对比可以看出,本发明方法优于CNN方法,对变化的细节以及纹理信息保持的较好。

实验3、应用本发明方法对高分3号拍摄的太湖区域1的两时相极化SAR图像进行语义变化检测，实验结果如图4所示，其中：

图4(a)是2017年实测的第一时相极化SAR图像，

图4(b)是2019年实测的第二时相极化SAR图像，

图4(c)是两时相极化SAR图像的真实语义变化图，

图4(d)是现有CNN方法对图4(a)和图4(b)这两时相极化SAR图像的语义变化检测结果图。

图4(e)是用本发明对两时相极化SAR图像的语义变化检测结果图。

从图4(e)可以看出，本发明不仅能够检测出变化区域，而且得到的结果与真实语义变化图4(c)很接近，即可检测出浅水到深水的语义变化类以及陆地到水域的语义变化类。表明本发明能够检测出两时相极化SAR图像的变化类型。从图2(e)与图2(d)的对比可以看出,本发明方法优于CNN方法,对变化的细节以及纹理信息保持的较好。

实验4、应用本发明方法对高分3号拍摄的太湖区域1的两时相极化SAR图像进行语义变化检测。实验结果如图5所示，其中：

图5(a)是2017年实测的第一时相极化SAR图像，

图5(b)是2019年实测的第二时相极化SAR图像，

图5(c)是两时相极化SAR图像的真实语义变化图，

图5(d)是现有CNN方法对图5(a)和图5(b)这两时相极化SAR图像的语义变化检测结果图。

图5(e)是用本发明对两时相极化SAR图像的语义变化检测结果图。

从图5(e)与5(c)的对比可以看出，本发明可准确检测出浅水到深水的语义变化类以及水域到陆地的语义变化类。表明本发明能够检测出两时相极化SAR图像的变化类型。从图2(e)与图2(d)的对比可以看出,本发明方法优于CNN方法,对变化的细节以及纹理信息保持的较好。

3.仿真结果分析：

用本发明对两时相极化SAR图像检测的语义结果图中的每个像素的语义类与两时相极化SAR的真实语义变化图中标记的语义类进行逐一对比，统计每一语义类正确标记的个数N_c、每一发生变化的语义类漏检的个数L_c、每一发生变化的语义类虚检的个数X_c、真实语义变化图中每一语义类的个数M_c以及检测结果中的每一语义类的个数Q_c，其中，c＝{1,2,...k}，k表示总的语义类数目。

根据以上统计数目通过以下公式分别计算每一种实验的漏检率P_L、虚检率P_X、总体精度PCC以及Kappa系数；

其中

计算结果如表1所示：

表1用本发明方法和现有CNN方法进行语义变化检测的结果精度

由表1的评价指标可以看出，用本发明方法检测的结果具有较低的虚检率和漏检率，即都小于5％，其中实验3的虚检率和漏检率以及实验1的虚检率均在2％以下。本发明在总体精度和Kappa系数上均优于参照的CNN方法，总体精度都能达到了90％以上，说明本发明能很好的进行语义变化检测。这四组实验的Kappa系数都接近于1，说明用本发明得到的语义变化结果与真实语义变化图有较好的一致性。

通过该上述实验结果图以及评价指标表明，本发明不仅可以检测出两时相的变化区域，还可以检测出变化类型，有效的抑制了噪声的干扰，提高了变化的边缘定位性以及检测精度。

Claims (7)

1.一种基于DS证据融合的极化SAR图像语义变化检测方法，其特征在于，包括如下：

(1)获取已配准的M×N两时相极化SAR图像I₁、I₂，及其对应的相干矩阵数据T₁、T₂和这两幅极化SAR图像的真实语义变化图G，构建训练集P_sx和测试集P_sd；

(2)搭建卷积神经网络，利用训练集P_sx对该卷积神经网络进行训练网络，得到训练集的语义变化特征Z_xd，将测试集P_sd送入训练好的网络，得到测试集的语义变化特征Z_sd；

(3)用训练集的语义变化特征Z_xd训练支持向量机分类器，将语义变化特征Z_sd送入到训练好的支持向量机分类器中，得到所有像素点的每一语义变化类的概率P；

(4)采用双边取大的HLT方法构造两时相图像T₁、T₂的差异图像Y_HLTs；

(5)对差异图像Y_HLTs进行初始聚类，得到初始化的标记场X⁰＝{X_s|s∈[1,M×N]}，X_s∈{H₀,H₁}，其中H₀表示未变化，H₁表示变化；

(6)根据初始化的标记场X⁰，对差异图像Y_HLTs和初始化标记场X⁰使用马尔科夫随机场方法进行建模，迭代q次后得到最终的标记场X^q，q＞0；

(7)根据DS证据理论，将(3)得到的语义变化概率P和(6)得到的最终标记场X^q相结合，计算新的语义变化概率m：

(7a)根据(3)得到的语义变化概率P，计算发生变化的语义概率m₁(c)和未发生变化的语义概率m₁(u)，并对其进行组合，得到组合后的语义变化概率：

m₁＝{m₁(c),m₁(u)}，

其中

Pⁱ为语义变化概率P中的第i类语义变化概率，P^j表示语义变化概率P中第j类语义未变化概率；

(7b)根据(6)得到的最终的标记场X^q，计算具有邻域信息的变化概率m₂(c)和具有邻域信息的未变化概率m₂(u)，并对其进行组合，得到组合后的具有邻域信息的变化概率：

m₂＝{m₂(c),m₂(u)}，

其中，

β是一个系数，β∈[1,2]，η_s(X^q＝H_i)是以像素点s为中心的3×3邻域中标记为H_i像素的数目，i∈0,1；

(7c)根据组合后的语义变化概率m₁和组合后具有邻域信息的变化概率m₂，对其进行融合，得到融合后的发生变化的概率

和融合后的未发生变化的概率

其中，k＝m₁(c)m₂(c)+m₁(u)m₂(u)表示归一化系数；

(8)根据(3)得到的语义变化概率P和(7c)得到融合后的发生变化的概率

和融合后的未发生变化的概率

得到最终的语义变化检测结果CM：

其中，Pⁱ为语义变化概率P中的第i类语义变化概率。

2.根据权利要求1所述的方法，其特征在于，所述(1)中构建训练集P_sx和测试集P_sd，实现如下：

(1a)根据两幅极化SAR图像的真实语义变化图G，对其每一类语义变化分别随机选取100个点，形成新的真实语义变化图G_s，其中s表示位置信息；

(1b)分别对两幅极化SAR图像相干矩阵数据T₁和T₂取其主对角线元素组成新的两幅极化SAR图像相干矩阵数据T₁'和T′₂；

(1c)使用7×7×3大小的滑动窗口在新的两幅极化SAR图像相干矩阵数据T₁'和T′₂上，分别依次从左到右、从上到下以1为步长进行滑动截取，得到两个特征块集d_1s和d_2s,1≤s≤M×N；

(1d)将(1c)截取的两个特征块集d_1s和d_2s按照数据维度的第一维度联合起来，组成新的联合特征块集P_s，该特征块集共有M×N个大小为14×7×3特征块；

(1e)在新的联合特征块集P_s中选取真实语义变化图G_s位置上的联合特征块组成训练集P′_sx，将未在真实语义变化图G_s位置上联合特征块组成测试集P_sd，

(1f)根据P′_sx同一语义变化类的两个样本P_i和P_j进行扩增，得到扩增后的训练集P_sx：

P_sx＝αP_i+(1-α)P_j+β，

其中，α是在区间[0,1]上均匀分布的随机值；β代表的是均值为0，方差为0.001的一个随机高斯噪声。

3.根据权利要求1所述的方法，其特征在于，所述(2)中搭建卷积神经网络，实现如下：

(2a)将一个输入层、二个卷积层、二个最大池化层、一个全连接层和一个Softmax分类器依次进行级联：输入层→第一卷积层→第一最大池化层→第二卷积层→第二最大池化层→全连接层→Softmax分类器输出层；

(2b)设置各层参数：

第一卷积层，有六个卷积核，卷积核大小为5×3，移动步幅为1；

第一最大池化层，其最大池化窗口大小是2×2，移动步幅是2；

第二卷积层，有十二个卷积核，卷积核大小为5×3，移动步幅为1；

第二最大池化层，其最大池化窗口大小是2×2，移动步幅是2；

全连接层有96个单元；

Softmax分类器输出层，其输出的是每一语义变化类型。

4.根据权利要求1所述的方法，其特征在于，所述(2)中利用训练集P_sx对卷积神经网络进行训练网络，实现如下：

(2c)将训练集P_sx输入到第一层卷积层中，计算第一卷积层输出的特征块C¹：

其中N表示输入的特征块个数，v_i表示训练集P_sx的第i个输入特征块数据；w_1ni为第一卷积层中的第n个卷积核中的第i个的权重，*表示卷积操作，h()表示非线性激活函数，b_1i表示第一卷积层中第i个的偏置；

(2d)将第一卷积层的输出的特征块C¹，输入到第一最大池化层中，计算第一最大池化层输出的特征块：L¹＝down(C¹)，其中down()函数表示最大池化操作；

(2e)将第一最大池化层输出的特征块L¹输入到第二卷积层中，计算第二卷积层的输出：

其中，

表示的是第一最大池化层的输出L¹中的第i个特征块，w_2ni为第二卷积层中的第n个卷积核中的第i个的权重，b_2i表示第二卷积层中第i个的偏置；

(2f)将第二卷积层的输出C²输入到第二最大池化层中，计算第二最大池化层的输出：L²＝down(C²)；

(2g)将第二最大池化层的输出的特征块L²输入到全连接层，输出特征Z；

(2h)将全连接层的输出特征Z输入到softmax层中，通过如下公式计算语义变化类概率：

其中P_i,k表示特征Z中第i个样本对第k语义变化类的概率，w_k表示第k语义变化的权重；

(2i)根据语义变化类概率P_i,k计算卷积神经网络的交叉熵损失函数E：

其中，y_i是第i个样本的真实标签值，P_i,k是第i个样本预测为第k个标签的概率值，N是总的样本个数；

(2j)根据损失函数E分别对卷积神经网络中的第一卷积层和第二卷积层中每个权重w_lni和每个偏置b_li求导数

(2k)根据Adam优化算法和(2j)中求得的导数

更新第一卷积层和第二卷积层的权重和偏置；

(2l)根据更新后的权重和偏置重复(2c)至(2i)计算步骤，直到E收敛，得到训练好的卷积神经网络。

5.根据权利要求1所述方法，其特征在于，所述(4)采用双边取大的HLT方法构造两时相图像T₁、T₂的差异图像Y_HLTs，通过如下公式进行：

Y_HLTs＝max(tr(T_1s ^-1T_2s),tr(T_2s ^-1T_1s))，

其中，tr(·)表示矩阵的迹运算，s表示像素的位置，T_1s,T_2s分别表示两时相图像I₁和I₂在s处的相干矩阵，Y_HLTs表示差异图像Y_HLT在s处的值，1≤s≤M×N。

6.根据权利要求1所述方法，其特征在于，所述(5)中对差异图像Y_HLTs进行初始聚类，得到初始化的标记场X^q，实现如下：

(5a)对差异图Y_HLTs使用FCM聚类算法将像素点依据其隶属度矩阵进行聚类分割成K类，K＝2；

(5b)分别计算这K类的聚类中心，将聚类中心值大的作为变化类，标记为H₁，聚类中心值小的作为未变化类，标记为H₀；

(5c)根据H₁和H₀初始化标记场：X⁰＝{X_s|s∈[1,M×N]}，X_s∈{H₀,H₁}。

7.根据权利要求1所述方法，其特征在于，所述(6)中对差异图像Y_HLTs和初始化标记场X⁰使用马尔科夫随机场方法进行建模，迭代q次后得到最终的标记场X^q，实现如下：

(6a)根据初始化的标记场X⁰，初始化似然参数θ⁰＝{λ,k₁₀,k₁₁,k₂₀,k₂₁}，其中，k₁₀,k₁₁分别为在当前标记场X⁰下，差异图像Y_HLTs中非变化像素的均值和变化像素的均值，k₂₀,k₂₁分别为在当前标记场X⁰下，差异图像Y_HLTs中非变化像素的方差和变化像素的方差，λ为非负参数；

(6b)采用大小为3×3的邻域构造势能函数U：

其中，y_s是差异图归一化后的数据，λ是系数，U(H_i|θ⁰)表示在似然参数θ⁰下，标记为H_i的势能函数，m_is表示以像素s为中心的3×3邻域中标记为H_i的个数，i＝0,1；

(6c)根据标记场和势能函数按照下式计算后验概率：

其中，P{H_i|θ⁰}表示在似然参数θ⁰下，标记为H_i的概率，i＝0,1；

(6d)利用MPM准则按照下式更新在像素点s处的标记场，得到新的标记场X¹：

(6e)根据更新后的标记场X¹按照如下公式更新似然参数θ⁰，得到新的似然参数θ¹＝{λ,k₁₀,k₁₁,k₂₀,k₂₁}，其中

(6f)计算相邻两次的似然参数θ⁰和θ¹之间的差值ε，判断差值ε是否满足ε＜0.001，或是否满足设定的最大迭代次数q＝15：

若是，则停止迭代,得到最终的标记场X^q，q是最终迭代的次数，q＞0；

否则，根据更新后的似然参数θ¹和标记场X¹，返回到(6b)。

Images