CN112529837A - 基于耦合判别特征自学习网络的遥感图像变化检测算法 - Google Patents

Abstract

本发明提出了一种基于耦合判别特征自学习网络的遥感图像变化检测算法。该算法主要设计了耦合判别特征自学习网络，该网络通过两个子网络分别对待检测图像进行特征提取，所建立的耦合训练模型可得到耦合特征空间，该空间中特征的判别能力将增强，有助于生成更加分明的差异图，得到准确的变化检测结果。该方法不需要标签数据，并且不受数据类型的限制，具有广阔应用空间。该算法的有效性在公开数据集上进行了验证。

Description

基于耦合判别特征自学习网络的遥感图像变化检测算法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于耦合判别特征自学习网络的遥感图像变化检测算法。

技术背景

遥感图像目前的应用越来越广泛，其中利用遥感图像进行变化检测是一个非常重要的应用领域，例如：国土资源调查、城市发展监测、灾后情况分析、自然资源统计分析等。遥感图像变化检测主要的难点问题是不同时间、不同传感器、不同数据类型所造成的遥感图像表示的差异，这些会严重干扰发现遥感图像中的重要变化区域。

变化检测中关键问题就在如何对不同的遥感图像进行合适的特征表示，该特征空间中可以使得变化的区域间的差异较大，非变化区域较小，从而可以得到反映真实地物变化的差异图，在该差异图的基础上进行简单操作，得到最终的变化检测结果。目前变化检测的主要研究工作都围绕在特征空间的求解上。近几年，深度学习的方法也慢慢被应用到了变化检测中，但是大多都是基于标记好的变化检测数据上，该类方法将变化检测问题看作是二分类的问题，利用训练数据得到与类别标签间的映射，再将其应用到其它数据上。这样的做法存在一些问题，首先是训练样本的标记，遥感图像覆盖场景大，情况复杂，需要专门的人员来进行标记才能得到较为可靠的标记数据，这样的成本非常大；其次，遥感图像的各种数据差异较大，即使是同一传感器不同时段捕获的数据也存在很大的差异，因此在已知数据上训练得到的网络结构未必适合新的数据，难以保证好的结果。针对以上问题，需要提出一种新的遥感图像变化检测方法，用于降低对标签数据的要求，仅从待检测数据本身出发，寻找合适的特征表示空间。

发明内容

本发明的目的提出一种基于耦合判别特征自学习网络的遥感图像变化检测算法，用于解决上述现有技术对标签数据要求高，遥感图像变化检测准确度差异大的技术问题。

本发明技术方案：

基于耦合判别特征自学习网络的遥感图像变化检测算法，包括以下步骤：

步骤一：建立网络结构模型，包含两个子网络：G网络和F网络；G网络层数为l_G,第i层神经元的个数为

F网络层数为l_F,第i层神经元的个数为

满足条件

步骤二：设计耦合判别特征自学习网络的目标函数，实现判别特征的自学习过程；

步骤三：耦合判别特征自学习网络的训练过程；

步骤3.1：数据预处理；

步骤3.2：网络初始化；

步骤3.3：初始化矩阵S；

步骤3.4：交替优化网络参数；

步骤3.5：更新矩阵S；

步骤3.6：待目标函数收敛，或达到最高迭代次数，优化过程结束；

步骤四：计算差异图；

步骤五：生成变化检测结果图。

所述步骤一中：建立网络结构模型,还包括如下具体步骤：

所述G网络和F网络的结构为典型全连接网络，网络的输入端为遥感图像的各个像素的原始特征，使用像素周围局部区域的像素作为原始特征p,p∈R^s×1，该特征就包含了中心像素的局部邻域信息；G网络输出和F网络输出分别由如下式(1)、(2)表示：

其中，I₁和I₂为待检测的两幅遥感图像，每幅幅遥感图像的尺寸均为,M×N，其中，M为遥感图像宽度，N为遥感图像高度；

g(·)和f(·)表示G网络和F网络的映射函数，包含的参数分别为(W_G,θ_G) 和(W_F,θ_F)，其中W表示网络的权重，θ表示网络偏置；G网络和F网络的网络层数及每层的节点数可进行调节，但必须满足网络输出Out_G和网络输出 Out_F的维度一致，通过定义网络输出Out_G和网络Out_F之间的关系，实现两个网络的耦合自学习。

所述步骤二设计耦合判别特征自学习网络的目标函数，实现判别特征的自学习过程，还包括如下具体步骤：使用一个目标函数作为两个网络耦合学习的最终目标函数，目标函数如下式(3)(4)：

0≤S_x,y≤1…………………(4)

其中，

和

分别是输入图像I₁和I₂预处理后的特征图像；S_xy是用于表示像素未变化概率，数值接近1表示

和

是未变化的概率较大，数值接近0 表示像素是变化的概率较大；x、y分别表示像素点在特征图像上的坐标。

所述步骤3.1数据预处理，还包括：将待检测图像对每个像素位置进行特征抽取，使用3×3、5×5或7×7的窗口滑窗进行，将窗口内的图像块转化为列向量，作为中心像素的特征向量；

步骤3.2网络初始化包括：使用自编码器网络训练方式进行网络预训练，完成初始化过程；对G网络使用待测图像I₁中随机抽取的50％的数据进行训练，对F网络使用待测图像I₂中随机抽取的50％的数据进行训练；

步骤3.3初始化矩阵S，包括：使用随机初始化生成初始化的像素未变化矩阵S，初始化矩阵元素在[0,1]，满足高斯分布；

步骤3.4交替优化网络参数,包括：通过交替优化对耦合判别特征学习网络进行训练；交替优化耦合判别特征学习网络训练分为三步：

步骤3.4.1：F网路的映射函数f(·)不变，训练G网络的映射函数g(·)，利用反向传播算法更新G网络中的参数，获得训练好的网络映射函数g(·)，目标函数如下式(5)：

步骤3.4.2：G网络的映射函数g(·)不变，训练F网路的映射函数f(·)，利用反向传播算法更新网络F中的参数，获得训练好的网络映射函数f(·)，目标函数如下式(6)：

网络训练方法使用反向传播算法,在像素未变化概率S_x，y的控制下，进行误差反向传播，更新参数，最小化公式5和公式6；

步骤3.5：给定g(·)和f(·)，更新像素未变化矩阵S包括：根据式(7) 计算S中的各个元素；

在g(·)和f(·)给定的情况下，得到待检测图像的特征表示，S_x,y代表(x,y) 位置的像素为非变化像素的概率，应与该位置像素特征的差值程反比的关系；

在此基础上，通过公式7更新像素未变化矩阵S：

步骤3.6：待目标函数收敛，或达到最高迭代次数，该优化过程结束，判断条件如下所示：

判断条件1：连续20次迭代目标函数值的变化不超过0.001；

判断条件2：迭代次数大于最大迭代次数MaxIter，MaxIter＝2000；

若满足上述一种停止条件，则进行步骤四，若不满足停止条件，返回步骤 3.4，继续训练过程。

所述步骤四还包括：网络G和F的输出使用欧式距离计算像素特征的差异得到差异图；计算差异图Dif∈R^M×N；使用欧式距离计算，计算公式如下式(8)：

所述步骤五，生成变化检测结果图V∈R^M×N；使用阈值分割法获得变化检测结果图V，变化检测结果图计算公式如下式(9)：

其中，λ为由阈值分割法确定的阈值。

本发明技术效果：

本发明为了克服数据本身由于成像过程所引入的差异，设计耦合判别特征学习网络来寻找适合遥感图像变化检测的特征空间，由于遥感图像变化信息标签难获取，本发明采用无监督自学习的方式来进行特征学习，避免了对标记数据的需求。

本发明引入了神经网络技术对待检测图像进行特征提取，并且使用耦合训练的方式，将两个子网络的输出进行关联，可实现最终特征表示的判别增强，即变化像素的特征差异越大，非变化像素的特征差异越小。这样得到的差异图中差异更加明显，利于最终的变化检测图的生成。

本发明从待检测的数据出发，利用深度学习网络自主学习的能力，自适应寻找到合适的特征表示空间，计算得到合适的差异图，最终经过简单的阈值分割得到准确的变化检测结果。

本发明设计了耦合判别特征自学习网络，该网络通过两个子网络分别对待检测图像进行特征提取，所建立的耦合训练模型可得到耦合特征空间，该空间中特征的判别能力将增强，有助于生成更加分明的差异图，得到准确的变化检测结果。该方法不需要标签数据，并且不受数据类型的限制，满足不同类型的数据进行变化检测的需求，并且不需要标签数据，减少了人工的代价，具有强大的实际应用价值，具有广阔应用空间。该算法的有效性在公开数据集上进行了验证。

附图说明

图1为本发明设计的基于耦合判别特征自学习网络的遥感图像变化检测算法流程框图

图2为实施例中渥太华地区受雨季影响地表变化图a；

图3为实施例中渥太华地区受雨季影响地表变化图b；

图4为实施例中渥太华地区受雨季影响地表变化检测数据参考图；

图5为实施例中墨西哥城市森林大火后植被破坏地表变化图a；

图6为实施例中墨西哥城市森林大火后植被破坏地表变化图b；

图7为实施例中墨西哥城市森林大火后植被破坏地表变化检测数据参考图；

图8为实施例中洪水泛滥所引起黄河湾河道光学遥感图；

图9为实施例中洪水泛滥所引起黄河湾河道SAR遥感图；

图10为实施例中黄河湾河道变化参考图；

图11为实施例中渥太华地区变化检测结果差异图；

图12为实施例中渥太华地区变化检测结果图；

图13为实施例中渥太华地区变化检测数据参考图；

图14为实施例中墨西哥地区变化检测结果差异图；

图15为实施例中墨西哥地区变化检测结果图；

图16为实施例中墨西哥地区变化检测数据参考图；

图17为实施例中黄河湾变化检测结果差异图；

图18为实施例中黄河湾变化检测结果图；

图19为实施例中黄河湾变化检测数据参考图；

具体实施方式

下面结合附图及具体实施例对本发明设计的方法做进一步描述：

本发明中提出一种耦合判别特征自学习网络，该网络可以分为两部分网络，记作G和F,其结构为典型的全连接网络，网络的输入端为遥感图像的各个像素的原始特征，我们这里使用像素周围局部区域的像素作为它的原始特征 (p,p∈R^s×1)，该特征就包含了中心像素的局部邻域信息。网络的输出为：

其中，I₁和I₂为待检测的两幅遥感图像，每幅幅遥感图像的尺寸均为,M×N，其中，M为遥感图像宽度，N为遥感图像高度。g(·)和f(·)表示网络G和F的映射函数，包含的参数分别为(W_G,θ_G)和(W_F,θ_F)，G网络和F网络的网络层数及每层的节点数可进行调节，但必须满足输出Out_G和Out_F 的维度一致，通过定义Out_G和Out_F之间的关系，我们实现两个网络的耦合自学习。

步骤1.建立网络结构模型，包含两个子网络(G,F),G网络层数为l_G,第i 层神经元的个数为

F网络层数为l_F,第i层神经元的个数为

l_G和l_F可以相等也可以不相等，每层神经元的个数可相等也可不等，但需满足条件

步骤2.设计耦合判别特征自学习网络的目标函数，实现判别特征的自学习过程。为了使两个子网络进行耦合，我们使用一个目标函数作为两个网络耦合学习的最终目标函数。该目标函数为公式3、4。

步骤3.耦合判别特征自学习网络的学习过程，该过程为多次迭代优化过程，主要包含以下子步骤：

步骤3.1数据预处理。将待检测图像对每个像素位置进行特征抽取，可使用3×3、5×5或7×7的窗口滑窗进行，将窗口内的图像块转化为列向量，作为中心像素的特征向量。

步骤3.2网络初始化。一般网络初始化为随机初始化，即对权值偏置随机赋值。为了加快后期网络训练的收敛速度，在这里使用自编码器网络训练方式进行网络预训练，完成初始化过程。对G网络使用待测图像I₁中随机抽取的50％的数据进行训练，对F网络使用待测图像I₂中随机抽取的50％的数据进行训练。

步骤3.3初始化矩阵S。使用随机初始化生成S，元素在[0,1]，满足高斯分布。

步骤3.4给定矩阵S,通过最优化公式4和公式5对耦合判别特征学习网络进行训练。该过程可分为两步：

步骤3.4.1f(·)不变，训练g(·)，利用反向传播算法更新网络G中的参数，获得训练好的网络映射函数g(·)；

步骤3.4.2g(·)不变，训练f(·)，利用反向传播算法更新网络G中的参数，获得训练好的网络映射函数f(·)。

步骤3.5给定g(·)和f(·)，更新矩阵S。根据公式6计算S中的各个元素。

步骤3.6判断训练停止条件是否满足。条件1：连续20次迭代目标函数值的变化不超过0.001；条件2：迭代次数大于最大迭代次数MaxIter (MaxIter＝2000)。若满足停止条件，进行步骤4，若不满足，返回步骤3.4，继续训练过程。

步骤4计算差异图(Dif∈R^M×N)。使用欧式距离计算，公式如下：

差异图生成之后，为了验证该方法所学习得到的特征是否更适合变化检测问题，我们使用了最简单的阈值分割方法(OTSU算法)，将差异图转化为二值的变化检测图。

步骤5生成变化检测结果图(V∈R^M×N)。使用阈值分割(OTSU方法)获得变化检测结果图V。公式如下：

其中，λ为由OTSU方法确定的阈值。

本发明引入了神经网络技术对待检测图像进行特征提取，并且使用耦合训练的方式，将两个子网络的输出进行关联，可实现最终特征表示的判别增强，即变化像素的特征差异越大，非变化像素的特征差异越小。这样得到的差异图中差异更加明显，利于最终的变化检测图的生成。

为了验证该方法的有效性，我们在多组公开实验数据上进行了实施例实验，下面给出了具体的实验设置及实验结果。

1.仿真条件

(1)软件环境

该算法在window 10系统下开发，编译器为VS2015(C#)，代码内部所调用的Python代码在VScode上编写调试。使用到的深度学习平台为PyTorch 1.0.1。Python代码基于Python 3.6编写，调用到的库函数包括：pytorch 1.0.1， torchvision 0.1.8 numpy1.15.4，matplotlib 3.1.1，scipy 1.0.0， scikit-learn 0.20.1，opencv 3.4.2，opencv-python 4.1.1.26，easydict 1.9， cffi 1.13.2，tensorboardX 1.9，pyyaml0.1.7。

(2)硬件环境

惠普工作站，硬件配置为：双核CPU(Intel Xeon E5-2630 v4),两块 GPU(NVIDIATITAN X 12G)。

2.实验数据介绍

(1)渥太华地区变化检测数据

图2-4图像由Radarsat SAR卫星拍摄，图像大小为290*350，反映的是加拿大渥太华(Ottawa)地区受雨季影响其地表变化情况，拍摄时间分别为1997 年5月和1997年8月。图像数据主要由陆地和水域构成，变化信息主要来自于由洪水引起的地表变化。其空间分辨率为12m。变化参考图中白色区域为发生变化的区域。

(2)墨西哥变化检测数据

图5-7此数据集数据集由分别由美国卫星Landsat-7在2000年4月和2002 年5月在墨西哥市区获得的两个光学图像组成；这两个图像是从ETM+图像的波段4中提取，两幅图像的尺寸均为512×512。该图像数据集显示了墨西哥城市森林大火后的植被破坏情况。

(3)黄河湾变化检测数据

图9-10该组数据中包含SAR图像和光学遥感图像，其中，SAR图像是由 Radarsat-2在2008年6月在黄河口采集的，光学图像是从Google Earth获取的2010年9月捕获的光学图像，该图像覆盖了与SAR图像相同的区域；Google Earth提供了大量地球表面的VHR图像数据；Google Earth提供的数据整合了卫星和航空摄影的图像；图9-10图像数据的变化主要由于黄河洪水泛滥所引起的黄河河道的变化

3.实验结果

(1)渥太华地区变化检测结果

在该组数据测试时，我们将G网络和F网络结构设置为相同结构，网络层数为4层，每层的神经元个数分别为[20,20,20,10]，邻域窗口选择3*3。将检测结果与参考图进行对比，检测准确率为98.11％。实验结果图见图11-13。

(2)墨西哥变化检测数据检测结果

在该组数据测试时，我们将G网络和F网络结构设置为相同结构，网络层数为3层，每层的神经元个数分别为[50,20,10],邻域窗口选择为5*5。将检测结果与参考图进行对比，检测准确率为96.49％。实验结果图见图14-16。

(3)黄河湾变化检测数据检测结果

在该组数据测试时，我们将G网络和F网络结构设置为相同结构，网络层数为2层，每层的神经元个数分别为[20,20]，邻域窗口为3*3。将检测结果与参考图进行对比，检测准确率为96.75％。实验结果图见图17-19。

根据在以上数据的实验结果可以证明本发明所提出方法的有效性。该方法可以突破对数据格式的限制，满足不同类型的数据进行变化检测的需求，并且不需要标签数据，减少了人工的代价，具有强大的实际应用价值。

Claims (6)

1.基于耦合判别特征自学习网络的遥感图像变化检测算法，其特征在于，包括以下步骤：

步骤一：建立网络结构模型，包含两个子网络：G网络和F网络；G网络层数为l_G,第i层神经元的个数为

F网络层数为l_F,第i层神经元的个数为

满足条件

步骤二：设计耦合判别特征自学习网络的目标函数，实现判别特征的自学习过程；

步骤三：耦合判别特征自学习网络的训练过程；

步骤3.1：数据预处理；

步骤3.2：网络初始化；

步骤3.3：初始化矩阵S；

步骤3.4：交替优化网络参数；

步骤3.5：更新矩阵S；

步骤3.6：待目标函数收敛，或达到最高迭代次数，优化过程结束；

步骤四：计算差异图；

步骤五：生成变化检测结果图。

2.根据权利要求1所述的基于耦合判别特征自学习网络的遥感图像变化检测算法，其特征在于，所述步骤一中：建立网络结构模型,还包括如下具体步骤：

所述G网络和F网络的结构为典型全连接网络，网络的输入端为遥感图像的各个像素的原始特征，使用像素周围局部区域的像素作为原始特征p,p∈R^s×1，该特征就包含了中心像素的局部邻域信息；G网络输出和F网络输出分别由如下式(1)、(2)表示：

其中，I₁和I₂为待检测的两幅遥感图像，每幅幅遥感图像的尺寸均为,

M×N，其中，M为遥感图像宽度，N为遥感图像高度；

g(·)和f(·)表示G网络和F网络的映射函数，包含的参数分别为(W_G,θ_G)和(W_F,θ_F)，其中W表示网络的权重，θ表示网络偏置；G网络和F网络的网络层数及每层的节点数可进行调节，但必须满足网络输出Out_G和网络输出Out_F的维度一致，通过定义网络输出Out_G和网络Out_F之间的关系，实现两个网络的耦合自学习。

3.根据权利要求2所述的基于耦合判别特征自学习网络的遥感图像变化检测算法，其特征在于，所述步骤二设计耦合判别特征自学习网络的目标函数，实现判别特征的自学习过程，还包括如下具体步骤：使用一个目标函数作为两个网络耦合学习的最终目标函数，目标函数如下式(3)(4)：

0≤S_x,y≤1…………………(4)

其中，

和

分别是输入图像I₁和I₂预处理后的特征图像；S_x,y是用于表示像素未变化概率，数值接近1表示

和

是未变化的概率较大，数值接近0表示像素是变化的概率较大；x、y分别表示像素点在特征图像上的坐标。

4.根据权利要求3所述的基于耦合判别特征自学习网络的遥感图像变化检测算法，其特征在于，

所述步骤3.1数据预处理，还包括：将待检测图像对每个像素位置进行特征抽取，使用3×3、5×5或7×7的窗口滑窗进行，将窗口内的图像块转化为列向量，作为中心像素的特征向量；

步骤3.2网络初始化包括：使用自编码器网络训练方式进行网络预训练，完成初始化过程；对G网络使用待测图像I₁中随机抽取的50％的数据进行训练，对F网络使用待测图像I₂中随机抽取的50％的数据进行训练；

步骤3.3初始化矩阵S，包括：使用随机初始化生成初始化的像素未变化矩阵S，初始化矩阵元素在[0,1]，满足高斯分布；

步骤3.4交替优化网络参数,包括：通过交替优化对耦合判别特征学习网络进行训练；交替优化耦合判别特征学习网络训练分为三步：

步骤3.4.1：F网路的映射函数f(·)不变，训练G网络的映射函数g(·)，利用反向传播算法更新G网络中的参数，获得训练好的网络映射函数g(·)，目标函数如下式(5)：

步骤3.4.2：G网络的映射函数g(·)不变，训练F网路的映射函数f(·)，利用反向传播算法更新网络F中的参数，获得训练好的网络映射函数f(·)，目标函数如下式(6)：

网络训练方法使用反向传播算法,在像素未变化概率S_x,y的控制下，进行误差反向传播，更新参数，最小化公式5和公式6；

步骤3.5：给定g(·)和f(·)，更新像素未变化矩阵S包括：根据式(7)计算S中的各个元素；

在g(·)和f(·)给定的情况下，得到待检测图像的特征表示，S_x,y代表(x,y)位置的像素为非变化像素的概率，应与该位置像素特征的差值程反比的关系；

在此基础上，通过公式7更新像素未变化矩阵S：

步骤3.6：待目标函数收敛，或达到最高迭代次数，该优化过程结束，判断条件如下所示：

判断条件1：连续20次迭代目标函数值的变化不超过0.001；

判断条件2：迭代次数大于最大迭代次数MaxIter，MaxIter＝2000；

若满足上述一种停止条件，则进行步骤四，若不满足停止条件，返回步骤3.4，继续训练过程。

5.根据权利要求4所述的基于耦合判别特征自学习网络的遥感图像变化检测算法，其特征在于，所述步骤四还包括：网络G和F的输出使用欧式距离计算像素特征的差异得到差异图；计算差异图Dif∈R^M×N；使用欧式距离计算，计算公式如下式(8)：

6.根据权利要求5所述的基于耦合判别特征自学习网络的遥感图像变化检测算法，其特征在于，所述步骤五，生成变化检测结果图V∈R^M×N；使用阈值分割法获得变化检测结果图V，变化检测结果图计算公式如下式(9)：

其中，λ为由阈值分割法确定的阈值。

Images