CN112465884B - 基于生成式特征表示网络的多元遥感影像变化检测方法 - Google Patents

Abstract

本发明提供了一种基于生成式特征表示网络的多元遥感影像变化检测方法。设计了由特征提取网络和生成对抗网络构成的生成式特征网络，特征提取网络学习有利于多元变化检测的数据特征，生成对抗网络学习具有可扩展性的数据分布信息，采用自适应循环学习策略进行网络更新，更新过程中同时进行分类数目自适应调整，并利用变化向量分析算法进行标签数据更新，直至网络稳定，得到最终的变化检测结果。本发明可应用于复杂遥感影像的多元变化检测，且检测精度高、鲁棒性强。

Description

基于生成式特征表示网络的多元遥感影像变化检测方法

技术领域

本发明属网络计算及表示学习技术领域，具体涉及一种基于生成式特征表示网络的多元遥感影像变化检测方法。

背景技术

变化检测是根据对同一物体或现象不同时间的观测来确定其不同的处理过程。实时掌握地物变化信息，有利于人类对现实存在问题的认知，以及更好的预测未来发展。变化检测可以分为以下两类：1)二元变化检测；2)多元变化检测。二元方法把各种变化看作一个变化类，因此，他们的目标是在考虑的特征空间中找出变化的和没有变化的像素，而忽略了可能发生的不同变化的语义。多元变化检测在检测出变化区域的基础上，还能对变化的类别进行甄别，更能满足现实的需求。

文献“F.Bovolo,S.Marchesi,and L.Bruzzone,“A framework for automaticand unsupervised detection of multiple changes in multitemporal images,”IEEETransactions on Geoscience and Remote Sensing,vol.50,no.6,pp.2196–2212,2012.”记载了变化向量分析(Compressed change vector analysis，C²VA)算法，是经典多分类变化检测的代表，其将像素空间压缩到极坐标空间，通过相角范围进行类别的划分，但是当类别数多于2时，由于对像素信息进行了压缩，这种算法的检测精度将会降低。Zhang等在文献“P.Zhang,M.Gong,H.Zhang,J.Liu,and Y.Ban,“Unsupervised differencerepresentation learning for detecting multiple types of changes inmultitemporal remote sensing images,”IEEE Transactions on Geoscience andRemote Sensing,vol.57,no.4,pp.2277–2289,2019.”中提出差异表示学习网络(Difference representation learning network，DRLnet)结合k-means和深度网络，通过迭代优化和逐步逼近理想聚类数目的方式，有效实现了多分类变化检测。但其问题在于：首先，k-means聚类算法聚类有效性较差，无法得到相对精确的类别标签，对整个算法的最终检测精度有一定的影响；其次，DRLNet计算复杂度很高，为了实现不同数据集的变化检测，均需要单独运行整个学习和检测过程，没有充分挖掘不同数据集之间的迁移信息。

发明内容

为了克服现有技术的不足，本发明提供一种基于生成式特征表示网络的多元遥感影像变化检测方法。设计了一种深度特征学习框架，该框架由超聚类和自适应循环学习机制驱动，学习不同类型变化的显著表示和分布。在整体框架中，采用了一种学习鉴别性差异特征的循环训练策略，该策略以自适应循环学习机制为指导，通过自适应方式优化变化类型的数量，并最终收敛到其稳定状态；引入变化向量分析算法(C²VA)作为辅助聚类手段，提供网络学习优化过程中的标签数据；设计了一种对抗性表示学习方法，学习具有可扩展性的数据分布信息，以实现不同数据集之间的特征迁移，减少算法的复杂度。

一种基于生成式特征表示网络的多元遥感影像变化检测方法，其特征在于步骤如下：

步骤1：给定两幅遥感影像I₁和I₂，将影像I₁以其中一个像素为中心进行展开，得到的向量即为一个训练样本，按照此方法遍历所有像素点，得到影像I₁对应的所有训练样本；对影像I₂采用相同方式进行处理，得到影像I₂对应的所有训练样本；

步骤2：使用变化向量分析算法对训练样本进行分类处理，得到每个样本的初始标签；

步骤3：设置分类数目和最大迭代次数，初始迭代次数k＝1，按以下过程进行网络训练：

步骤a：分别将影像I₁和I₂对应的训练样本及其标签输入到特征提取网络进行预训练，得到预训练好的特征提取网络；然后，分别将影像I₁和I₂对应的训练样本及其标签输入到预训练好的特征提取网络，网络输出即为遥感影像的高级特征；所述的特征提取网络，包括两个并列的栈式自编码器SAE和一个输出层，输出层对两个栈式自编码器SAE的输出作差然后输出；所述的特征提取网络的代价函数设置如下：

其中，L_FE(I₁,I₂；θ₁)表示特征提取网络的代价函数，I₁表示输入的第一幅遥感影像数据，I₂表示输入的第二幅遥感影像数据，θ₁表示特征提取网络参数，N表示样本总数，表示特征提取网络对应第i个输入样本I₁ ⁽ⁱ⁾和/>的输出，I₁ ⁽ⁱ⁾表示影像I₁的第i个输入样本，/>表示影像I₂的第i个输入样本，P表示特征映射矩阵，y⁽ⁱ⁾表示对应第i对输入样本的标签数据；

训练过程中网络参数θ₁和P分别按以下公式进行更新：

其中，θ₁和P分别表示更新前的网络参数和特征映射矩阵，和/>分别表示更新后的网络参数和特征映射矩阵；α为学习率，α＝0.00005；

步骤b：以特征提取网络输出的遥感影像的高级特征作为噪声数据，以样本标签作为真实数据，输入到生成对抗网络GAN对其生成器和判别器进行训练，得到训练好的生成对抗网络GAN；特征提取网络和生成对抗网络共同构成生成特征表示网络；

所述的生成对抗网络GAN对其生成器和判别器进行训练的具体过程如下：

首先，设定训练参数，包括训练次数k、学习率α、截断阈值c和批数据规模m，然后，分别输入噪声样本和数据样本至生成对抗网络GAN进行训练；所述的噪声样本为从噪声数据中随机采样的m个样本；所述的数据样本为从真实数据中随机采样的m个样本；

训练过程中按以下公式更新生成对抗网络GAN判别器参数：

其中，表示更新后的判别器参数，/>为判别器参数中间变量，θ₃为更新前的判别器参数，判别器参数初始时随机生成；c为截断阈值，c＝0.01，/>表示将参数/>截断在[-c,c]范围内；RMSPprop(·)为RMSPprop优化函数；/>表示参数θ₃的最终梯度，/>为梯度算子，/>表示输入为第i个数据样本x⁽ⁱ⁾时判别器的输出数据，/>表示输入为第i个噪声样本z⁽ⁱ⁾时判别器的输出数据；

按以下公式更新生成器参数：

其中，表示更新后的生成器参数，θ₂为更新前的生成器参数，生成器参数初始时随机生成，/>表示参数θ₂的最终梯度；

网络训练时按上述过程对判别器和生成器参数进行迭代更新，直至迭代次数达到设定的训练次数k，完成生成对抗网络GAN的生成器和判别器的优化，得到训练好的GAN网络；

步骤c：使用变化向量分析算法对特征提取网络输出的遥感影像的高级特征进行分类处理，以分类结果作为新的样本标签，更新训练数据；

步骤d：更新分类数目；

步骤e：令迭代次数k＝k+1，判断k是否达到最大迭代次数，如果不满足条件，则返回步骤a，进行下一次迭代训练，否则，此时的生成特征表示网络即为最优网络，其中，生成对抗网络的生成器输出即为最终的变化检测结果。

进一步地，步骤1中所述的以像素点为中心展开得到向量的具体过程为：设定以像素点为中心的大小为w×w的邻域，将此邻域中的像素点按行展开，得到由像素点值构成的w²维向量，w＝3。

进一步地，步骤3的步骤d所述的更新分类数目的具体过程如下：

首先，按照下式计算得到提升误差e：

其中，e₁表示当前特征提取网络的输出与上一次训练时特征提取网络的输出之间的误差，e₂表示当前生成对抗网络GAN的输出与上一次训练时生成对抗网络GAN的输出之间的误差；

然后，按照下式计算得到更新后的分类数目M：

其中，λ∈[0,1]是自定义常数，M′表示更新前的分类数目，表示向下取整。

本发明的有益效果是：(1)利用深度学习善于挖掘原始数据的潜在分布、能提取原始像素信息的关键性特征的优点，针对直接在像素空间进行差异分析而无法应对像素强度异质的弊端，先用深度学习提取像素的高维特征，然后在高维特征中实现差异分析，最后通过分类器将差异向量归类，实现最终的变化检测。相比于现有方法，这样一种的新的检测范式，一方面避免了原始像素值的直接比较，另一方面打破了传统变化检测框架三步走的壁垒，使得最终的变化检测结果不再依赖于差异图的生成质量。(2)在变化检测过程中，为进一步解决传统预检测算法无法提供相对精确的多类标签、深度网络的训练过程艰难的问题，引入变化向量分析算法(C²VA)作为辅助聚类手段，在网络学习优化过程中提供精度更高的标签数据，从而让网络能够学习到更多有用的信息，提升算法的检测精度。(3)传统变化检测算法在检测完一个数据集后学习到的模型无法用于其他影像集，造成计算资源的浪费，而本发明整个方法的核心是学习原始影像差异信息的数据分布，当其他待检测影像数据具有相似的地质特征时，可通过本数据学习到的模型直接对其进行多分类变化检测，具有较好的迁移效果，能够大大节省计算资源。

附图说明

图1是本发明的基于生成式特征表示网络的多元遥感影像变化检测方法框图；

图2是双时相多光谱遥感影像数据集Xi'an-2中的图像；

图中，(a)-拍摄于2013年8月19日的图像，(b)-拍摄于2015年8月29日的图像，(c)-多类别检测参考图；

图3是Xi'an-2数据集差异信息的极坐标表示；

图4是采用本发明方法对Xi'an-2数据集图像进行多类变化检测结果图像；

图中，(a)-20类检测结果图，(b)-16类检测结果图，(c)-10类检测结果图；(d)-5类检测结果图，(e)-2类检测结果图，(f)-检测参考图；

图5是采用本发明方法对Xi'an-2数据集进行处理的优化曲线；

图6是采用本发明方法对Xi'an-5数据集图像进行迁移变化检测结果图像；

图中，(a)-5类检测结果图，(b)-变化强度分布图，(c)-二分类变化检测结果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供了一种基于生成式特征表示网络的多元遥感影像变化检测方法，如图1所示，其基本实现过程如下：

1、构建样本集

给定两幅遥感影像I₁和I₂，分别按下述过程进行处理，得到训练样本：

假设影像的大小为r×c，M_ij表示影像中以像素点(i,j)为中心大小为w×w的邻域，将此邻域内像素按行或者列展开成w²维向量x_ij，向量x_ij即构成影像的一个训练样本，如此遍历完所有像素点，得到影像的所有训练样本X＝((x₁)^T,(x₂)^T,...,(x_r×c)^T)^T，i∈{1,2,...,r},j∈{1,2,...,c}。

2、使用C²VA方法确定样本初始标签

文献“Bovolo F,Marchesi S,Bruzzone L.A framework for automatic andunsupervised detection of multiple changes in multitemporal images[J].IEEETransactions on Geoscience and Remote Sensing,2012,50(6):2196-2212.”中记载了变化向量分析(Compressed change vector analysis，C²VA)算法，该方法是一种在极坐标域中区分变化类型的方法，基本原理是利用所有可用的光谱通道来区分不同种类的变化。算法的基本过程是：首先，输入数据样本，计算其不同类别的先验概率和幅值的统计参数，然后根据贝叶斯决策理论求解确定最优划分阈值，最后求解方向变量的最优划分即刻得到不同类别的划分。

本发明采用C²VA对训练样本进行分类处理，以分类结果作为每个样本的初始标签。

3、网络训练

设置初始分类数目M₀和最大迭代次数E，初始迭代次数k＝1，按以下过程进行网络训练：

(1)优化特征提取网络

由于C²VA算法处理图像数据时会压缩像素空间，造成信息损失，为了针对不同的输入数据提取更有利于分类的高级特征，本发明采用差分神经网络的设计模式，以自动编码器(Auto-Encoder，AE)作为基础网络架构，构建了特征提取网络，包括两个并列的栈式自编码器SAE和一个输出层，输出层对两个栈式自编码器SAE的输出作差然后输出。

分别将影像I₁和I₂对应的训练样本及其标签输入到特征提取网络进行预训练，得到预训练好的特征提取网络。

为了实现特征提取的目标，设置网络的代价函数如下：

其中，L_FE(I₁,I₂；θ₁)表示特征提取网络的代价函数，I₁表示输入的第一幅遥感影像数据，I₂表示输入的第二幅遥感影像数据，θ₁表示特征提取网络参数，N表示样本总数，表示特征提取网络对应第i个输入样本I₁ ⁽ⁱ⁾和/>的输出，I₁ ⁽ⁱ⁾表示影像I₁的第i个输入样本，/>表示影像I₂的第i个输入样本，P表示特征映射矩阵，y⁽ⁱ⁾表示对应第对输入样本的标签数据。

以上代价函数可微，可进行优化。训练过程中网络参数θ₁和P分别按以下公式进行更新：

其中，θ₁和P分别表示更新前的网络参数和特征映射矩阵，和/>分别表示更新后的网络参数和特征映射矩阵；α为学习率，α＝0.00005。

特征提取网络预训练好后，输入步骤2中的训练样本数据，在网络输出端得到影像数据高级特征。

(2)优化生成对抗网络GAN

生成对抗网络GAN由判别器和生成器两个部分构成，具体优化过程如下：

首先，设定训练参数，包括训练次数k、学习率α、截断阈值c和批数据规模m，如本实施例设定k＝5，α＝0.00005，c＝0.01，m＝64。输入训练数据集X，然后以特征提取网络的输出作为噪声数据P(z)，从中采样m个噪声样本{z¹,z²,...,z^m}，作为GAN网络中生成器的输入样本。zⁱ表示第i个噪声样本，i＝1,2,...,m；以样本标签作为真实数据P_data(x)，从中采样m个数据样本{x¹,x²,...,x^m}作为“真数据”，而生成器的输出为“假数据”，两者进行零和博弈，逐步优化GAN网络。xⁱ表示第i个数据样本，i＝1,2,...,m，训练过程中按以下公式更新判别器参数：

其中，表示更新后的判别器参数，/>为判别器参数中间变量，θ₃为更新前的判别器参数，判别器参数初始时随机生成；c为截断阈值，本发明中c＝0.01，/>表示将参数/>截断在[-c,c]范围内；RMSPprop(·)为RMSPprop优化函数；/>表示参数θ₃的最终梯度，/>为梯度算子，/>表示输入为第i个数据样本x⁽ⁱ⁾时判别器的输出数据，/>表示输入为第i个噪声样本z⁽ⁱ⁾时判别器的输出数据。

按以下公式更新生成器参数：

其中，表示更新后的生成器参数，θ₂为更新前的生成器参数，生成器参数初始时随机生成，/>表示参数θ₂的最终梯度。

网络训练时按上述过程对判别器和生成器参数进行迭代更新，直至迭代次数达到设定的训练次数k，完成生成对抗网络GAN的生成器和判别器的优化，得到训练好的GAN网络。

(3)更新样本标签

使用C²VA对特征提取网络输出的遥感影像的高级特征进行分类处理，以分类结果作为新的样本标签，更新训练数据。

(4)自适应更新分类数目

在训练过程中，初始分类数目M₀大于目标分类数目m，在逐步逼近m的过程中，采用何种逼近策略非常重要。如果每次减少分类数目的程度过大，那么可能无法让网络充分学习到数据的分布；如果每次减少分类数目的程度过小，由于每更新一次分类数目，整个网络均需要微调一次，计算代价过大。因此，需要提出一种既可以充分学习原始数据的分布又使得消耗更少计算资源的策略。本发明提出自适应分类数目更新方法，具体如下：

首先，按照下式计算得到提升误差e：

其中，e₁表示当前特征提取网络的输出与上一次训练时特征提取网络的输出之间的误差，e₂表示当前生成对抗网络GAN的输出与上一次训练时生成对抗网络GAN的输出之间的误差。

然后，按照下式计算得到更新后的分类数目M：

其中，λ∈[0,1]是自定义常数，M′表示更新前的分类数目，表示向下取整。

(5)迭代

特征提取网络和生成对抗网络共同构成生成特征表示网络，每经过一次训练，网络参数得到一次新的优化。令迭代次数k＝k+1，判断k是否达到最大迭代次数E，如果不是，则返回步骤(1)，进行下一次迭代训练；否则，此时的生成特征表示网络即为最优网络，生成器的输出即为最终的变化检测结果。

为了验证算法的性能，在Intel(R)Core(TM)i5-3210M CPU 2.5GHz Windows10系统下和Python3.6运行平台上进行实验验证。实验中采用双时相多光谱遥感影像数据集Xi'an-2，如图2所示，是从用GF-1卫星拍摄的大图(分辨率为2M)中截取的小图，分别拍摄于2013年8月19日(图(a))和2015年8月29日(图(b))，两幅截取的影像是配准好的。真实变化检测结果图是用两幅原始影像，图(c)为基于先验信息和摄像机判读技术得到的真实变化检测图(人工标注)，用于评估算法的检测结果。

图3给出了采用本发明方法对数据集Xi'an-2进行变化向量分析时得到的极坐标图，可以清晰地看出有5个突出的部分(如图中虚线圈所示)，表明该数据集具有5类变化。图4给出了设定不同聚类数目时，采用本发明方法进行变化检测的结果图像，当设定的聚类数目逐渐减少时，相似的类别会逐渐合成为同一类，当聚类数目接近真实变化数目时，多类变化检测的结果也更加接近真实分布，变化区域的轮廓也愈发清晰，证明了本发明自适应聚类数目调整策略的有效性。图5给出了采用本发明方法对数据集Xi'an-2进行变化检测时的优化过程，每幅图中，横轴表示迭代周期，纵轴表示代价函数值。由于整个优化过程采用迭代优化方式，每次更新分类数目后，优化在前一次迭代的基础上开始。但是由于训练标签改变，因此目标函数的值会出现跳跃。总的来说，在每个迭代周期内，目标函数值是逐步减少的。图6给出了数据迁移实验的结果，在此实验中将在数据集Xi'an-2上优化好的本发明模型应用到Xi'an-5数据集上，其中图(a)是5类变化检测结果图，图(b)是变化强度分布图，颜色越深表示越有可能是变化区域，图(c)则是二分类变化检测结果图。从结果可以看出，迁移结果能辨别并显示变化的区域和类型，由于Xi'an-5数据集仅有3类变化，而数据集Xi'an-2是5类变化，所以迁移后的检测结果是检测了5类的变化，因此还存在一些检测的错误，不过整体效果在一定程度上验证了本发明学习数据分布的有效性。

实验选择正确分类率(Percentage correct classification,PCC)评估算法性能好坏，其计算公式如式(21)所示；同时，为了更加精确地评估生成的变化检测结果图与真实参考图的接近程度，还引入Kappa系数，其计算公式如式(22)所示。

其中，M_c和M_u分别表示实际上变化和未变化的像素数；真正率(True Positive,TP)，表示正确检测变化类别的像素数；真负率(True Negative,TN)，表示正确检测的未变化的像素数；错检率(False Positive,FP)，表示本来不变的类别被检测为变化类；漏检率(False Negative,FN)，表示本来是变化的类别未被检测出来。

分别采用C²VA、HI-DRLnet和本发明方法进行变化检测，并计算检测结果的PCC和Kappa系数。如表1所示。可以看出，采用本发明方法进行变化检测的各项评价指标结果均为最优。

表1

Claims (3)

1.一种基于生成式特征表示网络的多元遥感影像变化检测方法，其特征在于步骤如下：

步骤1：给定两幅遥感影像I₁和I₂，将影像I₁以其中一个像素为中心进行展开，得到的向量即为一个训练样本，按照此方法遍历所有像素点，得到影像I₁对应的所有训练样本；对影像I₂采用相同方式进行处理，得到影像I₂对应的所有训练样本；

步骤2：使用变化向量分析算法对训练样本进行分类处理，得到每个样本的初始标签；

步骤3：设置分类数目和最大迭代次数，初始迭代次数k＝1，按以下过程进行网络训练：

步骤a：分别将影像I₁和I₂对应的训练样本及其标签输入到特征提取网络进行预训练，得到预训练好的特征提取网络；然后，分别将影像I₁和I₂对应的训练样本及其标签输入到预训练好的特征提取网络，网络输出即为遥感影像的高级特征；所述的特征提取网络，包括两个并列的栈式自编码器SAE和一个输出层，输出层对两个栈式自编码器SAE的输出作差然后输出；所述的特征提取网络的代价函数设置如下：

其中，L_FE(I₁,I₂；θ₁)表示特征提取网络的代价函数，I₁表示输入的第一幅遥感影像数据，I₂表示输入的第二幅遥感影像数据，θ₁表示特征提取网络参数，N表示样本总数，表示特征提取网络对应第i个输入样本/>和/>的输出，/>表示影像I₁的第i个输入样本，/>表示影像I₂的第i个输入样本，P表示特征映射矩阵，y⁽ⁱ⁾表示对应第i对输入样本的标签数据；

训练过程中网络参数θ₁和P分别按以下公式进行更新：

其中，θ₁和P分别表示更新前的网络参数和特征映射矩阵，和/>分别表示更新后的网络参数和特征映射矩阵；α为学习率，α＝0.00005；

步骤b：以特征提取网络输出的遥感影像的高级特征作为噪声数据，以样本标签作为真实数据，输入到生成对抗网络GAN对其生成器和判别器进行训练，得到训练好的生成对抗网络GAN；特征提取网络和生成对抗网络共同构成生成特征表示网络；

所述的生成对抗网络GAN对其生成器和判别器进行训练的具体过程如下：

首先，设定训练参数，包括训练次数k、学习率α、截断阈值c和批数据规模m，然后，分别输入噪声样本和数据样本至生成对抗网络GAN进行训练；所述的噪声样本为从噪声数据中随机采样的m个样本；所述的数据样本为从真实数据中随机采样的m个样本；

训练过程中按以下公式更新生成对抗网络GAN判别器参数：

其中，表示更新后的判别器参数，/>为判别器参数中间变量，θ₃为更新前的判别器参数，判别器参数初始时随机生成；c为截断阈值，c＝0.01，/>表示将参数/>截断在[-c,c]范围内；RMSPprop(·)为RMSPprop优化函数；/>表示参数θ₃的最终梯度，/>为梯度算子，/>表示输入为第i个数据样本x⁽ⁱ⁾时判别器的输出数据，/>表示输入为第i个噪声样本z⁽ⁱ⁾时判别器的输出数据；

按以下公式更新生成器参数：

其中，表示更新后的生成器参数，θ₂为更新前的生成器参数，生成器参数初始时随机生成，/>表示参数θ₂的最终梯度；

网络训练时按上述过程对判别器和生成器参数进行迭代更新，直至迭代次数达到设定的训练次数k，完成生成对抗网络GAN的生成器和判别器的优化，得到训练好的GAN网络；

步骤c：使用变化向量分析算法对特征提取网络输出的遥感影像的高级特征进行分类处理，以分类结果作为新的样本标签，更新训练数据；

步骤d：更新分类数目；

步骤e：令迭代次数k＝k+1，判断k是否达到最大迭代次数，如果不满足条件，则返回步骤a，进行下一次迭代训练，否则，此时的生成特征表示网络即为最优网络，其中，生成对抗网络的生成器输出即为最终的变化检测结果。

2.如权利要求1所述的一种基于生成式特征表示网络的多元遥感影像变化检测方法，其特征在于：步骤1中所述的以像素点为中心展开得到向量的具体过程为：设定以像素点为中心的大小为w×w的邻域，将此邻域中的像素点按行展开，得到由像素点值构成的w²维向量，w＝3。

3.如权利要求1或2所述的一种基于生成式特征表示网络的多元遥感影像变化检测方法，其特征在于：步骤3的步骤d所述的更新分类数目的具体过程如下：

首先，按照下式计算得到提升误差e：

其中，e₁表示当前特征提取网络的输出与上一次训练时特征提取网络的输出之间的误差，e₂表示当前生成对抗网络GAN的输出与上一次训练时生成对抗网络GAN的输出之间的误差；

然后，按照下式计算得到更新后的分类数目M：

其中，λ∈[0,1]是自定义常数，M′表示更新前的分类数目，表示向下取整。