CN109785302A - 一种空谱联合特征学习网络及多光谱变化检测方法 - Google Patents

Abstract

本发明公开了一种基于空谱联合特征学习网络及多光谱变化检测方法，实现步骤是：(1)将图像分为大小5*5图像块；(2)构建训练集和测试集；(3)提取空谱联合的高层语义特征；(4)将提取的空谱联合的高层语义特征输入空谱联合学习网络的判别层得到变化检测的结果；(5)统计实验结果，计算多光谱变化检测的精度。本发明与现有方法相比，空谱联合学习网络能够同时提取空间和频谱特征；并且进一步挖掘融合的空谱联合特征的隐含信息，提取融合的空谱联合特征的高层语义信息，可以增加判别性，提高了变化检测的精度。

Description

一种空谱联合特征学习网络及多光谱变化检测方法

技术领域

本发明属于遥感信息处理技术领域，特别涉及一种多光谱的变化检测方法，可用于城市扩张监控、土地覆盖变化、资源管理和森林监控等领域。

背景技术

多光谱影像的变化检测就是从不同时相且相同地域的光谱影像中进行定量分析，从而确定地表地物变化的过程和结果。即就是通过比较同一观测场景在不同时间段拍摄的多光谱影像的差异，确定对应位置是否发生变化，进一步确定观测场景发生了何种变化。光谱影像的变化检测在地球表面变化信息和全球的资源与环境的监测工作中变得越来越重要，它的军事应用价值也越来越突出。利用高光谱军事光谱卫星对国外某军事基地的持续监视，通过发觉某些地标的变动，例如机场的扩建，港口军事基地的扩张，武器装备的调动变化等。

目前，有大量的光谱影像的变化检测方法被提出来了，其中比较重要的一大类是后分类方法。这类方法直接分别对两幅图像进行分类，然后比较分类结果图，从而确定哪些地方有变化。后分类方法并没有考虑到两幅图像之间的相关性，对于变化检测这个任务而言，两幅图像的相关性可以提供非常有用的信息。基于图像代数的方法如CVA和基于变换的方法如PCA，IRMAD和SFA都是考虑了两幅图之间相关性，但是这两类方法都采用的对图像表现力比较差的手工特征。

深度网络可以学习更加抽象，鲁棒和具有高层语义的特征，因此，由深度网络提取的特征更具有表达性。虽有深度网络已经被应用到光谱影像的变化检测领域，但是，目前的方法都仅仅采用了深度网络提取光谱特征，而且没有对提取的特征做进一步的分析和融合。

发明内容

为了解决现有基于深度网络方法中只提取了光谱特征，没有考虑空间信息的问题，而带来的识别率低的问题，本发明提出一种空谱联合特征学习网络及基于该空谱联合特征学习的多光谱变化检测方法。本发明是端到端的网络结构，它同时考虑光谱和空间信息，并且深入挖掘了融合特征的高层语义信息。

本发明的技术解决方案是提供一种空谱联合特征学习网络，其特殊之处在于：包括依次通讯的空谱联合特征表达部分、特征融合部分、判别学习部分及预测部分；

上述空谱联合特征表达部分用于对输入图像对进行空谱联合学习网络处理，获得输入图像对中各图像的空谱联合特征；

上述特征融合部分用于对空谱联合特征表达部分输出的图像对中各图像的空谱联合特征进行融合，获得融合后的空谱联合特征；

上述判别学习部分通过判别网络对融合后的空谱联合特征进行处理，获得融合后空谱联合特征的高层语义信息；

上述预测部分用于对高层语义信息进行相似性判别计算，得到变化检测的结果。

进一步地，本发明在空谱联合学习网络的损失函数同时考虑空谱联合表达和判别学习这两部分的损失，损失函数为：L_overall＝ω₁L₁+ω₂L₂，其中ω₁和L₁分别为空谱联合特征表达部分的权重和损失，ω₂和L₂代表判别学习部分的权重和损失。

进一步地，ω₁和ω₂均为1；L₁由对比损失函数计算得到：

其中，l代表标签，1为变换样本对，0为未变化样本；m＝0.5为边缘值，D为为空谱联合特征对间的欧式距离；

L₂由交叉熵损失函数计算获得：

L₂＝E_FC3+λE_FC2

其中，E_FC3是FC3层的交叉熵损失，E_FC2是FC2层的交叉熵损失，λ为平衡参数。λ为平衡参数，调整E_FC3和E_FC2这两项哪一项对损L₂失的贡献值更大。

进一步地，本发明对空谱联合特征学习网络中的空谱联合表达部分和判别学习部分的网络结构进行描述，具体如表1.

表1空谱联合特征学习网络中各神经网络的参数

本发明还提供一种基于上述任一空谱联合特征学习网络的多光谱变化检测方法，包括以下步骤：

步骤1，输入待检测图像对，将待检测图像对分为一系列的图像块对(P_1,i,P_2,i)，i＝1,...,N；将一系列的图像块对中发生变化的图像块对定义为已变化样本对；未发生变化的图像块对定义为未变化样本对；设定阈值，当光谱信息的差值超过一定阈值，将该图像块对定义为已变化样本对。

步骤2，划分训练集和测试集；

在步骤1获得的一系列的图像块对中，随机选取m个未变化样本对和m个已变化的样本对作为训练集，剩余的作为测试集；

步骤3，提取具有空谱联合特征的高层语义信息；

(3a)将上述训练集中的图像块对输入网络中空谱联合特征表达部分，分别获得图像块对中每个图像块的空谱联合特征；

(3b)将(3a)步骤获得的图像块对中每个图像块的空谱联合特征进行融合，获得融合后的空谱联合特征；

(3c)将(3b)步骤中获得的融合后的空谱联合特征输入网络中判别学习部分，获得融合后空谱联合特征的高层语义信息；

步骤4，将步骤3训练好的网络输入测试集，取步骤(3C)中获得高层语义信息输入sigmoid层计算得到变化检测的结果。

进一步地，步骤(3b)中采用差分融合方法获得融合后的空谱联合特征：

其中，f₁(p₁)和f₂(p₂)分别为图像块对中每个图像块的空谱联合特征。

进一步地，步骤3之后使用下列的损失函数引导网络收敛：

L_overall＝ω₁L₁+ω₂L₂

其中，ω₁和L₁分别为空谱联合特征表达部分的权重和损失；ω₂和L₂分别为判别学习部分的权重和损失。

进一步地，ω₁和ω₂均为1；

其中，l代表标签，1为变换样本对，0为未变化样本；m＝0.5为边缘值，D为为空谱联合特征对间的欧式距离；

L₂＝E_FC3+λE_FC2

其中，E_FC3是FC3层的交叉熵损失，E_FC2是FC2层的交叉熵损失，λ为平衡参数。

进一步地，步骤1中采用滑窗按照逐像素原则滑过待检测图像对方法划分待检图像对。

进一步地，滑窗大小为5*5像素。

本发明的有益效果是：

1、空谱联合学习网络同时学习了空间和频域信息；

2、本发明在训练中同时考虑了空谱特征表达部分和判别学习部分的损失函数，使学习到的空谱特征更具有表达性，从而提高变化检测的精度。

附图说明

图1为本发明基于空谱联合特征学习的多光谱变化检测方法的流程图。

图2a为本发明所使用的Taizhou数据库及相应的ground truth；

图2b为本发明所使用的Kunshan数据库及相应的ground truth；

图2c为本发明所使用的Minfeng数据库及相应的ground truth；

图2d为本发明所使用的Hongqi数据库及相应的ground truth；

具体实施方式

为了更清楚地说明本发明实施的技术方案，下面结合附图，对本发明作进一步的详细描述。

本发明空谱联合特征学习网络包括依次通讯的空谱联合特征表达部分、特征融合部分、判别学习部分及预测部分；空谱联合特征表达部分用于对输入图像对进行空谱联合学习网络处理，获得输入图像对中各图像的空谱联合特征；特征融合部分用于对空谱联合特征表达部分输出的图像对中各图像的空谱联合特征进行融合，获得融合后的空谱联合特征；判别学习部分通过判别网络对融合后的空谱联合特征进行处理，获得融合后空谱联合特征的高层语义信息；预测部分用于对高层语义信息进行相似性判别计算，得到变化检测的结果。

本发明空谱联合特征学习网络的损失函数同时考虑空谱联合表达和判别学习这两部分的损失：

L_overall＝ω₁L₁+ω₂L₂

其中，ω₁和L₁代表空谱联合表达部分的权重和损失。ω₂和L₂代表判别学习部分的权重和损失。在本发明中，ω₁和ω₂都被设置为1。

L₁由对比损失函数计算得到。

其中，l代表标签，1为变换样本对，0为未变化样本。m是边缘值，本发明中m＝0.5。D为特征f₁(p₁)和f₂(p₂)之间的欧式距离。

L₂由交叉熵损失函数计算获得。

L₂＝E_FC3+λE_FC2

其中，EFC3是FC3层的交叉熵损失，EFC2是FC2层的交叉熵损失。λ为平衡参数，调整EFC3和EFC2这两项哪一项对损L2失的贡献值更大。

参照图1，本实施例实现的步骤如下：

步骤1，将5*5的滑窗按照逐像素原则滑过待检测图像对，生成一系列的图像块对(P_1,i,P_2,i)，i＝1,...,N作为样本。

步骤2，划分训练集和测试集，随机选取步骤1中1000个未变化样本对和1000个已变化的样本作为训练集，剩余的作为测试集。

步骤3，提取具有空谱特征的高层语义信息。

(3a)将上述训练集的图像块对输入如图1所示的网络中空谱联合特征表达学习部分，获得了空谱联合特征表达；

(3b)将(3a)步骤获得图像块对所对应的空谱联合表达进行融合，本实施例采用的差分的融合策略；

其中，f₁和f₂分别是p₁和p₂的变换函数。

(3c)将(3b)步骤中融合的特征输入如图1去所示网络中判别学习部分，获得融合特征的高层语义信息。

(3d)使用下列的损失函数引导网络收敛：

L_overall＝ω₁L₁+ω₂L₂

其中，ω₁和L₁代表空谱联合表达部分的权重和损失。ω₂和L₂代表判别学习部分的权重和损失。在本发明中，ω₁和ω₂都被设置为1。

L₁由对比损失函数计算得到。

其中，l代表标签，1为变换样本对，0为未变化样本。m是边缘值，本发明中m＝0.5。D为特征f₁(p₁)和f₂(p₂)之间的欧式距离。

L₂由交叉熵损失函数计算获得。

L₂＝E_FC3+λE_FC2

其中，E_FC3是FC3层的交叉熵损失，E_FC2是FC2层的交叉熵损失。λ为平衡参数，调整E_FC3和E_FC2这两项哪一项对损L₂失的贡献值更大。

步骤4，将(3c)获得高层语义特征输入sigmoid层计算得到变化检测的结果。

在变化检测结果中，如果未变化样本对被错误检测为变化样本对就认为是错误的检测(false positive，FP)，测试图像中将变化样本对检测为变化样本对被认为是正确的检测(true positive，TP)，测试图像中未变化样本对检测为未变化样本对，记为(truenegative,TN)，测试图像中将变化样本误检测为未变化样本，记为(false negative,FP)。则可以计算正确检测的比率(true positive rate，TPR)和错误检测的比率(falsepositive rate,FPR)：通过改变阈值ξ，可以得到一系列的TPR和FPR。分别以FPR和TPR为横、纵坐标可以画出ROC(receiver operatingcharacteristic)曲线。定量的对比指标包括ROC曲线下的面积值和ROC曲线与主对角线交点处的FPR值和TPR值，分别表示为AUC(area under curve)。平均精度(Overall Accuracy,OA)，其计算公式如下：

Kappa系数也衡量检测的精度，其计算公式如下：

本发明的效果还通过以下实验作了进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i3-3240 3.4GHZ、内存10G、WINDOWS 7操作系统上，运用Python软件进行的仿真。

实验中使用的图像数据库如图2a、图2b及图2c所示。

其中，Taizhou和Kunshan数据库由EMT+传感器采集，含有6个波段；Minfeng和Hongqi数据库GF-1号卫星，含有4个波段，波长范围从450nm到2500nm。

2.仿真内容

首先，在上述的三个数据集中，完成本发明算法(基于空谱联合特征学习的多光谱变化检测方法)的实验。为了证明算法的有效性，综合考虑算法的流行性、崭新性，我们选取了6个对比方法CVA、IRMAD、SCCN、S-CNN+Threshold、S-CNN+SVM、和SDRL进行比较。本发明提出的算法基于空谱联合特征学习的多光谱变化检测方法(The Spectral-spatial JointLearning for Change Detection in Multispectral Imagery)，在实验比较中记为SSJLN算法。本发明所提出的SSJLN算法和其他6个对比算法在三个数据库上的定量的检测精度OA,KC和AUC值值如表2,表3，表4和表5所示。其中：

CVA是在文献“Q.Du,F.Bovolo and L.Bruzzone,“A theoretical framework forunsupervised change detection based on change vector analysis in the polardomain,”IEEE Transactions on Geoscience and Remote Sensing,vol.45,no.1,pp.218–236,2007.”提出的。

IRMAD在“M.J.Canty and A.A.Nielsen,“Automatic radiometricnormalization of multitemporal satellite imagery with the iteratively re-weighted mad transformation,”Remote Sensing of Environment,vol.112,no.3,pp.1025–1036,2008.”中有详细介绍。

SCCN是在“J.Liu,M.Gong,K.Qin,and P.Zhang,“A deep convolutionalcoupling network for change detection based on heterogeneous optical andradar images,”IEEE transactions on neural networks and learning systems,vol.29,no.3,pp.545–559,2018.”提出的。

S-CNN+Threshold是在“Y.Zhan,K.Fu,M.Yan,X.Sun,H.Wang,and X.Qiu,“Changedetection based on deep siamese convolutional network for optical aerialimages,”IEEE Geoscience and Remote Sensing Letters,vol.14,no.10,pp.1845–1849,2017.”中提出的。

S-CNN+SVM在“B.Liu,X.Yu,P.Zhang,A.Yu,Q.Fu,and X.Wei,“Supervised deepfeature extraction for hyperspectral image classification,”IEEE Transactionson Geoscience and Remote Sensing,vol.56,no.4,pp.1909–1921,2018.”中有详细介绍。

SDRL在“M.Gong,T.Zhan,P.Zhang,and Q.Miao,“Superpixel-based differencerepresentation learning for change detection in multispectral remote sensingimages,”IEEE Transactions on Geoscience and Remote Sensing,vol.55,no.5,pp.2658–2673,2017.”中有详细介绍。

表2Taizhou数据集上各种算法的OA，KC和AUC值

表3Kunshan数据集上各种算法的OA，KC和AUC值

表4Minfeng数据集上各种算法的OA，KC和AUC值

表5Hongqi数据集上各种算法的OA，KC和AUC值

从表2，表3和表5可以看出，本发明在Taizhou数据库、Kunshan数据库和Hongqi数据库上检测精度都比现有的变化检测方法都好。虽然在Minfeng数据库上没有SDRL算法的表现好，但是在指标上和SDRL算法的差别非常小，因此本方法比其他6种方法更有效和更鲁棒。由于深度网络提的特征和传统的手工特征相比，具有更抽象，更鲁棒和含有高层语义信息的属性，基于深度网络的变化检测方法获取了很好的实验结果。但是，目前的大多数方法并没有同时提取光谱和空间信息，使获得信息丰富，有利变化检测的判别。同时，我们对融合后的空谱特征进一步挖掘隐含信息，提取高层语义信息，使得变化样本对和未变化样本差异更加显著，从而提高了变化检测的精度。

Claims (10)

1.一种空谱联合特征学习网络，其特征在于：包括依次通讯的空谱联合特征表达部分、特征融合部分、判别学习部分及预测部分；

所述空谱联合特征表达部分用于对输入图像对进行空谱联合学习网络处理，获得输入图像对中各图像的空谱联合特征；

所述特征融合部分用于对空谱联合特征表达部分输出的图像对中各图像的空谱联合特征进行融合，获得融合后的空谱联合特征；

所述判别学习部分通过判别网络对融合后的空谱联合特征进行处理，获得融合后空谱联合特征的高层语义信息；

所述预测部分用于对高层语义信息进行相似性判别计算，得到变化检测的结果。

2.根据权利要求1所述的空谱联合特征学习网络，其特征在于：损失函数为：L_overall＝ω₁L₁+ω₂L₂，其中ω₁和L₁分别为空谱联合特征表达部分的权重和损失，ω₂和L₂代表判别学习部分的权重和损失。

3.根据权利要求2所述的空谱联合特征学习网络，其特征在于：ω₁和ω₂均为1；

其中，l代表标签，1为变换样本对，0为未变化样本；m＝0.5为边缘值，D为为空谱联合特征对间的欧式距离；

L₂＝E_FC3+λE_FC2

其中，E_FC3是FC3层的交叉熵损失，E_FC2是FC2层的交叉熵损失，λ为平衡参数。

4.根据权利要求1所述的空谱联合特征学习网络，其特征在于：空谱联合特征表达部分与判别学习部分网络结构参数为：

空谱联合特征表达部分：

conv1层的输入维度为5*5*6/4，输出维度为4*4*32，卷积核尺为2*2，步长为1；

Conv2层的输入维度为4*4*32，输出维度为4*4*64，卷积核尺为2*2，步长为1；

pool1层的输入维度为4*4*64，输出维度为2*2*64，卷积核尺为2*2，步长为2；

FC1层的输入维度为2*2*64，输出维度为128；

判别学习部分网络结构参数：

FC2层的输入维度为128，输出维度为128；FC3层的输入维度为128，输出维度为128/96。

5.一种基于权利要求1-4任一空谱联合特征学习网络的多光谱变化检测方法，其特征在于，包括以下步骤：

步骤1，输入待检测图像对，将待检测图像对分为一系列的图像块对(P_1,i,P_2,i)，i＝1,...,N；将一系列的图像块对中发生变化的图像块对定义为已变化样本对；未发生变化的图像块对定义为未变化样本对；

步骤2，划分训练集和测试集；

在步骤1获得的一系列的图像块对中，随机选取m个未变化样本对和m个已变化的样本对作为训练集，剩余的作为测试集；

步骤3，提取具有空谱联合特征的高层语义信息；

(3a)将上述训练集中的图像块对输入网络中空谱联合特征表达部分，分别获得图像块对中每个图像块的空谱联合特征；

(3b)将(3a)步骤获得的图像块对中每个图像块的空谱联合特征进行融合，获得融合后的空谱联合特征；

(3c)将(3b)步骤中获得的融合后的空谱联合特征输入网络中判别学习部分，获得融合后空谱联合特征的高层语义信息；

步骤4，将步骤3训练好的网络输入测试集，取步骤(3C)中获得高层语义信息输入sigmoid层计算得到变化检测的结果。

6.根据权利要求5所述的多光谱变化检测方法，其特征在于：步骤(3b)中采用差分融合方法获得融合后的空谱联合特征：

其中，f₁(p₁)和f₂(p₂)分别为图像块对中每个图像块的空谱联合特征。

7.根据权利要求6所述的多光谱变化检测方法，其特征在于：步骤3之后使用下列的损失函数引导网络收敛：

L_overall＝ω₁L₁+ω₂L₂

其中，ω₁和L₁分别为空谱联合特征表达部分的权重和损失；ω₂和L₂分别为判别学习部分的权重和损失。

8.根据权利要求7所述的多光谱变化检测方法，其特征在于：ω₁和ω₂均为1；

其中，l代表标签，1为变换样本对，0为未变化样本；m＝0.5为边缘值，D为空谱联合特征对间的欧式距离；

L₂＝E_FC3+λE_FC2

其中，E_FC3是FC3层的交叉熵损失，E_FC2是FC2层的交叉熵损失，λ为平衡参数。

9.根据权利要求5所述的多光谱变化检测方法，其特征在于：

步骤1中采用滑窗按照逐像素原则滑过待检测图像对方法划分待检图像对。

10.根据权利要求9所述的多光谱变化检测方法，其特征在于：滑窗大小为5*5像素。