CN110969088A - 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法 - Google Patents

Abstract

本发明提供了一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法，其特点是该方法包括：两时相遥感影像的预处理；对差值影像进行归一化处理；多尺度分割及合并优化；显著性检测图的获得；建立双窗口深度孪生卷积网络模型及其训练；将分割对象与像素级变化检测结果通过判定融合，最终得到变化检测结果图。本发明将深度学习成功运用到变化检测领域，减少了高分辨率影像变化检测中存在的“椒盐噪声”，有效提高了变化类型检测的精度。

Description

一种基于显著性检测与深度孪生神经网络的遥感影像变化检 测方法

技术领域

本发明涉及遥感数据处理技术领域，尤其是一种基于显著性检测与深度 孪生神经网络的遥感影像变化检测方法。

背景技术

变化检测是从不同时期的遥感数据中分析并确定地表变化的特征与过 程，而遥感对地观测技术具有范围广、时间长和周期性观测的特点，因此基 于多时相遥感影像的变化检测已经被广泛应用于城市扩建规划、植被覆盖、 土地利用类型监测等各个领域。随着高分辨率遥感影像资源日益丰富，需要 处理的数据量也迅速增加，对计算机的配置要求也越来越高，因此对于适用 于高分辨率遥感影像的变化检测方法的研究与探索是变化检测领域的热点 之一。

深度学习的发展把高分辨率遥感影像变化检测推向新的高潮，神经网 络可以充分提取高分辨率图像数据的深度特征，在不需要提取地物对象的条 件下还能兼顾空间邻域信息，早在2002年便有学者利用BP神经网络通过特 征学习来进行变化检测。伴随着深度置信网络(Deep Belief Network，DBN)、 卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络 (Recurrent Neural Networks，RNN)等具有强特征学习能力的网络模型的 出现，以及计算机硬件的发展，使得遥感影像变化检测的深度学习方法研究 成为前沿热点方向。然而，缺乏训练样本标签是深度学习在变化检测中面临 着一个非常重要的问题，其主要原因是针对某一特定区域做变化检测时，带 标签样本数据有限甚至没有，制作大量样本标签则需要大量人力物力财力， 并且已有其他地域的样本与测试区域存在较大的地物类型差异，使其具有很 弱的迁移泛化能力。无监督学习不需要样本标签即可学习到多时相遥感影像 的有效特征，且具有良好的抗噪特性，成为一个变化检测研究的一个趋势。 无监督深度学习的变化检测主要集中于迁移学习和自编码器算法两方面，但 是非监督学习提取的特征非常抽象与模糊，可能与变化检测所要求的特征相 差较大，并且对同物异谱的地域具有较差的识别能力。利用有限带标签数据 进行监督学习成为基于深度学习变化检测发展的另一个分支，其主要利用特 殊训练技巧来增强监督网络模型的泛化能力，提高变化检测精度。

在神经网络中，孪生网络由于其特殊的结构，被广泛应用于度量学习， 计算数据之间的相似度数值。孪生网络的结构包括两个相同或不同的分支， 若相同则两支网络间可共享权重和参数，一般采用卷积神经网络表达相似图 像对和不相似图像对的特征，后利用欧拉距离测量特征矢量并估计相似度。 而变化检测是对不同时期数据进行对比分析来得到变化或非变化的结果，针 对这一问题，基于孪生网络的变化检测方法也逐渐成为研究重点。

现有技术的变化检测尚未将双窗口深度孪生网络运用到变化检测领域， 也未曾公开发表有关该网络成功运用于变化检测的学术论文和相关报道。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于显著性检测与 深度孪生神经网络的遥感影像变化检测方法，采用双窗口深度孪生卷积网络 模型，嵌入多尺度特征提取单元，得到不同尺度的特征，使网络的特征提取 及表达能力显著提高，大大减少了高分辨率影像变化检测中存在的“椒盐噪 声”，有效提高了变化类型检测的精度。

本发明的目的是这样实现的：一种基于显著性检测与深度孪生神经网络 的遥感影像变化检测方法，其特点是采用双窗口深度孪生卷积网络模型，嵌 入多尺度特征提取单元，得到不同尺度的特征，具体变化检测包括以下步骤：

1)对两时相遥感影像进行图像预处理。

2)求两时相遥感影像的差值影像，并对差值影像进行归一化处理。

3)对两时相遥感影像进行多尺度分割及合并优化，得到不同尺度的分 割对象。

4)以分割对象为分析单元，利用基于多尺度的显著性检测方法得到显 著性检测图，通过阈值判定选择标记样本，其具体实现包括：

a、采用基于局部对比度的方法对步骤2)得到的差值影像进行显著性 检测，得到由下述a式表示的一系列显著性图S；

S＝[S₁,S₂,…,S_K] (a)

其中：K为尺度个数。

b、第i个尺度的显著性图Si由下述a-1式表示：

其中：

为S_i中位置为(m,n)的像素显著性以其隶属于的分割对象的 显著性表示。

c、假设第i个尺度中第j个对象有p个相邻对象，V_j ⁱ，

分别为第i 个尺度中第j个对象的光谱标准差和像素个数，则该对象的显著性由下述a-2 式表示：

d、利用线性加权融合策略得到融合后的显著性图S_(m,n)由下述a-3式表 示：

其中：

为第i个尺度中位置为(m,n)的像素显著性的融合权重，其多 尺度线性加权融合模型由下述b式表示：

式中：

为第i个尺度中位置为(m,n)的像素值。

e、根据设定的阈值t1和t2将融合后的显著性图S_(m,n)分为由下述c 式表示的三部分：

其中：0为非变化；1为变化；2为不确定。

f、统计变化像元数量N_c和非变化像元数量N_nc，从中随机选择α×N_nc和α×N_c个非变化和变化像元作为训练样本，其中α为训练样本个数占确定 类型像元个数的比例，即α∈[0,1]。

5)建立双窗口深度孪生卷积网络模型，嵌入多尺度特征提取模块，输 入样本对进行模型训练，其具体实现包括：

a、首先搭建单只卷积神经网络，第一个卷积层为3*3*8卷积核对输入 样本进行特征提取，其中样本尺寸为9*9；以5*5、7*7为双窗口大小，围绕 输入样本中心像素点裁剪出新样本，分别输入多尺度特征提取模块得到两支 不同大小的新特征，其中多尺度特征提取模块包括两层多尺度特征提取单元， 每层单元包括四个通道，分别为1*1卷积层、2*2最大池化层与1*1卷积层、 1*1卷积层与3*3卷积层、1*1卷积层3*3卷积层与3*3卷积层；对5*5窗口分支进行上采样处理，与7*7窗口分支串联后生成新特征；第二个卷积层 为3*3*128卷积核对新特征进行特征提取。

b、搭建孪生网络，孪生网络包括两个对称的神经网络，即第二支网络 与上述单只网络相同，将T1，T2两时相样本对输入两个卷积神经网络，分 别经过第一层卷积层与多尺度特征提取模块得到两组新特征为Output5₁、 Output7₁和Output5₂、Output7₂，以及两窗口串联后的新特征为Output₁、Output₂， 经过第二个卷积层后得到新特征为Output₃和Output₄。

c、对上述特征分别求差值进行串联，得到由下述d式表示差异性特征 A:

A＝concat{Output5₂-Output5₁,Output7₂-Output7₁,Output₂- Output₁,Output₄-Output₃} (d)。

d、第三卷积层为3*3*256卷积核对新特征进行特征提取。

e、将差异性特征A输入第三卷积层，第三卷积层的输出依次通过5*5 全局平均池化层、全连接层和分类层。

6)根据该模型对遥感影像进行变化检测，得到像素级变化检测结果， 将分割对象与像素级变化检测结果通过判定融合，最终得到变化检测结果图。

本发明与现有技术相比具有方法简单，使用方便，效率高，可得到不同 尺度的特征，使网络的特征提取及表达能力显著提高，大大减少了高分辨率 影像变化检测中存在的“椒盐噪声”，有效提高了变化类型检测的精度。

附图说明

图1为本发明流程示意图；

图2为本发明构建的深度孪生神经网络示意图。

具体实施方案

下面以具体实为例对本发明作进一步的详细说明。

实施例1

参阅附图1，本发明的具体实施步骤如下：

步骤1：对两时相遥感影像进行图像预处理，其预处理过程包括：辐射 定标、大气校正和几何校正等步骤，具体实现过程如下：

1)为了保证多时相遥感影像中同一像素对应同一地理位置地物，需要 对两时相遥感影像进行相对配准，在配准过程中均匀地选取30个同名像点， 并且通过配准误差(RMSerror)控制在0.5像元以内，在两个区域中，都以 T1时相影像作为实验的参考影像，T2时相影像作为待配准影像。所述几何 校正采用二次多项式模型，重采样过程中采用最近邻插值法。

2)为了消除不同时相遥感影像间的辐射亮度差异，减小不同时相图像 之间大气和其他因素引起的变化，保证不同时相图像的像元亮度值具有可比 性，利用伪不变特征点(pseudo-invariant features，PIF)进行了线性相 对辐射校正。首先从遥感影像中通过目视确定，手动选取未变化的参考校正 点，然后利用线性函数来表达对应像元灰度值之间的线性关系，在两个区域 中，都以T1时相遥感影像作为参考影像进行相对辐射校正。

步骤2：求两时相遥感影像的差值影像，并对差值影像进行归一化处理。

1)假设原始两时相遥感影像分别用T¹和T²表示，其差值影像D由下述 e式表示：

D＝T¹-T² (e)。

2)由于影像不同波段具有不同的范围和尺度，归一化处理可以平衡每 个波段的贡献量，因此需要对影像进行归一化处理，其中b波段的归一化处 理后的结果如下述f式表示：

式中：B为影像波段总数；D_max和D_min分别代表b波段影像的最大值和 最小值。

3)计算均值，得到最后的差值影像由下述g式表示：

步骤3：对两时相遥感影像进行多尺度分割及合并优化，得到不同尺度 的分割对象，其具体实现过程如下：

1)利用分形网络演化方法，根据像元对象异质性最小的原则，对差值 影像进行多尺度分割及合并优化，得到不同尺度的分割对象。分形网络演化 方法(Fractal NetEvolution Approach,FNEA)是一种有效且广泛应用的遥 感影像分割算法，该算法是一种自上而下的分割方法，以种子点为起始点， 根据像元对象异质性最小的原则，在保证类间平均异质性最小、类内同质性 最大的前提下，基于合并相邻像素或小分割对象来实现影像的分割。

2)对象异质性度量和尺度阈值选择是决定对象合并与终止的条件，其中综合 考虑影像的光谱和形状特征，其相邻对象的总异质度f由下述h式表示：

f＝w_colorh_color+w_shapeh_shape (h)

式中：h_color和h_shape分别表示任意相邻对象的光谱和形状异质度； w_color和w_shape分别表示光谱和形状异质度权值大小，且二者之和为1，即w_shape+w_color＝1。

3)所述光谱异质度是指相邻对象R_i和R_j合并前后对象内部像素的光谱差异性， 假设两个相邻对象表示为R_i和R_j，合并后新对象R_m的光谱异质度h_color由下 述i式计算：

式中：B代表波段总数；w_c表示c波段的权重；n_i，n_j分别表示对象R_i和R_j中的像素个数；σ_mc、σ_ic和σ_jc分别表示对象R_m、R_i和R_j的光谱标准差。

4)所述形状异质度是指相邻对象合并前后形状差异性，由紧致度和平 滑度两部分组成，其中合并后形状异质度h_shape由下述i-1式计算：

h_shape＝h_compactw_compact+h_smothw_smooth (i-1)，

式中：h_compact和h_smooth分别表示两相邻对象紧致度和平滑度异质性， 分别用来描述对象整体的紧密程度和对象边界的破碎程度；w_compact和 w_smoth分别表示紧致度和平滑度的权值大小，其中w_compact+w_smooth＝1。

5)在得到两邻域对象合并的异质性之后，将异质性与设置的分割尺度 阈值相比较可决定该对象是否进行合并，通过对小尺度影像中不同分割对象 的合并，生成最终分割对象。

步骤4：以分割对象为分析单元，利用基于多尺度的显著性检测方法得 到显著性检测图，通过阈值判定选择标记样本，其具体实现过程如下：

1)采用基于局部对比度的方法对差值影像进行显著性检测，得到由下 述a式表示的一系列显著性图S；

S＝[S₁,S₂，…,S_K] (a)

其中：K为尺度个数。

2)第i个尺度的显著性图Si由下述a-1式表示：

其中：

为S_i中位置为(m,n)的像素显著性以其隶属于的分割对象的 显著性表示。

3)假设第i个尺度中第j个对象有p个相邻对象，V_j ⁱ，

分别为第i 个尺度中第j个对象的光谱标准差和像素个数，则该对象的显著性由下述a-2 式表示：

4)利用线性加权融合策略得到融合后的显著性图S_(m,n)由下述a-3式表示：

其中：

为第i个尺度中位置为(m,n)的像素显著性的融合权重，其多 尺度线性加权融合模型由下述b式表示：

其中：

为第i个尺度中位置为(m,n)的像素值。

5)根据设定的阈值t1和t2将融合后的显著性图S_(m,n)由下述c式表示 的三个部分：

其中：0为非变化；1为变化；2为不确定。

6)统计变化像元数量N_c和非变化像元数量N_nc，从中随机选择α×N_nc和 α×N_c个非变化和变化像元作为训练样本，其中α为训练样本个数占确定类 型像元个数的比例，即α∈[0,1]。

步骤5：建立双窗口深度孪生卷积网络模型，嵌入多尺度特征提取模块， 输入样本对进行模型训练。

参阅附图2，所述的建立双窗口深度孪生卷积网络模型，嵌入多尺度特征提 取单元，其具体实现过程如下：

1)首先搭建单只卷积神经网络，第一个卷积层为3*3*8卷积核对输入样 本进行特征提取，其中样本尺寸为9*9；以5*5、7*7为双窗口大小，围绕输 入样本中心像素点裁剪出新样本，分别输入多尺度特征提取模块得到两支不 同大小的新特征，其中多尺度特征提取模块包括两层多尺度特征提取单元， 每层单元包括四个通道，分别为1*1卷积层、2*2最大池化层与1*1卷积层、 1*1卷积层与3*3卷积层、1*1卷积层3*3卷积层与3*3卷积层；对5*5窗口分支进行上采样处理，与7*7窗口分支串联后生成新特征；第二个卷积层 为3*3*128卷积核对新特征进行特征提取。

2)然后搭建孪生网络，孪生网络包括两个对称的神经网络，即第二支 网络与上述单只网络相同。将T1,T2两时相样本对输入两个卷积神经网络， 分别经过第一层卷积层与多尺度特征提取模块得到两组新特征Output5₁、 Output7₁，与Output5₂、Output7₂，以及两窗口串联后的新特征Output₁、 Output₂，经过第二个卷积层后得到新特征Output₃、Output₄。

3)对上述特征分别求差值进行串联，得到由下述d式表示差异性特征 A:

A＝concat{Output5₂-Output5₁,Output7₂-Output7₁,Output₂- Output₁,Output₄-Output₃} (d)。

4)第三卷积层为3*3*256卷积核对新特征进行特征提取；将差异性特 征A输入第三卷积层，第三卷积层的输出依次通过5*5全局平均池化层、全 连接层和分类层。

步骤6：根据该模型对遥感影像进行变化检测，得到像素级变化检测结果， 将分割对象与像素级变化检测结果通过判定融合，最终得到变化检测结果图， 其具体实现过程如下：

1)由步骤4得到训练样本，输入深度孪生神经网络进行训练，训练完 毕后对整幅遥感影像进行变化检测，得到像素级结果。

2)将分割对象与像素级变化检测结果通过判定融合，对于对象 R_i,(i＝1,2…N)，求得对象内属于j(j＝0,1)类的像素个数n_j，0为非变化，1 为变化。

3)计算各像元中变化像元占对象R_i内像元总数的百分比p_u，如果p_u>T， 则对象R_i内所有像元为变化类型，否则该对象内像元为非变化。

以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明 等效实施，均应包含于本专利的权利要求范围之内。

Claims (3)

1.一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法，其特征在于采用双窗口深度孪生卷积网络模型，嵌入多尺度特征提取单元，得到不同尺度的特征，具体变化检测包括以下步骤：

其具体包括以下步骤：

1)对两时相遥感影像进行图像预处理；

2)求两时相遥感影像的差值影像，并对差值影像进行归一化处理；

3)对两时相遥感影像进行多尺度分割及合并优化，得到不同尺度的分割对象；

4)以分割对象为分析单元，利用基于多尺度的显著性检测方法得到显著性检测图，通过阈值判定选择标记样本；

5)建立双窗口深度孪生卷积网络模型，嵌入多尺度特征提取模块，输入两时相影像样本对进行模型训练；

6)根据模型对遥感影像进行变化检测，得到像素级变化检测结果，将分割对象与像素级变化检测结果通过判定融合，最终得到变化检测结果图。

2.根据权利要求1所述基于显著性检测与深度孪生神经网络的遥感影像变化检测方法，其特征在于所述步骤4)的实现过程按下述步骤进行：

步骤a：采用基于局部对比度的方法对差值影像进行的显著性检测，得到由下述a式表示的系列显著性图S；

S＝[S₁，S₂，…，S_K] (a)

其中：K为尺度个数；

步骤b：第i个尺度的显著性图Si由下述a-1式表示：

其中：

为S_i中位置为(m，n)的像素显著性以其隶属于的分割对象的显著性表示；

步骤c：假设第i个尺度中第j个对象有p个相邻对象，

分别为第i个尺度中第j个对象的光谱标准差和像素个数，则该对象的显著性由下述a-2式表示：

步骤d：利用线性加权融合策略得到融合后的显著性图S_(m，n)由下述a-3式表示：

其中：

为第i个尺度中位置为(m，n)的像素显著性的融合权重，其多尺度线性加权融合模型由下述b式表示：

式中：

为第i个尺度中位置为(m，n)的像素值；

步骤e：根据设定的阈值t1和t2，将融合后的显著性图S_(m，n)由下述c式表示：

其中：0为非变化；1为变化；2为不确定；

步骤f：统计变化像元数量N_c和非变化像元数量N_nc，从中随机选择α×N_nc和α×N_c个非变化和变化像元作为训练样本，其中α为训练样本个数占确定类型像元个数的比例，即α∈[0，1]。

3.根据权利要求1所述基于显著性检测与深度孪生神经网络的遥感影像变化检测方法，其特征在于所述步骤5)的实现过程按下述步骤进行：

步骤a：搭建单只卷积神经网络，第一个卷积层为3*3*8卷积核对输入样本进行特征提取，所述样本的尺寸为9*9，且以5*5和7*7为双窗口尺寸；

步骤b：围绕输入样本中心像素点裁剪出新样本，分别输入多尺度特征提取模块，得到5*5和7*7两支不同窗口尺寸的新特征，所述多尺度特征提取模块包括两层多尺度特征提取单元；所述每层多尺度特征提取单元包括四个通道，分别为：1*1卷积层、2*2最大池化层与1*1卷积层、1*1卷积层与3*3卷积层和1*1卷积层3*3卷积层与3*3卷积层；

步骤c：对5*5窗口分支进行上采样处理，且与7*7窗口分支串联后生成新特征；

步骤d：第二个卷积层为3*3*128卷积核对新特征进行特征提取；

步骤e：搭建包括两个对称的神经网络的孪生网络，即第二支网络与上述单只网络相同，将T1，T2两时相样本对输入两个卷积神经网络，经第一层卷积层和多尺度特征提取模块，分别得到Output5₁、Output7₁和Output5₂、Output7₂两组新特征，以及两窗口串联后的Output₁和Output₂新特征；经第二个卷积层后得到Output₃和Output₄新特征；

步骤f：对上述新特征分别求差值进行串联，得到由下述d式表示差异性特征A：

A＝

concat{Output5₂-Output5₁，Output7₂-Output7₁，Output₂-Output₁，Output₄-Output₃} (d)；

步骤g：第三卷积层为3*3*256卷积核对新特征并进行特征提取；

步骤h：将差异性特征A输入第三卷积层，其输出依次通过5*5全局平均池化层、全连接层和分类层。

Images