CN111222453B

CN111222453B - 基于密集连接和几何结构约束的遥感影像变化检测方法

Info

Publication number: CN111222453B
Application number: CN202010005721.7A
Authority: CN
Inventors: 张觅; 胡翔云; 周浩; 荣子豪; 吴紫韵; 李朋龙
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2020-01-03
Filing date: 2020-01-03
Publication date: 2022-06-14
Anticipated expiration: 2040-01-03
Also published as: CN111222453A

Abstract

本发明提供一种基于密集连接和几何结构约束的遥感影像变化检测方法，对前后期变化检测输入影像做预处理，包括计算影像归一化参数，进行前后期影像归一化和后期影像颜色校正；进行DCGC‑CD模型训练和测试，实现对前后期遥感影像进行变化区域信息提取；所述DCGC‑CD模型包括前后期变化特征差分编码模块和多分支几何结构约束解码模块，所述前后期影像变化特征差分编码模块包括针对输入前期影像的分支和针对输入后期影像的分支；所述多分支几何结构约束解码模块包括三个分支，分支一用于前期边缘预测，分支二用于变化区域预测，分支三用于后期边缘预测，分支一和分支三的结构和分支二的结构通过损失函数相互作用，实现通过几何结构信息有效约束最终变化检测结果。

Description

基于密集连接和几何结构约束的遥感影像变化检测方法

技术领域

本发明涉及计算机视觉与遥感领域，尤其涉及一种基于密集连接和结构约束的卷积神经网络(CNN)遥感影像变化检测消除方法。

背景技术

近年来，随着云计算、大数据、和深度学习等技术大规模的应用，遥感影像智能变化检测技术取得了较大的发展。其中，基于卷积神经网络的高分辨率遥感影像变化检测技术，即通过前后期影像上CNN特征变化发现变化区域的技术，能广泛应用于遥感自然资源监测、地理国情数据更新和防震减灾等任务中，有着巨大的经济和社会价值。

传统的遥感影像变化检测方法，依据变化检测的处理粒度，可以分为像素级、对象级和场景级变化检测方法。像素级变化检测(PBCD)方法，以前后期遥感影像的对应像素为基础分析单元，通过设计的人工特征或经验指数，如HOG、SIFT、NDVI指数等，得到前后期影像上每一个像素的变化情况。常见的方法如影像差分、影像投票、回归分析等。这类方法通常依赖于经验阈值，通过阈值的设定来判断前后期遥感影像像元是否变化，因此阈值的自动选取是制约该方法的主要因素。同时，像素级变化检测方法将每个像元孤立分析，并未充分顾及相邻像元之间的空间约束关系。对象级变化检测(OBCD)方法，以遥感影像上处理的实例对象为处理单元，采用面向对象的影像分析方法发现前后期影像的变化，其包含了更多遥感地物的整体信息，是一种更加有效的高空间分辨率影像变化检测分析方法。与像素级变化检测方法相比，OBCD融合了影像的纹理、形状和空间关系，可以捕获到前后期影像中对象的空间上下文信息。OBCD方法通常依赖于影像的分割结果，在影像分辨率较低或者目标较小的情况下，很难使前后期目标一一对应，检测出可靠的变化区域。此外，前后期影像的分割方法需要设置诸多参数，进而产生较大的过分割误差；不同尺度的前后期影像，也会分割出不同的结果，导致变化区域不易判定。场景级变化检测方法，是以前后期遥感影像高层场景语义为单元，分析对应场景的语义类别是否发生变化以及发生了何种变化。以词代模型(BoW)为代表的传统遥感影像场景分析方法，是统计遥感影像地物场景特征的有效编码方式，可以用于跨越底层特征和高层场景感知信息之间的语义鸿沟。相比低层次像素级的变化分析，语义层次的变化分析，能提供遥感影像大范围内的变化信息，抑制以像元为基础分析方法的无关场景干扰。

自2012年ImageNet计算机视觉分析挑战赛以来，基于深度卷积神经网络(DCNN)的方法获得了广泛研究。与传统特征抽取方法相比，DCNN方法在具备充足训练数据条件下，能通过多层线性与非线性映射组合，获取目标函数的最佳逼近，是目前效果最好的一类方法。由于DCNN在特征抽取方面的优势，其在遥感影像变化检测任务中，也得到了大量研究和应用。例如，采用以孪生神经网络(Siamese network)为基础，通过通道合成方式，将变化检测问题转换为语义分割网络，获取变化/未变化区域的二值掩膜(图1(a))；或者以全卷积神经网络(FCN)结构为基础，通过降采样和上采样，获取真值标注的最优二值标记。也有一些方法，对全卷积神经网络进行改造，采用孪生网络双分支结构，分别编码前后两期影像特征，再利用逐层差分特征融合并预测二值标记的方式(如图1(b))，来预测前后期遥感影像上变化/未变化区域。相较传统方法，基于DCNN的方法在预测时，无需设定复杂的阈值，具有较好的鲁棒性。

上述的通道合成和双分支差分融合的DCNN结构，虽然能对影像的变化特征进行逐层抽象，但其无法对变化检测网络结构中的特征实现跨层重用，同时缺乏对几何结构信息(如边缘结构)变化的抽象描述。

发明内容

本发明为了克服现有技术缺陷，提出基于密集连接和几何结构约束的遥感影像变化检测方法。

本发明提供一种基于密集连接和几何结构约束的遥感影像变化检测方法，包括如下步骤：

步骤1，对前后期变化检测输入影像做预处理，包括计算影像归一化参数，进行前后期影像归一化和后期影像颜色校正；

步骤2，进行DCGC-CD模型训练和测试，实现对前后期遥感影像进行变化区域信息提取；所述DCGC-CD表示密集连接和几何结构约束的变化检测；

所述DCGC-CD模型包括前后期变化特征差分编码模块和多分支几何结构约束解码模块，

所述前后期影像变化特征差分编码模块包括针对输入前期影像的分支和针对输入后期影像的分支；前后期影像变化特征差分编码模块输出的差分特征连接到多分支几何结构约束解码模块；

所述多分支几何结构约束解码模块包括三个分支，分支一用于前期边缘预测，分支二用于变化区域预测，分支三用于后期边缘预测，分支一和分支三共享参数结构，分支一和分支三的结构和分支二的结构通过损失函数相互作用，实现通过几何结构信息有效约束最终变化检测结果。

而且，输入前期影像的分支包括依次连接的三个子模块，每个子模块包括三个卷积层和一个池化层，输入后期影像的分支包括依次连接的三个子模块，每个子模块包括三个卷积层和一个池化层，前后期各子模块池化后特征相减，构成差分特征。

而且，所述多分支几何结构约束解码模块在三个分支之前设置一个子模块，用于多分支结构之前的特征对齐，该模块包括两个卷积层与一个上采样层。

而且，三个分支分别包括依次连接的三个子模块，第一个子模块包括一个上采样层和两个卷积层，第二个子模块包括一个上采样层和三个卷积层，第三个子模块包括一个上采样层和三个卷积层。

而且，所有子模块内，进行不同卷积层变化特征的密集连接与重用。

而且，所述损失函数包括三种，变化检测类别均衡损失、多层次边缘几何结构损失和几何结构变化损失。

而且，变化检测类别均衡损失的相应函数表达如下，

其中，gt代表变化检测真值，pred表示经过解码器后预测特征值，sigmoid(·)为非线性激活函数，pw表示均衡变化与未变化区域的均衡因子。

而且，多层次边缘几何结构损失的相应函数表达如下，

其中，gt_edge与pred_edge分别表示边缘的真值与边缘的预测值，

表示分支一与三的第j组输出特征对应的边缘几何损失。

而且，几何结构变化损失的相应函数表达如下，

其中，前期影像预测边缘的结果为

后期影像通过与前期影像解码结构参数共享，预测的边缘结果为

而且，综合多分支几何结构约束的损失函数最终表达式如下，

本发明从变化特征抽取网络和几何结构约束两个方面，构造一种具备变化特征密集连接和几何结构约束的DCNN结构，使其以“端对端”(end-to-end)的形式，提升变化特征抽取的鲁棒性。通过使用密集连接结构架构，提高变化特征的可重用性；采用几何信息作为多分支约束，实现对几何信息变化的抽取。与此同时，本发明提出多层变化特征融合的损失函数设计方法，用于提升几何信息变化约束条件下的变化特征可重用性，实现遥感影像智能变化检测。

附图说明

图1为本发明实施例DCNN变化检测模型与其它两种模型对比示意图。其中，图1(a)为通道合成的变化检测模型结构图；图1(b)为双分支孪生网络差分变化检测模型结构图；图1(c)为本发明密集连接和几何结构约束的DCNN变化检测模型结构图。

图2为本发明实施例密集连接和几何结构约束的变化检测(DCGC-CD)模型结构示意图。

图3为本发明实施例DCGC-CD模型训练所需准备的训练数据及其真值示意图。其中，图3(a)为前期影像示意图；图3(b)为后期影像示意图；图3(c)为后期影像对应边缘图；图3(d)为变化区域(白色)真值示意图。

图4为本发明实施例组内特征密集连接差分示意图。

图5为本发明实施例DCGC-CD模型在验证集上精度(mIoU，平均交并比)以及损失随训练周期变化的示意图。其中，图5(a)为mIoU随迭代周期变化的曲线图；图5(b)为损失随迭代周期变化的曲线图。

图6为本发明实施例DCGC-CD模型训练完成后在哨兵及ZY-3系列卫星影像数据上的测试结果示例图。其中，(a)列为前期影像；(b)列为前期影像预测的几何结构；(c)列为后期影像；(d)列为后期影像预测的几何结构；(e)列为未加入多分支几何约束的变化检测结果；(f)列为DCGC-CD加入多分支几何结构约束的变化检测结果；(g)列为变化检测结果真值。

具体实施方式

为了更好的理解本发明的技术方案，下面将结合附图和实施例对本发明技术方案做进一步说明。

本发明采用对称编码-解码DCNN网络结构，使前后期影像变化特征逐层差分并上采样，通过每组卷积特征密集连接重用和多分支几何结构约束，解决两期遥感影像变化检测的问题，该方法利用同组变化特征可以重用的特性，使组内不同卷积层的变化差分特征密集连接，同时顾及上采样时影像的几何结构约束，引入两个权重共享的几何结构(影像边缘)预测分支，用于约束前后期影像变化特征的几何结构变化，从而获取前后两期遥感影像最终变化检测结果。

本发明所提出的密集连接和几何结构约束的变化检测(DCGC-CD)模型详细示意图见图2，其核心在于对称编码-解码结构的变化特征差分和上采样、组内差分特征的密集连接和重用、多分支几何结构约束的变化检测。参见图1(c)，基于该模型的结构，本发明实施例提供一种基于密集连接和几何结构约束的遥感影像变化检测方法，具体实施步骤如下：

步骤1.输入数据预处理

对前后期变化检测输入影像做预处理，其目的是减少前后期影像因时相不同而造成的颜色差异，包括影像归一化参数计算、前后期影像归一化、后期影像颜色校正三个方面。实施例中具体步骤如下：

1.1影像归一化参数计算

假设输入的前期遥感影像为

其中m与n分别为待解译影像的宽与高；c表示输入的前期影像通道数，对于RGB三通道影像，c＝3。将输入影像

转换为灰度影像

若在位置(i,j),0≤i≤m,0≤j≤n处的灰度值为f^p(i,j)，则影像

的均值μ_p与方差σ_p分别为：

同理，可计算得到后期遥感影像

均值与方差为μ_a与方差σ_a。

1.2前后期影像归一化

通过步骤1.1计算得到前后期影像的归一化参数分别为：μ_p与σ_p、μ_a与σ_a。那么对于前后期c通道影像，计算得到每个通道c_k,c_k＝1,2...,c的归一化影像分别为：

其中，

分别表示前后期遥感影像在第c_k通道上(i,j),0≤i≤m,0≤j≤n位置处归一化值。

1.3后期影像颜色校正

当获取前后期影像通道c_k的归一化值

与

那么后期影像

的每一个通道c_k上的灰度值

相应地可以通过如下线性变换公式，将其校正至颜色与前期一致：

其中，

表示后期影像校正后通道c_k在位置(i,j),0≤i≤m,0≤j≤n的灰度值。

步骤2.DCGC-CD模型训练和测试

本发明提出的DCGC-CD网络结构模型，采用对称编码-解码结构，包括前后期变化特征差分编码和多分支几何结构约束解码两大模块。编码-解码过程，对组内差分特征采用密集连接和重用的方式，通过特征跨层连接提升编码-解码器的性能；在解码器方面，共有三个分支，分别预测前后期几何结构(边缘)和变化区域；前后期几何结构预测分支(分支一与分支三)采用权值共享方式，减少解码的参数量。DCGC-CD模型包括训练和测试两部分。训练过程需要的真值数据包括前后期影像(图3(a)-(b))及其对应的变化区域真值(图3(d))，用于分支二变化区域的预测；还需要采用Canny算子获取前期影像边缘(图3(c))作为真值，用于分支一与分支三权值共享预测影像边缘几何结构。测试过程，去掉网络结构的分支一与分支三，保留分支二，使用训练完成的模型预测变化区域，进而得到最终变化检测结果。

为便于实施参考起见，具体说明本步骤的实现如下：

2.1对称编码-解码结构构建

图2中对DCGC-CD涉及到的结构做了粗略示意，其包括前后期变化特征差分编码模块、多分支几何结构约束的解码模块。变化特征编码模块各组的特征作为输入，与解码模块对应各组特征相连接。对称编码-解码结构的详细参数如表1所示。

表1 DCGC-CD编码-解码结构参数

具体说明如下：

表1中conva-b表示编码-解码模块中组a内第b个卷积操作；poola表示组a内的池化(pooling，也即下采样)操作；up-sample-m表示第m个上采样层；网络结构的编码-解码模块中，默认在各个卷积操作后，使用非线性变换函数ReLU(修正线性单元)作为激活函数；N表示网络结构输出特征类别数，对于变化检测任务N＝2，即变化/未变化两种类别。

本发明中前后期影像变化特征差分编码模块包括针对输入前期影像的分支和针对输入后期影像的分支，输入前期影像的分支包括依次连接的三个子模块，每个子模块包括三个卷积层和一个池化层(第一卷积层、第二卷积层、第三卷积层和池化层依次设置)，输入后期影像的分支包括依次连接的三个子模块，每个子模块包括三个卷积层和一个池化层(第一卷积层、第二卷积层、第三卷积层和池化层依次设置)，前后期各子模块池化后特征相减，构成差分特征，并相应连接到多分支几何结构约束编码模块中。图2中前后期影像变化特征差分编码模块两个分支所包含参数量相同，与表1中组1-3的各层参数相对应，差分的特征通过对应各组内前后期影像特征通道相减获得。

图2中多分支几何结构约束编码模块，与表1中组4-7的各层参数相对应，其中在三个分支之前设置一个连接到前后期影像变化特征差分编码模块的子模块(对应组4)，用于多分支结构之前的特征对齐，该模块包括两个卷积层与一个上采样层，第一卷积层、第二卷积层、来自编码器最后一组pooling(池化)出的特征和上采样层(图2未画出)依次设置，前三个特征层密集连接。

三个分支分别在用于多分支结构之前的特征对齐的子模块(对应组4)之后，设置依次连接的三个子模块(对应组5、6、7)，

第一个子模块包括一个上采样层和两个卷积层，第一卷积层、第二卷积层、来自编码器第三组的差分特征和上采样层(图2未画出)依次设置，前三个特征层密集连接；

第二个子模块包括一个上采样层和三个卷积层(上采样层、第一卷积层、第二卷积层和第三卷积层依次设置)，来自编码器第二组的差分特征接入第一卷积层；

第三个子模块包括一个上采样层和三个卷积层(上采样层、第一卷积层、第二卷积层和第三卷积层依次设置)，来自编码器第一组的差分特征接入第一卷积层。

分支一与分支三分别用于预测前后期影像的边缘，其参数共享组4-7的参数；分支二是单独的分支，独立训练组4-7的参数。特殊地，分支二训练完成以后，分支一和三直接用分支二训练的组4结果。本质上，组4-7的参数由两个结构组成：一个结构(分支一与三)预测边缘几何结构；另一个结构(分支二)预测变化区域信息。两个结构通过损失函数相互作用，使得几何结构信息能有效约束最终变化检测结果。

前后期影像变化特征差分编码模块输出的差分特征与多分支几何结构约束编码模块中三个分支相应子模块的第二层(上采样后的那层)相连接，通道叠加起来。例如，差分特征尺寸是(2，3，56，56)，编码相应处的也是(2，3，56，56)，那么连接后的特征尺寸是(2，6，56，56)。图2中为省略表达，仅提供了分支三的差分特征连接示意。

2.2组内变化特征密集连接与重用

组内卷积操作用于变化特征的差分重用，能提升不同卷积层之间的信息交换程度，使变化特征信息得以保持。如图4所示，假设组a内有三个卷积层用于抽取变化特征，分别为conva-1、conva-2与conva-3。那么除了特征在conva-1与conva-2、conva-2与conva-3之间正常流动外，增加conva-1与conva-3之间的两次流动，第一次将conva-1与conva-3前馈传播的输入特征，置于conva-1与conva-2层之间；第二次将conva-1与conva-3前馈传播的输入特征，置于conva-2与conva-3层之间。上述的密集连接方式，作用于表1中的组1至组7，以实现各组内不同卷积层变化特征的密集连接与重用。特殊的是，组4和组5用了差分特征与卷积特征做特征重用，而其他组仅是卷积特征重用。

2.3多分支几何结构约束的损失函数设计

损失函数是驱动本发明DCGC-CD模型训练的根源，假设gt代表变化检测真值，pred表示经过解码器后预测特征值。本发明采用的多分支结构，共包括三种损失：

(1)变化检测类别均衡损失

本发明将变化检测区域的变化或未变化问题视为二分类问题，顾及到遥感影像上前后期影像变化信息通常较少，大部分为未变化区域，因而设计如下的类别均衡损失函数

用于均衡变化与未变化区域：

目标函数(6)中，sigmoid(·)为非线性激活函数，pw表示均衡变化与未变化区域的均衡因子，计算方式如下：

其中，β为未变化系数，c_n是变化检测真值gt中未变化区域所占像素个数，c_p为变化检测真值gt中变化区域所占像素个数。

(2)多层次边缘几何结构损失

假设图2中边缘预测分支一与三在解码器模块的第j组输出特征的尺寸为m×n，该尺寸的特征经“端对端”的双线性内插(tf.image.resize)，其尺寸与输入影像尺寸相同，那么该组特征对应的边缘几何损失为：

其中，gt_edge与pred_edge分别表示边缘的真值(图3(c))与边缘的预测值。

最终多层次边缘几何结构损失函数如下：

(3)几何结构变化损失

几何结构的损失主要由前后期影像边缘信息的改变反映出来，假设前期影像预测边缘的结果为

那么前后期影像几何结构变化的损失函数如下：

综合公式(6)、(10)、(11)，多分支几何结构约束的损失函数最终表达式如下：

图5为采用多分支几何结构约束，验证集上精度(mIoU，平均交并比)以及损失随训练周期变化的示意图，分别可参见图5(a)和图5(b)。

2.4 DCGC-CD模型测试

步骤2.1-2.2设计的DCGC-CD模型，通过步骤2.3的多分支几何结构约束的损失函数，采用随机梯度下降法(SGD)，可以有效应用于前后期遥感影像变化检测数据的训练。训练完成后，可以得到DCGC-CD模型的训练拟合参数。在测试阶段，仅有分支二参与变化区域预测。本发明也可同时输出分支一与分支三对前后期影像几何结构预测的结果。图6为本发明实施例方法应用于前后期遥感影像变化检测效果对比图。其中第一行与第二行分别为哨兵系列卫星拍摄于2017年与2018年影像，使用DCGC-CD模型训练参数测试结果；第三行与第四行为我国ZY-3卫星拍摄于2015年与2017年影像，使用DCGC-CD模型训练参数测试结果。具体影像示例参见(a)-(g)列，从(e)和(f)列的测试对比可以看出，采用多分支几何结构约束，能有效对前后期遥感影像进行变化区域信息提取，避免了因几何结构确实而造成的漏检问题，同时保证与真值(g)相接近的变化区域检测完整性。

具体实施时，本发明可采用计算机软件技术实现自动运行流程，运行本发明流程的装置也应当在保护范围内。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。