CN113378727B - 一种基于特征偏差对齐的遥感影像二值变化检测方法 - Google Patents

Abstract

本发明公开了一种基于特征偏差对齐的遥感影像二值变化检测方法，包括：步骤1：构造双时相遥感影像二值变化检测数据集并进行预处理；步骤2：构建基于特征偏差对齐的二值变化检测模型，并给定双时相遥感影像获得变化区域预测结果及变化区域辅助预测图；步骤3：使用真实变化区域标签结果与预测变化区域结果及变化区域辅助预测图分别计算主损失函数和辅助损失函数，根据损失对梯度进行反向传播更新模型，直至损失值收敛时终止训练，保存模型结构及模型权重；步骤4：使用步骤3训练好的模型权重对测试集数据进行预测。本发明可以有效的解决当双时相遥感影像由于多视角拍摄、高层建筑物过多或地形起伏较大等因素引起的变化区域误检现象。

Description

一种基于特征偏差对齐的遥感影像二值变化检测方法

发明领域

本发明属于遥感图像处理领域，涉及计算机深度学习领域，具体涉及一种基于特征偏差对齐的遥感影像二值变化检测方法。

背景技术

二值变化检测任务目标是给定两张同地区双时相遥感影像，定位该地区的变化区域和非变化区域。随着深度学习技术的发展，基于孪生卷积神经网络的方法在二值变化检测任务取得了超越传统方法的精度，其通常采用编码器-解码器架构，即首先采用共享权重的孪生卷积神经网络编码器分别提取双时相影像的低层特征和高层特征，然后使用解码器获得差异特征并按照自底向上的路径逐步恢复分辨率，最后连接一个分类器预测变化区域。

然而，基于孪生卷积神经网络的二值变化检测方法在高维特征空间获取差异特征时，需要尽可能的保证所提取的高维特征在原始双时相影像中的空间位置对齐，否则会由于特征偏差问题出现误检区域。然而，由于配准误差和降采样层的存在，双时相影像的高维特征间不可避免的会存在特征偏差的问题。现有的二值变化检测方法往往直接引入语义分割模型或在语义分割模型基础上进行一定的改进，并未考虑特征偏差问题。

发明内容

本发明要解决的技术问题在于针对上述方法的不足，提出了一个基于特征偏差对齐的遥感影像二值变化检测方法，以克服当双时相遥感影像存在配准误差时模型出现误检的问题。

该方法主要解决目前的基于深度学习的变化检测方法对于存在配准误差的双时相影像存在误检的文艺，通过自适应的学习双时相影像特征间的偏差流以对齐特征可以较好的解决配准误差或降采样带来的误检影响，该方法主要包括以下步骤：

步骤1，构造双时相遥感影像二值变化检测数据集并进行预处理。

具体的，步骤1进一步包括：

步骤1.1，先将全部数据集划分为训练集、验证集和测试集，若原始影像尺寸过大(如图像过大时GPU显存不足时即可视为尺寸过大)，可先将其裁剪为小尺寸影像。

步骤1.2，对训练集进行数据增强以扩大数据集。

步骤1.3，对数据集的双时相影像和标签数据进行归一化。

步骤2，构建基于特征偏差对齐的二值变化检测模型FACD，并针对给定双时相遥感影像获得的预测变化区域结果及变化区域辅助预测图。

具体的，步骤2进一步包括：

步骤2.1，给定两张双时相遥感影像I¹,I²∈R^(H×W×3)H,W代表原始影像的尺寸大小。经过孪生卷积特征提取模块，双时相影像I¹,I²被映射至一组双时相特征图集{F_l ¹,F_l ²}_l＝1,...,n，其中

C代表第l层特征图的特征通道数目。

步骤2.2，将步骤2.1中提取出的特征{F_l ¹,F_l ²}_l＝n,…,1按照顺序依次输入至不同层的差异特征对齐模块DFA中获得对齐特征

并通过拼接操作获得差异特征{F_l ^d}_l＝n,…,1。

具体的，步骤2.2进一步包括：

步骤2.2.1，给定两个同一尺度不同时相的特征图

H,W代表原始影像的尺寸大小，分别使用两个1×1卷积层对特征图进行降维。

步骤2.2.2，将降维后的特征图F_l ¹,F_l ²进行拼接并输入至一个卷积块中，其由两个卷积层组成，第一个卷积层包含一个3×3卷积核、批归一化层(Batch Normalization，简称BN)和ReLU激活函数，第二个卷积层包含一个3×3卷积核。该卷积块的输出即为特征图F_l ¹和F_l ²之间的位置偏移流

步骤2.2.3，使用步骤2.2.2预测的位置偏移流

对特征图F_l ²进行重采样变形(Warp)以获得位置偏移对齐后的特征图

并将F_l ¹与对齐的

特征图拼接后并输入至一个1×1卷积层中获得差异特征图F_l ^d。

具体的，步骤2.2.3进一步包括：

步骤2.2.3.1，基于步骤2.2.2预测的位置偏移流

计算对齐特征图

中位置

在原始特征图F_l ²中的采样位置p，其计算公式为：

步骤2.2.3.2，基于步骤2.2.3.1中所寻找的原始特征图的采样位置p，寻找采样位置p在原始特征图F_l ²中邻域

的4个特征点p_i。

步骤2.2.3.3，基于步骤2.2.3.2中所寻找的相邻的4个特征点p_i，采用双线性插值获得采样后的特征值作为对齐特征图

在位置

的特征值，计算公式如下：

其中，

代表点p的特征图F_l ²的所有邻域特征点，

代表双线性采样权重，其与所有采样点及待求点p的距离有关。

步骤2.3，为了更好地融合变化区域的低层细节信息和高层语义信息，本文采用跳跃连接将经过对齐后的相邻高层差异特征图F_l ^d和低层差异特征图

同时输入至尺度特征对齐模块SFA中获得融合差异特征

具体的，步骤2.3进一步包括：

步骤2.3.1，给定两个不同尺度的差异特征图F_l ^d,

分别使用两个1×1卷积层对特征图进行降维并获得差异特征图F_l ^d,

并将特征图F_l ^d上采样使其尺寸大小与特征图

保持一致。

步骤2.3.2，将F_l ^d,

按照步骤2.2.2至步骤2.2.3处理获得融合差异特征

步骤2.4，经过沿自顶向下路径的多层同级特征对齐和尺度特征对齐模块解码后，可获得即包含丰富语义信息又包含精确细节信息的特征

步骤2.5，将步骤2.4获得的融合特征

输入至一层1×1卷积层中生成变化区域预测图，并采用上采样使预测图的尺寸与原始影像保持一致，即为预测变化区域结果。

步骤2.6，为了更好的优化模型，将步骤2.3中所获得的差异特征

分别输入至一层1×1卷积层中生成变化区域辅助预测图。需要注意的是，该步骤只在训练阶段计算，不增加测试阶段的计算量。

步骤3，使用真实变化区域标签结果与预测变化区域结果及变化区域辅助预测图分别计算主损失函数

和辅助损失函数

根据损失对梯度进行反向传播更新模型，直至损失值收敛时终止训练，保存模型结构及模型权重。

具体的，步骤3进一步包括：

步骤3.1，最终损失函数由主损失函数和辅助损失函数组成，其中主损失函数

和辅助损失函数

采用步骤3.1的联合损失函数计算，最终损失函数计算公式如下：

其中，λ用于平衡主损失函数和辅助损失函数，n代表变化区域辅助预测图的个数，本专利中与网络层数保持一致。

步骤3.2，主损失函数和辅助损失函数采用Ohem Loss和Dice Loss损失函数联合计算，联合损失函数定义如下：

步骤4，使用步骤3训练好的模型权重对测试集数据进行预测，并计算精度。

与现有技术相比，本发明的优点和有益效果为：

1.当双时相遥感影像因多视角拍摄、高层建筑物过多或地形起伏等因素引起的配准误差时，本发明通过所提出的差异特征对齐模块计算双时相遥感影像经过孪生卷积神经网络所映射的高维特征间的位置偏移流，并通过位置偏移流进行重采样将高维特征位置对齐，这可以有效解决因配准误差引起的变化检测虚警问题。

2.本发明通过尺度特征对齐模块计算相邻高层特征和低层特征间的尺度差异，从而克服传统方法面对高层特征和低层特征因位置精确对应关系丢失导致融合不够有效的问题，从而提高模型对小变化区域及边界区域的检测精度。

3.本发明所提出的差异特征对齐模块和尺度特征对齐模块可嵌入至现有的基于孪生卷积神经网络的二值变化检测方法中，提高变化检测精度。

附图说明

图1是WHU Building建筑物变化检测数据集中建筑物视差偏移示意图。

图2是本发明提出的基于特征偏差对齐的遥感影像二值变化检测模型网络架构图。

图3是本发明提出的差异特征对齐模块(Difference Feature Align Module,DFA)网络架构图。

图4是本发明提出的尺度特征对齐模块(Scale Feature Align Module,SFA)网络架构图。

图5是本发明实施例与其它先进的二值变化检测的可视化测试结果图。

具体实施方式

为使本发明的技术方法更加清楚，下面结合附图对本发明具体实施方式作进一步详细地描述，但所描述的具体事例仅仅是对本发明精神作举例说明，其实施方式不局限于此。

步骤1、构建双时相遥感影像变化检测数据集，并进行预处理。

具体的，步骤1进一步包括：

步骤1.1，本发明选用网络开源的WHU Building建筑物变化检测数据集构建双时相遥感影像变化检测数据集，其包含两幅双时相遥感影像，分别拍摄于2012年和2016年，影像尺寸为15354×32057，分辨率为0.3米，覆盖面积达20平方公里。由于原始影像为大尺度遥感影像且未划分训练集、测试集。本方明在具体实施时先将两幅大尺度双时相影像及标签影像裁剪为7434组256×256小尺寸的样本集，影像间为重叠区域，然后将7435组样本集按照4:1的比例划分为5947组训练样本和1487组测试样本。需要说明的是，该数据集通过在影像上人工选择30个控制点，几何配准精度可达1.6像素，但数据集检查过程中发现存在建筑物视差偏移问题，如图1所示，这将有利于检验本发明的实际性能。

步骤1.2，对训练集进行数据增强以扩大数据集。本发明实施方式的数据增强方式为水平翻转、垂直翻转和随机旋转，上述增强方式可同时发生。

步骤1.3，对数据集的双时相影像和标签数据进行归一化处理。本发明实施方式采用下式进行归一化，其中I代表影像数据，L代表标签数据：

步骤2、使用Pytorch深度学习框架按照图2所示的网络架构图构建基于特征偏差对齐的二值变化检测模型FACD，并针对给定双时相遥感影像获得的预测变化区域结果及变化区域辅助预测图。

具体的，步骤2进一步包括：

步骤2.1，采用经过ImageNet数据集预训练的ResNet18卷积神经网络作为孪生特征提取网络，给定两张来源于步骤1构建数据集中的双时相遥感影像I¹,I²∈R^(H×W×3)，经过ResNet18孪生卷积特征提取模块，双时相影像I¹,I²被映射至一组双时相特征图集{F_l ¹,F_l ²}_l＝1,2,3,4，其中

不同层特征图的特征通道维度为[64,128,256,512]。

步骤2.2，将步骤2.1中提取出的特征{F_l ¹,F_l ²}_l＝4,3,2,1按照顺序依次输入至不同层的差异特征对齐模块DFA中获得对齐特征

并通过拼接操作获得差异特征{F_l ^d}_l＝4,3,2,1。

步骤2.3，将步骤2.2中获得的多尺度差异特征{F_l ^d}_l＝4,3,2,1进行逐层解码，为了更好地融合变化区域的低层细节信息和高层语义信息，本发明采用跳跃连接将经过对齐后的相邻高层差异特征图F_l ^d和低层差异特征图

同时输入至尺度特征对齐模块SFA中获得融合差异特征

步骤2.4，经过沿自顶向下路径的多层同级特征对齐和尺度特征对齐模块解码后，可获得即包含丰富语义信息又包含精确细节信息的特征

步骤2.5，将步骤2.4获得的融合特征

输入至一层1×1卷积层中生成变化区域预测图，并采用上采样使预测图的尺寸与原始影像保持一致，即为预测变化区域结果。

步骤2.6，为了更好的优化模型，将步骤2.3中所获得的差异特征

输入至一层1×1卷积层中生成变化区域辅助预测图。需要注意的是，该步骤只在训练阶段计算，不增加测试阶段的计算量。

步骤3，使用步骤1构建的训练数据中真实变化区域标签结果与步骤2获得的预测变化区域结果及变化区域辅助预测图分别计算主损失函数

和辅助损失函数

根据损失对梯度进行反向传播更新模型，直至损失值收敛时终止训练，保存模型结构及模型权重。

在步骤3中，本发明的实施方案训练过程中，模型优化采用Adam优化器训练100个周期，权重衰减率设置为1e-4，Batch Size设置为16，初始学习率为1e-4，在第80个训练周期时学习率降低0.1倍。

步骤4，使用步骤3训练好的模型权重对步骤1构建的测试集数据进行预测，并计算精度。

在步骤4中，本发明实施方式采用精确率(Precision,P)、召回率(Recall,R)、F1分数、IoU作为精度评价指标，其计算公式定义如下：

其中，TP、TN、FP、FN分别表示正确识别的正样本、错误识别的正样本、正确识别的负样本及错误识别的负样本，召回率Recall代表正确识别的正样本占实际正样本的比例，精确率Precision代表正确识别的正样本预测正样本的比例，F1分数代表召回率和精确率的加权值，由于召回率和精确率往往相互影响，F1分数可以更均衡地衡量模型性能。

图5为本实施实例与其它先进的二值变化检测的可视化测试结果图。其中图5(a)为T1影像(上)和T2影像(下)；图5(b)为标签(上)及双时相叠加图(下)；图5(c)为FC_Siam_diff预测结果(上)及误差图(下)；图5(d)为FC_Siam_conc预测结果及误差图；图5(e)为PGA_SiamNet预测结果及误差图；图5(f)为IFN预测结果及误差图，图5(g)为FACD(本发明方法)预测结果及误差图。双时相叠加图中黑框标记为明显建筑物存在视差偏移区域，误差图代表预测变化区域和真实变化区域间的差异，其中白色或灰色代表存在误检或漏检问题。。

表1为本发明方法与其它先进的二值变化检测方法在WHU Building数据集的精度量化对比结果：

表1基于WHU Building数据集的二值变化检测量化对比结果

从上述表1和图5分析可知，当双时相影像未发生变化的地物之间存在明显的偏差时，本发明所述的基于特征偏差对齐的二值变化检测模型FACD可以很好的防止误检问题，从而提高变化检测的精度。并且在地物背景复杂或存在阴影的场景下，本发明方法所检测的变化区域的边界更加清晰和准确。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于特征偏差对齐的遥感影像二值变化检测方法，其特征在于，包括如下步骤：

步骤1，构造双时相遥感影像二值变化检测数据集并进行预处理；

步骤2，构建基于特征偏差对齐的二值变化检测模型FACD，并针对给定双时相遥感影像获得的预测变化区域结果及变化区域辅助预测图；

步骤2进一步包括，

步骤2.1，给定两张双时相遥感影像I¹,I²∈R^(H×W×3)，H,W代表原始影像的尺寸大小；经过孪生卷积特征提取模块，双时相影像I¹,I²被映射至一组双时相特征图集{F_l ¹,F_l ²}_l＝1,...,n，其中

C代表第l层特征图的特征通道数目；

步骤2.2，将步骤2.1中提取出的特征{F_l ¹,F_l ²}_l＝n,…,1按照顺序依次输入至不同层的差异特征对齐模块DFA中获得对齐特征

并通过拼接操作获得差异特征

步骤2.3，为了更好地融合变化区域的低层细节信息和高层语义信息，采用跳跃连接将经过对齐后的相邻高层差异特征图

和低层差异特征图

同时输入至尺度特征对齐模块SFA中获得融合差异特征

步骤2.4，经过沿自顶向下路径的多层同级特征对齐和尺度特征对齐模块解码后，可获得即包含丰富语义信息又包含精确细节信息的特征

步骤2.5，将步骤2.4获得的融合特征

输入至一层1×1卷积层中生成变化区域预测图，并采用上采样使预测图的尺寸与原始影像保持一致，即为预测变化区域结果；

步骤2.6，为了更好的优化模型，将步骤2.3中所获得的融合差异特征

输入至一层1×1卷积层中生成变化区域辅助预测图；

步骤3，使用真实变化区域标签结果与步骤2获得的预测变化区域结果及变化区域辅助预测图分别计算主损失函数和辅助损失函数，根据总的损失函数对梯度进行反向传播更新模型，直至损失值收敛时终止训练，保存模型结构及模型权重；

步骤4，使用步骤3训练好的模型权重对测试集数据进行预测，并计算精度。

2.根据权利要求1所述的一种基于特征偏差对齐的遥感影像二值变化检测方法，其特征在于：步骤1进一步包括，

步骤1.1，先将全部数据集划分为训练集、验证集和测试集，若原始影像尺寸过大，可先将其裁剪为小尺寸影像；

步骤1.2，对训练集进行数据增强以扩大数据集，所述数据增强方式为水平翻转、垂直翻转和随机旋转；

步骤1.3，对数据集的双时相影像和标签数据进行归一化。

3.根据权利要求1所述的一种基于特征偏差对齐的遥感影像二值变化检测方法其特征在于：步骤2.2进一步包括，

步骤2.2.1，给定两个同一尺度不同时相的特征图

H,W代表原始影像的尺寸大小，分别使用两个1×1卷积层对特征图进行降维；

步骤2.2.2，将降维后的特征图F_l ¹,F_l ²进行拼接并输入至一个卷积块中，其由两个卷积层组成，第一个卷积层包含一个3×3卷积核、批归一化层BN和ReLU激活函数，第二个卷积层包含一个3×3卷积核，该卷积块的输出即为特征图F_l ¹和F_l ²之间的位置偏移流

步骤2.2.3，使用步骤2.2.2预测的位置偏移流

对特征图F_l ²进行重采样变形以获得位置偏移对齐后的特征图

并将F_l ¹与对齐的

特征图拼接后并输入至一个1×1卷积层中获得差异特征图F_l ^d。

4.根据权利要求3所述的一种基于特征偏差对齐的遥感影像二值变化检测方法，其特征在于：步骤2.3进一步包括，

步骤2.3.1，给定两个不同尺度的差异特征图

分别使用两个1×1卷积层对特征图进行降维并获得差异特征图

并将特征图F_l ^d上采样使其尺寸大小与特征图

保持一致；

步骤2.3.2，将

按照步骤2.2.2至步骤2.2.3处理获得融合差异特征

5.根据权利要求4所述的一种基于特征偏差对齐的遥感影像二值变化检测方法，其特征在于：步骤2.2.3进一步包括，

步骤2.2.3.1，基于步骤2.2.2预测的位置偏移流

计算对齐特征图

中位置

在原始特征图F_l ²中的采样位置p，其计算公式为：

步骤2.2.3.2，基于步骤2.2.3.1中所寻找的原始特征图的采样位置p，寻找采样位置p在原始特征图F_l ²中邻域

的4个特征点p_i；

步骤2.2.3.3，基于步骤2.2.3.2中所寻找的相邻的4个特征点p_i，采用双线性插值获得采样后的特征值作为对齐特征图

在位置

的特征值，计算公式如下：

其中，

代表点p的特征图F_l ²的所有邻域特征点，w_pi代表双线性采样权重，其与所有采样点及待求点p的距离有关。

6.根据权利要求1所述的一种基于特征偏差对齐的遥感影像二值变化检测方法，其特征在于：步骤3进一步包括；

步骤3.1，最终的总损失函数由主损失函数和辅助损失函数组成，其中主损失函数

和辅助损失函数

均采用步骤3.2的联合损失函数计算，总损失函数计算公式如下：

其中，λ是用于平衡主损失函数和辅助损失函数的参数，m代表变化区域辅助预测图的个数；

步骤3.2，主损失函数和辅助损失函数采用Ohem Loss和Dice Loss损失函数联合计算，联合损失函数定义如下：

Images