CN112232187A - 基于深度特征融合网络的变化检测方法 - Google Patents

Abstract

本发明公开了基于深度特征融合网络的变化检测方法，涉及变化检测技术领域，本发明基于深度特征融合网络，能够进行像素级和目标级的变化检测；本发明的变化检测方法较现有的检测方法效果更好。

Description

基于深度特征融合网络的变化检测方法

技术领域

本发明涉及变化检测技术领域，更具体的是涉及基于深度特征融合网络的变化检测方法。

背景技术

现有的变化检测主要包括像素级的变化检测和目标级的变化检测两种，前者主要是检测不同图片中对应的同一像素点所在位置在物理意义上是否发生改变，后者主要是检测不同图片中对应的某一块区域是否发生改变并给出框选。

就像素级的变化检测而言，目前主要用于灾害监测，具体的方法是通过比较一对不同时段的遥感图片，找出图片之间对应位置的变化情况，从而监测地球表面的变化情况。在现有技术中，Lei Tao等人(IEEE Geoscience and Remote Sensing Letters，2019,16(6)：982-986)采用了FCN-PP方法，提出了一个以U-Net网络为基础的模型，通过对特征提取不同叠加实现了山体滑坡检测，但是没有关注数据增强对实验结果的影响，Rodrigo Daudt等人(2018 25th IEEE International Conference on Image Processing)采用FC-EF方法，提出了一个以U-Net网络为基础的模型，通过对图像的叠加、对特征张量的做差和叠加三种方式实现变化检测，但是提取的特征并未考虑卷积神经网络不具有时序理解的能力，Daifeng Peng等人(Remote Sensing，2019,11(11)：1382)采用Unet++方法，提出了一种以U-Net++网络为基础的模型和一个改进的损失函数模型，但是并没有关注到针对变化检测双图的数据增强方法，上述三种方法可能存在一些对图片的预处理，并且检测结果并不理想。

就目标级的变化检测而言，目前主要用于工业场景的瑕疵检测，具体的方法是根据模板判断当前待检测的位置是否有瑕疵并且框选出来，在现有技术中，Cai Zhaowei等人(Proceedings of the IEEE Computer Society Conference on Computer Vision andPattern Recognition，2018：6154-6162)提出了一种以多层级联候选框的目标检测方法，主要采用单一图片的模型而未考虑到模板信息，适用于单图检测，而在实际检测过程中，可能存在模板图片对应部位和瑕疵部位过于接近或待检图的瑕疵部位花纹不是特别明显，容易出现漏检的情况。

发明内容

本发明的目的在于：为了解决现有的变化检测存在的问题，本发明提供基于深度特征融合网络的变化检测方法。

本发明为了实现上述目的具体采用以下技术方案：基于深度特征融合网络的变化检测方法，包括如下步骤：

步骤1：给定一对输入图像，并进行适合的变化检测数据增强，使用ResNet-50分别提取图像特征f₁及f₂，计算特征的差异信息f_d；

步骤2：对于像素级的检测，针对步骤1中提取的差异特征f_d，利用不同的池化操作将其缩小至4中不同尺寸的特征f_a、f_b、f_c和f_d，利用反卷积将4个不同尺寸的特征还原至原始尺寸，并结合差异特征f_d，最后进行卷积操作得到原始的尺寸的预测；

步骤3：对于目标级的检测，针对步骤1中提取的差异特征f_d，利用候选框生成网络RPN生成不同的候选框，包含属性b≡(b_x，b_y，b_w，b_h)，对给定数据集(b，g)进行预测，其中b为预测结果，g为真实结果，通过一级联回归器对候选框位置进行回归:

f(x,b)＝f_T*f_T-1*…*f₁(x,b)

其中，T为级联的次数，根据上式，对候选框进行T次级联回归，对每一次t候选框位置计算损失，其中包含一个分类器h_t和一个回归器f_t，对下式进行最小优化：

L(x^t,g)＝L_cls(h_t(x^t),y^t)+[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中，L_cls为类别的交叉熵损失，L_loc为L₂距离损失，b_t＝f_t-1(x^t-1,b^t-1)，[]为指示函数，y需要满足大于IoU否则预测失败为0，如下式：

y＝g_y if IoU(x,g)>u else 0

对于L_cls满足IoU条件的情况下计算类别损失，如下式：

L_cls(h(x),y)＝∑_u∈UL_cls(h_u(x),y_u)

选择不同的阈值u∈{0.5，0.55，…，0.75}进行多次级联回归，计算候选框的位置b。

本发明的有益效果如下：

1、对于像素级的检测，本发明提出了基于深度语义分割网络特征融合的端到端模型(PSPNet-fusion)，无需依赖图片的预处理、阈值的选择并且能够检测大规模数据集，结果较其他同类方法有很大提升；

2)对于目标级的检测，本发明提出了基于深度目标检测网络特征融合的端到端模型(Cascade RCNN fusion)，结果较其他同类方法有很大的提升；

3)本发明结合变化检测双图的特点，提出了基于轮换的数据增强操作，在未增加原始数据集的情况下，达到了更优秀的结果。

附图说明

图1是本发明的像素级的变化检测的模型概览图；

图2是本发明的目标级的变化检测的模型概览图；

图3是本发明的像素级的变化检测方法和现有方法的对比表(Lebedev数据集)；

图4是本发明的像素级的变化检测方法是否包含提出的数据增强的对比表(Lebedev数据集)；

图5是本发明的目标级的变化检测方法和现有方法的对比表(布匹瑕疵数据集)；

图6是本发明的像素级的变化检测的效果展示图；

图7是本发明的目标级的变化检测的效果展示图；

具体实施方式

实施例1

如图1到7所示，本实施例提供基于深度特征融合网络的变化检测方法，包括如下步骤：

步骤1：给定一对输入图像，并进行适合的变化检测数据增强，使用ResNet-50分别提取图像特征f₁及f₂，计算特征的差异信息f_d；

步骤2：对于像素级的检测，针对步骤1中提取的差异特征f_d，利用不同的池化操作将其缩小至4中不同尺寸的特征f_a、f_b、f_c和f_d，利用反卷积将4个不同尺寸的特征还原至原始尺寸，并结合差异特征f_d，最后进行卷积操作得到原始的尺寸的预测；

步骤3：对于目标级的检测，针对步骤1中提取的差异特征f_d，利用候选框生成网络RPN生成不同的候选框，包含属性b≡(b_x，b_y，b_w，b_h)，对给定数据集(b，g)进行预测，其中b为预测结果，g为真实结果，通过一级联回归器对候选框位置进行回归:

f(x,b)＝f_T*f_T-1*…*f₁(x,b)

其中，T为级联的次数，根据上式，对候选框进行T次级联回归，对每一次t候选框位置计算损失，其中包含一个分类器h_t和一个回归器f_t，对下式进行最小优化：

L(x^t,g)＝L_cls(h_t(x^t),y^t)+[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中，L_cls为类别的交叉熵损失，L_loc为L₂距离损失，b_t＝f_t-1(x^t-1,b^t-1)，[]为指示函数，y需要满足大于IoU否则预测失败为0，如下式：

y＝g_y if IoU(x,g)>u else 0

对于L_cls满足IoU条件的情况下计算类别损失，如下式：

L_cls(h(x),y)＝∑_u∈UL_cls(h_u(x),y_u)

选择不同的阈值u∈{0.5，0.55，…，0.75}进行多次级联回归，计算候选框的位置b。

由图3可知，本实施例的像素级的变化检测方法相对于现有方法来说，检测效果更好，由图4可知，对于本发明的像素级的变化检测方法，经过数据增强之后的检测效果更好，由图5可知，本实施例的目标级的变化检测方法相对于现有方法来说，检测效果更好。

Claims (1)

1.基于深度特征融合网络的变化检测方法，其特征在于，包括如下步骤：

步骤1：给定一对输入图像，并进行适合的变化检测数据增强，使用ResNet-50分别提取图像特征f₁及f₂，计算特征的差异信息f_d；

步骤2：对于像素级的检测，针对步骤1中提取的差异特征f_d，利用不同的池化操作将其缩小至4中不同尺寸的特征f_a、f_b、f_c和f_d，利用反卷积将4个不同尺寸的特征还原至原始尺寸，并结合差异特征f_d，最后进行卷积操作得到原始的尺寸的预测；

步骤3：对于目标级的检测，针对步骤1中提取的差异特征f_d，利用候选框生成网络RPN生成不同的候选框，包含属性b≡(b_x，b_y，b_w，b_h)，对给定数据集(b，g)进行预测，其中b为预测结果，g为真实结果，通过一级联回归器对候选框位置进行回归:

f(x,b)＝f_T*f_T-1*…*f₁(x,b)

其中，T为级联的次数，根据上式，对候选框进行T次级联回归，对每一次t候选框位置计算损失，其中包含一个分类器h_t和一个回归器f_t，对下式进行最小优化：

L(x^t,g)＝L_cls(h_t(x^t),y^t)+[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中，L_cls为类别的交叉熵损失，L_loc为L₂距离损失，b_t＝f_t-1(x^t-1,b^t-1)，[]为指示函数，y需要满足大于IoU否则预测失败为0，如下式：

y＝g_yif IoU(x,g)>u else 0

对于L_cls满足IoU条件的情况下计算类别损失，如下式：

L_cls(h(x),y)＝∑_u∈UL_cls(h_u(x),y_u)

选择不同的阈值u∈{0.5，0.55，…，0.75}进行多次级联回归，计算候选框的位置b。

Images