CN110853026A - 一种融合深度学习与区域分割的遥感影像变化检测方法 - Google Patents

Abstract

本发明涉及一种融合深度学习与区域分割的遥感影像变化检测方法，包括以下步骤：1）对前、后时相的两幅遥感影像进行自动配准；2）对前后时相影像进行分块裁切，得到前时相影像集和后时相影像集；3）分别对前、后时相影像集的每块影像的每个像素进行地物分类；4）分别对前、后时相影像集进行区域分割；5）融合分类图和分割图；6）对前、后时相影像集的分类图集分别按坐标信息拼接回原影像尺寸，形成前时相影像的最终分类图和后时相影像的最终分类图；7）按地物类别对两幅影像和分别进行差值处理，得到变化的区域；8）去掉细小区域，过滤掉过小的变化，并对边缘进行平滑处理，得到变化检测结果。该方法有利于提高遥感影像变化检测的精度。

Description

一种融合深度学习与区域分割的遥感影像变化检测方法

技术领域

本发明涉及遥感影像处理技术领域，具体涉及一种融合深度学习与区域分割的遥感影像变化检测方法。

背景技术

地球表面的地物分布随着人类的生产活动和自然生态变化而不断改变，这些变化信息对生态保护、环境治理、应急管理、城市建设规划等都有着重要的指导意义。随着航天航空遥感技术的飞速发展，影像分辨率大大提高，遥感影像变化检测也成为遥感影像处理领域的研究热点。传统的遥感影像变化检测方法主要为基于像素的分析，应用场景比较简单，仅适用于较低分辨率的遥感影像，因此针对高分辨率遥感影像的变化检测研究具有重要的研究意义和实用价值。

现有的遥感影像变化检测技术主要分为直接检测法和分类后检测法。直接检测法包括差值法、比值法、主成分分析法等，通过直接比较前后时相的遥感影像中的像元值找出变化的区域，这类方法容易受噪声影响，再加上遥感影像相同地物不同时相的光谱响应差异较大，容易造成误检，检测精度有限。分类后检测法对前后时相的遥感影像先进行地物分类，然后再比较分类结果得出变化信息，这类方法依赖于地物分类的精度以及前后分类标准的一致性。目前的遥感影像分类方法主要包括基于像素的方法和基于对象的方法，其中基于像素的方法以单个像元为处理单元，只利用到了影像的光谱信息特征，丰富的空间信息利用率几乎为零，基于对象的方法的处理单元是一个个影像对象，较之基于像素的方法包含了地物的多种特征，包括光谱特征、结构特征和上下文特征等，但这类方法非常依赖于分割算法的效果，当前流行的分割算法普遍需要人工不断调整尺度参数，过分割和欠分割都将直接影响检测结果的精度。近年来，深度学习在自然图像处理上取得的巨大进步，基于深度学习的遥感影像分类方法也层出不穷，通过深度网络可以提取遥感影像的高层语义特征，鲁棒性更高，但边界像素分类易受到干扰，难以保证精准的边界。

发明内容

本发明的目的在于提供一种融合深度学习与区域分割的遥感影像变化检测方法，该方法有利于提高遥感影像变化检测的精度。

为了实现上述目的，本发明采用的技术方案是：一种融合深度学习与区域分割的遥感影像变化检测方法，包括以下步骤：

1)对前、后时相的两幅遥感影像进行自动配准；

2)根据设定尺寸分别对前后时相影像进行分块裁切，按坐标位置顺序存储为前时相影像集和后时相影像集；

3)使用u-net语义分割网络分别对前、后时相影像集的每块影像的每个像素进行地物分类，分为水体、绿植、建筑和其它四个类别，单块影像的分类图记为I_cls；

4)采用meanshift算法分别对前、后时相影像集进行初始分割，形成若干个初始区域，然后采用自底向上的层次区域合并对初始区域进行逐步合并，形成最终的区域分割图，单块影像的分割图记为I_seg；

5)融合分类图I_cls和分割图I_seg，对I_seg中的每个区域r_i，计算对应分类图I_cls的属于每个类别的像素个数，将个数最多的那个类别标签赋予该区域的所有像素，进一步修正分类图的边界；

6)对前、后时相影像集的分类图集分别按坐标信息拼接回原影像尺寸，形成前时相影像的最终分类图I_before和后时相影像的最终分类图I_after；

7)按地物类别对两幅影像I_before和I_after分别进行差值处理，得到水体增加、水体减少、绿植增加、绿植减少、建筑增加和建筑减少的变化的区域；

8)使用图像处理技术去掉细小区域，过滤掉过小的变化，并对边缘进行平滑处理，从而得到最终变化检测结果。

进一步地，所述步骤1)中，对前、后时相的两幅遥感影像进行自动配准的具体方法为：

使用ENVI平台的Image to Image算法对前、后时相的两幅遥感影像进行自动配准，以前时相影像的一个波段作为基准影像，选择设定的波段，以后时相影像作为矫正影像，选择与基准影像相同的波段，基于区域灰度匹配方法产生匹配点，根据多对匹配点建立变换关系，对矫正影像进行空间坐标变换，最后采用双线性差值法确定各像素灰度值。

进一步地，所述步骤3)中，所述u-net语义分割网络由收缩路径和扩展路径两部分组成，收缩路径的基本结构是每两个3*3的卷积层之后接一个2*2的最大池化层，收缩路径总共包含四个基本结构，即输入H*W的原图将被下采样为H/16*W/16的特征图，扩展路径的基本结构为一个2*2的反卷积层之后接两个3*3的卷积层，扩展路径也包含四个基本结构，与收缩路径相对应，在每一步反卷积之后都与收缩路径对应的特征图进行拼接，以最大保留降采样过程中的重要特征信息，最后在网络末尾接1*1的卷积层将特征向量的通道数转换为类别数；

利用已标注好的GID数据集训练u-net语义分割网络，形成地物分类模型，然后使用地物分类模型分别对前、后时相影像集的每块影像的每个像素进行地物分类，得到以单块影像为单位的分类图，单块影像的分类图记为I_cls。

进一步地，所述步骤4)中，采用自底向上的层次区域合并对初始区域进行逐步合并，合并依据相邻区域的光谱特征和形状特征是否足够相近，计算公式为：

f＝ω·h_color+(1-ω)·h_shape

其中，f表示总体差异性，h_color表示两个区域p、q在颜色上的差异性，h_shape表示两个区域p、q在形状上的差异性，ω表示颜色差异性占总体差异性的权重，颜色差异性与形状差异性的权重之和等于1，其中：

其中，c表示通道，n表示区域的面积，m表示合并后的区域，σ表示通道上的像元值方差，ω_c表示各个通道所占的权重；

h_shape＝ω_compact·h_compact+(1-ω_compact)·h_smooth

形状差异性包含紧致度和平滑度两个因子，ω_compact表示紧致度在计算中所占的权重，紧致度计算公式为：

其中，l表示区域的周长，平滑度计算公式为：

其中，b表示区域平行于图像边界的最小外接的矩形的周长；

当f小于设定阈值T时，区域p和区域q执行合并，否则不予合并，每次寻找整块影像中f值最小的两个相邻区域进行合并，如此进行t次迭代，完成整块影像的区域分割，形成最终的区域分割图，单块影像的分割图记为I_seg。

进一步地，所述步骤8)中，得到变化检测结果后，使用不同的颜色分别表示不同的变化。

相较于现有技术，本发明具有以下有益效果：

1、使用分类后检测策略，不容易受到噪声的影响，对前后时相影像的数据源没有严格要求为相同数据源，在实际应用中更为有效。

2、使用语义分割网络提取并学习有效的抽象特征，对噪声具有更强的鲁棒性，能够处理同源或者异源的多时相遥感影像数据，减少伪变化，进一步提高变化检测精度。

3、融合深度学习分类算法和区域分割算法，弥补了语义分割网络产生的分类结果边界不准确的缺陷，进一步提高了分类的准确性，更利于后续的变化检测分析。

附图说明

图1是本发明实施例的实现流程图。

图2是本发明实施例中u-net语义分割网络的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供了一种融合深度学习与区域分割的遥感影像变化检测方法，如图1所示，包括以下步骤：

1)对前、后时相的两幅遥感影像进行自动配准。具体方法为：

使用ENVI平台的Image to Image算法对前、后时相的两幅遥感影像进行自动配准，以前时相影像的一个波段作为基准影像，选择设定的波段，通常选噪声较小的红波段或近红外波段，以后时相影像作为矫正影像，选择与基准影像相同的波段，基于区域灰度匹配方法产生匹配点，根据多对匹配点建立变换关系，对矫正影像进行空间坐标变换，最后采用双线性差值法确定各像素灰度值。

2)根据设定尺寸(本实施例为512*512)分别对前后时相影像进行分块裁切，按坐标位置顺序存储为前时相影像集和后时相影像集。

3)使用u-net语义分割网络分别对前、后时相影像集的每块影像的每个像素进行地物分类，分为水体、绿植、建筑和其它四个类别，单块影像的分类图记为I_cls。即给每个像素都分配一个类别标签，然后以每块影像为单位进行存储，形成一张分类图。

其中，如图2所示，所述u-net语义分割网络由收缩路径和扩展路径两部分组成，收缩路径的基本结构是每两个3*3的卷积层之后接一个2*2的最大池化层，收缩路径总共包含四个基本结构，即输入H*W的原图将被下采样为H/16*W/16的特征图，扩展路径的基本结构为一个2*2的反卷积层之后接两个3*3的卷积层，扩展路径也包含四个基本结构，与收缩路径相对应，在每一步反卷积之后都与收缩路径对应的特征图进行拼接，以最大保留降采样过程中的重要特征信息，最后在网络末尾接1*1的卷积层将特征向量的通道数转换为类别数；

利用已标注好的GID数据集训练u-net语义分割网络，形成地物分类模型，然后使用地物分类模型分别对前、后时相影像集的每块影像的每个像素进行地物分类，得到以单块影像为单位的分类图，单块影像的分类图记为I_cls。

4)采用meanshift算法分别对前、后时相影像集进行初始分割，形成若干个初始区域，然后采用自底向上的层次区域合并对初始区域进行逐步合并，形成最终的区域分割图，单块影像的分割图记为I_seg。

其中，采用自底向上的层次区域合并对初始区域进行逐步合并，合并依据相邻区域的光谱特征和形状特征是否足够相近，计算公式为：

f＝ω·h_color+(1-ω)·h_shape

其中，f表示总体差异性，h_color表示两个区域p、q在颜色上的差异性，h_shape表示两个区域p、q在形状上的差异性，ω表示颜色差异性占总体差异性的权重，颜色差异性与形状差异性的权重之和等于1，其中：

其中，c表示通道，n表示区域的面积，m表示合并后的区域，σ表示通道上的像元值方差，ω_c表示各个通道所占的权重；

h_shape＝ω_compact·h_compact+(1-ω_compact)·h_smooth

形状差异性包含紧致度和平滑度两个因子，ω_compact表示紧致度在计算中所占的权重，紧致度计算公式为：

其中，l表示区域的周长，平滑度计算公式为：

其中，b表示区域平行于图像边界的最小外接的矩形的周长；

当f小于设定阈值T时，区域p和区域q执行合并，否则不予合并，每次寻找整块影像中f值最小的两个相邻区域进行合并，如此进行t次迭代，完成整块影像的区域分割，形成最终的区域分割图，单块影像的分割图记为I_seg。

5)融合分类图I_cls和分割图I_seg，对I_seg中的每个区域r_i，计算对应分类图I_cls的属于每个类别的像素个数，将个数最多的那个类别标签赋予该区域的所有像素，进一步修正分类图的边界。

6)对前、后时相影像集的分类图集分别按坐标信息拼接回原影像尺寸，形成前时相影像的最终分类图I_before和后时相影像的最终分类图I_after。

7)按地物类别对两幅影像I_before和I_after分别进行差值处理，得到水体增加、水体减少、绿植增加、绿植减少、建筑增加和建筑减少的变化的区域。

8)使用图像处理技术去掉细小区域，过滤掉过小的变化，并对边缘进行平滑处理，从而得到变化检测结果。得到变化检测结果后，使用不同的颜色分别表示不同的变化。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种融合深度学习与区域分割的遥感影像变化检测方法，其特征在于，包括以下步骤：

1)对前、后时相的两幅遥感影像进行自动配准；

2)根据设定尺寸分别对前后时相影像进行分块裁切，按坐标位置顺序存储为前时相影像集和后时相影像集；

3)使用u-net语义分割网络分别对前、后时相影像集的每块影像的每个像素进行地物分类，分为水体、绿植、建筑和其它四个类别，单块影像的分类图记为I_cls；

4)采用meanshift算法分别对前、后时相影像集进行初始分割，形成若干个初始区域，然后采用自底向上的层次区域合并对初始区域进行逐步合并，形成最终的区域分割图，单块影像的分割图记为I_seg；

5)融合分类图I_cls和分割图I_seg，对I_seg中的每个区域r_i，计算对应分类图I_cls的属于每个类别的像素个数，将个数最多的那个类别标签赋予该区域的所有像素，进一步修正分类图的边界；

6)对前、后时相影像集的分类图集分别按坐标信息拼接回原影像尺寸，形成前时相影像的最终分类图I_before和后时相影像的最终分类图I_after；

7)按地物类别对两幅影像I_before和I_after分别进行差值处理，得到水体增加、水体减少、绿植增加、绿植减少、建筑增加和建筑减少的变化的区域；

8)使用图像处理技术去掉细小区域，过滤掉过小的变化，并对边缘进行平滑处理，从而得到最终变化检测结果。

2.根据权利要求1所述的一种融合深度学习与区域分割的遥感影像变化检测方法，其特征在于，所述步骤1)中，对前、后时相的两幅遥感影像进行自动配准的具体方法为：

使用ENVI平台的Image to Image算法对前、后时相的两幅遥感影像进行自动配准，以前时相影像的一个波段作为基准影像，选择设定的波段，以后时相影像作为矫正影像，选择与基准影像相同的波段，基于区域灰度匹配方法产生匹配点，根据多对匹配点建立变换关系，对矫正影像进行空间坐标变换，最后采用双线性差值法确定各像素灰度值。

3.根据权利要求1所述的一种融合深度学习与区域分割的遥感影像变化检测方法，其特征在于，所述步骤3)中，所述u-net语义分割网络由收缩路径和扩展路径两部分组成，收缩路径的基本结构是每两个3*3的卷积层之后接一个2*2的最大池化层，收缩路径总共包含四个基本结构，即输入H*W的原图将被下采样为H/16*W/16的特征图，扩展路径的基本结构为一个2*2的反卷积层之后接两个3*3的卷积层，扩展路径也包含四个基本结构，与收缩路径相对应，在每一步反卷积之后都与收缩路径对应的特征图进行拼接，以最大保留降采样过程中的重要特征信息，最后在网络末尾接1*1的卷积层将特征向量的通道数转换为类别数；

利用已标注好的GID数据集训练u-net语义分割网络，形成地物分类模型，然后使用地物分类模型分别对前、后时相影像集的每块影像的每个像素进行地物分类，得到以单块影像为单位的分类图，单块影像的分类图记为I_cls。

4.根据权利要求1所述的一种融合深度学习与区域分割的遥感影像变化检测方法，其特征在于，所述步骤4)中，采用自底向上的层次区域合并对初始区域进行逐步合并，合并依据相邻区域的光谱特征和形状特征是否足够相近，计算公式为：

f＝ω·h_color+(1-ω)·h_shape

其中，f表示总体差异性，h_color表示两个区域p、q在颜色上的差异性，h_shape表示两个区域p、q在形状上的差异性，ω表示颜色差异性占总体差异性的权重，颜色差异性与形状差异性的权重之和等于1，其中：

其中，c表示通道，n表示区域的面积，m表示合并后的区域，σ表示通道上的像元值方差，ω_c表示各个通道所占的权重；

h_shape＝ω_compact·h_compact+(1-ω_compact)·h_smooth

形状差异性包含紧致度和平滑度两个因子，ω_compact表示紧致度在计算中所占的权重，紧致度计算公式为：

其中，l表示区域的周长，平滑度计算公式为：

其中，b表示区域平行于图像边界的最小外接的矩形的周长；

当f小于设定阈值T时，区域p和区域q执行合并，否则不予合并，每次寻找整块影像中f值最小的两个相邻区域进行合并，如此进行t次迭代，完成整块影像的区域分割，形成最终的区域分割图，单块影像的分割图记为I_seg。

5.根据权利要求1所述的一种融合深度学习与区域分割的遥感影像变化检测方法，其特征在于，所述步骤8)中，得到变化检测结果后，使用不同的颜色分别表示不同的变化。

Images