CN109993727A - 一种基于深度学习的遥感图像变化检测方法 - Google Patents

Abstract

本发明公开一种基于深度学习的遥感图像变化检测方法，包括获取同一地区的不同时间的遥感图像；对所述遥感图像进行预处理；对所述预处理后的图像进行图像转化，并提取不同时间的遥感图像之间的差异特征；根据所述差异特征训练深度学习模型以获得遥感图像变化检测模型；根据所述遥感图像变化检测模型对不同时间的遥感图像进行变化检测。该方法结合深度学习与差异图提取，通过求差异图得出同一区域不同年份的两张遥感图像之间的差异，反应图像疑似局部变化特征，然后通过分类区分差异图中变化部分以获得标注样本，并在此基础上进行样本扩容，以达到提高检测精确率的目的；然后通过该样本集对深度学习算法进行训练，从而得到稳定的检测算法模型。

Description

一种基于深度学习的遥感图像变化检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度学习的遥感图像变化检测方法。

背景技术

我国航空航天技术发展迅速，卫星遥感、无人机航拍、倾斜摄影等遥感技术广泛应用在农、林、地质、海洋、气象、地理、测绘、环保以及军事侦查、导航制导等领域。近年随着遥感技术发展迅速，遥感影像变化检测作为最重要的关键技术之一，遥感影像变化检测在以上各方面均具有重大意义。

遥感影像变化检测是指通过图像处理技术手段对不同时相同区域的遥感图像进行比较，分析判断在此期间影像的变化，以达到对地面附属物检测的目的。而在该目标的实现过程中，存在以下问题：现有的图像处理方式使用获取的图像直接进行处理，具有图像规模巨大及在时间维度上数量庞大的特点造成比对检测的困难，以及高分辨率影像地形的投影差、阴影、纹理细节等因素，使得采用单一的检测手段很难准确的获得变化检测结果。基于以上两个问题，对于遥感图像的变化检测是一件非常费力需要大量时间的工作。而本文提出解决这些问题的方法就采用深度学习的方法利用计算机替代以往的工作模式，完成对遥感数据的变化信息提取。

发明内容

本发明提供一种遥感图像变化检测方法，针对目前遥感图像的变化检测耗时耗力的问题，结合深度学习，减少人工辨识遥感图像变化的劳动量。

根据本发明的一个方面，提供一种基于深度学习的遥感图像变化检测方法，包括如下步骤：

获取同一地区的不同时间的遥感图像；

对所述遥感图像进行预处理；

对所述预处理后的图像进行图像转化，并提取不同时间的遥感图像之间的差异特征；其中，所述对预处理后的图像进行图像转化，包括：将所述不同时间的遥感图像进行图像色彩匹配；将所述不同时间的遥感图像依次进行灰度处理、归一化处理以及坐标匹配；

根据所述差异特征训练深度学习模型以获得遥感图像变化检测模型；

根据所述遥感图像变化检测模型对不同时间的遥感图像进行变化检测。

在其中一个实施例中，所述对所述遥感图像进行预处理的步骤为对获取的遥感图像进行图像滤波处理。

在其中一个实施例中，所述进行滤波处理为进行中值滤波处理。

在其中一个实施例中，按照以下公式进行灰度处理：Gray＝ (R*30+G*59+B*11+50)/100；其中R、G、B分别表示三通道图层对应值。

在其中一个实施例中，按照以下公式进行归一化处理：

其中，S’表示遥感图像S归一化后的图像，max表示最大值操作，min表示最小值操作。

在其中一个实施例中，按照以下公式进行坐标匹配：

其中，1≤i≤m-M+1，1≤j≤n-N+1，p(i，j)为配准图像像素起始点坐标，S为被配准图像，T为配准图像，并且T为M×N的矩阵。

在其中一个实施例中，所述提取不同时间的遥感图像之间的差异特征的步骤为：

对归一化后的遥感图像进行求差异图处理；

对所述差异图进行样本标注；

提取差异图中的差异特征。

在其中一个实施例中，还包括生成遥感图像差异图像的步骤。

在其中一个实施例中，按照以下公式生成遥感图像差异图像M_i：

其中，S为被配准图像，T为配准图像。

在其中一个实施例中，所述深度学习模型依次包括输入层，第一卷积层和第二卷积层，池化层，第三卷积层，全连接层和分类函数层。

在其中一个实施例中，所述根据所述差异特征训练深度学习模型以获得遥感图像变化检测模型的步骤，包括：

将差异图像输入所述输入层，所述输入层调整输入端个数；

第一卷积层采用3*3*32个卷积核对差异图像进行特征提取；

第二卷积层采用3*3*64个卷积核对第一卷积层的输出进行特征提取；

通过池化层进行池化处理；

第三卷积层采用5*5*128卷积核对池化层输出的结果进行特征提取；

第三卷积层的输出依次通过全连接层和分类层。

本发明的有益效果包括：

根据本发明实施例的基于深度学习的遥感图像变化检测方法，获取同一地区的不同时间的遥感图像；对所述遥感图像进行预处理；对所述预处理后的图像进行图像转化，并提取不同时间的遥感图像之间的差异特征；其中，所述对预处理后的图像进行图像转化，包括：将所述不同时间的遥感图像进行图像色彩匹配；将所述不同时间的遥感图像依次进行灰度处理、归一化处理以及坐标匹配；根据所述差异特征训练深度学习模型以获得遥感图像变化检测模型；根据所述遥感图像变化检测模型对不同时间的遥感图像进行变化检测。该方法结合了深度学习与差异图提取两种方法，通过求差异图得出同一区域不同年份的遥感图像之间的差异，反应图像疑似局部变化特征，然后区分差异图中变化部分，并在此基础上进行样本扩容，以达到提高检测精确率的目的；并且，通过该样本集对深度学习算法进行训练，从而得到稳定的检测算法模型。本发明提供的方法简单，减少了人工辨识遥感图像变化的劳动量，并通过深度学习算法，实现自动检测的目的。并且，本方法考虑了不同载荷获取的图像在色彩上的一致性，将不同时间的遥感图像进行图像色彩匹配，再依次进行灰度处理、归一化处理以及坐标匹配，为下一步的灰度处理及坐标匹配做准备，保证了后期图像处理的精准度。

附图说明

通过阅读以下参照附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显，其中，相同或相似的附图标记表示相同或相似的特征。

图1示出本发明一实施例的基于深度学习的遥感图像变化检测方法流程图；

图2示出本发明另一实施例的原始图像1；

图3示出图2所示实施例的原始图像2；

图4示出图2所示实施例的色彩匹配结果图；

图5示出图2所示实施例的原始图像1的灰度处理结果；

图6示出图2所示实施例的原始图像2的灰度处理结果；

图7示出图2所示实施例的待坐标匹配图像；

图8示出图2所示实施例的坐标匹配结果；

图9示出图2所示实施例的差异图；

图10示出图2所示实施例的差异检测结果。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如上所述，在遥感影像变化检测的实现过程中，存在以下问题：具有图像规模巨大及在时间维度上数量庞大的特点造成比对检测的困难；高分辨率影像地形的投影差、阴影、文理细节等因素，使得采用单一的检测手段很难准确的获得变化检测结果。基于以上两个问题，对于遥感图像的变化检测是一件非常费力需要大量时间的工作。而本文提出采用深度学习的方法利用计算机替代以往的工作模式，完成对遥感数据的变化信息提取。

下面结合附图1所示实施例对本发明一种基于深度学习的遥感图像变化检测方法进行详细阐述。

图1所示，为本发明一实施例的基于深度学习的遥感图像变化检测方法流程图。参考图1，一种基于深度学习的遥感图像变化检测方法100，包括如下步骤：

步骤S110：获取同一地区的不同时间的遥感图像。

为了实现遥感影像变化检测，本发明需要对同一地区的不同时期的遥感图像进行处理。在这里不做限制的是，可以对同一地区不同时期的两幅或者多幅图像进行处理。

步骤S130：对所述遥感图像进行预处理。

对输入的图像进行预处理工作，其目的在于缩小不同时相遥感图像之间犹豫环境及设备之间的差异造成的误差，减小其差异图结果的误差。对所述遥感图像进行预处理的步骤为对获取的遥感图像进行图像滤波处理。

其中，进行滤波处理可以为进行中值滤波处理，滤除遥感图像中的随机噪音，以减少在生成差异图时因该噪音造成的影响。其方法是将目标像素及其周围8个像素灰度值进行排序，取中间值替换目标像素灰度值。

步骤S150：对所述预处理后的图像进行图像转化，并提取不同时间的遥感图像之间的差异特征。

其中，对预处理后的图像进行图像转化的步骤，包括：将不同时间的遥感图像进行图像色彩匹配；将不同时间的遥感图像依次进行灰度处理、归一化处理以及坐标匹配。

为了让不同载荷获取的图像能够在色彩上保持一致，对预处理后的图像进行色彩匹配。如果色彩不一致则会影响后期进行灰度处理以及坐标匹配的精确度。因此，进行色彩匹配也是为下一步的灰度处理及坐标匹配做准备，以保证后期图像处理的精准度。具体的，可以采用直方图匹配的方式进行色彩匹配。

并且，可以按照以下公式将上述的进行检测的彩色遥感图像转化为灰度图： Gray＝R*0.299+G*0.587+B*0.114；其中R、G、B分别表示三通道图层对应值，采用加权叠加的方法将其转化为灰度图。而在该过程中，为了提高运算速度，避免低效率的浮点运算，将公式转化为：Gray＝(R*30+G*59+B*11+50)/100。该算法为整数除法，在运算过程中可以加上50来实现四舍五入的目的。

可以按照以下公式进行归一化处理：

其中，S’表示遥感图像S归一化后的图像，max表示最大值操作，min表示最小值操作。

若是只对两个不同时期的遥感图像进行检测，还需要对另一时期的遥感图像T进行归一化处理：

可以按照以下公式进行坐标匹配：

其中，1≤i≤m-M+1，1≤j≤n-N+1，p(i，j)为配准图像像素起始点坐标，S为被配准图像，T为配准图像，并且T为M×N的矩阵。完成匹配之后，以p点坐标为起点将图像S裁切为M×N的图像矩阵。其目的在于使得差异图得出的可能变化区域相对准确。

步骤S150中，提取不同时间的遥感图像之间的差异特征的步骤为：对归一化后的遥感图像进行求差异图处理；对所述差异图进行样本标注；提取差异图中的差异特征。

并且，为了提高检测精确率，还可以进行样本扩容。则上述步骤S150还包括生成遥感图像差异图像集的步骤。可以按照以下公式，计算两种遥感图像的比值差异图，并对多个区域的遥感图像进行以上处理，生成遥感图像差异图集M_i：

其中，S为被配准图像，T为配准图像。

步骤S170：根据差异特征训练深度学习模型以获得遥感图像变化检测模型。

使用上述得到的差异图或者差异图集作为训练样本对深度学习算法进行训练，获得遥感图像变换检测模型。

其中，使用的深度学习模型总共包括七层，依次包括输入层，第一卷积层和第二卷积层，池化层，第三卷积层，全连接层和分类层。使用深度学习网络模型进行网络构建的方法为，将差异特征，具体为获取的差异图像作为输入，输入第一层输入层，输入层根据输入的差异图像调整输入端个数。然后依次经过两层卷积层，第一卷积层采用3*3*32个卷积核对差异图像进行特征提取，第二卷积层采用3*3*64个卷积核对第一卷积层的输出进行特征提取。使用两个卷积层连接，可以降低连接数量同时也增大了感受野。经过池化层后，第三卷积层采用5*5*128卷积核对池化层输出的结果进行特征提取，然后依次通过全连接层和分类函数层。

步骤S190：根据所述遥感图像变化检测模型对不同时间的遥感图像进行变化检测。

本发明为改进遥感影像变化检测的精度、速度及效率，将深度学习算法及变化检测算法相结合起来，提出的基于深度学习的遥感图像变化检测方法。该方法利用多种不同的图像处理方法对采集到的遥感图像进行预处理，主要包括滤波；对图像进行色彩匹配，然后将图像转化为灰度图、归一化并对影像进行坐标匹配；求出不同时相同一地区遥感图像差异图，得出其可能存在变化的区域；经过选择和标注，在差异图中标出变化的区域，通过对大量的图像重复上述工作，获取训练样本集合；用该样本集合训练深度学习网络，生成检测模型；最后利用该模型检测经过同样方式预处理的检测样本，得出变化检测结果。该方法结合了深度学习与差异图提取两种方法，通过求差异图得出同一区域不同年份的两张遥感图像之间的差异，反映图像疑似局部变化特征，然后通过人工分类的方法，区分差异图中变化部分以进行样本标注，并在此基础上进行样本扩容，以达到提高检测精确率的目的；然后通过该样本集对深度学习算法进行训练，从而得到稳定的检测算法模型。该方法思路简单明确，通过求差异图的方法减少人工辨识遥感图像变化的劳动量，并通过深度学习算法，实现自动检测的目的。

下面以图2-10所示实施例为例，对上述遥感影像变化检测方法进行详细的阐述。

图2示出本发明另一实施例的原始图像1。

图3示出图2所示实施例的原始图像2。

图4示出图2所示实施例的色彩匹配结果图。

图5示出图2所示实施例的原始图像1的灰度处理结果。

图6示出图2所示实施例的原始图像2的灰度处理结果。

图7示出图2所示实施例的待坐标匹配图像。

图8示出图2所示实施例的坐标匹配结果。

图9示出图2所示实施例的差异图。

图10示出图2所示实施例的差异检测结果。

其中，分别提供第一时间获取的原始图像1和第二时间获取的原始图像2。

第一步，为了缩小不同时相遥感图像之间犹豫环境及设备之间的差异造成的误差，减小其差异图结果的误差，对输入的图像进行包含几何校正、辐射校正、滤波的图像预处理工作，得到如图2和图3所示的原始图像1和原始图像2。

第二步，将不同时期的遥感图像信息进行色彩匹配，其结果如图4。然后将原始图像1和原始图像2分别转化为灰度图，如图5-6。进一步进行归一化、影像坐标匹配等处理。该步骤进行坐标匹配目的在于将相同地区完全重叠，以减少求差异图是造成的误差。为了证明其可靠性，从图5中截图获取图7,并在图 6中进行坐标匹配，使得匹配范围大大增加，从而证明其准确性。所的结果为图 8,对图7和图8进行仿真，结果得出两幅图像相似度为86.3％，该相似度主要由于选择标准图与匹配图该区域有一定的变化，该结果与真实结果一致。

第三步，对已经过预处理的不同时期的遥感图像求差异图，如图9，得出不同时期同一地区可能发生变化的区域，以减少计算时间。

第四步，对已获得的差异图做样本标注，可以进行人工标注的方法，提取差异图中变化部分，并将该部分作为深度学习训练样本。

第五步，使用第四步中得到的训练样本对深度学习算法进行训练，获得遥感图像变换检测模型。

第六步，通过第五步中得到的检测模型对经过上述第一步至第三步的遥感图像进行检测，得出变化检测结果，如图10所示。

该方法提供的思路简单明确，通过求差异图的方法减少人工辨识遥感图像变化的劳动量，并通过深度学习算法，实现自动检测的目的。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种基于深度学习的遥感图像变化检测方法，其特征在于，包括如下步骤：

获取同一地区的不同时间的遥感图像；

对所述遥感图像进行预处理；

对所述预处理后的图像进行图像转化，并提取不同时间的遥感图像之间的差异特征；其中，所述对预处理后的图像进行图像转化，包括：将所述不同时间的遥感图像进行图像色彩匹配；将所述不同时间的遥感图像依次进行灰度处理、归一化处理以及坐标匹配；根据所述差异特征训练深度学习模型以获得遥感图像变化检测模型；

根据所述遥感图像变化检测模型对不同时间的遥感图像进行变化检测。

2.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述对所述遥感图像进行预处理的步骤为对获取的遥感图像进行滤波处理。

3.根据权利要求2所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述进行滤波处理为进行中值滤波处理。

4.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，按照以下公式进行灰度处理：Gray＝(R*30+G*59+B*11+50)/100；其中R、G、B分别表示三通道图层对应值。

5.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，按照以下公式进行归一化处理：

其中，S’表示遥感图像S归一化后的图像，max表示最大值操作，min表示最小值操作。

6.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，按照以下公式进行坐标匹配：

其中，1≤i≤m-M+1，1≤j≤n-N+1，p(i，j)为配准图像像素起始点坐标，S为被配准图像，T为配准图像，并且T为M×N的矩阵。

7.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述提取不同时间的遥感图像之间的差异特征的步骤为：

对归一化后的遥感图像进行求差异图处理；

对所述差异图进行样本标注；

提取差异图中的差异特征。

8.根据权利要求7所述的基于深度学习的遥感图像变化检测方法，其特征在于，还包括生成遥感图像差异图像的步骤。

9.根据权利要求8所述的基于深度学习的遥感图像变化检测方法，其特征在于，按照以下公式生成遥感图像差异图像M_i：

其中，S为被配准图像，T为配准图像。

10.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述深度学习模型依次包括输入层，第一卷积层和第二卷积层，池化层，第三卷积层，全连接层和分类函数层。

11.根据权利要求10所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述根据所述差异特征训练深度学习模型以获得遥感图像变化检测模型的步骤，包括：

将差异图像输入所述输入层，所述输入层调整输入端个数；

第一卷积层采用3*3*32个卷积核对差异图像进行特征提取；

第二卷积层采用3*3*64个卷积核对第一卷积层的输出进行特征提取；

通过池化层进行池化处理；

第三卷积层采用5*5*128卷积核对池化层输出的结果进行特征提取；

第三卷积层的输出依次通过全连接层和分类层。