CN112233062A - 地物变化检测方法、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种地物变化检测方法、电子装置和存储介质，其中，该地物变化检测方法包括：获取目标区域在不同时期的第一遥感影像和第二遥感影像；从第一遥感影像中获取多个第一分块图像，从第二遥感影像中获取与多个第一分块图像一一相应的多个第二分块图像，以及将每一对相应的第一分块图像和第二分块图像作为一个图像组，得到多个图像组；使用第一深度学习网络模型分别处理多个图像组，得到与多个图像组一一对应的多个变化检测分块图像；拼接多个变化检测分块图像，得到变化检测图像。通过本申请，解决了基于高分辨率遥感影像的地物变化检测效率低的问题，提高了地物变化检测效率。

Description

地物变化检测方法、电子装置和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及地物变化检测方法、电子装置和存储介质。

背景技术

在高分辨率遥感影像算法中，大部分的软件都在如何解析已经保存的tiff格式的遥感影像文件，对tiff文件进行显示，以及GPS的计算。但是对于tiff中的图像进行智能的分析却很少。

相关技术中通常要结合GIS数据来进行遥感影像中地物特征的提取，然而GIS数据的获取、更新都不容易。也有的相关技术采用深度学习方法来自动提取遥感影像中的地物特征以及检测遥感影像中的地物变化，但是高分辨率遥感影像的分辨率最高可能达到数十万甚至百万级别，若使用深度学习模型处理这种高分辨率遥感影像，深度学习的模型的预测阶段需要耗费大量的计算机资源和时间，导致基于高分辨率遥感影像的地物变化检测效率低。

发明内容

本申请实施例中提供了一种地物变化检测方法、电子装置和存储介质，以至少解决相关技术中基于高分辨率遥感影像的地物变化检测效率低的问题。

第一方面，本申请实施例中提供了一种地物变化检测方法，包括：获取目标区域在不同时期的第一遥感影像和第二遥感影像；从所述第一遥感影像中获取多个第一分块图像，从所述第二遥感影像中获取与多个所述第一分块图像一一相应的多个第二分块图像，以及将每一对相应的所述第一分块图像和所述第二分块图像作为一个图像组，得到多个所述图像组；使用第一深度学习网络模型分别处理多个所述图像组，得到与多个所述图像组一一对应的多个变化检测分块图像，其中，所述变化检测分块图像用于表示图像组之间的地物变化区域；拼接多个所述变化检测分块图像，得到用于表示所述第一遥感影像和所述第二遥感影像之间的地物变化区域的变化检测图像。

在其中一些实施例中，在将每一对相应的所述第一分块图像和所述第二分块图像作为一个图像组，得到多个所述图像组之后，所述方法还包括：使用第二深度学习网络模型分别处理多个所述图像组，得到与多个所述图像组一一对应的多个第一地物类型分割分块图像和多个第二地物类型分割分块图像，其中，所述第一地物类型分割分块图像用于表示所述图像组中的第一分块图像中地物类型的分割结果，所述第二地物类型分割分块图像用于表示所述图像组中的第二分块图像中地物类型的分割结果；拼接多个所述第一地物类型分割分块图像，得到用于表示所述第一遥感影像的地物类型的分割结果的第一地物类型分割图像，以及拼接多个所述第二地物类型分割分块图像，得到用于表示所述第二遥感影像的地物类型的分割结果的第二地物类型分割图像。

在其中一些实施例中，在拼接多个所述第一地物类型分割分块图像，得到用于表示所述第一遥感影像的地物类型的分割结果的第一地物类型分割图像，以及拼接多个所述第二地物类型分割分块图像，得到用于表示所述第二遥感影像的地物类型的分割结果的第二地物类型分割图像之后，所述方法还包括：根据所述变化检测图像，确定所述第一遥感影像和所述第二遥感影像之间地物变化区域；根据所述第一地物类型分割图像和所述第二地物类型分割图像，确定所述地物变化区域的地物类型变化结果；在所述第一遥感影像和/或所述第二遥感影像中标注所述地物变化区域和所述地物类型变化结果。

在其中一些实施例中，根据所述变化检测图像，确定所述第一遥感影像和所述第二遥感影像之间地物变化区域包括：在所述变化检测图像中查找连通区域，其中，所述变化检测图像中的第一像素值表示所述地物变化区域，所述变化检测图像中与所述第一像素值不同的第二像素值表示除所述地物变化区域之外的其他区域；生成所述连通区域的外接矩形，并获取所述外接矩形的坐标信息，其中，所述外接矩形的坐标信息用于表示所述地物变化区域。

在其中一些实施例中，根据所述第一地物类型分割图像和所述第二地物类型分割图像，确定所述地物变化区域的地物类型变化结果包括：从所述第一地物类型分割图像中获取所述连通区域中存在地物变化的至少一个地物变化点的变化前的第一地物类型信息，以及从所述第二地物类型分割图像中获取所述连通区域中至少一个所述地物变化点的变化后的第二地物类型信息；根据所述第一地物类型信息和第二地物类型信息，确定所述地物变化点的数量最大的相同地物类型变化方式为所述地物变化区域的地物类型变化结果。

在其中一些实施例中，根据所述第一地物类型信息和第二地物类型信息，确定所述地物变化点的数量最大的相同地物类型变化方式为所述地物变化区域的地物类型变化结果包括：生成混淆矩阵，其中，所述混淆矩阵的行列分别表示变化前的地物类型和变化后的地物类型，所述混淆矩阵的每个元素位置对应于一种地物类型变化方式；遍历每个地物变化点的所述第一地物类型信息和所述第二地物类型信息，确定每个地物变化点的地物类型变化方式，并在所述混淆矩阵中相应的元素位置记录相应的地物类型变化方式的地物变化点的数量；在遍历完所述连通区域中全部的地物变化点之后，确定所述混淆矩阵中数值最大的元素，该元素位置对应的地物类型变化方式为所述地物变化区域的地物类型变化结果。

在其中一些实施例中，在根据所述变化检测图像，确定所述第一遥感影像和所述第二遥感影像之间地物变化区域之后，所述方法还包括：获取所述第一遥感影像和/或所述第二遥感影像的四个非共线位置的经纬度坐标信息；通过双线性插值方法确定所述地物变化区域的经纬度坐标信息；在所述第一遥感影像和/或所述第二遥感影像中标注所述地物变化区域的经纬度坐标信息。

在其中一些实施例中，多个所述第一分块图像中相邻的第一分块图像具有重叠区域；多个所述第二分块图像中相邻的第二分块图像具有重叠区域。

在其中一些实施例中，在获取目标区域在不同时期的第一遥感影像和第二遥感影像之后，所述方法还包括：对所述第一遥感影像和所述第二遥感影像进行预处理，其中，所述预处理包括但不限于以下至少之一：图像对齐、图像裁剪、图像降采样、图像格式转换。

在其中一些实施例中，所述第一深度学习网络模型包括U-Net模型；第二深度学习网络模型包括HR-Net模型。

第二方面，本申请实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的地物变化检测方法。

第三方面，本申请实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的地物变化检测方法。

相比于相关技术，本申请实施例中提供的地物变化检测方法、电子装置和存储介质，解决了基于高分辨率遥感影像的地物变化检测效率低的问题，提高了地物变化检测效率。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明实施例的地物变化检测方法的终端的硬件结构框图；

图2是根据本申请实施例的地物变化检测方法的流程图；

图3是根据本申请优选实施例的地物变化检测方法的流程图；

图4是根据本申请优选实施例的连续裁剪遥感影像的示意图；

图5是根据本申请优选实施例的重叠50％裁剪遥感影像的示意图；

图6是根据本申请优选实施例的膨胀拼接的示意图；

图7是根据本申请优选实施例的U-Net网络的结构示意图；

图8是根据本申请优选实施例的HR-Net网络的结构示意图；

图9是根据本申请优选实施例的地物变化检测结果的示意图；

图10是根据本申请优选实施例的地物类型的分割结果的示意图；

图11是根据本申请优选实施例的混淆矩阵的示意图；

图12是根据本申请优选实施例的标注检测结果的遥感影像的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所做出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指向相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它的实施例结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他地包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅是区别类似的对象，不代表针对对象的特定排序。

本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的地物变化检测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的地物变化检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例中提供了一种地物变化检测方法，图2是根据本申请实施例的地物变化检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取目标区域在不同时期的第一遥感影像和第二遥感影像。

在本步骤中，第一遥感影像和第二遥感影像是通过航空摄影、航空扫描或者微波雷达等方式获取到的相同目标区域的影像。

遥感影像通常被保存为tiff格式的图像文件，而目前深度学习网络对于RGB格式的图像文件的处理效果更好，因此，在获得遥感影像之后，还可以对遥感影像进行图像格式转换的预处理，从而将tiff格式的遥感影像转换为RGB格式的遥感影像。

除了格式转换的预处理之外，对遥感影像还可以进行诸如图像对齐、图像裁剪、图像降采样等一种或者多种预处理。

图像对齐可以采用刚性变换或者仿射变换的方式，使得第一遥感影像和第二遥感影像能够对齐而不影响影像中的图像内容的相对形状。图像对齐的目的在于在后续步骤中进行图像分块和深度学习网络模型的处理时，所得到的分块图像严格对应于相同的现实区域位置和范围，从而提高深度学习网络模型的预测结果的准确性。

图像裁剪则是指将第一遥感影像和第二遥感影像裁剪为相同尺寸的图像；尤其是将图像裁剪为长、宽均为2像素的整数倍数的图像，能够提高计算机资源的利用率，提高深度学习网络模型的处理效率。

在本申请实施例中，当第一遥感影像和第二遥感影像的图像分辨率相同时，通常可以不进行图像降采样处理，以尽量使用更高的图像分辨率的遥感影像进行地物变化检测，保证图像处理的精度和地物变化检测的精度。然而，在遥感影像的分辨率达到百万级别等情况下，若保持相同分辨率进行地物检测处理，受到例如RGB格式图像支持的最大分辨率的限制，则也可以对遥感影像进行降采样处理。在另一些情况下，例如第一遥感影像与第二遥感影像的分辨率不同的情况下，通过降采样处理将分辨率较高的遥感影像的分辨率，以保证两个遥感影像的分辨率相同。

步骤S202，从第一遥感影像中获取多个第一分块图像，从第二遥感影像中获取与多个第一分块图像一一相应的多个第二分块图像，以及将每一对相应的第一分块图像和第二分块图像作为一个图像组，得到多个图像组。

在本步骤中，对于尺寸、分辨率相同的第一遥感影像和第二遥感影像，使用相同的图像裁剪或分割方式进行分块，得到的每个图像组中的两个分块图像分别来自第一遥感影像和第二遥感影像，并且这两个分块图像对应于相同尺寸和相同范围的实际区域。

在进行图像分块时，优选是将每个遥感影像分块为形状、尺寸完全相同的分块图像；也可以分块为不同尺寸的分块图像，但是相同图像组的两个分块图像的尺寸和形状将保持一致。在一些实施例中，同一遥感影像中获得的分块图像的形状也可以不相同。

在其中一些实施例中，遥感影像连续裁剪得到多个分块图像，相邻的分块图像之间没有重叠区域。在另一些实施例中，遥感影像按照设定尺寸大小获取分块图像，相邻的分块图像之间可以存在重叠区域，未重叠区域尽量位于分块图像的中央。通过连续裁剪得到的多个分块图像的图像总大小与原始遥感影像的大小相同，能够减少后续处理中处理图像的总量，保障后续图像处理的效率。而相邻的分块图像之间存在重叠区域则可以保障后续图像处理中的图像拼接质量。

步骤S203，使用第一深度学习网络模型分别处理多个图像组，得到与多个图像组一一对应的多个变化检测分块图像，其中，变化检测分块图像用于表示图像组之间的地物变化区域。

本实施例中的第一深度学习网络模型是被训练为根据图像组中的两个分块图像来预测这两个分块图像之间的地物变化区域的，第一深度学习网络模型训练的方式可以采用监督学习的方式，其训练样本集里包括多个成对的遥感影像，以地物变化区域标注信息作为监督，更新该第一深度学习网络模型的参数。

本实施例的第一深度学习网络模型可以不限于相关技术中的任意深度学习网络模型，优选采用U-Net模型。

步骤S204，拼接多个变化检测分块图像，得到用于表示第一遥感影像和第二遥感影像之间的地物变化区域的变化检测图像。

在采用第一深度学习网络模型获得每组图像组对应的变化检测分块图像之后，将这些变化检测分块图像进行与分块方式对应的拼接方式进行拼接，即得到用于表示第一遥感影像和第二遥感影像之间的地物变化区域的变化检测图像。

通过上述步骤S201至步骤S204，将高分辨率的遥感影像分割成分块图像，然后再经过第一深度学习网络模型处理，从理论上而言，可以处理任何分辨率的遥感影像，对计算机处理性能的要求不高，解决了基于高分辨率遥感影像的地物变化检测效率低的问题，提高了地物变化检测效率。

上述将遥感影像分块处理的方法同样可以应用于地物变化检测的其他方面，例如，在地物变化检测的地物类型检测方面。在其中一些实施例中，在步骤S202之后，还可以使用第二深度学习网络模型分别处理多个图像组，得到与多个图像组一一对应的多个第一地物类型分割分块图像和多个第二地物类型分割分块图像，其中，第一地物类型分割分块图像用于表示图像组中的第一分块图像中地物类型的分割结果，第二地物类型分割分块图像用于表示图像组中的第二分块图像中地物类型的分割结果；然后，拼接多个第一地物类型分割分块图像，得到用于表示第一遥感影像的地物类型的分割结果的第一地物类型分割图像，以及拼接多个第二地物类型分割分块图像，得到用于表示第二遥感影像的地物类型的分割结果的第二地物类型分割图像。

本实施例中的第二深度学习网络模型是被训练为根据分块图像来预测这个分块图像的地物类型的分割结果，第二深度学习网络模型训练的方式可以采用监督学习的方式，其训练样本集里包括多个遥感影像，以地物类型标注信息作为监督，更新该第二深度学习网络模型的参数。本实施例的第二深度学习网络模型可以不限于相关技术中的任意深度学习网络模型，优选采用HR-Net模型。

通过上述的方式，能够分别获得第一遥感影像的地物类型分割结果和第二遥感影像的地物类型分割结果，同样的提高了地物类型分割的效率。

上述实施例中能够获得用于表示第一遥感影像和第二遥感影像之间的地物变化区域的变化检测图像、用于表示第一遥感影像的地物类型的分割结果的第一地物类型分割图像，以及用于表示第二遥感影像的地物类型的分割结果的第二地物类型分割图像。在此基础上，还可以在遥感影像上标注地物类型变化结果，以方便查看遥感影像的检测结果。例如，在其中一些实施例中，首先，根据变化检测图像，确定第一遥感影像和第二遥感影像之间地物变化区域；然后，根据第一地物类型分割图像和第二地物类型分割图像，确定地物变化区域的地物类型变化结果；最后，在第一遥感影像和/或第二遥感影像中标注地物变化区域和地物类型变化结果。

在得到变化检测图像之后，可以使用连通域算法来确定各个连续的地物变化区域。例如，根据变化检测图像，确定第一遥感影像和第二遥感影像之间地物变化区域时，可以在变化检测图像中查找连通区域，其中，变化检测图像中的第一像素值表示地物变化区域，变化检测图像中与第一像素值不同的第二像素值表示除地物变化区域之外的其他区域；生成连通区域的外接矩形，并获取外接矩形的坐标信息，其中，外接矩形的坐标信息用于表示地物变化区域。在上述实施例中，使用外接矩形的两个对角的坐标信息就能够表示该外接矩形。

在其中一些实施例中，根据第一地物类型分割图像和第二地物类型分割图像，确定地物变化区域的地物类型变化结果时，可以从第一地物类型分割图像中获取连通区域中存在地物变化的至少一个地物变化点的变化前的第一地物类型信息，以及从第二地物类型分割图像中获取连通区域中至少一个地物变化点的变化后的第二地物类型信息；根据第一地物类型信息和第二地物类型信息，确定地物变化点的数量最大的相同地物类型变化方式为地物变化区域的地物类型变化结果。由于相同连通区域内各个地物变化点的地物类型变化方式可能不同，通过上述方式，将连通区域中数量最大的具有相同地物类型变化方式的地物变化点所对应的地物类型变化方式作为该连通区域的地物类型变化结果。其中，每个地物变化点可以是一个像素点。

在其中一些实施例中，可以基于混淆矩阵来确定地物变化点的数量最大的相同地物类型变化方式为地物变化区域的地物类型变化结果。例如，生成混淆矩阵，其中，混淆矩阵的行列分别表示变化前的地物类型和变化后的地物类型，混淆矩阵的每个元素位置对应于一种地物类型变化方式；遍历每个地物变化点的第一地物类型信息和第二地物类型信息，确定每个地物变化点的地物类型变化方式，并在混淆矩阵中相应的元素位置记录相应的地物类型变化方式的地物变化点的数量；在遍历完连通区域中全部的地物变化点之后，确定混淆矩阵中数值最大的元素，该元素位置对应的地物类型变化方式为地物变化区域的地物类型变化结果。

在遥感影像上标注的检测结果还可以包括经纬度坐标信息。在其中一些实施例中，在根据变化检测图像，确定第一遥感影像和第二遥感影像之间地物变化区域之后，还可以获取第一遥感影像和/或第二遥感影像的四个非共线位置的经纬度坐标信息；通过双线性插值方法确定地物变化区域的经纬度坐标信息；在第一遥感影像和/或第二遥感影像中标注地物变化区域的经纬度坐标信息。通过上述的方式，无需预先获得遥感影像上每个位置的经纬度坐标信息，而是根据遥感影像上四个非共线位置的经纬度坐标信息，通过双线性插值方法来确定地物变化区域的经纬度坐标信息。这四个非共线位置优选选取遥感影像的四角位置，该四角位置的经纬度坐标信息更容易获得，且当选取四角位置的经纬度坐标信息后，更方便采用双线性插值方法计算遥感影像中任意位置的经纬度坐标信息。

需要说明的是，在遥感影像上经纬度的分布均匀的情况下，也可以仅通过遥感影像上的两个位置的经纬度坐标信息来计算遥感影像上任意位置的经纬度坐标信息。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，在第一遥感影像和/或第二遥感影像中标注地物变化区域和地物类型变化结果的步骤，和在第一遥感影像和/或第二遥感影像中标注地物变化区域的经纬度坐标信息的步骤，这两个步骤可以先后执行，也可以同时执行。

下面通过优选实施例对本申请进行描述和说明，在该优选实施例中第一深度学习网络模型采用U-Net模型，第二深度学习网络模型采用HR-Net模型。

本优选实施例中提供了一种基于高分辨率遥感影像的地物变化检测方法，该检测方法用于检测不同时期同一目标区域的两张tiff格式的高分辨率遥感影像之间的差异，并且检测地物类型变化方式。

图3是根据本申请优选实施例的地物变化检测方法的流程图。如图3所示，该流程图的输入包括两个部分，早期的高分辨率遥感影像(相当于上述实施例的第一遥感影像)和近期的高分辨率遥感影像(相当于上述实施例的第二遥感影像)。在该流程图中，首先根据裁剪的方式，将高分辨率的遥感影像裁剪为小分辨率的RGB图像；然后将连续的小块图像使用深度学习中的语义分割和变化检测网络进行预测，所有的预测结果根据拼接方式拼接成高分辨率的大图，然后计算变化检测结果中的连通区域，根据连通区域排名，输出连通区域中每个坐标的原始类型、变化后的类型、在世界坐标中真实的经纬度信息。

下面对该流程图的各个步骤进行说明。该流程包括如下步骤：

步骤S300，获取早期的高分辨率遥感影像和近期的高分辨率遥感影像。

步骤S301，选择高分辨率影像的裁剪及拼接方式，并使用选择的裁剪方式裁剪得到多个分块图像。

在本实施例中使用高分辨率遥感影像作为输入，由于图像类型限制，目前只支持到32768像素×32768像素的分辨率，理论上能支持到十万，百万级别的高分辨率影像。由于高分辨率影像内存占用空间高，使用深度学习网络在CPU上进行预测会大大降低效率，因此本实施例中使用裁剪的方式，将高分辨率按照连续或者重叠的方式进行裁剪，重叠区域大小和裁剪后的分块图像的大小可以手动定制。

在本优选实施例中，使用512像素×512像素的目标长宽进行裁剪，深度学习模型对于2像素整数倍数的图像运算效率更高。

图4是根据本申请优选实施例的连续裁剪遥感影像的示意图，如图4所示，连续裁剪遥感影像得到的分块图像相互之间没有重叠区域。图5是根据本申请优选实施例的重叠50％裁剪遥感影像的示意图，如图5所示，粗实线和粗虚线分别表示两个分块图像，在相邻的分块图像之间有50％的区域重叠。

步骤S302，裁剪后的分块图像进行分组，将每个图像组送入基于U-Net模型的变化检测网络进行地物变化检测，每个分块图像送入基于HR-Net模型的语义分割网络进行语义分割检测。

步骤S303，拼接深度学习网络输出的结果图像。

每个网络的输出结果也是图像，且尺寸和分辨率与输入图像相同，根据在步骤S301中选择的裁剪方式对应的拼接方式，可以将结果图像拼接成与初始的遥感影像相同尺寸的图像。

考虑到拼接存在拼缝，可选取重叠拼接方式，相应地采用膨胀拼接的方式进行拼接，从而消除拼缝。若选取连续裁剪方式，因为相邻分块图像间无重叠区域，故而无需采用膨胀拼接方式，但可能存在图像拼接导致的拼缝。

图6是根据本申请优选实施例的膨胀拼接的示意图，如图所示，考虑到最外围一圈小图不能扩胀，因此在膨胀拼接时对最外层一圈小图进行直接拼接。除了最外层一圈的小图，每张图都取位于中心的一小块图像做拼接，如图6中的黑色正方形表示的图像区域。在分块图像的尺寸为512像素×512像素的图像时，在图像膨胀拼接时使用256像素×256像素尺寸的图像块做拼接，可以有效的去除拼接时产生的拼缝。

在上述步骤S302中，使用U-Net网络作为变化检测的主要网络。图7是根据本申请优选实施例的U-Net网络的结构示意图，如图7所示，该U-Net网络主要由编码器和解码器两个部分组成，编码器部分使用改进版的VGG网络作为主要的特征提取网络，每次经过一个池化层，就缩小一个尺度，到最后可以得到五个不同尺度的特征层。解码器部分由一系列上采样层组成。一个上采样层对应一个池化层，特征层不但来自高维度特征层的上采样，而且还融合和来自编码器中相同尺度的特征层。这样的编解码器融合了更多高维度的语义信息和低维度的空间信息。

除此以外，为适应变化检测的输入，U-Net网络使用双影像输入，将双影像图像叠加在一起作为U-Net网络的输入，能够更好的对比相同位置的变化信息。

在上述步骤S302中，使用HR-Net网络作为语义分割的网络，HR-Net网络在语义分割方面的应用在公开数据集上取得了最优异的成绩。图8是根据本申请优选实施例的HR-Net网络的结构示意图，如图8所示，HR-Net网络使用并行连接高分辨率与低分辨率的特征层，在第一行中的所有特征层都保持了高分辨率的特征，网络没有因为内存等原因进行下采样丢失原始高分辨率的信息。在第二第三层进行上采样的时候，不是通过插值进行恢复，而是直接与原始高分辨率的特征进行融合，在提取空间特征信息上会比ResNet等丢弃高分辨率的深度学习网络更加优秀，更加精确。除此以外，在不同阶段，HR-Net网络融合相同深度和相似的低分辨率特征图像来提高高分辨率的语义特征信息。在最后阶段，HR-Net网络融合不同尺度的信息，进行最后的预测，不仅充分使用的了低分辨率的特征，而且保留了精度较高的空间特征，使得最后的结果更加优秀。

步骤S304，计算地物变化区域的连通区域。

在步骤S301中将高分辨率遥感影像进行切分，切分后的分块图像经过步骤S302变化检测和语义分割后得到一系列的变化检测结果和语义分割结果，在步骤S303中再进行对应拼接，得到地物变化检测大图和语义分割大图。图9是根据本申请优选实施例的地物变化检测结果的示意图，图9为二值图像，白色区域表示地物变化区域，黑色区域表示地物未变化区域。图10是根据本申请优选实施例的地物类型的分割结果的示意图，图10中使用不同的颜色标注不同的地物类型。

本实施例中，根据变化检测的高分辨率结果，使用连通域算法提取出图像中的所有连通区域。

步骤S305，地物变化信息统计和标注。

在本步骤中计算下列几个信息：

1、外接矩形，外接矩形即是连通区域的最小以及最大的x，y坐标。

2、GPS坐标(即经纬度坐标)。例如，根据高分辨率遥感影像中的地理信息和映射方式，计算出宽度为width，高度为height的高分辨率遥感影像左上gps_ul，右上gps_ur，左下gps_dl，右下gps_dr的GPS坐标，然后根据变化点的图像坐标(x，y)到上述四个角点的距离，使用双线性插值方法，计算每个连通区域中心点的GPS信息(longitude，latitude)，公式如下：

up_long＝(gps_ul*longitude-gps_ur*longitude)/width*x

down_long＝((gps_dl*latitude-gps_dl*longitude))/width*x

longitude＝((up_long+down_long))/2+gps_ul*longitude

left_lat＝(gps_ul*latitude-gps_dl*latitude)/height*y

right_lat＝((gps_ur*latitude-gps_dr*latitude))/height*y

latitude＝((left_lat+right_lat))/2+gps_ul*latitude

3、变化前后地物类型。在本实施例中采用混淆矩阵计算地物类型变化方式。图11是根据本申请优选实施例的混淆矩阵的示意图，参考图11，在本实施例中，遍历单个连通区域，将每个变化点的类型记录到混淆矩阵confMatrix，行表示变化前语义类型，列表示变化后语义类型，取第1行第3列的混淆矩阵位置p＝Max(confMatrix)，则该区域整体变化前语义类型为p所在行表示的语义类型(居民点)，变化后语义类型为p所在列的语义类型(江河)。

最后将每个变化连通区域按照面积从大到小的顺序进行排序，并标注在变化后的遥感影像中。图12是根据本申请优选实施例的标注检测结果的遥感影像的示意图，如图12所示，粗实线表示发生地物变化的连通区域，其外接矩形表示变化检测网络输出的检测结果，外接矩形中的黑点代表连通区域的中心，文字表示该中心位置的经纬度坐标信息、变化前后的地物类型信息。

综上所述，本申请提供的实施例和优选实施方式，实现了一种基于高分辨率遥感影像的地物变化检测方法，该方法可以适用于高分辨率的遥感影像，自动计算变化区域，并且显示变化区域在真实世界的位置信息和变化前后的地物信息；本实施例中提出使用神经网络对遥感影像进行变化检测和语义分割，在数据充足的情况可以有效的避免因遥感区域改变而降低变化检测的精度，提高整个项目的鲁棒性和准确性；本实施例中使用了双线性插值方式快速计算GPS，在较小的精度损失下，提高计算效率；并且还使用混淆矩阵计算变化区域整体的变化类型；本实施例中使用了膨胀拼接方法拼接裁剪后的遥感小图，可以有效去除拼接后存在拼缝的问题。

本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标区域在不同时期的第一遥感影像和第二遥感影像。

S2，从第一遥感影像中获取多个第一分块图像，从第二遥感影像中获取与多个第一分块图像一一相应的多个第二分块图像，以及将每一对相应的第一分块图像和第二分块图像作为一个图像组，得到多个图像组。

S3，使用第一深度学习网络模型分别处理多个图像组，得到与多个图像组一一对应的多个变化检测分块图像，其中，变化检测分块图像用于表示图像组之间的地物变化区域。

S4，拼接多个变化检测分块图像，得到用于表示第一遥感影像和第二遥感影像之间的地物变化区域的变化检测图像。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在此不再赘述。

另外，结合上述实施例中的地物变化检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种地物变化检测方法。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种地物变化检测方法，其特征在于包括：

获取目标区域在不同时期的第一遥感影像和第二遥感影像；

从所述第一遥感影像中获取多个第一分块图像，从所述第二遥感影像中获取与多个所述第一分块图像一一相应的多个第二分块图像，以及将每一对相应的所述第一分块图像和所述第二分块图像作为一个图像组，得到多个所述图像组；

使用第一深度学习网络模型分别处理多个所述图像组，得到与多个所述图像组一一对应的多个变化检测分块图像，其中，所述变化检测分块图像用于表示图像组之间的地物变化区域；

拼接多个所述变化检测分块图像，得到用于表示所述第一遥感影像和所述第二遥感影像之间的地物变化区域的变化检测图像。

2.根据权利要求1所述的方法，其特征在于，在将每一对相应的所述第一分块图像和所述第二分块图像作为一个图像组，得到多个所述图像组之后，所述方法还包括：

使用第二深度学习网络模型分别处理多个所述图像组，得到与多个所述图像组一一对应的多个第一地物类型分割分块图像和多个第二地物类型分割分块图像，其中，所述第一地物类型分割分块图像用于表示所述图像组中的第一分块图像中地物类型的分割结果，所述第二地物类型分割分块图像用于表示所述图像组中的第二分块图像中地物类型的分割结果；

拼接多个所述第一地物类型分割分块图像，得到用于表示所述第一遥感影像的地物类型的分割结果的第一地物类型分割图像，以及拼接多个所述第二地物类型分割分块图像，得到用于表示所述第二遥感影像的地物类型的分割结果的第二地物类型分割图像。

3.根据权利要求2所述的方法，其特征在于，在拼接多个所述第一地物类型分割分块图像，得到用于表示所述第一遥感影像的地物类型的分割结果的第一地物类型分割图像，以及拼接多个所述第二地物类型分割分块图像，得到用于表示所述第二遥感影像的地物类型的分割结果的第二地物类型分割图像之后，所述方法还包括：

根据所述变化检测图像，确定所述第一遥感影像和所述第二遥感影像之间地物变化区域；

根据所述第一地物类型分割图像和所述第二地物类型分割图像，确定所述地物变化区域的地物类型变化结果；

在所述第一遥感影像和/或所述第二遥感影像中标注所述地物变化区域和所述地物类型变化结果。

4.根据权利要求3所述的方法，其特征在于，根据所述变化检测图像，确定所述第一遥感影像和所述第二遥感影像之间地物变化区域包括：

在所述变化检测图像中查找连通区域，其中，所述变化检测图像中的第一像素值表示所述地物变化区域，所述变化检测图像中与所述第一像素值不同的第二像素值表示除所述地物变化区域之外的其他区域；

生成所述连通区域的外接矩形，并获取所述外接矩形的坐标信息，其中，所述外接矩形的坐标信息用于表示所述地物变化区域。

5.根据权利要求4所述的方法，其特征在于，根据所述第一地物类型分割图像和所述第二地物类型分割图像，确定所述地物变化区域的地物类型变化结果包括：

从所述第一地物类型分割图像中获取所述连通区域中存在地物变化的至少一个地物变化点的变化前的第一地物类型信息，以及从所述第二地物类型分割图像中获取所述连通区域中至少一个所述地物变化点的变化后的第二地物类型信息；

根据所述第一地物类型信息和第二地物类型信息，确定所述地物变化点的数量最大的相同地物类型变化方式为所述地物变化区域的地物类型变化结果。

6.根据权利要求5所述的方法，其特征在于，根据所述第一地物类型信息和第二地物类型信息，确定所述地物变化点的数量最大的相同地物类型变化方式为所述地物变化区域的地物类型变化结果包括：

生成混淆矩阵，其中，所述混淆矩阵的行列分别表示变化前的地物类型和变化后的地物类型，所述混淆矩阵的每个元素位置对应于一种地物类型变化方式；

遍历每个地物变化点的所述第一地物类型信息和所述第二地物类型信息，确定每个地物变化点的地物类型变化方式，并在所述混淆矩阵中相应的元素位置记录相应的地物类型变化方式的地物变化点的数量；

在遍历完所述连通区域中全部的地物变化点之后，确定所述混淆矩阵中数值最大的元素，该元素位置对应的地物类型变化方式为所述地物变化区域的地物类型变化结果。

7.根据权利要求3所述的方法，其特征在于，在根据所述变化检测图像，确定所述第一遥感影像和所述第二遥感影像之间地物变化区域之后，所述方法还包括：

获取所述第一遥感影像和/或所述第二遥感影像的四个非共线位置的经纬度坐标信息；

通过双线性插值方法确定所述地物变化区域的经纬度坐标信息；

在所述第一遥感影像和/或所述第二遥感影像中标注所述地物变化区域的经纬度坐标信息。

8.根据权利要求1至7中任一项所述的方法，其特征在于，多个所述第一分块图像中相邻的第一分块图像具有重叠区域；多个所述第二分块图像中相邻的第二分块图像具有重叠区域。

9.根据权利要求1至7中任一项所述的方法，其特征在于，在获取目标区域在不同时期的第一遥感影像和第二遥感影像之后，所述方法还包括：

对所述第一遥感影像和所述第二遥感影像进行预处理，其中，所述预处理包括但不限于以下至少之一：图像对齐、图像裁剪、图像降采样、图像格式转换。

10.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一深度学习网络模型包括U-Net模型；第二深度学习网络模型包括HR-Net模型。

11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至10中任一项所述的地物变化检测方法。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至10中任一项所述的地物变化检测方法。

Images