CN114187532A - 一种遥感影像时空样本生成与智能迭代分类方法及系统 - Google Patents

Abstract

本发明公开了一种遥感影像时空样本生成与智能迭代分类方法，包括时空样本生成、智能分类、样本更新和模型优化步骤，包括获取源数据；根据源数据构建时空样本数据集；根据时空样本数据集利用深度卷积神经网络模型得到对应区域及时相的智能分类模型；通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果；对智能分类结果进行分析和修正，得到校正后分类结果；根据校正后分类结果构建更新时空样本数据集，反馈到时空样本数据集，完成时空样本数据集的更新；利用更新后的时空样本数据集对智能分类模型进行迭代优化，形成模型与样本的优化闭环。

Description

一种遥感影像时空样本生成与智能迭代分类方法及系统

技术领域

本发明属于遥感影像数据领域，具体涉及一种遥感影像时空样本生成与智能迭代分类方法及系统。

背景技术

近年来，深度学习技术以其海量数据的学习能力和高度的特征抽象能力，给传统遥感分类带来了新的发展，样本数据、网络模型、计算力是其三大要素，但当前研究主要聚焦在深度学习网络模型的应用及适用性改造方面，使用的样本数据时效性不强、区域性不强、体量不大、不具有普适性，从样本数据层面影响了深度学习在遥感影像分类方面的应用。我国积累了各类调查与监测成果数据，具有全国区域、现势性好、体量大、要素多、精度高等优势，能够为深度学习模型训练提供样本数据基础；

但是目前未对我国积累的各类调查与监测成果数据形成先验知识指导智能分类，智能分类与样本采集相对独立，并且由于智能分类受时空影响大，分类结果未能实时反馈等问题，没有充分利用我国积累的各类调查与监测成果数据。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种遥感影像时空样本生成与智能迭代分类方法及系统。通过本发明所提供的方法，能够实现分区分时相样本自动生成、遥感影像智能分类、人机交互编辑、分类样本自动反馈、分类模型迭代优化。

为了解决上述技术问题，本发明采用了如下的技术方案：一种遥感影像时空样本生成与智能迭代分类方法，包括时空样本生成和智能分类步骤：

时空样本生成步骤包括：

获取源数据；

按照分区分时相的样本数据集构建原则，对所述源数据分别进行区域划分和时相划分，构建时空样本数据集；

智能分类步骤包括：

根据所述时空样本数据集利用深度卷积神经网络模型进行训练，得到对应区域及时相的智能分类模型；通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，还包括样本更新和模型优化步骤；

样本更新步骤包括：

对智能分类结果进行分析和修正，得到校正后分类结果；

根据校正后分类结果构建更新时空样本数据集，将更新时空样本数据集反馈到时空样本数据集，完成时空样本数据集的更新；

模型优化步骤：

利用更新后的时空样本数据集对智能分类模型进行迭代优化，形成模型与样本的优化闭环。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，源数据包括遥感影像数据和历史解译成果数据；

通过遥感卫星的高分辨率遥感影像获取遥感影像数据,

通过地理国情普查数据和/或国土调查数据获取历史解译成果数据。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，根据源数据构建时空样本数据集，包括，

将历史解释成果数据进行栅格形式转换，形成栅格标签数据；

对栅格标签数据以及遥感影像数据进行裁切，得到裁剪后的栅格标签数据与遥感影像数据；

根据裁剪后的栅格标签数据与遥感影像数据构建时空样本数据集；

根据构建后的时空样本数据集建立多层级的样本库目录结构。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果，包括

获取包括区域和时相信息的即时遥感影像；

利用对应区域及时相的智能分类模型对即时遥感影像进行智能分类结果。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，对智能分类结果进行分析和修正，得到校正后分类结果，包括，

对分类结果的栅格数据进行矢量化处理得到矢量图斑；

根据矢量图斑边界的吻合度以及矢量图斑的类别对矢量图斑进行判断及校正，得到校正后分类结果。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，利用更新后的时空样本数据集对智能分类模型进行迭代优化，包括，

利用更新后的时空样本数据集对智能分类模型进行训练，得到优化后的智能分类模型，形成模型与样本的优化闭环。

一种遥感影像时空样本生成与智能迭代分类系统，包括，

数据获取模块，用于获取源数据；

时空样本自动生成模块，用于按照分区分时相的样本数据集构建原则，对所述源数据分别进行区域划分和时相划分，构建时空样本数据集；

模型智能训练模块，用于根据所述时空样本数据集利用深度卷积神经网络模型进行训练，得到对应区域及时相的智能分类模型；

智能分类模块，用于通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果。

分析校正模块，用于对智能分类结果进行分析和修正，得到校正后分类结果；

样本自动反馈模块，用于根据校正后分类结果构建更新时空样本数据集，将更新时空样本数据集反馈到时空样本数据集，完成时空样本数据集的更新；

模型迭代优化模块，用于利用更新后的时空样本数据集对智能分类模型进行迭代优化，形成模型与样本的优化闭环。

本方案的有益效果：

1、深度卷积神经网络模型受样本质量与数量的影响大，为此，构建不同时间、空间的样本数据集，通过深度卷积神经网络模型对不同时空的样本数据集分别进行训练，得到相应时空的智能分类模型，能够适用于相似场景的遥感影像分类，提高分类精度和效果。

2、通过时空样本自动生成与更新，以及模型迭代训练，形成模型与样本的优化闭环，能够提升智能分类模型精度。

3、解决了目前未对积累的各类调查与监测成果数据形成先验知识指导智能分类，智能分类与样本采集相对独立以及分类结果未能实时反馈的问题。

附图说明

图1为本发明的总体流程图。

图2为步骤S200A的子流程图。

图3为步骤S400A的子流程图。

图4为步骤S100B的子流程图。

图5为样本数据库分级结构图。

图6为样本数据库的示例图。

图7为即时遥感影像图。

图8为即时遥感影像的栅格影像图。

图9为进行智能分类后的栅格影像图。

图10为分类结果校正图。

图11为系统的结构图。

附图标记：数据获取模块100，样本自动反馈模块101，时空样本自动生成模块102，模型智能训练模块103，智能分类模块104，分析校正模块105，模型迭代优化模块106。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

为了解决上述技术问题，本发明采用了如下的技术方案：一种遥感影像时空样本生成与智能迭代分类方法，包括样本生成和智能分类步骤：

如图1所示：

时空样本生成步骤包括：

S100A：获取源数据；

其中，源数据包括遥感卫星的高分辨率遥感影像获取遥感影像数据以及地理国情普查数据和/或国土调查数据获取历史解译成果数据。

S200A：按照分区分时相的样本数据集构建原则，对所述源数据分别进行区域划分和时相划分，构建时空样本数据集；

其中，按照全国七大地理分区（即东北、华北、华东、华中、华南、西南、西北）、夏季和冬季两个差异度最大的时相（冬季时相的时间跨度为12–3月、夏季时相的时间跨度为6–9月）为时空样本数据集构建原则，可以分为十四个分区时相，包括东北夏季、东北冬季、华北夏季、华北冬季、华东夏季、华东冬季、华中冬季、华中夏季、华南冬季、华南夏季、西南冬季、西南夏季、西北冬季和西北冬季。

将所述历史解译成果数据以及对应的遥感影像按照上述划分方法进行划分，然后根据预设大小自动生成统一规范格式的时空样本数据集，该数据集由同名的影像文件夹和标签影像文件夹组成。

未采用时空样本的影像分类：例如，当对东北地区进行影像分类时，传统的影像分类手段只能根据该影像内地理特征进行常规分类，分类的精度不高，因为每个地区的地理特征都具有对应的特点，采用通用的影像分类手段无法达到理想的分类效果；同理，当需要对应地区夏季的影像进行分类时，如果只进行常规分类，不考虑该地区由于季节影响而导致的地理特征变化，则难以让分类达到理想的效果。

采用时空样本的影像分类：利用不同区域不同时相的样本及模型对即时遥感影像进行分类，如，当对东北地区春季影像进行分类时，则利用东北地区春季的模型进行分类，考虑了东北地区由于季节影响而导致的地理特征的变化，提高了影像分类的准确度，降低了时相差异的影响。

智能分类步骤包括：

S300A：根据时空样本数据集利用深度卷积神经网络模型进行训练，得到对应区域及时相的智能分类模型；

利用深度卷积神经网络模型对时空样本数据集进行训练，得到相应的智能分类模型。

其中，得到对应区域及时相的智能分类模型包括以下步骤：

1、样本输入：输入时空样本数据集，包括遥感影像块、标签影像块，对数据进行翻转、随机裁剪、旋转、仿射变换、视觉变换等空间几何变换，以适应不同角度变化，进行随机亮度调整、色彩变化等，以适应不同光照强度；进行多尺度缩放，以适应不同的分辨率，通过扩充数据量提高深度卷积神经网络模型的泛化能力。

2、模型训练与参数优化：利用深度卷积神经网络模型进行训练，调整与网络相关的参数（如网络层数、不同层的类别和搭建顺序、隐藏层神经元、LOSS函数、正则化参数等）以及与训练相关的参数（如网络权重初始化方法、学习率、迭代次数、批次大小等），不断调整参数进行训练直到网络收敛，得到不同时空样本对应的智能分类模型。

此外，根据样本数据进行模型训练，还可以根据不同的地物类别选择不同的模型进行训练；例如，对于道路、水面、建筑物等样本的提取可以选择D-LinkNet、HRNet模型等。

S400A：通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果。

针对新获取的遥感影像（即时遥感影像），利用对应区域及时相的智能分类模型进行智能分类，得到智能分类结果。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，还包括样本更新和模型优化步骤；

如图1所示：

样本更新步骤包括：

S100B:对智能分类结果进行分析和修正，得到校正后分类结果；

加入人机校正界面，在人机交互采集编辑环境下，结合相关数据资料及人工解译经验，对智能分类结果进行综合判断与确认，如有不当之处，人机交互编辑修改，形成校正后分类结果。

S200B:根据校正后分类结果构建更新时空样本数据集，将更新时空样本数据集反馈到时空样本数据集，完成时空样本数据集的更新；

将校正后分类结果及对应的遥感影像，根据步骤S200A同理自动生成样本，反馈到对应区域及时相的时空样本数据集中，为智能分类模型的训练提供丰富的样本。

模型优化步骤：

S300B:利用更新后的时空样本数据集对智能分类模型进行迭代优化，形成模型与样本的优化闭环。

利用已有样本及自动反馈的样本（时空样本数据集和更新时空样本数据集），利用深度卷积神经网络模型进行训练，调整与网络相关的参数以及与训练相关的参数，继续迭代优化分类模型，形成模型与样本的优化闭环，提升智能分类效果。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，源数据包括遥感影像数据和历史解译成果数据；

通过遥感卫星的高分辨率遥感影像获取遥感影像数据,

通过地理国情普查数据和/或国土调查数据获取历史解译成果数据。

其中，高分辨率遥感影像包括从北京二号、高分一号、高分二号、资源三号或高景一号中获取的遥感影像，主要为高原、城区、平原、丘陵和山地等自然地物，在一些可能的应用需求中，可以是高尔夫球场、足球场或风力发电设施等人造地物。

地理国情普查数据包括两方面，一是自然地理要素的基本情况，包括地形地貌、植被覆盖、水域、荒漠与裸露地等的类别、位置、范围、面积等，掌握其空间分布状况:二是人文地理要素的基本情况，包括与人类活动密切相关的交通网络、居民地与设施、地理单元等的类别、位置、范围等，掌握其空间分布现状，国土调查数据包括国家、省、地、县四级的主要地类数据。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，步骤S200A包括，

如图2所示：

S201A：将历史解释成果数据进行栅格形式转换，形成栅格标签数据；

将历史解译成果等矢量数据转换为栅格形式（如tif格式），形成栅格标签数据，其中，栅格化的影像与遥感影像分辨率保持一致，为了保证栅格化的影像与遥感影像相对应，采用栅格化方法的突出优点是易于实现遥感与 GIS的结合。

S202A：对栅格标签数据以及遥感影像数据进行裁切，得到裁剪后的栅格标签数据与遥感影像数据；

样本数据裁剪，将遥感影像数据根据对应的地理空间位置进行裁切，生成相同大小（例如全部为512*512/1024*1024）的遥感影像块，同理将栅格标签数据进行裁剪，使得栅格标签数据与遥感影像数据尺寸一致，这样可以方便将栅格标签数据与遥感影像数据进行对比。

S203A：根据裁剪后的栅格标签数据与遥感影像数据构建时空样本数据集；

S204A：根据构建后的时空样本数据集建立多层级的样本库目录结构。

如图5-图6所示：

在构建样本数据库的步骤中，具体可以应用于台式电脑、笔记本电脑、大型计算机、平板电脑等智能终端；

所以，为便于在样本数据库中检索获取合适的样本数据，依据区域性、时序性、多类型等原则，建立多层级的样本库目录结构，当按照步骤S202A-S203A自动生成统一规范格式的时空样本数据集后，根据该时空样本数据集建立同名的影像文件夹和标签影像文件夹，根据对应分区和时相建立一级目录，根据影像对应的空间位置以及影像类型建立二级目录，将栅格标签数据与遥感影像数据分类建立三级目录；

其中，一级目录为时间与区域信息，例如：一级目录的名称包括西南夏季、西南冬季和西北冬季等）；

二级目录为地形信息与影像类型，例如：二级目录的名称包括高原ZY3、城区BJ1、平原ZY3、丘陵GF6和山地ZY3等；

三级目录是裁切后的遥感影像数据与栅格标签数据，例如：三级目录的名称包括lmage（影像）和Label（标签）。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，步骤S400A中包括

S401A:获取包括区域和时相信息的即时遥感影像；

与步骤S100A中获取遥感影像的方法相同，获取新的遥感影像为即时遥感影像。

S402A:利用对应区域及时相的智能分类模型对即时遥感影像进行智能分类结果。

针对不同区域和不同时相的即时遥感影像，利用相应的智能分类模型进行预测，得到智能分类结果，利用像素精度（Pixel Accuracy, PA）、平均交并比（MeanIntersection over Union, MIoU）等进行精度评价；

如图7-图9所示：

图7为即时遥感影像，图8为智能分类前的影像，图9为智能分类后的影像。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，步骤S100B中包括，

S101B：对分类结果的栅格数据进行矢量化处理得到矢量图斑；

分类结果矢量化：对分类结果栅格数据进行矢量化处理得到矢量图斑。

S102B：根据矢量图斑边界的吻合度以及矢量图斑的类别对矢量图斑进行判断及校正，得到校正后分类结果。

综合判断与确认：根据矢量图斑边界的吻合度和类别正确性进行判断，只有当矢量图斑边界的吻合度吻合以及类别正确才符合要求，否则均需进行校正；若边界不吻合，则对图斑边界进行修改，若类别不正确，则参照相关数据资料修改错误的类别信息，形成校正后分类结果。

如图10所示，此时表示矢量边界不吻合，其中，内部细线表示自动结果，外边界粗线表示修改后结果。

当得到分类结果后会执行以下步骤进行样本反馈；

1、分类结果栅格化：对分类结果矢量数据进行栅格化，形成栅格标签数据；

2、样本裁切：以一定大小（如512*512/1024*1024）裁切栅格标签数据及对应遥感影像，使得栅格标签数据与遥感影像样本数据尺寸一致；

3、样本反馈：将裁切后的数据按照样本库目录结构存放到样本库中；

根据上述步骤得到更新后的时空样本数据集。

在一些实施例中，上述一种遥感影像时空样本生成与智能迭代分类方法中，步骤S300B中包括，利用更新后的时空样本数据集对智能分类模型进行训练，得到优化后的智能分类模型。

其中，通过下列步骤得到优化后的智能分类模型：

1、更新样本输入：输入更新后的时空样本数据集，包括遥感影像块、标签影像块，对数据进行翻转、随机裁剪、旋转、仿射变换、视觉变换等空间几何变换，以适应不同角度变化，进行随机亮度调整、色彩变化等，以适应不同光照强度；进行多尺度缩放，以适应不同的分辨率，通过扩充数据量提高深度学习模型的泛化能力。

2、模型训练与参数优化：利用深度卷积神经网络模型进行训练，调整与网络相关的参数（如网络层数、不同层的类别和搭建顺序、隐藏层神经元、LOSS函数、正则化参数等）以及与训练相关的参数（如网络权重初始化方法、学习率、迭代次数、批次大小等），不断调整参数进行训练直到网络收敛，得到不同时空样本对应的智能分类模型，利用更新后的时空样本数据集对智能分类模型进行优化。

不同样本数量的智能分类模型得出的分类结果也不同：

如下表所示，以下为同一模型、不同数量样本的分类结果：

由上表可知，PA值和IoU值随着样本量的增加而增加，所以样本数量越多像素精度（PA）越高，平均交并比（IoU）也越高，自动生成的样本库中有错误或不准确的样本，通过模型迭代训练能够剔除错误样本，提高训练精度；

如此一来，更新后的样本又进一步推动之前的智能分类模型不断迭代，促进智能分类模型精度提升，形成模型与样本的优化闭环。

一种遥感影像时空样本生成与智能迭代分类系统，如图11所示，包括，

数据获取模块，用于获取源数据；

时空样本自动生成模块，用于按照分区分时相的样本数据集构建原则，对所述源数据分别进行区域划分和时相划分，构建时空样本数据集；

模型智能训练模块，用于根据所述时空样本数据集利用深度卷积神经网络模型进行训练，得到对应区域及时相的智能分类模型；

智能分类模块，用于通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果。

分析校正模块，用于对智能分类结果进行分析和修正，得到校正后分类结果；

样本自动反馈模块，用于根据校正后分类结果构建更新时空样本数据集，将更新时空样本数据集反馈到时空样本数据集，完成时空样本数据集的更新；

模型迭代优化模块，用于利用更新后的时空样本数据集对智能分类模型进行迭代优化，形成模型与样本的优化闭环。

以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。

Claims (8)

1.一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：包括时空样本生成和智能分类步骤：

所述时空样本生成步骤包括：

获取源数据；

按照分区分时相的样本数据集构建原则，对所述源数据分别进行区域划分和时相划分，构建时空样本数据集；

所述智能分类步骤包括：

根据所述时空样本数据集利用深度卷积神经网络模型进行训练，得到对应区域及时相的智能分类模型；

通过所述智能分类模型对即时遥感影像进行智能分类，得到智能分类结果。

2.根据权利要求1所述的一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：还包括样本更新和模型优化步骤；

所述样本更新步骤包括：

对所述智能分类结果进行分析和修正，得到校正后分类结果；

根据所述校正后分类结果构建更新时空样本数据集，将所述更新时空样本数据集反馈到所述时空样本数据集，完成时空样本数据集的更新；

所述模型优化步骤：

利用更新后的时空样本数据集对所述智能分类模型进行迭代优化，形成模型与样本的优化闭环。

3.根据权利要求1所述的一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：

所述源数据包括遥感影像数据和历史解译成果数据；

通过遥感卫星的高分辨率遥感影像获取所述遥感影像数据,

通过地理国情普查数据和/或国土调查数据获取所述历史解译成果数据。

4.根据权利要求3所述的一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：所述构建时空样本数据集，包括，

将所述历史解释成果数据进行栅格形式转换，形成栅格标签数据；

对所述栅格标签数据以及所述遥感影像数据进行裁切，得到裁剪后的栅格标签数据与遥感影像数据；

根据裁剪后的栅格标签数据与遥感影像数据构建时空样本数据集；

根据构建后的时空样本数据集建立多层级的样本库目录结构。

5.根据权利要求1所述的一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：所述通过所述智能分类模型对即时遥感影像进行智能分类，得到智能分类结果，包括，

获取包括区域和时相信息的即时遥感影像；

利用对应区域及时相的智能分类模型对所述即时遥感影像进行智能分类结果。

6.根据权利要求2所述的一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：所述对所述智能分类结果进行分析和修正，得到校正后分类结果，包括，

对所述分类结果的栅格数据进行矢量化处理得到矢量图斑；

根据矢量图斑边界的吻合度以及矢量图斑的类别对所述矢量图斑进行判断及校正，得到校正后分类结果。

7.根据权利要求2所述的一种遥感影像时空样本生成与智能迭代分类方法，其特征在于：所述利用更新后的时空样本数据集对所述智能分类模型进行迭代优化，包括，

利用智能分类模型对更新后的时空样本数据集进行训练，得到优化后的智能分类模型，形成模型与样本的优化闭环。

8.一种遥感影像时空样本生成与智能迭代分类系统，其特征在于：包括，

数据获取模块，用于获取源数据；

时空样本自动生成模块，用于按照分区分时相的样本数据集构建原则，对所述源数据分别进行区域划分和时相划分，构建时空样本数据集；

模型智能训练模块，用于根据所述时空样本数据集利用深度卷积神经网络模型进行训练，得到对应区域及时相的智能分类模型；

智能分类模块，用于通过智能分类模型对即时遥感影像进行智能分类，得到智能分类结果；

分析校正模块，用于对智能分类结果进行分析和修正，得到校正后分类结果；

样本自动反馈模块，用于根据校正后分类结果构建更新时空样本数据集，将更新时空样本数据集反馈到时空样本数据集，完成时空样本数据集的更新；

模型迭代优化模块，用于利用更新后的时空样本数据集对智能分类模型进行迭代优化，形成模型与样本的优化闭环。

Images