CN117197609A - 一种遥感样本数据集的构建方法、系统、介质及设备 - Google Patents
一种遥感样本数据集的构建方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN117197609A CN117197609A CN202311080164.5A CN202311080164A CN117197609A CN 117197609 A CN117197609 A CN 117197609A CN 202311080164 A CN202311080164 A CN 202311080164A CN 117197609 A CN117197609 A CN 117197609A
- Authority
- CN
- China
- Prior art keywords
- data
- remote sensing
- sample
- slice
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000003416 augmentation Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 33
- 238000004519 manufacturing process Methods 0.000 abstract description 21
- 238000013135 deep learning Methods 0.000 abstract description 13
- 230000008901 benefit Effects 0.000 abstract description 10
- 230000003993 interaction Effects 0.000 abstract description 10
- 125000004122 cyclic group Chemical group 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于遥感数据领域，尤其涉及一种遥感样本数据集的构建方法、系统、介质及设备。该方法通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据‑知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
Description
技术领域
本发明属于遥感数据领域，尤其涉及一种遥感样本数据集的构建方法、系统、介质及设备。
背景技术
近年来，深度学习技术在遥感领域的快速发展，推动了卷积神经网络在地物分类方面的应用，云计算资源和遥感大数据的逐渐积累为开展大区域遥感应用提供了坚实基础。从方法上来看地物分类依然以监督分类为主，且模型和网络结构越来越区域复杂，对于样本的需求依赖性越来越强。从应用规模上看，逐渐从区域性示范向全省、全国甚至全球尺度扩展。Google Earth Engitne等遥感云计算平台的崛起使得海量数据获取成本进一步降低。然而，目前制约开展区域尺度遥感应用的主要因素在于海量遥感样本数据集的构建，进一步限制了人工智能及遥感技术在开展广域自然资源要素遥感监测，地质灾害隐患综合遥感识别等领域的拓展应用。
遥感数据不仅有空间分辨率的概念，还有多光谱及多时相等特性，不同载荷平台获取的遥感数据也具有不同的物理意义，这些特性决定了遥感数据与普通自然图像的差异。遥感领域不同于计算机视觉领域，由于遥感数据的差异性巨大难以构建统一的数据集满足各个遥感场景的应用需求。传统遥感数据集的构建主要以人工解译为主，这与开展大区域遥感应用的需求产生巨大矛盾。因此，当前面临的主要难题是如何研发一种快速遥感数据集构建方法以满足日益增长的应用需求。
随着深度学习技术的发展，一系列无监督语义分割的算法以及智能交互式解译方式的出现为遥感样本数据集制作提供了新的解决方案，本发明提出一种数据-知识联合驱动下的遥感样本数据集快速构建方法。通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，根据应用场景和目标的特点构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明提出的方法充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下大大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
发明内容
本发明所要解决的技术问题是提供一种遥感样本数据集的构建方法、系统、介质及设备。
本发明解决上述技术问题的技术方案如下：一种遥感样本数据集的构建方法，包括：
S1，通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据；
S2，通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据；
S3，通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络；
S4，基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理；
S5，将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对所述待构建样本数据集的遥感数据进行预测处理，并重复执行S4以及S5，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
本发明的有益效果是：通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述切片数据集包括：
m个切片数据，每个切片数据通过对任意一组遥感数据进行随机剪裁后进行归一化处理得到。
进一步，所述修正处理包括：
对存在错误的伪标签数据对应的切片数据的前景以及背景中分别选取若干像素点，对每个像素点添加提示信息，所述提示信息包括该像素点对应的图面坐标以及该像素点的类型。
进一步，S4还包括：
判断置信度不超过阈值一级标签数据中是否存在错误，将未存在错误的一级标签数据作为所述第二伪标签数据执行S2。
本发明解决上述技术问题的另一种技术方案如下：一种遥感样本数据集的构建系统，包括：
第一预测模块用于：通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据；
第二预测模块用于：通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据；
训练模块用于：通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络；
第三预测模块用于：基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理；
构建模块用于：将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对所述待构建样本数据集的遥感数据进行预测处理，并重复执行第三预测模块以及构建模块，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
本发明的有益效果是：通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
进一步，所述切片数据集包括：
m个切片数据，每个切片数据通过对任意一组遥感数据进行随机剪裁后进行归一化处理得到。
进一步，所述修正处理包括：
对存在错误的伪标签数据对应的切片数据的前景以及背景中分别选取若干像素点，对每个像素点添加提示信息，所述提示信息包括该像素点对应的图面坐标以及该像素点的类型。
进一步，所述第三预测模块还用于：
判断置信度不超过阈值一级标签数据中是否存在错误，将未存在错误的一级标签数据作为所述第二伪标签数据执行所述第二预测模块。
本发明解决上述技术问题的另一种技术方案如下：一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一项所述的方法。
本发明的有益效果是：通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
本发明解决上述技术问题的另一种技术方案如下：一种电子设备，包括上述存储介质、执行上述存储介质内的指令的处理器。
本发明的有益效果是：通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
附图说明
图1为本发明一种遥感样本数据集的构建方法实施例提供的流程示意图；
图2为本发明一种遥感样本数据集的构建系统实施例提供的结构示意图；
图3为本发明一种遥感样本数据集的构建方法实施例提供的非监督语义分割网络结构图；
图4为本发明一种遥感样本数据集的构建方法实施例提供的适配业务场景的深度卷积神经网络示例图；
图5为本发明一种遥感样本数据集的构建方法实施例提供的数据-知识联合驱动下的遥感样本数据集构建的基本流程图。
具体实施方式
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种遥感样本数据集的构建方法，包括：
S1，通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据；
S2，通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据；
S3，通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络；
S4，基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理；
S5，将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对所述待构建样本数据集的遥感数据进行预测处理，并重复执行S4以及S5，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
在一些可能的实施方式中，通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
S1，如图5所示，通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据的具体过程为：
非监督语义分割网络为：在Pytorch环境下搭建通用非监督语义分割网络。非监督语义分割网络主要由编码器和解码器两部分组成，解码器为图像解码器，主要包括上采样层、Patch特征嵌入层、四个等距全局注意力模块以及动态提示层，图3中的Transformer模块即为等距全局注意力模块。
遥感数据包括但不仅限于：通过卫星或航空载荷获取到的光学遥感影像数据，雷达遥感影像数据及地形数据等；
伪标签数据为：未经人工标记的，由模型生成的标签数据。
S11，利用MAE模型以及SAM对非监督语义分割网络进行参数初始化处理；
其中，MAE模型表示：Masked Autoencoders，是由何凯明提出的自编码网络模型。
SAM表示：Segment Anything Model，是由Meta公司推出的语义分割视觉大模型。
MAE以及SAM均优先采用ViT-H/16版本的ViT，即ViT模块，其参数初始化来自于训练好的MAE模型。非监督语义分割网络的动态提示层由三组卷积层Conv、图层归一化LN及GELU激活层组成。
三组卷积层中，除中间一组的卷积层采用3×3卷积之外，其余两组卷积层均采用1×1卷积；
动态提示层可以让非监督语义分割网络在充分利用预训练ViT大模型提取能力的同时能够针对特定任务通过迭代寻找到适配的提示词信息，从而实现模型在较小的计算代价下实现迁移学习，预训练ViT大模型为MAE模型以及SAM模型。
图像解码器包括ViT模块以及两层MLP，用于将图像特征嵌入信息还原成与输入图像大小一致的标签数据。图像解码器除接收由图像编码器输出的图像嵌入特征外，还将接收有由坐标点、坐标框或文本信息组成的提示信息。提示信息将被输入至关键词提示器映射为特征向量再传入图像解码器中，以便实现对提取结果的优化。
其中，对参数初始化中的参数一般指的是：在机器学习和神经网络中，参数初始化(Parameter Initialization)是指在训练模型之前，为模型中的参数赋予初始值的过程。参数是模型中可学习的变量，如神经网络的权重和偏差。
MLP指的是：Multi-LayerPerceptron，多层感知机，是一种前向人工神经网络模型，由若干个神经网络层(包括输入层、隐藏层和输出层)组成。每个神经网络层由多个神经元组成，通过权重和激活函数对输入信号进行加权求和和非线性变换，从而实现复杂的非线性映射。
S12，对遥感数据进行切片处理，得到切片数据集，对数据集中的每个切片数据进行归一化处理；
切片处理的过程为：
对遥感数据进行随机剪裁，形成m个h×w×3大小的切片数据，其中，h以及w接近1024即可，所有切片数据在进入非监督语义分割网络后会被上采样或Padding至1024×1024大小。将得到m个切片作为切片数据集D1；
归一化处理为：
通过下式对D1中的每一个切片数据进行处理，得到数据集D2；
X’＝(x-xmin)/(xmax-xmin)
其中，X’表示经过归一化处理后的切片数据，xmin和xmax分别代表数据的最小和最大值。
S13，通过非监督语义分割网络对归一化处理后的切片数据集进行处理，得到每一个切片数据对应的伪标签数据(即为第一伪标签数据)，进而组成伪标签数据集P1；
其中，伪标签数据一共m个，且尺寸为3×1024×1024；
非监督语义分割网络的处理过程为：
predini＝Modelgen(X)，
其中，predini表示伪标签数据；
Modelgen(X)为非监督语义分割网络。
S2，通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据的过程为：
S21，通过预设方案选取存在错误的伪标签数据，得到存在错误的伪标签数据；
存在错误指的是：得到伪标签结果与专家知识的判识不一致的情况。
预设方案包括但不仅限于：
1)通过专家知识进行筛选；
专家知识指的是：
2)通过预设筛选模型对所有伪标签数据进行筛选。
S22，确定所有存在错误的伪标签数据对应的遥感数据，即对应的切片数据，通过增加前景以及背景提示词的方式对存在错误的伪标签数据对应的切片数据进行处理，得到修订切片数据，通过所有修订切片数据组成修订切片数据集D3；
增加前景以及背景提示词的处理过程为：
通过目视解译分别在影像的前景和背景中选择若干个点，分别用Pointpos和Pointnag来表示，每个点都包括三个信息(x,y,t)其中x和y代表该点的图面坐标，t代表点的类型(前景坐标点t为0，背景坐标点t为1)，将这些信息作为提示信息使用。
其中，目视解译指的是：通过直接观察数据中的特征和模式，从而对数据进行解释的过程。
S23，利用非监督语义分割网络对修订切片数据集进行处理得到第三伪标签数据，即处理结果，将第三伪标签数据与在第一伪标签数据中未存在明显错误的伪标签数据即第二伪标签数据组成初步标签数据P2。
predopt’＝Modelgen{X”,(Pointpos,Pointnag)}，
X”表示修订切片数据，predopt’表示X”对应的伪标签数据，即第三伪标签数据。
S3，通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络的过程为：
深度卷积神经网络并不是指某一特定的网络，而是根据业务需求而涉及的端到端的语义分割网络即可。
以建筑物信息提取为例，以经典语义分割模型Unet的结构为参考，进行优化设计(如图4所示)，将其中的所有3×3的普通卷积替换为深度可分离卷积，在模型的解码器部分将各个层级的特征进行合并，加入通道注意力机制进行有效特征的加权处理，从而完成业务网络Modelpro的构建。通道注意力模块的结构中不同尺度得到的特征图首先通过特征叠加操作进行合并，经过全局池化层进行降维，通过连续两个1×1卷积和Sigmoid激活函数后得到特征增益系数，该系数与通道注意力模块输入的合并特征进行相乘完成对特定通道特征的重新赋权重，从而实现特征的优选。图像首先进入网络的编码器进行尺度压缩，在经过解码器进行尺度还原，在过程中来自编码器的不同尺度的特征将与解码器通尺度特征进行合并，解码器中各个尺度合并后的特征，再分别经过两层深度可分离卷机组(由两组“深度可分离卷积层DW-Conv+批归一化层BN+ReLU激活层”组成)处理，将得到特征加入通道注意力机模块进行有效特征的甲醛处理，最终输出与输入原图像尺寸一致的掩膜结果。
S4，基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据P3，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理的过程为：
阈值可以根据实际需求进行人为设定，本方案中，当一级标签数据中的概率值在0.7-1范围内，则认定为高置信度，在0.1-0.4范围内则认定为第置信度。在0.4-0.7范围内，则认定为：不做判断。
置信度低于阈值时，则将置信度低于阈值的切片数据重新进行前景以及北京提示词的增加处理，重复进行后续操作。
增广处理的过程为：
本方案中的增广处理包括几何增广以及色彩增广两种，上述两种均为在深度学习应用中的常规操作。
几何增广操作需要对存在错误的伪标签数据对应的遥感数据以及其对应的一级标签数据P3进行同步操作处理，通过缩放、九十度旋转以及翻转操作的处理，经过几何增广后，存在错误的伪标签数据对应的遥感数据以及其对应的一级标签数据P3的数据量扩大为原来的8倍。
色彩增广操作只对存在错误的伪标签数据对应的遥感数据进行处理，具体为通过亮度以及对比度的随机变化，变化幅度为0-10％，经过色彩增广后，存在错误的伪标签数据对应的遥感数据的数据量扩大为原来的4倍。
将存在错误的伪标签数据对应的遥感数据以及其对应的一级标签数据P3进行波段合并，构成新的数据集DP3，对DP3进行场景变换操作。
场景变换操作为：Xm1，Xm2为DP3中的任意两个切片数据，即 首先将每个却偏数据同时按照水平和垂直方向切成4个迷你切片，每个迷你切片的大小为原始切片数据的四分之一大小。具体公式如下：
[Xmn1，Xmn2]＝fclip([Xm1，Xm2])，
其中，fclip()表示同时进行水平和垂直裁切处理。对Xmn1和Xmn2两组迷你切片数据进行随机镶嵌组合，镶嵌过程中迷你切片数据可以随机的旋转或翻转(90°的倍数)，构成新的两组切片数据。具体公式如下：
X'm1，X'm2＝fstack([ffl90(Xmn1),ffl90(Xmn2)])
其中fstack表示随机镶嵌处理，ffl90表示随机旋转或翻转操作，X'm1和X'm2为随机镶嵌处理后的数据。遍历数据集DP3中所有切片进行上述操作，将DP3中影像与标签部分再次分离，通过场景变换操作将数据集扩大为原来的2倍。
S5，将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对所述待构建样本数据集的遥感数据进行预测处理，并重复执行S4以及S5，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
通过上述步骤中的几何增广、色彩增广以及场景变换，使得数据集的体量扩大为原数据集的14倍，根据构成的新的切片数据集(经过增广处理后的切片数据构成的切片数据集)以及新的伪标签数据集(上述切片数据对应的一级标签数据集)重复对适配业务场景的深度卷积神经网络进行训练，得到第二深度卷积神经网络。
根据第二深度卷积神经网络对待构建样本数据集的遥感数据进行处理，获得新的处理结果，重复进行置信度的判断以及增广处理等，进而实现了样本数据的循环迭代生成。
对于循环迭代过程的终止时间依待构建样本数据集的遥感数据的要求或需求来定，例如，需求为迭代四次、或精确度达到阈值等。
通过本方案可以实现对例如地形数据的样本数据集的构建，该样本数据集可以用于后续对地形遥感数据的进一步分析，得到地貌特征等，也可以通过该样本数据集进行地貌影像的识别。
优选地，在上述任意实施例中，所述切片数据集包括：
m个切片数据，每个切片数据通过对任意一组遥感数据进行随机剪裁后进行归一化处理得到。
优选地，在上述任意实施例中，所述修正处理包括：
对存在错误的伪标签数据对应的切片数据的前景以及背景中分别选取若干像素点，对每个像素点添加提示信息，所述提示信息包括该像素点对应的图面坐标以及该像素点的类型。
优选地，在上述任意实施例中，S4还包括：
判断置信度不超过阈值一级标签数据中是否存在错误，将未存在错误的一级标签数据作为所述第二伪标签数据执行S2。
如图2所示，一种遥感样本数据集的构建系统，包括：
第一预测模块100用于：通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据；
第二预测模块200用于：通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据；
训练模块300用于：通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络；
第三预测模块400用于：基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理；
构建模块400用于：将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，并重复执行第三预测模块400以及构建模块400，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
在一些可能的实施方式中，通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
优选地，在上述任意实施例中，所述切片数据集包括：
m个切片数据，每个切片数据通过对任意一组遥感数据进行随机剪裁后进行归一化处理得到。
优选地，在上述任意实施例中，所述修正处理包括：
对存在错误的伪标签数据对应的切片数据的前景以及背景中分别选取若干像素点，对每个像素点添加提示信息，所述提示信息包括该像素点对应的图面坐标以及该像素点的类型。
优选地，在上述任意实施例中，所述第三预测模块400还用于：
判断置信度不超过阈值一级标签数据中是否存在错误，将未存在错误的一级标签数据作为所述第二伪标签数据执行所述第二预测模块200。
本发明解决上述技术问题的另一种技术方案如下：一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一项所述的方法。
在一些可能的实施方式中，通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
本发明解决上述技术问题的另一种技术方案如下：一种电子设备，包括上述存储介质、执行上述存储介质内的指令的处理器。
在一些可能的实施方式中，通过非监督语义分割技术构建伪标签，基于知识引导的智能交互解译方法完成样本标签的优化，构建可用于样本自生产的深度卷积神经网络，利用样本智能增广技术提升样本的多样性，用循环迭代的训练方式完整样本数据集的构建。本发明充分体现了遥感大数据与专家知识的优势，数据-知识联合驱动下极大提高了遥感样本集制作的效率，可为基于深度学习技术的大区域遥感地物分类应用提供技术基础。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种遥感样本数据集的构建方法，其特征在于，包括：
S1，通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据；
S2，通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据；
S3，通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络；
S4，基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理；
S5，将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对所述待构建样本数据集的遥感数据进行预测处理，并重复执行S4以及S5，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
2.根据权利要求1所述的一种遥感样本数据集的构建方法，其特征在于，所述切片数据集包括：
m个切片数据，每个切片数据通过对任意一组遥感数据进行随机剪裁后进行归一化处理得到。
3.根据权利要求1所述的一种遥感样本数据集的构建方法，其特征在于，所述修正处理包括：
对存在错误的伪标签数据对应的切片数据的前景以及背景中分别选取若干像素点，对每个像素点添加提示信息，所述提示信息包括该像素点对应的图面坐标以及该像素点的类型。
4.根据权利要求1所述的一种遥感样本数据集的构建方法，其特征在于，S4还包括：
判断置信度不超过阈值一级标签数据中是否存在错误，将未存在错误的一级标签数据作为所述第二伪标签数据执行S2。
5.一种遥感样本数据集的构建系统，其特征在于，包括：
第一预测模块用于：通过非监督语义分割网络对任意一组遥感数据对应的切片数据集中的每个切片数据进行处理，得到每个切片数据对应的第一伪标签数据；
第二预测模块用于：通过所述非监督语义分割网络对修订切片数据进行处理，将处理结果与第二伪标签数据组合得到初步标签数据，所述修订切片数据通过对每个存在错误的伪标签数据对应的切片数据进行修正处理得到，所述第二伪标签数据为在所述第一伪标签数据中未存在错误的伪标签数据；
训练模块用于：通过切片数据集以及由初步标签数据构成的初步标签数据集对深度卷积神经网络进行训练，得到第一深度卷积神经网络；
第三预测模块用于：基于第一深度卷积神经网络对待构建样本数据集的遥感数据进行预测处理，得到一级标签数据，在所有一级标签数据中选取置信度超过阈值的切片数据进行增广处理；
构建模块用于：将增广处理后的切片数据以及该切片数据对应的一级标签数据作为新训练集，进行所述深度卷积神经网络的训练，得到第二深度卷积神经网络，将所述第二深度卷积神经网络作为所述第一深度卷积神经网络对所述待构建样本数据集的遥感数据进行预测处理，并重复执行第三预测模块以及构建模块，更新由所述一级标签数据组成的遥感样本数据集，直至满足所述待构建样本数据集的遥感数据的要求，完成样本数据集的构建。
6.根据权利要求5所述的一种遥感样本数据集的构建系统，其特征在于，所述切片数据集包括：
m个切片数据，每个切片数据通过对任意一组遥感数据进行随机剪裁后进行归一化处理得到。
7.根据权利要求5所述的一种遥感样本数据集的构建系统，其特征在于，所述修正处理包括：
对存在错误的伪标签数据对应的切片数据的前景以及背景中分别选取若干像素点，对每个像素点添加提示信息，所述提示信息包括该像素点对应的图面坐标以及该像素点的类型。
8.根据权利要求5所述的一种遥感样本数据集的构建系统，其特征在于，所述第三预测模块还用于：
判断置信度不超过阈值一级标签数据中是否存在错误，将未存在错误的一级标签数据作为所述第二伪标签数据执行所述第二预测模块。
9.一种存储介质，其特征在于，所述介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至4中任一项所述的方法。
10.一种电子设备，其特征在于，包括权利要求9所述的存储介质、执行所述存储介质内的指令的处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080164.5A CN117197609A (zh) | 2023-08-25 | 2023-08-25 | 一种遥感样本数据集的构建方法、系统、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080164.5A CN117197609A (zh) | 2023-08-25 | 2023-08-25 | 一种遥感样本数据集的构建方法、系统、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197609A true CN117197609A (zh) | 2023-12-08 |
Family
ID=88991553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311080164.5A Pending CN117197609A (zh) | 2023-08-25 | 2023-08-25 | 一种遥感样本数据集的构建方法、系统、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197609A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690031A (zh) * | 2024-02-04 | 2024-03-12 | 中科星图数字地球合肥有限公司 | 一种基于sam模型的小样本学习遥感图像检测方法 |
-
2023
- 2023-08-25 CN CN202311080164.5A patent/CN117197609A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690031A (zh) * | 2024-02-04 | 2024-03-12 | 中科星图数字地球合肥有限公司 | 一种基于sam模型的小样本学习遥感图像检测方法 |
| CN117690031B (zh) * | 2024-02-04 | 2024-04-26 | 中科星图数字地球合肥有限公司 | 一种基于sam模型的小样本学习遥感图像检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jin et al. | Object-oriented method combined with deep convolutional neural networks for land-use-type classification of remote sensing images | |
| CN112132149B (zh) | 一种遥感影像语义分割方法及装置 | |
| CN115222998B (zh) | 一种图像分类方法 | |
| CN112084923A (zh) | 一种遥感图像语义分割方法、存储介质及计算设备 | |
| CN112232165B (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
| CN112766089B (zh) | 一种基于全局-局部对抗学习框架的跨域道路提取方法 | |
| CN115147731A (zh) | 一种基于全空间编码注意力模块的sar图像目标检测方法 | |
| Ji et al. | Few-shot scene classification of optical remote sensing images leveraging calibrated pretext tasks | |
| CN117197609A (zh) | 一种遥感样本数据集的构建方法、系统、介质及设备 | |
| Bai et al. | Multimodal information fusion for weather systems and clouds identification from satellite images | |
| CN112149612A (zh) | 一种基于深度神经网络的海洋生物识别系统及识别方法 | |
| US20220236452A1 (en) | Method For Classification Of Precipitation Type Based On Deep Learning | |
| CN116740527A (zh) | U型网络与自注意力机制结合的遥感图像变化检测方法 | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| Wang | Remote sensing image semantic segmentation algorithm based on improved ENet network | |
| CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
| KR102556765B1 (ko) | 비주얼 로컬라이제이션을 위한 방법 및 장치 | |
| Katarki et al. | Estimating change detection of forest area using satellite imagery | |
| Zhang et al. | Remote sensing image land classification based on deep learning | |
| Ahmed et al. | DeepRoadNet: A deep residual based segmentation network for road map detection from remote aerial image | |
| Song et al. | Ship‐iceberg discrimination from Sentinel‐1 synthetic aperture radar data using parallel convolutional neural network | |
| Ye et al. | Application of convolutional neural network in fusion and classification of multi-source remote sensing data | |
| Li et al. | Forest fire recognition based on lightweight convolutional neural network | |
| CN117765297B (zh) | 高光谱图像分类方法、装置、设备及存储介质 | |
| Li et al. | Bisupervised network with pyramid pooling module for land cover classification of satellite remote sensing imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |