CN113077458B - 一种遥感影像中的云和阴影检测方法及系统 - Google Patents

Abstract

本发明涉及一种遥感影像中的云和阴影检测方法及系统，方法包括获取测试遥感影像数据集；将测试遥感影像数据集输入所述深度学习云检测模型中，得到云和阴影分布数据；其中，所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；所述训练样本集的获取方法为：获取同一地区的云和云影验证数据集和遥感影像样本集；根据所述云和云影标记数据集中阴影的标记范围进行膨胀，并将膨胀后的阴影范围与所述遥感影像样本集中对应的区域进行样本增强，得到所述训练样本集。本发明中对所述云和云影验证数据集中阴影的标记范围进行膨胀处理，得到膨胀后的阴影区域，增强了样本的信息表达准确性，从而能够提高检测的精度。

Description

一种遥感影像中的云和阴影检测方法及系统

技术领域

本发明涉及图像检测技术领域，特别是涉及一种遥感影像中的云和阴影检测方法及系统。

背景技术

高质量的卫星遥感数据是开展地表覆盖变化监测、灾害评估、资源调查的重要数据源，但由于客观天气的原因，大部分遥感影像在获取时会不同程度地受到云及阴影的影响，限制了关键时期卫星影像的获取，导致相应信息提取的准确性和完整性收到影响。

云和阴影检测及修复是提高卫星影像利用率、提升信息提取精度的重要方法。但在构建云和阴影检测模型时，由于训练数据的数量和代表性有限，其中重复且大量存在的特征模式在迭代式的模型优化过程中会引起模型过度学习，而少量的但客观存在的特征通常难以被模型很好地捕捉，广义上的数据增强方式不能够有效地对深度学习云和阴影检测训练数据进行增强，最终导致检测模型的精度较低、泛化性较差。

发明内容

本发明的目的是提供一种遥感影像中的云和阴影检测方法及系统，能够提高检测的精度。

为实现上述目的，本发明提供了如下方案：

一种遥感影像中的云和阴影检测方法，包括：

获取测试遥感影像数据集；

将所述测试遥感影像数据集输入深度学习云检测模型中，得到云和阴影分布数据；所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；

所述训练样本集的获取方法为：

获取同一地区的云和云影遥感影像样本集和标记数据集；

根据所述标记数据集中阴影的标记范围进行膨胀，并采用膨胀后得到的阴影区域对所述遥感影像样本集进行样本增强，得到所述训练样本集。

优选地，所述采用膨胀后得到的阴影区域与所述遥感影像样本集进行样本增强，得到所述训练样本集，包括：

将所述遥感影像样本集中与所述阴影区域对应的区域确定为目标区域；

将所述阴影区域与所述目标区域合并，得到第一数据集；

对所述第一数据集进行扩充，得到第二数据集；

对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，得到所述训练样本集。

优选地，所述将所述阴影区域与所述目标区域合并，得到第一数据集，包括：

将所述目标区域中无云干扰的区域进行删除，得到第一区域；

将所述阴影区域与所述第一区域进行合并，得到第一数据集。

优选地，所述对所述第一数据集进行扩充，包括：

将所述第一数据集中的图片数据裁切为像元尺寸相同的多个图像瓦片数据；

若所述图像瓦片数据中包含云或阴影，则将所述图像瓦片数据进行平移、旋转或复制。

优选地，对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，包括：

对所述第二数据集中的各图像瓦片数据均按照y＝kx+b的方式进行四次独立的随机扰动；

其中，y为扰动增强后的图像瓦片数据，x为所述图像瓦片数据，k为第一随机参数，b为第二随机参数。

优选地，所述第一随机参数的取值范围为[1,1.5]，所述第二随机参数的取值范围为[0,0.05]。

优选地，所述深度学习云检测模型的确定方法为：

将所述训练样本集中的所有图像瓦片数据按照类别比例等分为多个区间；

通过随机分层抽样的方法从多个所述区间中轮流抽出所述图像瓦片数据；

将抽出到的所述图像瓦片数据输入所述深度卷积神经网络，并采用UNet架构对各迭代次数下的所述深度卷积神经网络的精度进行计算，若达到预设精度阈值，则停止迭代，并将达到预设精度阈值的深度卷积神经网络确定为所述深度学习云检测模型，若未达到所述预设精度阈值，则继续进行训练迭代。

一种遥感影像中的云和阴影检测系统，包括：

获取单元，用于获取测试遥感影像数据集；

测试单元，用于将所述测试遥感影像数据集输入深度学习云检测模型中，得到云和阴影分布数据；所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；

训练集获取单元，用于获取所述训练样本集；所述训练集获取单元，具体包括：

数据集获取单元，用于获取同一地区的云和云影遥感影像样本集和标记数据集；

样本增强单元，用于根据所述标记数据集中阴影的标记范围进行膨胀，并采用膨胀后得到的阴影区域对所述遥感影像样本集进行样本增强，得到所述训练样本集。

优选地，所述样本增强单元包括：

确定单元，用于将所述遥感影像样本集中与所述阴影区域对应的区域确定为目标区域；

合并单元，用于将所述阴影区域与所述目标区域合并，得到第一数据集；

扩充单元，用于对所述第一数据集进行扩充，得到第二数据集；

扰动单元，用于对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，得到所述训练样本集。

优选地，所述扩充单元包括：

裁切子单元，用于将所述第一数据集中的图片数据裁切为像元尺寸相同的多个图像瓦片数据；

扩充子单元，用于若所述图像瓦片数据中包含云或阴影，则将所述图像瓦片数据进行平移、旋转或复制。

优选地，所述扰动单元包括：

扰动子单元，用于对所述第二数据集中的各图像瓦片数据均按照y＝kx+b的方式进行四次独立的随机扰动；

其中，y为扰动增强后的图像瓦片数据，x为所述图像瓦片数据，k为第一随机参数，b为第二随机参数。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中通过获取测试遥感影像数据集；将测试遥感影像数据集输入所述深度学习云检测模型中，得到云和阴影分布数据；其中，所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；所述训练样本集的获取方法为：获取同一地区的云和云影标记数据集和遥感影像样本集；根据所述云和云影标记数据集中阴影的标记范围进行膨胀，并将膨胀后的阴影范围与所述遥感影像样本集中对应的区域进行样本增强，得到所述训练样本集。本发明中对所述云和云影验证数据集中阴影的标记范围进行膨胀处理，得到膨胀后的阴影区域，从而对云阴影样本进行表达性增强，补足了云阴影样本中的边缘部分，增强了样本的信息表达准确性。且本发明将所述阴影区域与所述遥感影像样本集中对应的区域进行合并和进行样本增强，能够保证模型训练迭代过程中接触到不同均衡化的样本，保证每次迭代中梯度下降的稳定性，从而能够提高检测的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明遥感影像中的云和阴影检测方法的流程图；

图2为本发明实施例中的整体云和阴影检测过程的流程图；

图3为本发明遥感影像中的云和阴影检测系统的模块连接图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种遥感影像中的云和阴影检测方法及系统，能够提高检测的精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明遥感影像中的云和阴影检测方法的流程图，如图1所示，本发明提供的遥感影像中的云和阴影检测方法，包括：

步骤100：获取测试遥感影像数据集；

步骤200：将所述测试遥感影像数据集输入深度学习云检测模型中，得到云和阴影分布数据；所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；

所述训练样本集的获取方法为：

步骤201：获取同一地区的云和云影遥感影像样本集和标记数据集；

步骤202：根据所述标记数据集中阴影的标记范围进行膨胀，并采用膨胀后得到的阴影区域对所述遥感影像样本集进行样本增强，得到所述训练样本集。

具体的，所述标记数据集为L8-Biome数据集。

可选地，所述遥感影像样本集为Fmask样本集。

本实施例中，将L8-Biome数据集中云阴影的标记范围进行膨胀处理，增加其标记中云阴影的覆盖范围。然后将膨胀后的阴影区域与对应Fmask样本合并。合并操作并没有破坏Fmask中原有的云和云阴影标记的范围，仅对Fmask中无云干扰的区域进行替换。该增强方法的确对目标进行了补足，同时，也具有一定的“膨胀”效应，此步骤为云和阴影样本表达性增强。

优选地，所述采用膨胀后得到的阴影区域与所述遥感影像样本集进行样本增强，得到所述训练样本集，包括：

将所述遥感影像样本集中与所述阴影区域对应的区域确定为目标区域；

将所述阴影区域与所述目标区域合并，得到第一数据集；

对所述第一数据集进行扩充，得到第二数据集；

对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，得到所述训练样本集。

优选地，所述将所述阴影区域与所述目标区域合并，得到第一数据集，包括：

将所述目标区域中无云干扰的区域进行删除，得到第一区域；

将所述阴影区域与所述第一区域进行合并，得到第一数据集。

优选地，所述对所述第一数据集进行扩充，包括：

将所述第一数据集中的图片数据裁切为像元尺寸相同的多个图像瓦片数据；

若所述图像瓦片数据中包含云或阴影，则将所述图像瓦片数据进行平移、旋转或复制。

本实施例中，在完成步骤云和阴影表达性增强的基础上，为了避免训练过程中出现梯度消失、爆炸或过拟合等问题，进一步采用平移、旋转和单纯复制三种方式增加云和阴影样本的数量，然后再使用样本均衡策略保证训练过程中的样本均衡。

具体方法为：

(1)将云和阴影样本标记数据及对应的遥感影像裁切为统一像元尺寸的瓦片数据，即每一次模型独立的正向传播接受的；

(2)如果裁切后的瓦片数据包含云和阴影类别，则随机选择平移、旋转和单纯复制三种方法之一对该瓦片进行扩充；

(3)为了保证迭代过程中的每次传播过程都能够对云阴影进行探测和学习，提出一种在训练过程中的样本均衡方法。

一般地，具有m个类别的DCNN训练样本集中的类别为:N_cls＝{0,1(,...,m)}。

对于训练样本集中的每个训练瓦片P_np，都至少包含一个，至多包含m个类别，其中np为该瓦片中的像元个数。对于瓦片中每一类所占的面积比例有：

并且：

有绝对样本均衡比例使得每个训练瓦片中各类别所占面积比例可以使用向量(R₀，R₁、…R_m)表示，则每个瓦片可以表示为m维空间中的坐标为(R₀，R₁、…R_m)的样本点表示，样本点与绝对均衡点的距离越大，说明样本越不均衡。

在遥感影像云/和阴影检测中，可将样本中的目标类型为云、云阴影和其他三类，则通过将三类样本置于三维空间中平面(x+y+z＝1，0<＝x,y,z<＝1)中，以绝对均衡点(1/3,1/3,1/3)为圆心，可将整个数据集按等分的方式划分成多个区间。不同区间内的样本具有不同的样本均衡等级。基于该划分方法，对不同区间内的样本通过随机分层抽样的办法每次轮流抽出一个样本并放入模型训练集，每抽选8次进行一次模型迭代训练，以保证模型在每次迭代过程中接触到不同均衡化的样本，保证每次迭代中梯度下降的稳定性。值得注意的是，样本均衡等级数应为模型每次迭代所用的瓦片数的整数倍，以保证不出现偏移。此步骤为基于样本均衡的增强。

优选地，对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，包括：

对所述第二数据集中的各图像瓦片数据均按照y＝kx+b的方式进行四次独立的随机扰动；

其中，y为扰动增强后的图像瓦片数据，x为所述图像瓦片数据，k为第一随机参数，b为第二随机参数。

优选地，所述第一随机参数的取值范围为[1,1.5]，所述第二随机参数的取值范围为[0,0.05]。

本实施例中，通过步骤云和阴影样本表达性增强和步骤基于样本均衡的增强解决云阴影识别性能受限的问题后，为解决不同卫星传感器采集到的影像之间光谱差异的问题，进行跨传感器泛化增强处理。

通过对图像的像元值进行随机线性扰动，使其向目标数据源的光谱分布靠近。线性扰动的单元必须是全部四波段的数据整体，若对各个波段分别进行有差别的线性扰动，有可能破坏数据内部各个波段的内部相关特征，破坏有效特征的同时生成更多的冗余特征。

基于基础训练数据集，对其中每一个训练瓦片按照y＝kx+b的线性扰动，其中y为增强结果，x为输入瓦片，k与b的取值在一定范围内随机选取。对每个训练瓦块进行四次独立的随机扰动，其中k的取值范围为[1,1.5]，b的取值范围为[0,0.05]。

优选地，所述深度学习云检测模型的确定方法为：

将所述训练样本集中的所有图像瓦片数据按照类别比例等分为多个区间；

通过随机分层抽样的方法从多个所述区间中轮流抽出所述图像瓦片数据；

将抽出到的所述图像瓦片数据输入所述深度卷积神经网络，并采用UNet架构对各迭代次数下的所述深度卷积神经网络的精度进行计算，若达到预设精度阈值，则停止迭代，并将达到预设精度阈值的深度卷积神经网络确定为所述深度学习云检测模型，若未达到所述预设精度阈值，则继续进行训练迭代。

在本实施例中，利用增强后的成庞大数据集进行深度学习云检测模型训练。此步骤为模型训练。

基本原理：在DCNN训练中，数据以张量的形式在网络中传播，本方案使用包含四个数据的形状向量T描述数据张量，即个数、每个瓦片数据的波段数、每波段图像的宽和每波段图像的长度。

DCNN在训练和运用中，模型都会完成正向传播过程，即通过DCNN模型f，对输入的一批数据X进行特征提取并归纳输出Y。

在模型训练进程中，模型通过反向传播进行模型参数的优化。即，对DCNN正向传播的输出，Y＝f(x)与输入数据对应的标记样本X_ref，根据损失函数g构建模型损失L：

L_p＝g(X，X_ref)；

其中p为模型中可学习的参数，通过梯度下降法最小化L_p进而对f中各参数进行优化更新，完成一次反向传播即完成一次模型训练迭代。

具体过程为：

(1)基于卷积特征提取

卷积运算方式为Y_i＝W_i@X+bias，其中Y_i为卷积层输出的第i个特征图，W_i为对应的第i个卷积算子，@表示卷积操作，X表示输入特征图，bias为卷积后增加偏移量。

(2)采用UNet架构完成模型训练

输入上述步骤增强后的样本数据，输入张量形状为(48，4，256，256)，基础的学习率设置为1e-9，最大迭代次数1.72e7次，即100个迭代轮回。在对训练集进行了100次完全的迭代(epoch)后，UNet在模型训练时的总体精度保持在90％左右。

评价指标：

总体精度(Overall Accuracy，OA)：

交并比(Intersection over union，IoU)：

召回率(Recall)：

准确率(Precision)：

F1-score：

相对于未经数据增强的模型精度，云阴影的漏分上有较强的提升，其阴影类的recall值为0.490。

可选地，将遥感影像输入上述步骤训练得到的DCNN模型，自动完成影像范围内云和阴影覆盖范围检测，输出结果为云和阴影分布数据。

图3为本发明遥感影像中的云和阴影检测系统的模块连接图，如图3所示，本发明提供的遥感影像中的云和阴影检测系统，包括：

获取单元，用于获取测试遥感影像数据集。

测试单元，用于将所述测试遥感影像数据集输入深度学习云检测模型中，得到云和阴影分布数据；所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的。

训练集获取单元，用于获取所述训练样本集；所述训练集获取单元，具体包括：

数据集获取单元，用于获取同一地区的云和云影遥感影像样本集和标记数据集；

样本增强单元，用于根据所述标记数据集中阴影的标记范围进行膨胀，并采用膨胀后得到的阴影区域对所述遥感影像样本集进行样本增强，得到所述训练样本集。

优选地，所述样本增强单元包括：

确定单元，用于将所述遥感影像样本集中与所述阴影区域对应的区域确定为目标区域。

合并单元，用于将所述阴影区域与所述目标区域合并，得到第一数据集。

扩充单元，用于对所述第一数据集进行扩充，得到第二数据集。

扰动单元，用于对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，得到所述训练样本集。

优选地，所述扩充单元包括：

裁切子单元，用于将所述第一数据集中的图片数据裁切为像元尺寸相同的多个图像瓦片数据；

扩充子单元，用于若所述图像瓦片数据中包含云或阴影，则将所述图像瓦片数据进行平移、旋转或复制。

优选地，所述扰动单元包括：

扰动子单元，用于对所述第二数据集中的各图像瓦片数据均按照y＝kx+b的方式进行四次独立的随机扰动；

其中，y为扰动增强后的图像瓦片数据，x为所述图像瓦片数据，k为第一随机参数，b为第二随机参数。

本发明的有益效果如下：

(1)通过步骤云阴影样本表达性增强，补足了云阴影样本中的边缘部分，增强了样本的信息表达准确性，训练得到的模型所得阴影边界具有明显的过度检测的现象，因此绝大多数的阴影边缘都被有效的检测到，可以有效确保一些云或云阴影的模糊边缘不会在去云后干扰后续的影像运用。本发明提升了对云阴影的检测性能，通过增强数据集的调优，模型对阴影的漏分情况减少，具有一种利于实际运用的膨胀模式。

(2)根据步骤基于样本均衡的增强，本发明能够保证模型训练迭代过程中接触到不同均衡化的样本，保证每次迭代中梯度下降的稳定性。提升了模型的云阴影检测精度。

(3)通常不同卫星传感器采集得到的数据光谱之间存在差异，通过步骤跨传感器间泛化增强中针对光谱进行数据增强，增加了(DCNN)深度卷积神经网络训练过程中的光谱表达，提升模型在不同光谱分布之间泛化性能，从而能够更好地在不同数据源间进行泛化运用。对基于DCNN的Sentinel-2与GF-1的云、阴影检测有一定的提升作用。尤其是对DCNN模型在GF-1数据集中的云阴影检测性能有非常显著的提升。本发明提升了跨传感器泛化性能，经数据增强后的样本训练得到的模型能够适用于多种传感器数据，且具有较高精度提升。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种遥感影像中的云和阴影检测方法，其特征在于，包括：

获取测试遥感影像数据集；

将所述测试遥感影像数据集输入深度学习云检测模型中，得到云和阴影分布数据；所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；

所述训练样本集的获取方法为：

获取同一地区的云和云影遥感影像样本集和标记数据集；

根据所述标记数据集中阴影的标记范围进行膨胀，并采用膨胀后得到的阴影区域对所述遥感影像样本集进行样本增强，得到所述训练样本集；

所述采用膨胀后得到的阴影区域与所述遥感影像样本集进行样本增强，得到所述训练样本集，包括：

将所述遥感影像样本集中与所述阴影区域对应的区域确定为目标区域；

将所述阴影区域与所述目标区域合并，得到第一数据集；

对所述第一数据集进行扩充，得到第二数据集；

对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，得到所述训练样本集。

2.根据权利要求1所述的遥感影像中的云和阴影检测方法，其特征在于，所述将所述阴影区域与所述目标区域合并，得到第一数据集，包括：

将所述目标区域中无云干扰的区域进行删除，得到第一区域；

将所述阴影区域与所述第一区域进行合并，得到第一数据集。

3.根据权利要求1所述的遥感影像中的云和阴影检测方法，其特征在于，所述对所述第一数据集进行扩充，包括：

将所述第一数据集中的图片数据裁切为像元尺寸相同的多个图像瓦片数据；

若所述图像瓦片数据中包含云或阴影，则将所述图像瓦片数据进行平移、旋转或复制。

4.根据权利要求1所述的遥感影像中的云和阴影检测方法，其特征在于，对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，包括：

对所述第二数据集中的各图像瓦片数据均按照y＝kx+b的方式进行四次独立的随机扰动；

其中，y为扰动增强后的图像瓦片数据，x为所述图像瓦片数据，k为第一随机参数，b为第二随机参数。

5.根据权利要求4所述的遥感影像中的云和阴影检测方法，其特征在于，所述第一随机参数的取值范围为[1,1.5]，所述第二随机参数的取值范围为[0,0.05]。

6.根据权利要求1所述的遥感影像中的云和阴影检测方法，其特征在于，所述深度学习云检测模型的确定方法为：

将所述训练样本集中的所有图像瓦片数据按照类别比例等分为多个区间；

通过随机分层抽样的方法从多个所述区间中轮流抽出所述图像瓦片数据；

将抽出到的所述图像瓦片数据输入所述深度卷积神经网络，并采用UNet架构对各迭代次数下的所述深度卷积神经网络的精度进行计算，若达到预设精度阈值，则停止迭代，并将达到预设精度阈值的深度卷积神经网络确定为所述深度学习云检测模型，若未达到所述预设精度阈值，则继续进行训练迭代。

7.一种遥感影像中的云和阴影检测系统，其特征在于，包括：

获取单元，用于获取测试遥感影像数据集；

测试单元，用于将所述测试遥感影像数据集输入深度学习云检测模型中，得到云和阴影分布数据；所述深度学习云检测模型是通过训练样本集对深度卷积神经网络进行训练得到的；

训练集获取单元，用于获取所述训练样本集；所述训练集获取单元，具体包括：

数据集获取单元，用于获取同一地区的云和云影遥感影像样本集和标记数据集；

样本增强单元，用于根据所述标记数据集中阴影的标记范围进行膨胀，并采用膨胀后得到的阴影区域对所述遥感影像样本集进行样本增强，得到所述训练样本集；

所述样本增强单元包括：

确定单元，用于将所述遥感影像样本集中与所述阴影区域对应的区域确定为目标区域；

合并单元，用于将所述阴影区域与所述目标区域合并，得到第一数据集；

扩充单元，用于对所述第一数据集进行扩充，得到第二数据集；

扰动单元，用于对所述第二数据集中的所有图像瓦片数据进行随机线性扰动，得到所述训练样本集。

8.根据权利要求7所述的遥感影像中的云和阴影检测系统，其特征在于，所述扩充单元包括：

裁切子单元，用于将所述第一数据集中的图片数据裁切为像元尺寸相同的多个图像瓦片数据；

扩充子单元，用于若所述图像瓦片数据中包含云或阴影，则将所述图像瓦片数据进行平移、旋转或复制。