CN112749621B - 一种基于深度卷积神经网络的遥感图像云层检测方法 - Google Patents

Abstract

一种基于深度卷积神经网络的遥感图像云层检测方法，首先需要获得卫星图像的多个波段图，其中必要的是卫星遥感图像中的自然真彩色图像(RGB)、近光红外波段(Nir)以及云层掩模图作为训练集和测试集对深度卷积神经网络模型进行训练和测试，采用测试通过后的深度卷积神经网络模型实现遥感图像云层检测。这种基于深度学习对云层进行检测的方法拥有检测速度快，精准度高并且可以快速迁移适应不同卫星型号的特点。

Description

一种基于深度卷积神经网络的遥感图像云层检测方法

技术领域

本发明涉及遥感图像云层检测偿领域，特别是指一种基于深度卷积神经网络的遥感图像云层检测方法。

背景技术

云层检测是遥感图像检测的必要前提条件。按照目前的技术水平来说，识别云层的方法主要是基于阈值分割的，所以在遥感图中同时出现雪、海洋以及云层的情况中，不能获得一个精准的划分效果。在遥感图像处理的过程中，云层检测是分析遥感图像和卫星图像的一个重要步骤。一方面，从时间、传输和存储来看，从卫星空间站向地面站台传输遥感图像是一个费时费力的过程，另一方面从地球的表面在任何时刻都有超过三分之二的云层覆盖比例，因此探测一张区域图像的上空是否有云层覆盖，对于得到该区域的大气参数是至关重要的，所以我们需要考虑一个高效，准确的算法去除云层。

近年来，许多云层检测的方法被提出，主要可以被分为以下的几种。一种是Z.Zhuand C.Woodcock等人提出的FMask(“Object-based cloud and cloud shadow detectionin landsat imagery,”Remote Sens.of Env.,vol.118,pp.8394,2012.)方法，FMask是一种被广泛使用的基于阈值分割云层语义的方法，基本思路是对光谱特性采取一系列的测试，并获得一个最佳云层分割阈值，并由此来获得遥感图像中潜在的云像素层并且使用形态学变换中的填充变换，并结合散射相关计算得到潜在的云阴影层，在获得两者之后在使用面向对象的方法完成云匹配。另一种方法的代表是基于深度学习语义分割的云检测方法，Mehta R,Arbel T等人提出的Rs-Net模型(RS-Net:Regression-Segmentation 3D CNNfor Synthesis of Full Resolution Missing Brain MRI in the Presence of Tumours[J].2018.)借鉴了U-Net(O.Ronneberger,P.Fischer,and T.Brox,“U-Net:Convolutionalnetworks for biomedical image segmentation,”CoRR,2015.)语义分割模型的实现减少了网络的深度，并在其中添加了L2正规化层、批量归一化层去避免过拟合的情况和加快训练速度并减少对图像预处理的要求，以及在结构的最后添加一个剪裁层去去除训练图像最外围对训练帮助不大的区域来防止对网络的训练产生错误的影响。Mohajerani S,SaeediP等人提出的Cloud-Net模型(Cloud-Net:An End-To-End Cloud Detection Algorithmfor Landsat 8Imagery[C]//IGARSS 2019-2019IEEE International Geoscience andRemote Sensing Symposium.IEEE,2019.)各个层级充分运用了卷积层提取的特征来获得更加精准的结果。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于深度卷积神经网络的遥感图像云层检测方法，检测速度快，精准度高并且可以快速迁移适应不同卫星型号的特点。

本发明采用如下技术方案：

一种基于深度卷积神经网络的遥感图像云层检测方法，其特征在于，包括如下步骤：

1)从数据库中获取卫星遥感图像，进行处理后分为训练集和测试集；

2)构建深度卷积神经网络模型，将训练集输入该深度卷积神经网络模型进行训练；

3)将测试集输入训练好的深度卷积神经网络模型进行测试，得到模型的性能和准确度评估；

4)将待检测的图片输入测试通过的深度卷积神经网络模型，则输出云层检测结果。

优选的，所述深度卷积神经网络模型是从输入端到输出端的映射函数F(X^w×h×c；θ)，θ＝{W₁,W₂,...,W_L；B₁,B₂,...,B_L}，W_l表示第l层的权值矩阵，l＝1,2,3,5,...,L，L是深度卷积神经网络模型的总层数，B_l表示第l层的偏置，X^w×h×c表示输入图像，w,h,c分别为输入图像的宽度、高度和维度，损失函数为：

其中t表示为云掩模层，y表示为深度卷积神经网络模型的输出，N表示为云掩模层中像素的数量，y∈[0,1]以及t∈[0,1]，y_i、t_i分别表示为y和t的第i个像素的值，ε＝10^-7。

优选的，步骤2)中，深度卷积神经网络模型的训练是以取得损失函数J_L(t,l)的最优值来估计映射函数F中参数θ的最优取值

优选的，取得损失函数J_L(t,l)的最优值来估计映射函数F中参数θ的最优取值

具体为：权值矩阵更新的公式为：

偏置更新的公式为：

其中，l和i分别是卷积层的索引和迭代次数，η是学习率，

和

分别是第i次迭代时损失函数对第l层的权值矩阵和偏置的偏导数，经过深度卷积神经网络模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数θ的最优取值

优选的，步骤2)中，训练所述深度卷积神经网络模型包括特征提取和语义分割，特征提取包括多个卷积操作以对输入图像进行下采样并使得通道维度加大，同时对图像特征进行提取得到特征图像，公式为：

Y₁ ^{w′×h′×c′}＝F₁(X^w×h×c；θ₁)

其中w表示图像的宽度，h表示图像的高度，c表示图像的维度，Y₁ ^{w′×h′×c′}表示通过特征提取得到的图像，c′表示输出图像的维度，w′表示输出图像的宽度，h′表示输出图像的高度，c′大于c，θ₁表示在特征提取过程中卷积操作的参数；

语义分割是对特征图像进行上采样并逐步使得通道的维度减半，最后生成一个和输入图像相同大小的云掩模概率图，公式为：

其中θ₂表示为在语义分割中卷积操作的参数，Y₂为生成的云掩模图像输出，w表示输出图像的宽度，h表示输出图像的高度，1是输出图像的维度。

优选的，步骤2)中，通过使用自适应矩估计的梯度优化算法，提高深度卷积神经网络模型训练的收敛速度，给定超参数0≤β₁≤1，给定时间步为t，动量v_t即小批量随机梯度g_t的指数移动平均：

m_t＝η[β₁m_t-1+(1-β₁)g_t]

v_t＝β₂v_t-1+(1-β₂)·diag(g_t ²)

其中η表示学习率，m_t和v_t分别为梯度的一阶矩和二阶矩并有初值m₀＝0,v₀＝0,在迭代的阶段，m_t和v_t有一个向初值的偏移，t表示当前时间步，所以需要对其做偏移矫正，有如下的公式:

并根据如上的公式对各个权重参数W_t进行更新:

β₁和β₂以及ε是预设的参数，W表示模型中的权重参数，W_t为第t个时间步长中W的值，

和

分别为经过偏移矫正的估计值。

优选的，步骤2)中，所述深度卷积神经网络模型的注意力机制，包括如下：

通道注意力机制：

其中，

σ表示Sigmoid激活函数，F为注意力模块的输入，其中

为点乘的操作，

W₀和W₁中r为一常数，r＝8，AvgPool是平均池化操作，MaxPool是最大池化操作，W₁和W₀是两个权重矩阵的参数，MLP表示共享权重矩阵，

表示整个通道注意力模块的输出，

表示最大池化层的输出，

表示平均池化层的输出；

深度注意力机制如下：

f^7×7为卷积核大小为7的卷积操作，F_avg表示多通道的平均池化操作，F_max表示多通道的最大池化操作，

表示空间注意力模块的输出。

优选的，步骤3)中，进行测试得到深度卷积神经网络模型的性能和准确度评估，包括如下：

模型的精度评估标准为：

模型召回率评估标准为:

准确率的评估标准为：

其中t_p(i,j)表示真阳性的数量，f_n(i,j)表示假阴性的数量，t_n(i,j)表示真阴性的数量，f_p(i,j)表示假阳性的数量，M表示测试图像的数量，N表示一张测试图像中像素的数量；

模型F1评估标准为:

Jaccard评估标准为：

其中t_i表示模型预测云掩模像素的值，y_i表示真实边界值，ε表示一个小常数防止除0的操作。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、本方法利用两种自然图像的卷积神经网络语义分割算法的基础上利用了注意力机制，得到了更加精准的云层掩模概率层，并且采用了Jaccard Index损失函数对训练的结果产生评估，这一损失函数通过每一步的损失进行梯度的反向传播，逐次优化神经网络中的权重和偏置参数，可以适配多种卫星遥感图像所提供的不同波段并且与传统基于阈值分割检测云层相比准确度大大提高。

2、本发明的方法，使用注意力机制和编码以及解码网络来获得更加优秀的云层分割概率图，利用绝对值正则化和基于自适应矩估计的梯度优化算法来加快训练卷积神经网络收敛速度。

3、本发明的方法基于深度学习对云层进行检测，拥有检测速度快，精准度高并且可以快速迁移适应不同卫星型号的特点。

附图说明

图1是深度卷积神经网络模型训练的过程中，Jacc coef函数数值下降的过程。

图2是深度卷积神经网络模型训练的过程中，模型的训练和验证精度上升的过程。

图3是深度卷积神经网络模型组成图。

图4(a)是深度卷积神经网络模型的通道注意力机制的示意图。

图4(b)是深度卷积神经网络模型的空间注意力机制的示意图。

图5(a)是卫星遥感图像的输入图像。

图5(b)是经过神经网络预测的云层分布图，其中白色为云层，黑色为其他的背景。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

一种基于深度卷积神经网络的遥感图像云层检测方法,包括如下步骤：

1)从数据库中获取卫星遥感图像，进行处理后分为训练集和测试集。

Landsat卫星作为例子，Landsat带云掩模的图像可以从SPARCS数据集中下载得到，对于下载到的卫星遥感图像，可选取其中的三个真彩色波段(RGB)、近光红外波段(Nir)以及云层掩模图进行剪裁备用。剪裁理想的大小为384×384的小块，根据实际使用的需要将这些小块的图片根据类别并按照1:9的比例划分为训练集和测试集，分别在训练和测试的过程中进行使用。

在实际生产中我们可以使用现成的数据集(38-Cloud-A-Cloud-Segmentation-Dataset),这个数据库也是以Landsat 8卫星作为蓝本，将20张较大的卫星图切分为小块，并按照波段(RGB真彩色以及Nir波段)分文件夹进行归类，共有8400张图片可以进行训练和验证使用，同时提供了9200张图片用于测试。

2)构建深度卷积神经网络模型，将训练集输入该深度卷积神经网络模型进行训练。

输入端到输出端的映射函数F(X^w×h×c；θ)，θ＝{W₁,W₂,...,W_L；B₁,B₂,...,B_L}，W_l表示第l层的权值矩阵，l＝1,2,3,5,...,L,L是深度卷积神经网络模型的总层数，B_l表示第l层的偏置，X^w×h×c表示输入图像，w,h,c分别为输入图像的宽度、高度和维度，损失函数为：

其中t表示为云掩模层，y表示为深度卷积神经网络模型的输出，N表示为云掩模层中像素的数量，y∈[0,1]以及t∈[0,1]，y_i、t_i分别表示为y和t的第i个像素的值，ε＝10^-7用于避免等式除以零的错误。

其中图1为Jaccard损失函数数值下降的过程，图2是模型训练和验证精度上升的过程，可以看出收敛和准确度迭代的方向在大致上始终朝着一个正确的方向运动。

参见图3的深度卷积神经网络模型组成图，主要有两个部分构成，分别是提取输入遥感图像的特征以及根据遥感图像的特征和短链接得到的浅层信息进行语义分割，最终得到云掩模的概率图。

深度卷积神经网络模型的训练是以取得损失函数J_L(t,l)的最优值来估计映射函数F中参数θ的最优取值

损失函数的最小化由梯度下降算法和标准的反向传播算法实现，具体为：

权值矩阵更新的公式为：

W_l表示第l层的权重矩阵，l＝1,2,3,5,...L，L是深度卷积神经网络模型的总层数偏置更新的公式为,i表示第i轮的迭代

其中，B_l表示第l层的偏置，l＝1、2、3、...、L，l和i分别是卷积层的索引和迭代次数，η是学习率，

和

分别是第i次迭代时损失函数对第l层的权值矩阵和偏置的偏导数，经过深度卷积神经网络模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数θ的最优取值

深度卷积神经网络模型包括特征提取和语义分割，特征提取包括多个卷积操作以对输入图像进行下采样并使得通道维度加大，同时对图像特征进行提取得到特征图像，公式为：

Y₁ ^{w′×h′×c′}＝F₁(X^w×h×c；θ₁)

其中w表示图像的宽度，h表示图像的高度，c表示图像的维度。Y₁ ^{w×h′×c′}表示经过特征提取的特征图像，c′表示输出图像的维度，c′大于c，θ₁表示在特征提取过程中卷积操作的参数，Y₁ ^w×h×c′为特征图像。

语义分割是对特征图像进行上采样并逐步使得通道的维度减半，最后生成一个和输入图像相同大小的云掩模概率图，公式为：

其中θ₂表示为在语义分割中卷积操作的参数，Y₂为生成的云掩模图像输出。

该步骤中，通过使用自适应矩估计的梯度优化算法，提高深度卷积神经网络模型训练的收敛速度，在时间步t中，给定超参数0≤β₁≤1，动量v_t即小批量随机梯度g_t的指数移动平均：

m_t＝η[β₁m_t-1+(1-β₁)g_t]

v_t＝β₂v_t-1+(1-β₂)·diag(g_t ²)

其中η表示学习率，m_t和v_t分别表示梯度的一阶矩和二阶矩，有初值m₀＝0,v₀＝0,在迭代的阶段，m_t和v_t有一个向初值的偏移，t表示当前的时间步，则有一个一阶和二阶动量做偏移矫正，有如下的公式:

并根据如上的公式对各个权重参数W_t进行更新:

其中β₁和β₂以及ε是预设的参数，W表示模型中的权重参数，W_t为第t个时间步长中权重参数的值，

和

分别为经过偏移矫正的估计值。

另外，参见图4(a)和图4(b)是神经网络中空间注意力机制和通道注意力机制的示意图，注意力机制可以给网络指导，哪一部分是需要重视的特征，哪一部分是可以被忽略的特征，为了同时充分地利用图像的空间和通道信息，分别设计针对这两个模块的注意力机制，根据获取到的位置和分类信息来控制网络中信息的流动。如下分别为通道注意力和空间注意力机制的具体实现：

通道注意力机制：

其中，

σ表示Sigmoid激活函数，F为注意力模块的输入，其中

为点乘的操作，

W₀和W₁中r为一常数，本申请中r＝8，它的作用是减少神经网络中参数的数量。F为模块的输入图像，

表示通道维度模块的输出，其中c×h×w表示注意力模块输出图像的维度、高度和宽度，MaxPool表示最大池化的操作，AvgPool表示平均池化的操作,MLP表示共享的权重矩阵，

表示平均池化层的输出，

表示最大池化层的输出。

深度注意力机制如下：

f^7×7为卷积核大小为7的卷积操作，F_avg表示多通道的平均池化操作，F_max表示多通道的最大池化操作，

表示空间注意力模块的输出。其中c,h,w分别为输出图像的维度，高度和宽度。

3)将测试集输入训练好的深度卷积神经网络模型进行测试，得到模型的性能和准确度评估。该步骤中，经过步骤2)的学习训练过程后，会得到一个模型文件，通过对这个模型的加载并分析其他未在训练集合内的遥感图像中的云层，得到训练模型的性能和准确度评估。评估的函数有如下几个标准：

模型的精度评估标准为：

其中t_p(i,j)、f_p(i,j)分别表示True positive(真阳性)和False positive(假阳性)的数量，M表示测试图像的数量，N表示一张测试图像中像素的数量。

模型召回率评估标准为:

其中t_p(i,j)、f_n(i,j)分别表示True positive(真阳性)和False negative(假阴性)的数量，M表示测试图像的数量，N表示一张测试图像中像素的数量。

准确率的评估标准为：

其中t_p(i,j)表示True positive(真阳性)，f_n(i,j)表示False negative(假阴性)的数量，t_n(i,j)表示True negative(真阴性)的数量，f_p(i,j)表示False negative的数量(假阳性)，M表示测试图像的数量，N表示一张测试图像中像素的数量。

模型F1评估标准为:

Jaccard评估标准为：

其中t_i表示模型预测云掩模像素的值，y_i表示真实边界值，ε表示一个小常数防止除0的操作。

参见表1是深度卷积神经网络模型训练测试后的一份性能和准确度评估

表1

4)将待检测的图片输入测试通过的深度卷积神经网络模型，则输出云层检测结果，即获得对应预测的云层掩模图像，输出的掩模图像表示了云层在原输入遥感图像中的云层分布情况。参见图5(a)是输入的卫星遥感图像，图5(b)是经过神经网络预测的云层分布图，其中白色为云层，黑色为其他的背景。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种基于深度卷积神经网络的遥感图像云层检测方法,其特征在于，包括如下步骤：

1)从数据库中获取卫星遥感图像，进行处理后分为训练集和测试集；

2)构建深度卷积神经网络模型，将训练集输入该深度卷积神经网络模型进行训练,通过使用自适应矩估计的梯度优化算法，提高深度卷积神经网络模型训练的收敛速度，给定超参数0≤β₁≤1，给定时间步为t，动量v_t即小批量随机梯度g_t的指数移动平均：

m_t＝η[β₁m_t-1+(1-β₁)g_t]

v_t＝β₂v_t-1+(1-β₂)·diag(g_t ²)

其中η表示学习率，m_t和v_t分别为梯度的一阶矩和二阶矩并有初值m₀＝0,v₀＝0,在迭代的阶段，m_t和v_t有一个向初值的偏移，t表示时间步，所以需要对其做偏移矫正，有如下的公式:

并根据如上的公式对各个权重参数W_t进行更新:

β₁和β₂以及ε是预设的参数，W表示模型中的权重参数，W_t为第t个时间步长中W的值，

和

分别为经过偏移矫正的估计值；所述深度卷积神经网络模型的注意力机制，包括如下：

通道注意力机制：

其中，

σ表示Sigmoid激活函数，F为注意力模块的输入，其中

为点乘的操作，

W₀和W₁中r为一常数，r＝8，AvgPool是平均池化操作，MaxPool是最大池化操作，W₁和W₀是两个权重矩阵的参数，MLP表示共享权重矩阵，

表示整个通道注意力模块的输出，

表示最大池化层的输出，

表示平均池化层的输出；

深度注意力机制如下：

f^7×7为卷积核大小为7的卷积操作，F_avg表示多通道的平均池化操作，F_max表示多通道的最大池化操作，

表示空间注意力模块的输出；

3)将测试集输入训练好的深度卷积神经网络模型进行测试，得到模型的性能和准确度评估；包括如下：

模型的精度评估标准为：

模型召回率评估标准为:

准确率的评估标准为：

其中t_p(i,j)表示真阳性的数量，f_n(i,j)表示假阴性的数量，t_n(i,j)表示真阴性的数量，f_p(i,j)表示假阳性的数量，M表示测试图像的数量，N表示一张测试图像中像素的数量；

模型F1评估标准为:

Jaccard评估标准为：

其中t_i表示模型预测云掩模像素的值，y_i表示真实边界值，ε表示一个小常数防止除0的操作；

4)将待检测的图片输入测试通过的深度卷积神经网络模型，则输出云层检测结果。

2.如权利要求1所述的一种基于深度卷积神经网络的遥感图像云层检测方法，其特征在于，所述深度卷积神经网络模型是从输入端到输出端的映射函数F(X^w×h×c；θ)，θ＝{W₁,W₂,...,W_L；B₁,B₂,...,B_L}，W_l表示第l层的权值矩阵，l＝1,2,3,5,...,L，L是深度卷积神经网络模型的总层数，B_l表示第l层的偏置，X^w×h×c表示输入图像，w,h,c分别为输入图像的宽度、高度和维度，损失函数为：

其中t表示为云掩模层，y表示为深度卷积神经网络模型的输出，N表示为云掩模层中像素的数量，y∈[0,1]以及t∈[0,1]，y_i、t_i分别表示为y和t的第i个像素的值，ε＝10^-7。

3.如权利要求2所述的一种基于深度卷积神经网络的遥感图像云层检测方法,其特征在于，步骤2)中，深度卷积神经网络模型的训练是以取得损失函数J_L(t,l)的最优值来估计映射函数F中参数θ的最优取值

4.如权利要求3所述的一种基于深度卷积神经网络的遥感图像云层检测方法,其特征在于，取得损失函数J_L(t,l)的最优值来估计映射函数F中参数θ的最优取值

具体为：权值矩阵更新的公式为：

偏置更新的公式为：

其中，l和i分别是卷积层的索引和迭代次数，η是学习率，

和

分别是第i次迭代时损失函数对第l层的权值矩阵和偏置的偏导数，经过深度卷积神经网络模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数θ的最优取值

5.如权利要求1所述的一种基于深度卷积神经网络的遥感图像云层检测方法,其特征在于，步骤2)中，训练所述深度卷积神经网络模型包括特征提取和语义分割，特征提取包括多个卷积操作以对输入图像进行下采样并使得通道维度加大，同时对图像特征进行提取得到特征图像，公式为：

Y₁ ^{w′×h′×c′}＝F₁(X^w×h×c；θ₁)

其中w表示图像的宽度，h表示图像的高度，c表示图像的维度，Y₁ ^w×h×c′表示通过特征提取得到的图像，c′表示输出图像的维度，w′表示输出图像的宽度，h′表示输出图像的高度，c′大于c，θ₁表示在特征提取过程中卷积操作的参数；

语义分割是对特征图像进行上采样并逐步使得通道的维度减半，最后生成一个和输入图像相同大小的云掩模概率图，公式为：

其中θ₂表示为在语义分割中卷积操作的参数，Y₂为生成的云掩模图像输出，w表示输出图像的宽度，h表示输出图像的高度，1是输出图像的维度。

Images