CN112348058B

CN112348058B - 一种基于cnn-lstm网络的卫星云图分类方法和计算机可读存储介质

Info

Publication number: CN112348058B
Application number: CN202011129663.5A
Authority: CN
Inventors: 王杉; 徐楚怡
Original assignee: East China Jiaotong University
Current assignee: East China Jiaotong University
Priority date: 2020-10-20
Filing date: 2020-10-20
Publication date: 2022-10-11
Anticipated expiration: 2040-10-20
Also published as: CN112348058A

Abstract

本发明涉及一种基于CNN‑LSTM网络的卫星云图分类方法，包括：S1、获取卫星的各个通道的云图数据；S2、对所述云图数据进行分类标记；S3、基于光谱特征预处理各个分类中的所述云图数据以生成训练集样本、验证集样本和测试集样本；S4、采用Add层结合卷积神经网络和长短期记忆神经网络构建CNN‑LSTM网络；S5、采用所述训练集样本训练所述CNN‑LSTM网络并采用所述验证样本集验证所述CNN‑LSTM网络；S6、基于所述CNN‑LSTM网络测试所述测试集样本并输出分类结果。本发明能够尽可能多地从输入层获取有效特征信息，去除无效、冗余信息，从而进行准确分类。

Description

一种基于CNN-LSTM网络的卫星云图分类方法和计算机可读存储介质

技术领域

本发明涉及气象领域，更具体地说，涉及一种基于CNN-LSTM网络的卫星云图分类方法和计算机可读存储介质。

背景技术

天空中的云对地-气系统的辐射收支平衡有重要作用。从云的形态、种类、分布、厚度、数量等等因素的变化可以反映出大气的运动状况，因此云的分类问题在天气预测中是很重要的问题。但是云是复杂多样的，因此如何利用计算机自动对卫星数据和云图进行有效、准确且快速的云分类仍然是一个很重要的问题。阈值法是早期的云图分类的办法，结合云类特征及人工经验设定阈值，进行云图分类。随着卫星技术的发展以及成像技术的提升，聚类方法得到广泛应用。目前用于卫星云图分类的神经网络有反向传播(BP)神经网络、概率神经网络(PNN)和自组织映射(SOM)网络。

然而，现有技术的各种分类方法存在以下缺陷。基于图像的阈值法是一种无监督学习法，考虑到卫星云图的多样性与复杂性，通常阈值由人工来设定，阈值的设定存在人工主观误差。且不同云类存在交叉，不同时间、不同地区其阈值并不相同，阈值难以确定。此外卫星通道数据存在辐射反演误差，所得分类结果并不理想。聚类方法是目前最常用的无监督云分类方法，只适用于区分类间差别较大的大类，对大类分类准确，分类结果不细致，难以达到目前对云图分类的要求。而目前用于卫星云图分类的神经网络，反向传播网络(BP)、概率神经网络(PNN)和自组织映射网络(SOM)；它们的网络结构简单，但是提取的有效特征信息很少，分类的准确率较低。虽然云块样本包含了更多分类信息，情况更为复杂但之前所使用的几种网络无法从中获得更多的有效特征信息从而提高云分类准确率。由于云图数据自身存在不同类别之间的亮温数据存在交叉，不同云类之间存在着相互演变的中间状态。此外单个像元所探测的区域内的云有时并不是同一种云类，云类数据存在“同物异谱”和“同谱异物”等特点。目前影响神经网络云图分类准确率的主要原因在于特征的选取以及充足的样本数，所使用的不同神经网络方法会影响从输入层获取的有效特征信息从而影响分类结果的准确性。

因此，目前的基于神经网络的卫星云图分类方法存在训练参数过多，计算量大，提取有效特征能力差，分类不准确等等缺点。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能够尽可能多地从输入层获取有效特征信息，去除无效、冗余信息，从而进行准确分类的基于CNN-LSTM网络的卫星云图分类方法和计算机可读存储介质。

本发明解决其技术问题所采用的技术方案是：构造一种基于CNN-LSTM 网络的卫星云图分类方法，包括：

S1、获取卫星的各个通道的云图数据；

S2、对所述云图数据进行分类标记；

S3、基于光谱特征预处理各个分类中的所述云图数据以生成训练集样本、验证集样本和测试集样本；

S4、采用Add层结合卷积神经网络和长短期记忆神经网络构建 CNN-LSTM网络；

S5、采用所述训练集样本训练所述CNN-LSTM网络并采用所述验证样本集验证所述CNN-LSTM网络；

S6、基于所述CNN-LSTM网络测试所述测试集样本并输出分类结果。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，在所述步骤S2中，基于所述云图数据的特征近似程度以及每个分类中的样本数量，将所述云图数据分为八类，即无云、卷云或卷层云、深对流、高积云或高层云、雨层云、积云、层积云、层云。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，所述步骤S3进一步包括：

S31、根据各个通道的云图数据的数据特性以及各个通道的用途，选择 A*A个光谱特征；

S32、设置滑动窗口为B*B，基于所述滑动窗口对每个分类中云图数据进行预处理，从而得到特征图像的大小为(A*B)*(A*B)；

S33、基于所述特征图像的大小从所述云图数据制备训练图片集、验证图片集和测试图片集；

其中A和B为大于1的正整数。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，在所述步骤S3中，A＝5，B＝7，所述训练图片集、所述验证图片集和所述测试图片集的比例为8:1:1。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，在所述步骤S4中，所述卷积神经网络包括彼此顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，所述第一卷积层的滤波器大小为30，滤波器尺寸为3*3，所述第二卷积层的滤波器大小为40，滤波器尺寸为5*5，所述第一池化层和所述第二池化层均为最大池化层。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，在所述步骤S4中，将所述卷积神经网络和所述长短期记忆神经网络分别乘以第一加权系数和第二加权系数后，采用Add层结合构建所述CNN-LSTM网络。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，所述 CNN-LSTM网络的损失函数为：

其中N代表样本数量，M代表类别的数量，y_ic如果预测输出类别与样本 i的类别相同就是1，否则就是0。

在本发明所述的基于CNN-LSTM网络的卫星云图分类方法中，在所述步骤S5和步骤S6中，在将所述训练集样本、所述验证集样本和所述测试集样本输入长短期记忆神经网络之前，对其进行序列化处理。

本发明解决其技术问题采用的另一技术方案是，构造一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于CNN-LSTM网络的卫星云图分类方法。

实施本发明的基于CNN-LSTM网络的卫星云图分类方法，能够尽可能多地从输入层获取有效特征信息，去除无效、冗余信息，从而进行准确分类。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于CNN-LSTM网络的卫星云图分类方法的第一优选实施例的流程图；

图2示出了本发明的优选实施例的卷积神经网络的结构示意图；

图3示出了根据本发明的优选实施例的采用LSTM网络对图片进行序列化处理的示意图；

图4示出了根据本发明的优选实施例的CNN-LSTM网络；

图5示出了根据本发明的优选实施例的云层特征图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明的基于CNN-LSTM网络的卫星云图分类方法的第一优选实施例的流程图。如图1所示，在步骤S1中，获取卫星的各个通道的云图数据，并对各个云图数据进行归一化处理。在本发明的一个优选实施例中，使用 Himawari-8卫星201707的16个通道的云图数据，其中可见光通道为6个，红外光通道为10个，并且将获得的云图数据进行归一化处理，从而获得多个云图数据矩阵，例如可以是1024*1024的数据矩阵。

在步骤S2中，对所述云图数据进行分类标记。通常可以将云图数据按照云层的种类将其分为十类。当然，在本发明的优选实施例中，根据云图数据的特征接近程度，以及每个分类中样本数量，以将云图数据分为八类，即无云、卷云或卷层云、深对流、高积云或高层云、雨层云、积云、层积云、层云，即将卷云或卷层云合并为一类，将高积云或高层云合并为一类，从而避免某个分类中样本数量过少。

在步骤S3中，基于光谱特征预处理各个分类中的所述云图数据以生成训练集样本、验证集样本和测试集样本。在本发明的一个优选实施例中，首先根据各个通道的云图数据的数据特性以及各个通道的用途，选择A*A个光谱特征。在此可以选择例如5*5＝25个光谱特征。卫星的各个通道采用的云图数据的类型、特性以及用途均不相同，因此可以根据其实际类型，特性和用途选择适合的光谱特征。云图上云的色调与它的厚度、成分和表面的光滑程度有关，反映了云类的光谱特征。可见光云图利用云顶反射太阳光原理，反映了云的垂直分布情况，不同的色调显示了云的覆盖面积以及云的厚度，其缺点在于夜间无法拍摄。不同类型和厚度的云，其云顶表面或者光滑或者有起伏皱纹等。红外云图不仅能昼夜感测还能提供可见光云图所没有的信息，红外波段，在波长一定时，卫星所测辐射仅与物体亮温有关。红外云图上不同的色调显示不同的了云的云顶高度和云顶温度。在水汽图上，不同的色调显示了物体的水汽含量。对于利用单个通道的光谱特征细分无法得到很好的分类结果时，我们采用的是综合多通道特征，对云类进行细分。图5示出了根据本发明的优选实施例的云层特征图。

然后，我们可以结合步骤S2中的对所述云图数据进行分类标记所提供的分类，即云的类型的标记对云图数据进行预处理。比如，设置滑动窗口为B*B，基于所述滑动窗口对每个分类中云图数据进行预处理，从而得到特征图像的大小为(A*B)*(A*B)。在此，滑动窗口大小可以设置成例如3*3、5*5、7*7 等等，这可以根据云图数据的具体数量来进行选择。在本发明中，优选选择滑动窗口为7*7大小，滑动步长为7。然后滑动窗口内的各个像元的光谱特征进行数据组合，然后放大至[0,255]，得到特征图像大小为(5*7)*(5*7)，即35*35。基于所述特征图像的大小从所述云图数据制备训练图片集、验证图片集和测试图片集。优选的，所述训练图片集、所述验证图片集和所述测试图片集的比例为8:1:1。

在步骤S4中，采用Add层累加卷积神经网络和长短期记忆神经网络构建 CNN-LSTM网络。在本发明中，采用CNN网络，通过卷积层和池化层提取深层特征和浅层特征，而采用LSTM网络，通过长短时记忆层提取样本中空间序列特征，然后利用ADD层结合两种特征，只增加了信息量而没有增加特征的维度。

20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)，常用于模式分类领域。长短期记忆网络(LSTM)由Hochreiter&Schmidhuber (1997)提出，是在递归神经网络(RNN)的基础上进行改进，能够解决长期记忆的问题，实现前后时刻的信息传递任务。而本发明的CNN-LSTM网络(卷积神经网络与长短期记忆网络混合网络)通过结合空间维以及时间维的特征的分类结果来提高云图分类的准确率，CNN(卷积神经网络)与LSTM(长短期记忆网络)并行连接，利用不同维度的特征对云图进行分类，通过两种网络分类结果的结合，提高云图分类的准确率。

卷积神经网络(CNN)避免了对图像的复杂前期预处理，可以直接输入原始图像，在特征提取部分避免了显示特征抽取，而隐式地从训练数据中进行学习，卷积神经网络的权值共享机制降低了网络的复杂性，减少了权值的数量。从而可以避免传统神经网络方法中的两大缺陷，一是很多复杂特征的提取，二十数据重建的过程，这种网络结构对平移、缩放以及其他形式的一些简单变形具有高度的不变性。

图2示出了本发明的优选实施例的卷积神经网络的结构示意图。如图2 所示，所述卷积神经网络包括彼此顺序连接的第一卷积层Convl、第一池化层 Pool1、第二卷积层Conv2、第二池化层Pool2、第一全连接层Dense1和第二全连接层Dense2。在本实施例中，所述第一卷积层的滤波器大小为30，滤波器尺寸为3*3，所述第二卷积层的滤波器大小为40，滤波器尺寸为5*5，所述第一池化层和所述第二池化层均为最大池化层。

LSTM(长短期记忆)神经网络的提出是为了克服循环神经网络梯度消失和梯度爆炸的问题，该网络使用了三个“门”结构来控制不同时刻的状态和输出，即“输入门”“输出门”和“遗忘门”。通过门结构将短期记忆与长期记忆结合起来，其优势可以连接先前的信息到当前的任务上。长短期记忆网络不仅可以用于动态的时间连续变化的图片，也可以用于静态图片时间维特征的提取。在本实验中就使用了长短期记忆网络对静态图片提取时间维信息，然而进入网络之前要先对图片进行序列化处理，其具体过程如图3所示。

图4示出了根据本发明的优选实施例的CNN-LSTM网络。如图4所示，数据一路进入CNN网络处理之后，乘以第一加权系数，另一路经序列化处理之后，进入LSTM网络，经LSTM网络处理之后乘以第二加权系数，然后采用Add层叠加两组数据。利用ADD层结合两个网络，既没有原始信息的丢失又使得图像的特征下的信息量增多了，但是描述图像的维度本省并没有增加，只是每一维下的信息量在增加，这对最终图像的分类是有帮助的。对整个网络的损失函数进行优化，一般多分类问题选用的损失函数为交叉熵损失函数，本发明中所使用的损失函数如下：

其中N代表样本数数量，M代表类别的数量，y_ic如果预测输出类别与样本i的类别相同就是1，否则就是0。p_ic代表预测输出值中真实类别对应神经元的输出。由于两种网络输出量级不同，为了减小大量级对小量级的抑制作用，在本实施例中，我们采用结合网络层自训练来获得两种网络相加的权重。

在步骤S5中，采用所述训练集样本训练所述CNN-LSTM网络并采用所述验证样本集验证所述CNN-LSTM网络。可以根据所述CNN-LSTM网络中的softmax函数判断云类型所属类别。

首先对样本集的云类别进行one-hot码进行编码，例如0-7八个类别，经过编码后的类别标签就变成了10000000,01000000,00100000,00010000,00001000,00000100,00000010,0000000 1。经过构建的CNN-LSTM网络我们的输出为八维数据，经过softmax激活函数每个神经元的输出都是0-1的概率值，且八个神经元输出值之和为1，我们一般把概率最大值设为1其余都设为0。例如0.001 0.200 0.109 0 0.6 0 0 0即等于00001000(4)

在步骤S6中，在所述CNN-LSTM网络训练好之后，基于所述CNN-LSTM 网络测试所述测试集样本并输出分类结果。

测试集样本中包含的是带标签的八类样本，每类样本的样本数都是均衡的，将样本数据输入，对应有一个输出类别，与真实样本的类别标签进行对比，计算每类样本的分类准确率即召回率(recall)。

本发明提出了一种基于CNN-LSTM网络的卫星云图分类方法，该方法结合CNN(卷积神经网络)网络从输入层获取的空间维特征以及LSTM(长短时记忆网络)网络从输入特征所提取的时间维信息，获取更多的有效特征信息，从而提高网络分类的准确率。并且该方法还具有更快收敛速度，更高的分类准确率，更好的鲁棒性。本发明只利用光谱数据特征，获取了更多特征有效信息，提高了卫星云图的分类准确率，并且可以通过时间维信息的获取克服不同云类别之间存在亮温交叉问题，而且两种网络的结合对分类结果有校正、加强的作用，从而提高了网络分类的准确率。本发明进一步通过充分利用云类特性，结合云图有效光谱特征信息，获得更高的云图分类准确率。

因此，本发明可以通过硬件、软件或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现本发明方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按本发明方法运行。

本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。

虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于CNN-LSTM网络的卫星云图分类方法，其特征在于，包括：

S1、获取卫星的各个通道的云图数据；

S2、对所述云图数据进行分类标记；

S4、采用Add层结合卷积神经网络和长短期记忆神经网络构建CNN-LSTM网络；

S5、采用所述训练集样本训练所述CNN-LSTM网络并采用所述验证集样本验证所述CNN-LSTM网络；

S6、基于所述CNN-LSTM网络测试所述测试集样本并输出分类结果;

在所述步骤S4中，所述卷积神经网络包括彼此顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层;将所述卷积神经网络和所述长短期记忆神经网络分别乘以第一加权系数和第二加权系数后，采用Add层累加构建所述CNN-LSTM网络；其中通过所述卷积神经网络的所述卷积层和所述池化层提取深层特征和浅层特征，通过所述长短期记忆神经网络的长短时记忆层提取空间序列特征，然后利用ADD层结合所述深层特征、所述浅层特征和所述空间序列特征；

在所述步骤S4中，数据一路进入CNN网络处理之后，乘以第一加权系数，另一路经序列化处理之后，进入LSTM网络，经所述LSTM网络处理之后乘以第二加权系数，然后采用所述Add层叠加两组数据；数据进入LSTM网络之前要先对图片进行序列化处理，使用长短期记忆网络对静态图片提取时间维信息。

2.根据权利要求1所述的基于CNN-LSTM网络的卫星云图分类方法，其特征在于，在所述步骤S2中，基于所述云图数据的特征近似程度以及每个分类中的样本数量，将所述云图数据分为八类，即无云、卷云或卷层云、深对流、高积云或高层云、雨层云、积云、层积云、层云。

3.根据权利要求1所述的基于CNN-LSTM网络的卫星云图分类方法，其特征在于，所述步骤S3进一步包括：

S31、根据各个通道的云图数据的数据特性以及各个通道的用途，选择A*A个光谱特征；

S32、设置滑动窗口为B*B，基于所述滑动窗口对每个分类中云图数据进行预处理，从而得到特征图像的大小为（A*B）*（A*B）；

其中A和B为大于1的正整数。

4.根据权利要求3所述的基于CNN-LSTM网络的卫星云图分类方法，其特征在于，在所述步骤S3中，A=5，B=7，所述训练图片集、所述验证图片集和所述测试图片集的比例为8:1:1。

5.根据权利要求1所述的基于CNN-LSTM网络的卫星云图分类方法，其特征在于，所述第一卷积层的滤波器大小为30，滤波器尺寸为3*3，所述第二卷积层的滤波器大小为40，滤波器尺寸为5*5，所述第一池化层和所述第二池化层均为最大池化层。

6.根据权利要求5所述的基于CNN-LSTM网络的卫星云图分类方法，其特征在于，所述CNN-LSTM网络的损失函数为：

其中N代表样本数量，M代表类别的数量，

如果预测输出类别与样本i的类别相同就是1，否则就是0，

代表预测输出值中真实类别对应神经元的输出。

7.根据权利要求1所述的基于CNN-LSTM网络的卫星云图分类方法，其特征在于，在所述步骤S5和步骤S6中，在将所述训练集样本、所述验证集样本和所述测试集样本输入长短期记忆神经网络之前，对其进行序列化处理。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-7中任意一项权利要求所述的基于CNN-LSTM网络的卫星云图分类方法。