CN109063756A - 一种基于多模态生成式对抗网络的云图分类方法 - Google Patents

Abstract

本发明实施例公开了一种基于多模态生成式对抗网络的云图分类方法，该方法包括：对输入多模态云训练样本进行预处理，得到多模态生成式对抗网络输入；基于所述多模态生成式对抗网络输入，训练得到多模态生成式对抗网络；利用训练好的多模态生成式对抗网络产生假的多模态云样本；对多模态云训练样本与假的多模态云样本进行预处理，得到深度多模态云分类模型输入；基于所述深度多模态云分类模型输入，训练得到多模态云分类模型；将多模态云测试样本输入至深度多模态云分类模型中，得到每个多模态云测试样本的类别标签。

Description

一种基于多模态生成式对抗网络的云图分类方法

技术领域

本发明属于模式识别、人工智能技术领域，具体涉及一种基于多模态生成式对抗网络的云图分类方法。

背景技术

云在气候监控中扮演着重要的角色。因为不同种类的云可以反映不同的天气状况，而天气状况直接影响到农业、旅游业和其他经济活动。因此，准确的云分类可以促进气候监控的进一步发展。

传统的云数据采集方法仅仅利用云天空成像仪，例如全天空成像仪(WSI)、总天空成像仪(TSI)、红外天空成像仪(ICI)、全天成像仪(ASI)、全天红外云量测量系统(WSIRCMS)采集云的视觉信息。而视觉信息受环境因素影响较大，同一类别的云在形状、光照等方面差异较大。同时，云的类别受多种环境信息(标量信息)的影响，这些标量信息包括温度、湿度、气压、风速等。这些标量信息与云的视觉信息结合在一起构成多模态云信息。利用多模态云信息可以进一步提高云的分类准确率，原因可以概括为以下两个方面：首先，这些标量信息可以反映云的形成过程，因而它们能够提供更加准确的天气信息；其次，标量信息以及云的视觉信息可以提供完备和互补的云信息，这些信息结合在一起可以进一步地提高云分类的准确率。

近几十年来，人们采用了多种方法来进行准确的云分类。Liu等人提取云的灰度平均值、云块、边缘锐度、云团等云的结构特征来对云进行分类；Zhuo等人利用色谱变换提取云的纹理与局部结构特征，利用自动分区法提取云的全局结构特征；Liu等人将云的局部块方差作为局部二值模式的自适应权重来对云进行分类；Wang等人统计所有局部二值模式的出现频次，并将这些频次的平均排序作为云的特征描述子；Kliangsuwan等人采用5种特征提取方法得到云的特征向量，这些方法包括纹理、二维函数矩、绝对傅里叶变换、对数傅里叶变换、快速傅里叶变换映射，之后将这些特征向量构建成特征矩阵对云进行分类；Taravat等人采用多重感知神经网络和支持向量机对云进行分类；为克服云纹理分辨率的变化，Liu等人联合云空间结构金字塔和显著性局部二值模式获得云的表示特征；Shi等人利用深度卷积神经网络的卷积激活特征进行云分类；Liu等人提出了两种方法对多模态云进行分类，第一种方法对深度神经网络的卷积激活图进行空间求和池化提取多模态云的视觉特征，接着采用权重策略将提取的视觉特征与云的标量信息进行串联来获取多模态云的最终特征表示；第二种方法是利用包含两个子网络的联合融合卷积神经网络同时学习多模态云的视觉特征与标量特征。但是，由于训练样本缺乏多样性，这些深度模型泛化性较低，易于出现过拟合。

近年来，生成式对抗网络能够产生具有多样性的样本并且已被用于多个领域，例如文字到图的合成，可释表示学习，图与图之间的转换和图像超分辨率等。生成式对抗网络包括生成网络和判别网络，这两个网络之间是一种博弈的关系。具体地说，生成网络产生尽可能真的样本使判别网络无法判断真假，而判别网络就是要区分真样本与假样本。对于一个随机的输入，生成网络可以产生不同的样本。由于生成式对抗网络可以以极小的成本产生大规模的无标签样本，为昂贵的数据标记、数据缺乏等问题提供了一种解决办法。但是，现有生成式对抗网络都不适于产生多模态云数据。

发明内容

本发明的目的是要解决由于深度神经网络缺乏训练样本，泛化性能低，易于出现过拟合，进而导致云分类准确率不高的技术问题，为此，本发明提供一种基于多模态生成式对抗网络的云图分类方法。

所述方法包括以下步骤：

步骤S1，对输入多模态云训练样本进行预处理，得到多模态生成式对抗网络输入，其中，所述多模态云训练样本包括云图和多模态云标量信息，所述多模态生成式对抗网络输入包括多模态生成式对抗网络的视觉信息输入和多模态生成式对抗网络的标量信息输入；

步骤S2，基于所述多模态生成式对抗网络输入，训练得到多模态生成式对抗网络；

步骤S3，利用训练好的多模态生成式对抗网络产生假的多模态云样本，所述假的多模态云样本包括假的多模态云视觉信息和假的多模态云标量信息；

步骤S4，对多模态云训练样本与假的多模态云样本进行预处理，得到深度多模态云分类模型输入，其中，所述深度多模态云分类模型输入包括深度多模态云分类模型的视觉信息输入和深度多模态云分类模型的标量信息输入；

步骤S5，基于所述深度多模态云分类模型输入，训练得到多模态云分类模型；

步骤S6，将多模态云测试样本输入至深度多模态云分类模型中，得到每个多模态云测试样本的类别标签。

可选地，所述步骤S1中对输入多模态云训练样本进行预处理，包括：

步骤S11，对所述输入多模态云训练样本中的云图进行预处理，得到所述多模态生成式对抗网络的视觉信息输入；

步骤S12，对所述输入多模态云训练样本中的多模态云标量信息进行预处理，得到所述多模态生成式对抗网络的标量信息输入。

可选地，所述步骤S11包括以下步骤：

步骤S111，对所述云图进行归一化，得到归一化云图；

步骤S112，对所述归一化图进行中心裁剪，得到中心裁剪云图；

步骤S113，对所述中心裁剪云图进行随机裁剪，得到随机裁剪云图；

步骤S114，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到多模态生成式对抗网络的视觉信息输入。

可选地，所述步骤S12包括以下步骤：

步骤S121，将所述多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

步骤S122，将多模态云标量信息进行归一化处理，得到所述多模态生成式对抗网络的标量信息输入。

可选地，所述步骤S2包括以下步骤：

步骤S21，构建多模态生成式对抗网络，其中，所述多模态生成式对抗网络包括判别网络和生成网络，所述判别网络包括视觉信息判别子网络和标量信息判别子网络，所述生成网络包括视觉信息生成子网络和标量信息生成子网络；

步骤S22，初始化所述多模态生成式对抗网络的参数；

步骤S23，将多模态生成式对抗网络的视觉信息输入与多模态生成式对抗网络的标量信息输入分别批量输入至所述多模态生成式对抗网络判别网络中的视觉信息判别子网络和标量信息判别子网络进行联合训练；

步骤S24，构建第一噪声向量；

步骤S25，将所述第一噪声向量输入至所述多模态生成式对抗网络中的生成网络，生成假的多模态云视觉信息与多模态云标量信息；

步骤S26，将假的多模态云视觉信息与多模态云标量信息分别输入至所述多模态生成式对抗网络判别网络的视觉信息判别子网络和标量信息判别子网络中进行联合训练；

步骤S27，重复所述步骤S23至步骤S26，得到所述多模态生成式对抗网络。

可选地，所述步骤S3包括以下步骤：

步骤S31，构建第二噪声向量；

步骤S32，将所述第二噪声向量输入至所述多模态生成式对抗网络的生成网络中，生成假的多模态云视觉信息与多模态云标量信息，得到假的多模态云样本。

可选地，所述步骤S4包括以下步骤：

步骤S41，对所述多模态云训练样本与假的多模态云样本中的云图进行预处理，得到所述深度多模态云分类模型的视觉信息输入；

步骤S42，将所述多模态云训练样本与假的多模态云样本中的多模态云标量信息进行预处理，得到所述深度多模态云分类模型的标量信息输入。

可选地，所述步骤S41包括以下步骤：

步骤S411，对所述多模态云训练样本中的云图进行归一化，得到真的归一化云图；

步骤S412，对所述真的归一化云图进行中心裁剪，得到中心裁剪云图；

步骤S413，对所述假的多模态云样本中的云图进行归一化，得到假的归一化云图；

步骤S414，将所述中心裁剪云图与假的归一化云图合并到一起，并对合并后的云图进行随机裁剪，得到随机裁剪云图；

步骤S415，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到深度多模态云分类模型的视觉信息输入。

可选地，所述步骤S42包括以下步骤：

步骤S421，将所述多模态云训练样本中的多模态云标量信息与假的多模态云样本中的多模态云标量信息合并到一起，将合并后的多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

步骤S422，将所述多模态云标量信息进行归一化处理，得到深度多模态云分类模型的标量信息输入。

可选地，所述步骤S5包括以下步骤：

步骤S51，构建深度多模态云分类模型，所述深度多模态云分类模型包括视觉信息分类子网络、多模态分类子网络、联合融合层、全连接层和损失函数；

步骤S52，初始化视觉信息分类子网络、多模态分类子网络和全连接层的参数；

步骤S53，将所述深度多模态云分类模型的视觉信息输入与所述深度多模态云分类模型标量信息输入分别批量输入至深度多模态云分类模型的视觉信息分类子网络和多模态分类子网络中进行联合训练，得到深度多模态云分类模型。

本发明的有益效果为：本发明通过多模态生成式对抗网络，能够有效产生大规模具有异构特征的多模态云视觉信息与多模态云标量信息，有效避免深度模型因数据不足而产生过拟合的问题，达到提高深度模型泛化性能的目的，进而提高云图分类的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61501328，天津市自然科学基金项目No.17JCZDJC30600，天津师范大学基金项目No.135202RC1703，模式识别国家重点实验室开放课题No.201700001、No.201800002，国家留学基金委No.201708120039、No.201708120040和天津高等学校创新团队基金项目的资助。

附图说明

图1是根据本发明一实施例的一种基于多模态生成式对抗网络的云图分类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的一种基于多模态生成式对抗网络的云图分类方法，如图1所示，所述基于多模态生成式对抗网络的云图分类方法包括以下步骤：

步骤S1，对输入多模态云训练样本进行预处理，得到多模态生成式对抗网络输入，其中，所述多模态云训练样本包括云图和多模态云标量信息，所述多模态生成式对抗网络输入包括多模态生成式对抗网络的视觉信息输入和多模态生成式对抗网络的标量信息输入；

其中，所述对输入多模态云训练样本进行预处理包括以下步骤：

步骤S11，对所述输入多模态云训练样本中的云图进行预处理，得到所述多模态生成式对抗网络的视觉信息输入；

其中，将所述输入多模态云训练样本中的云图进行预处理包含以下步骤：

步骤S111，对所述云图进行归一化，得到归一化云图；

在本发明一实施例中，所述输入多模态云训练样本中的云图原始大小为1536×1536，其中，两个1536分别表示云图的高度和宽度；归一化后的云图大小为130×130，其中两个130分别表示归一化后云图的高度和宽度。

步骤S112，对所述归一化图进行中心裁剪，得到中心裁剪云图；

其中，所述中心裁剪指的是以图的中心为基准中心进行预设长度窗口裁剪。

在本发明一实施例中，归一化后云图的大小为130×130，以云图的中心为基准进行裁剪，得到的云图大小为80×80，其中两个80分别表示经中心裁剪后的云图的高度和宽度。

步骤S113，对所述中心裁剪云图进行随机裁剪，得到随机裁剪云图；

其中，所述随机剪裁指的是在不超过云图大小的范围内进行随机窗口裁剪。

在本发明一实施例中，中心裁剪后云图的大小为80×80，在不超过云图大小的范围内进行随机窗口裁剪，窗口的上边界和左边界在图内，且距离图的上边界和下边界均不得超过16个像素，得到的云图大小为64×64，其中，两个64分别表示经随机裁剪后云图的高度和宽度。

步骤S114，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到多模态生成式对抗网络的视觉信息输入。

在本发明一实施例中，所述预设像素均值为预设RGB像素均值，所述预设RGB像素均值可利用训练集中所有云图在RGB通道上计算得到。

步骤S12，对所述输入多模态云训练样本中的多模态云标量信息进行预处理，得到所述多模态生成式对抗网络的标量信息输入。

其中，对所述输入多模态云训练样本中的云标量信息进行预处理包含以下步骤：

步骤S121，将所述多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

在本发明一实施例中，所述云标量信息包括温度、湿度、气压、瞬时风速等等。

在本发明一实施例中，温度的值域范围在-20—45，湿度的值域范围在15—85，气压的值域范围在850—1100，风速的值域范围在0—5，将这些多模态云的标量信息值全部映射到0—1范围内。

步骤S122，将步骤S121得到的多模态云标量信息进行归一化处理，得到所述多模态生成式对抗网络的标量信息输入。

在本发明一实施例中，对多模态云标量信息采用的是L₂范数归一化。

步骤S2，基于所述多模态生成式对抗网络输入，训练得到多模态生成式对抗网络；

进一步地，所述步骤S2包括以下步骤：

步骤S21，构建多模态生成式对抗网络，其中，所述多模态生成式对抗网络包括判别网络和生成网络，所述判别网络包括视觉信息判别子网络和标量信息判别子网络，所述生成网络包括视觉信息生成子网络和标量信息生成子网络；

在本发明一实施例中，所述视觉信息判别子网络包括三个卷积层，每一个卷积层的卷积核大小均为m×m，步长均为s，卷积核组数量分别为n₁，n₂，n₃；第一个卷积层后连接一个第一泄露修正线性单元，第二个和第三个卷积层后分别连接一个第一批量归一化层和一个第二泄露修正线性单元。所述标量信息判别子网络包括四个反卷积层，前三个反卷积层的反卷积核大小均为m_d×m_d，步长均为s_d，第四个反卷积层的反卷积核大小为m_d4×m_d4，步长亦为s_d，反卷积核组数量分别为n_d1，n_d2，n_d3，n_d4；第一个反卷积层连接一个第一修正线性单元，第二至第四个反卷积层分别连接一个批量归一化层和一个第二修正线性单元。所述视觉信息判别子网络的输出与标量信息判别子网络的输出通过一个多模态层融合在一起；多模态层后有两个卷积层，卷积核大小均为m×m，步长分别为s和s_d，卷积核组数量分别为n₄，n₅；第一个卷积层的后面是一个第二批量归一化层和一个第三泄露修正线性单元；第二个卷积层的输出是一个标量。

在本发明一实施例中，所述生成网络的前两层是反卷积层，反卷积核大小均为m×m，步长均为s，这两层后面分别连接一个第三批量归一化层和一个第三修正线性单元；之后所述生成网络分为视觉信息生成子网络和标量信息生成子网络，所述视觉信息生成子网络由三个反卷积层组成，每一个反卷积层的反卷积核大小均为m×m，步长均为s，反卷积核组数量分别为n_d5，n_d6，n_d7，前两个反卷积层的后面分别连接一个第四批量归一化层和一个第四修正线性单元，第三个反卷积层的后面是双曲正切函数；所述标量信息生成子网络由四个卷积层组成，第一个卷积层的卷积核大小为m_d4×m_d4，步长为s_d，反卷积核组数量分别为n_d8，n_d9，第二至第四个卷积层的卷积核大小均为m_d×m_d，步长均为s_d，卷积核组数量分别为n₆，n₇，n₈，n₉，前三个卷积层的后面分别连接一个第五批量归一化层和一个第四泄露修正线性单元，第四个卷积层的后面是双曲正切函数。

在本发明一实施例中，所述视觉信息判别子网络的每一个卷积层的卷积核大小均为4×4，步长均为2，卷积核组数量分别为64，128，256；标量信息判别子网络的前三个反卷积层的卷积核大小均为3×3，步长均为1，第四个反卷积层的卷积核大小为2×2，步长为1，卷积核组数量分别为64，128，128，256；多模态融合层后两个卷积层的卷积核大小为4×4，步长分别为2和1，卷积核组数量分别为512，1；生成网络的第一个反卷积层的反卷积核大小为4×4，步长均为1，第二个反卷积层的反卷积核大小为4×4，步长均为2；视觉信息生成子网络的反卷积层的反卷积核大小均为4×4，步长均为2，反卷积核组数量分别为128，64，3；标量信息生成子网络的第一个卷积层的卷积核大小为2×2，步长为1，卷积核组数量为128，第二至第四个卷积层的卷积核大小均为3×3，步长均为1，卷积核组数量分别为128，64，4。

在本发明一实施例中，所述多模态层的表达式为：

f＝f₁+f₂，

其中，f₁和f₂分别是视觉信息判别子网络和标量信息判别子网络的输出。

在本发明一实施例中，f₁和f₂的维度均为256×8×8，其中，256指的是卷积激活图的数量，两个8指的是每个卷积激活图的高和宽。

在本发明一实施例中，双曲正切函数可以表示为：

其中，x_ij为视觉信息生成子网络或标量信息生成子网络输出的卷积激活图在第(i,j)位置的值。

在本发明一实施例中，所述修正线性单元可表示为：

f(x)＝max(0,x)，

其中，f(x)为经过修正线性单元作用后的输出值，x为神经元的输入值。

在本发明一实施例中，所述泄露修正线性单元可表示为：

其中，f_Leaky(x)为经过泄露修正线性单元作用后的输出值，x为神经元的输入值，a为泄露参数，可设为0.2。

步骤S22，初始化所述多模态生成式对抗网络的参数；

在本发明一实施例中，卷积层、反卷积层和批量归一化层的参数包括权重和偏置，其中，权重初始化服从标准正太分布，偏置全部初始化为零。

步骤S23，将步骤S114得到的多模态生成式对抗网络的视觉信息输入与步骤S122得到的多模态生成式对抗网络的标量信息输入分别批量输入至所述多模态生成式对抗网络判别网络中的视觉信息判别子网络和标量信息判别子网络进行联合训练；

步骤S24，构建第一噪声向量，作为所述多模态生成式对抗网络中生成网络的输入；

在本发明一实施例中，构建的第一噪声向量维度为100，服从随机分布。

步骤S25，将步骤S24得到的第一噪声向量输入至所述多模态生成式对抗网络中的生成网络，生成假的多模态云视觉信息与多模态云标量信息；

步骤S26，将步骤S25得到的假的多模态云视觉信息与多模态云标量信息分别输入至所述多模态生成式对抗网络判别网络的视觉信息判别子网络和标量信息判别子网络中进行联合训练；

步骤S27，重复所述步骤S23至步骤S26，训练得到所述多模态生成式对抗网络。

上文提及，可将多模态生成式对抗网络判别网络的视觉信息判别子网络输入和标量信息判别子网络输入批量输入至所述多模态生成式对抗网络判别网络的视觉信息判别子网络和标量信息判别子网络中进行联合训练，其中，输入的多模态云标量信息可以表示为：

M＝[m₁,m₂,m₃,m₄]^T，

其中，m₁,m₂,m₃,m₄表示多模态云的标量信息。

在本发明一实施例中，使用4个云标量信息，m₁,m₂,m₃,m₄分别表示温度、湿度、气压、瞬时风速。

其中，多模态云视觉信息与多模态云标量信息是一一对应的关系。

步骤S3，利用训练好的多模态生成式对抗网络产生假的多模态云样本，所述假的多模态云样本包括假的多模态云视觉信息和假的多模态云标量信息；

进一步地，所述步骤S3包括以下步骤：

步骤S31，构建第二噪声向量，作为所述多模态生成式对抗网络中生成网络的输入；

在本发明一实施例中，所述第二噪声向量的构建方式与步骤S24中第一噪声向量的构建方式一致。

步骤S32，将所述第二噪声向量输入至所述多模态生成式对抗网络的生成网络中，生成假的多模态云视觉信息与多模态云标量信息。

其中，多模态云视觉信息与多模态云标量信息是一一对应的关系。

步骤S4，对真的多模态云训练样本与假的多模态云样本进行预处理，得到深度多模态云分类模型输入，其中，所述深度多模态云分类模型输入包括深度多模态云分类模型的视觉信息输入和深度多模态云分类模型的标量信息输入；

其中，所述真的多模态云训练样本即为所述步骤S1中输入的多模态云训练样本。

进一步地，所述步骤S4包括以下步骤：

步骤S41，对所述真的多模态云训练样本与假的多模态云样本中的云图进行预处理，得到所述深度多模态云分类模型的视觉信息输入；

进一步地，所述步骤S41包括以下步骤：

步骤S411，对所述真的多模态云训练样本中的云图进行归一化，得到真的归一化云图；

在本发明一实施例中，输入云图原始大小为1536×1536，其中，两个1536分别表示云图的高度和宽度；归一化后的云图大小为320×320，其中两个320分别表示归一化后的云图的高度和宽度。

步骤S412，对所述真的归一化云图进行中心裁剪，得到中心裁剪云图；

其中，所述中心裁剪指的是以图的中心为基准中心进行预设长度窗口裁剪。

在本发明一实施例中，归一化云图的大小为320×320，以云图的中心为基准进行裁剪，得到的云图大小为256×256，其中两个256分别表示经中心裁剪后的云图的高度和宽度。

步骤S413，对所述假的多模态云样本中的云图进行归一化，得到假的归一化云图；

在本发明一实施例中，所述假的多模态云样本中的云图大小为64×64，其中，两个64分别表示云图的高度和宽度；归一化后的云图大小为256×256，其中两个256分别表示归一化后的云图的高度和宽度。

步骤S414，将步骤S412得到的中心裁剪云图与步骤S413得到的归一化云图合并到一起，并对合并后的云图进行随机裁剪，得到随机裁剪云图；

在本发明一实施例中，所述合并后的云图大小为256×256，其中，两个256分别表示云图的高度和宽度；归一化后的云图大小为224×224，其中两个224分别表示归一化后的云图的高度和宽度。

步骤S415，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到深度多模态云分类模型的视觉信息输入。

在本发明一实施例中，所述预设像素均值为预设RGB像素均值，所述预设RGB像素均值可利用训练集中所有云图在RGB通道上计算得到。

步骤S42，将所述真的多模态云训练样本与步骤S32得到的假的多模态云样本中的多模态云标量信息进行预处理，得到所述深度多模态云分类模型的标量信息输入。

进一步地，所述步骤S42包括以下步骤：

步骤S421，将所述真的多模态云训练样本中的多模态云标量信息与步骤S32得到的假的多模态云样本中的多模态云标量信息合并到一起，将合并后的多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

在本发明一实施例中，多模态云标量信息包括温度、湿度、气压、瞬时风速，将这些多模态云的标量信息的值全部映射到0—1范围内。

步骤S422，将步骤S421得到的多模态云标量信息进行归一化处理，得到深度多模态云分类模型的标量信息输入。

在本发明一实施例中，对多模态云标量信息采用的是L₂范数归一化。

步骤S5，基于所述深度多模态云分类模型输入，训练得到多模态云分类模型；

进一步地，所述步骤S5包括以下步骤：

步骤S51，构建深度多模态云分类模型，所述深度多模态云分类模型包括视觉信息分类子网络、多模态分类子网络、联合融合层、全连接层和损失函数；

视觉信息分类子网络是一个残差网络，其第一个卷积层的卷积核大小为l₁×l₁，步长为t₁，卷积核组数量为c₁；第二至第五层是由数量不等的残差块组成，每个残差块由K层卷积层组成，每个残差块第k个卷积层的卷积核大小为l_k×l_k，步长为t_k，卷积核组数量为c_k；在第一个卷积层和最后一个卷积层的后面分别是最大池化层和平均池化层，其中，最大池化层的核大小为l×l，步长为t。

多模态分类子网络是由N层全连接层组成，第j层的神经元数量为h_j。多模态分类子网络之外的一个全连接层神经元数量为h。

在本发明一实施例中，视觉信息分类子网络中的第一个卷积层的卷积核大小为7×7，步长为2，卷积核组数量为64；第二至第五层分别由3、4、6、3个残差块组成，每个残差块由3层卷积层组成，每个残差块中的第一个和第三个卷积层的卷积核大小为1×1，第二个卷积层的卷积核大小为3×3，这三个卷积核的步长均为1；第二层卷积块第一至第三层卷积层卷积核组数量分别为64、64和256；之后每层卷积块第一至第三层卷积层卷积核组数量为前一层相应数量的2倍；最大池化层核大小为3×3，步长为2；多模态分类子网络是由6层全连接层组成，神经元数量依次为64，128，256，512，1024，2048；联合融合层表达式为：

g＝(g₁+g₂)²，

其中，g₁和g₂分别是视觉信息分类子网络和多模态分类子网络的输出。

在本发明一实施例中，g₁和g₂的维度均为2048；联合融合层后面一个全连接层神经元数量为7。

在本发明一实施例中，损失函数作用在柔性最大算法上，其中，柔性最大算法可表示为：

其中，J表示云的种类，x_j为最后一个全连接层在第j个位置的神经元的输出值，x_k表示最后一个全连接层在第k个位置的神经元的输出值。

在本发明一实施例中，所述损失函数为交叉熵函数，其可表示为：

其中，Z用于表示样本的真实性，比如当y是真实样本的标签时，Z＝1；否则，Z＝0，K表示类别数量。

步骤S52，初始化视觉信息分类子网络、多模态分类子网络和全连接层的参数；

在本发明一实施例中，卷积层和全连接层的参数包括权重和偏置，权重初始化服从标准正太分布，偏置全部初始化为零。

步骤S53，将步骤S415得到的深度多模态云分类模型的视觉信息输入与步骤S422得到的深度多模态云分类模型标量信息输入分别批量输入至深度多模态云分类模型的视觉信息分类子网络和多模态分类子网络中进行联合训练，得到深度多模态云分类模型。

在本发明一实施例中，可将多模态生成式对抗网络判别网络的视觉信息分类子网络输入和标量信息子网络输入批量输入至所述多模态生成式对抗网络判别网络的视觉信息分类子网络和标量信息子网络中进行联合训练，其中，输入的多模态标量信息可以表示为：

M＝[m₁,m₂,m₃,m₄]^T，

其中，m₁,m₂,m₃,m₄表示多模态云的标量信息。

在本发明一实施例中，使用4个云标量信息，m₁,m₂,m₃,m₄分别表示温度、湿度、气压、瞬时风速。

其中，多模态云视觉信息与多模态云标量信息是一一对应的关系。

步骤S6，将多模态云测试样本输入至步骤S5得到的深度多模态云分类模型中，得到每个多模态云测试样本的类别标签。

在本发明一应用实例中，所使用的云图数据库是在不同的季节不同的时间下在中国拍摄的，所用摄像机是鱼眼镜头，具有广泛的视角。多模态信息是用手持气象站获得的，包含温度、湿度、气压、风速等信息。云图拍摄与多模态信息采集是同时进行的，因此，一幅图对应多个多模态信息。通过多模态生成式对抗网络同时产生假的多模态云视觉信息与多模态云标量信息，并将产生的假的多模态云样本合并到真的多模态云样本中来训练深度多模态云分类模型，可以提高分类模型的泛化性能，避免过拟合。实验数据显示，基于本发明方法，多模态云的分类正确率为90.5％，由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于多模态生成式对抗网络的云图分类方法，其特征在于，所述方法包括以下步骤：

步骤S1，对输入多模态云训练样本进行预处理，得到多模态生成式对抗网络输入，其中，所述多模态云训练样本包括云图和多模态云标量信息，所述多模态生成式对抗网络输入包括多模态生成式对抗网络的视觉信息输入和多模态生成式对抗网络的标量信息输入；

步骤S2，基于所述多模态生成式对抗网络输入，训练得到多模态生成式对抗网络；

步骤S3，利用训练好的多模态生成式对抗网络产生假的多模态云样本，所述假的多模态云样本包括假的多模态云视觉信息和假的多模态云标量信息；

步骤S4，对多模态云训练样本与假的多模态云样本进行预处理，得到深度多模态云分类模型输入，其中，所述深度多模态云分类模型输入包括深度多模态云分类模型的视觉信息输入和深度多模态云分类模型的标量信息输入；

步骤S5，基于所述深度多模态云分类模型输入，训练得到多模态云分类模型；

步骤S6，将多模态云测试样本输入至深度多模态云分类模型中，得到每个多模态云测试样本的类别标签。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中对输入多模态云训练样本进行预处理，包括：

步骤S11，对所述输入多模态云训练样本中的云图进行预处理，得到所述多模态生成式对抗网络的视觉信息输入；

步骤S12，对所述输入多模态云训练样本中的多模态云标量信息进行预处理，得到所述多模态生成式对抗网络的标量信息输入。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11包括以下步骤：

步骤S111，对所述云图进行归一化，得到归一化云图；

步骤S112，对所述归一化图进行中心裁剪，得到中心裁剪云图；

步骤S113，对所述中心裁剪云图进行随机裁剪，得到随机裁剪云图；

步骤S114，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到多模态生成式对抗网络的视觉信息输入。

4.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：

步骤S121，将所述多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

步骤S122，将多模态云标量信息进行归一化处理，得到所述多模态生成式对抗网络的标量信息输入。

5.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：

步骤S21，构建多模态生成式对抗网络，其中，所述多模态生成式对抗网络包括判别网络和生成网络，所述判别网络包括视觉信息判别子网络和标量信息判别子网络，所述生成网络包括视觉信息生成子网络和标量信息生成子网络；

步骤S22，初始化所述多模态生成式对抗网络的参数；

步骤S23，将多模态生成式对抗网络的视觉信息输入与多模态生成式对抗网络的标量信息输入分别批量输入至所述多模态生成式对抗网络判别网络中的视觉信息判别子网络和标量信息判别子网络进行联合训练；

步骤S24，构建第一噪声向量；

步骤S25，将所述第一噪声向量输入至所述多模态生成式对抗网络中的生成网络，生成假的多模态云视觉信息与多模态云标量信息；

步骤S26，将假的多模态云视觉信息与多模态云标量信息分别输入至所述多模态生成式对抗网络判别网络的视觉信息判别子网络和标量信息判别子网络中进行联合训练；

步骤S27，重复所述步骤S23至步骤S26，得到所述多模态生成式对抗网络。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，构建第二噪声向量；

步骤S32，将所述第二噪声向量输入至所述多模态生成式对抗网络的生成网络中，生成假的多模态云视觉信息与多模态云标量信息，得到假的多模态云样本。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，对所述多模态云训练样本与假的多模态云样本中的云图进行预处理，得到所述深度多模态云分类模型的视觉信息输入；

步骤S42，将所述多模态云训练样本与假的多模态云样本中的多模态云标量信息进行预处理，得到所述深度多模态云分类模型的标量信息输入。

8.根据权利要求7所述的方法，其特征在于，所述步骤S41包括以下步骤：

步骤S411，对所述多模态云训练样本中的云图进行归一化，得到真的归一化云图；

步骤S412，对所述真的归一化云图进行中心裁剪，得到中心裁剪云图；

步骤S413，对所述假的多模态云样本中的云图进行归一化，得到假的归一化云图；

步骤S414，将所述中心裁剪云图与假的归一化云图合并到一起，并对合并后的云图进行随机裁剪，得到随机裁剪云图；

步骤S415，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到深度多模态云分类模型的视觉信息输入。

9.根据权利要求7所述的方法，其特征在于，所述步骤S42包括以下步骤：

步骤S421，将所述多模态云训练样本中的多模态云标量信息与假的多模态云样本中的多模态云标量信息合并到一起，将合并后的多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

步骤S422，将所述多模态云标量信息进行归一化处理，得到深度多模态云分类模型的标量信息输入。

10.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：

步骤S51，构建深度多模态云分类模型，所述深度多模态云分类模型包括视觉信息分类子网络、多模态分类子网络、联合融合层、全连接层和损失函数；

步骤S52，初始化视觉信息分类子网络、多模态分类子网络和全连接层的参数；

步骤S53，将所述深度多模态云分类模型的视觉信息输入与所述深度多模态云分类模型标量信息输入分别批量输入至深度多模态云分类模型的视觉信息分类子网络和多模态分类子网络中进行联合训练，得到深度多模态云分类模型。