CN108629368A

CN108629368A - 一种基于联合深度融合的多模态地基云分类方法

Info

Publication number: CN108629368A
Application number: CN201810262106.7A
Authority: CN
Inventors: 刘爽; 李梅; 张重
Original assignee: Tianjin Normal University
Current assignee: Hefei Minglong Electronic Technology Co ltd
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2018-10-09
Anticipated expiration: 2038-03-28
Also published as: CN108629368B

Abstract

本发明实施例公开了一种基于联合深度融合的多模态地基云分类方法，该方法包括：对输入地基云样本进行预处理，得到联合深度融合神经网络输入；将该输入转移到联合深度融合神经网络训练模型中，训练得到联合深度融合神经网络；提取每个输入地基云样本的视觉特征与多模态特征，并将其融合，得到每个输入地基云样本的最终特征表示；训练支持向量机分类器，得到地基云分类模型；获取测试输入地基云样本的最终特征表示，输入至地基云分类模型中，得到分类结果。本发明具有融合异构特征能力，能够有效联合学习视觉信息与多模态信息，提取出更高辨别性的视觉特征与多模态特征，充分利用两者的互补信息，提高地基云分类的正确率。

Description

一种基于联合深度融合的多模态地基云分类方法

技术领域

本发明属于模式识别、人工智能技术领域，具体涉及一种基于联合深度融合的多模态地基云分类方法。

背景技术

当今，许多实际应用都需要精准的云观测技术，例如：光遥感应用、天气预报、降水量估计以及深空气候观察。然而，目前云观测任务一直由一些专业的观察员来完成，这不仅需要消耗大量的人力，而且易于出现观察失误。因此，人们做了许多努力来实现自动云观测。云类型自动分类是云观测的重要内容，但由于在不同的大气条件下，云外貌千变万化，因而这项工作具有极大的挑战，也一直处于欠发展的状态。

许多研究者采用不同的设备来获取必要的云分类数据，这些设备包括基于地面和基于卫星的设备。基于卫星的设备可以获取大范围的云信息，而基于地面的设备具有较小的观察范围，主要用于检测具体位置的云。因此，人们利用基于地面的设备进行连续的局部云观测。现今很多地基云天空成像仪被研制成功，例如全天空成像仪(WSI)、总天空成像仪(TSI)、红外天空成像仪(ICI)、全天成像仪(ASI)、全天红外云量测量系统(WSIRCMS)。

得益于这些设备的发明，人们可以使用大量的地基云图像来开发地基云图像自动分类算法。Buch将云的纹理特征、位置信息与亮度信息作为特征对地基云进行分类；Heinle选择了7种颜色特征、4种纹理特征和云覆盖率共计12种特征用于云分类；Liu从分割图像和边缘图像中提取一些云结构特征，这些特征包括云灰度平均值、云块、边缘亮度等；Singh和Glennen提出用自相关、互相关矩阵、边缘频率、Laws特征、原始长度等方法来提取云特征；Liu提出多个学习具有判别性纹理特征的算法，例如多次随机映射的嵌入方法、基于自适应符号的稀疏编码、显著局部二值模式和互信息学习特征等；Zhuo提出三步云分类算法，第一步是实施色谱转换，第二步是获取大致的云结构信息，最后一步是获得云类别；Xiao提出联合提取纹理、结构和颜色特征对地基云图进行分类。

最近，深度神经网络在许多计算机视觉任务上取得了显著的成就。深度神经网络最引人注目的特点是它们可以自动的从原始数据经过一些线性变换后获得高层次的特征，因而在很大程度上它们能够捕捉到有效的信息。因此一些研究者开始利用卷积神经网络对地基云图像进行分类。例如，Ye先从卷积层中提取深度视觉特征，之后，又采用了Fisher编码和云模式挖掘以及选择来进一步提高分类准确率；Shi在卷积层的特征图上利用最大池化或平均池化来获得浅层或深层的视觉信息，同时也评估了全连接层的性能。

但是，现存方法都仅仅利用视觉特征对地基云进行分类，而视觉特征受环境因素影响较大。同一种云，它们在形状、光照、遮挡物等方面差异较大，但是与它们相对应的多模态信息却相对稳定，因此受环境因素影响较小。同时，云的类别受多模态信息的影响，这些信息包括温度、湿度、气压、风速等。

发明内容

本发明的目的是要解决地基云分类困难的技术问题，为此，本发明提供一种基于联合深度融合的多模态地基云分类方法。

所述方法包括以下步骤：

步骤S1，对输入地基云样本进行预处理，得到联合深度融合神经网络输入，所述联合深度融合神经网络输入包括联合深度融合神经网络的视觉信息输入和联合深度融合神经网络的多模态信息输入；

步骤S2，将所述联合深度融合神经网络输入转移到联合深度融合神经网络训练模型中，训练得到联合深度融合神经网络；

步骤S3，提取每个输入地基云样本的视觉特征与多模态特征；

步骤S4，将所述视觉特征与多模态特征相融合，得到每个输入地基云样本的最终特征表示；

步骤S5，训练支持向量机分类器，得到地基云分类模型；

步骤S6，获取测试输入地基云样本的最终特征表示，并将其输入至所述的地基云分类模型中，得到测试输入地基云样本分类结果。

可选地，所述步骤S1包括以下步骤：

步骤S11，对所述输入地基云样本中的地基云图像进行预处理，得到所述联合深度融合神经网络的视觉信息输入；

步骤S12，将所述输入地基云样本中的地基云多模态信息进行预处理，得到联合深度融合神经网络的多模态信息输入。

可选地，所述步骤S11包括以下步骤：

步骤S111，将所述地基云图像进行归一化，得到归一化图像；

步骤S112，对所述归一化图像进行随机裁剪；

步骤S113，将经随机裁剪的图像中的每个RGB像素值减去相应的预设RGB像素均值，得到联合深度融合神经网络的视觉信息输入。

可选地，所述步骤S12包括以下步骤：

步骤S121，将所述地基云多模态信息的值映射到相同的范围，得到映射后的地基云多模态信息；

步骤S122，将所述映射后的地基云多模态信息减去相应的预设多模态信息均值，得到联合深度融合神经网络的多模态信息输入。

可选地，所述步骤S2包括以下步骤：

步骤S21，构建联合深度融合神经网络，所述联合深度融合神经网络整体结构包括视觉子网络、多模态子网络、联合融合层、全连接层和损失函数；

步骤S22，初始化视觉子网络、多模态子网络和全连接层的参数；

步骤S23，将所述联合深度融合神经网络的视觉信息输入与联合深度融合神经网络的多模态信息输入分别批量输入至联合深度融合神经网络训练模型的视觉子网络和多模态子网络进行联合训练，得到联合深度融合神经网络。

可选地，所述步骤S23中，输入至所述联合深度融合神经网络训练模型的视觉信息与多模态信息是一一对应的。

可选地，所述步骤S3包括以下步骤：

步骤S31，将所述联合深度融合神经网络的视觉信息输入与联合深度融合神经网络的多模态信息输入分别输入至训练好的联合深度融合神经网络的视觉子网络和多模态子网络中；

步骤S32，分别提取视觉子网络和多模态子网络的输出作为地基云的视觉特征和多模态特征。

可选地，所述步骤S4包括以下步骤：

步骤S41，对所述输入地基云样本的视觉特征和多模态特征分别进行归一化处理；

步骤S42，将归一化后的输入地基云样本的视觉特征和多模态特征进行融合；

步骤S43，将融合后的输入地基云样本的特征表示进行归一化处理，得到输入地基云样本的最终特征表示。

可选地，所述步骤S5具体为：

将每个输入地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云样本分类模型。

本发明的有益效果为：本发明通过联合深度融合神经网络联合学习视觉信息特征和多模态信息特征，能够有效融合异构特征信息，达到有效提取具有更高判别性的地基云视觉特征和多模态特征的目的；通过融合视觉特征与多模态特征，能够充分利用视觉特征与多模态特征之间的互补信息，提高地基云图像分类的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、天津市自然科学基金项目No.17JCZDJC30600、15JCQNJC01700、天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703、模式识别国家重点实验室开放课题No.201700001、No.201800002、国家留学基金委No.201708120039、No.201708120040的资助。

附图说明

图1是根据本发明一实施例提出的一种基于联合深度融合的多模态地基云分类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例提出的一种基于联合深度融合的多模态地基云分类方法的流程图，如图1所示，所述基于联合深度融合的多模态地基云分类方法包括：

其中，所述对输入地基云样本进行预处理包括以下步骤：

其中，将所述输入地基云样本中的地基云图像进行预处理包含以下步骤：

步骤S111，将所述地基云图像进行归一化，得到归一化图像；

在本发明一实施例中，所述输入地基云样本中的地基云图像原始大小为1056×1056，其中，两个1056分别表示地基云图像的高度和宽度；归一化后的地基云图像大小为256×256，其中两个256分别表示归一化后的地基云图像的高度和宽度。

步骤S112，对所述归一化图像进行随机裁剪；

其中，所述随机剪裁指的是在不超过图像大小的范围内进行随机窗口裁剪。

在本发明一实施例中，图像的大小为256×256，在不超过图像大小的范围内进行随机窗口裁剪，窗口的上边界和左边界在图像内，且距离图像的上边界和下边界均不得超过32个像素，得到的地基云图像大小为224×224，其中，两个224分别表示经裁剪后地基云图像的高度和宽度。

在本发明一实施例中，所述预设RGB像素均值可利用训练集中所有地基云图像在RGB通道上计算得到。

其中，将所述输入地基云样本中的地基云多模态信息进行预处理包含以下步骤：

在本发明一实施例中，多模态信息包括温度、湿度、气压、瞬时风速、最大风速和平均风速。温度的值域范围在-20—45，湿度的范围在15—85，气压的范围在850—1100，风速的范围在0—5，将这些地基云多模态信息的值全部映射到0—255范围内。

在本发明一实施例中，所述预设多模态信息均值可利用训练集中所有地基云多模态信息，分别计算得到温度、湿度、压强、瞬时风速、最大风速、平均风速的均值。

进一步地，所述步骤S2包括以下步骤：

步骤S21，构建联合深度融合神经网络，所述联合深度融合神经网络整体结构包括一个视觉子网络、一个多模态子网络、一个联合融合层、一个全连接层和一个损失函数；

视觉子网络是一个残差网络，其第一个卷积层的卷积核大小为m₁×m₁，步长为s₁，卷积核组数量为n₁；第二至第五层是由数量不等的残差块组成，每个残差块由K层卷积层组成，每个残差块第k个卷积层的卷积核大小为m_k×m_k，步长为s_k，卷积核组数量为n_k；在第一个卷积层和最后一个卷积层的后面分别是最大池化层和平均池化层，其中，最大池化层的核大小为m×m，步长为s。

多模态子网络是由N层全连接层组成，第i层的神经元数量为l_i。多模态子网络之外的一个全连接层神经元数量为l。

在本发明一实施例中，视觉子网络中的第一个卷积层的卷积核大小为7×7，步长为2，卷积核组数量为64；第二至第五层分别由3、4、6、3个残差块组成，每个残差块由3层卷积层组成，每个残差块中的第一个和第三个卷积层的卷积核大小为1×1，第二个卷积层的卷积核大小为3×3，这三个卷积核的步长均为1；第二层卷积块第一至第三层卷积层卷积核组数量分别为64、64和256；之后每层卷积块第一至第三层卷积层卷积核组数量为前一层相应数量的2倍；最大池化层核大小为3×3，步长为2；多模态子网络是由6层全连接层组成，神经元数量依次为64，128，256，512，1024，2048；联合融合层表达式为：

f＝(αf₁+βf₂)²，

其中，f₁和f₂分别是视觉子网络和多模态子网络的输出，α、β为f₁和f₂的权重，用来调节f₁和f₂的重要性。

在本发明一实施例中，f₁和f₂的维度均为2048；联合融合层后面一个全连接层神经元数量为7；α、β分别设为0.1和0.9。

在本发明一实施例中，损失函数作用在柔性最大算法上，柔性最大表达式为：

其中，T是云的种类，x_j为最后一个全连接层在第_j个位置的神经元的输出值。

损失函数是交叉熵函数，其表达式为：

其中，q_j是真实标签的概率，当_j是真实标签时，q_j＝1，否则q_j＝0。

在本发明一实施例中，卷积层和全连接层的参数包括权重和偏置，权重初始化服从标准正太分布，偏置全部初始化为零。

步骤S23，将步骤S113得到的联合深度融合神经网络的视觉信息输入与步骤S122得到的联合深度融合神经网络的多模态信息输入分别批量输入至联合深度融合神经网络训练模型的视觉子网络和多模态子网络进行联合训练，得到联合深度融合神经网络。

在本发明一实施例中，可将联合深度融合神经网络的视觉信息输入和联合深度融合神经网络的多模态信息输入批量输入至所述联合深度融合神经网络训练模型的视觉子网络和多模态子网络中进行联合训练，其中，输入的多模态信息可以表示为：

M＝[m₁，m₂，...，m_p，...，m_P]^T，

其中，m_p表示第p个多模态信息，P表示多模态信息的个数。

在本发明一实施例中，使用6个多模态信息，即P为6，m₁,m₂,...,m₆分别表示温度、湿度、气压、瞬时风速、最大风速和平均风速。

其中，视觉信息与多模态信息是一一对应的关系。

进一步地，所述步骤S3包括以下步骤：

步骤S31，将步骤S1预处理后得到的视觉信息与多模态信息分别输入至训练好的联合深度融合神经网络的视觉子网络和多模态子网络中；

在本发明一实施例中，可将视觉子网络中平均池化层的输出作为视觉特征，将多模态子网络中最后一层卷积层的输出作为多模态特征。

进一步地，所述步骤S4包括以下步骤：

步骤S41，将步骤S3提取得到的输入地基云样本的视觉特征和多模态特征分别进行归一化处理；

在本发明一实施例中，输入地基云样本的视觉特征和多模态特征均采用L₂范数进行归一化。

在本发明一实施例中，融合算法可以表示为：

F＝g(f₁,f₂)，

其中，F为融合后得到的每个输入地基云样本的特征表示，g为融合函数。

在本发明一实施例中，所述融合函数选为串联融合函数，即将提取的视觉特征f₁与多模态特征f₂进行串联，得到输入地基云样本的特征表示，即融合函数g表示为：

g(f₁,f₂)＝[λ₁f₁,λ₂f₂]，

其中，λ₁，λ₂表示平衡视觉特征f₁与多模态特征f₂重要性的参数。

在本发明一实施例中，λ₁，λ₂分别设为0.1和0.9。

在本发明一实施例中，融合后的输入地基云样本的特征表示采用L₂范数进行归一化。

步骤S5，训练支持向量机分类器，得到地基云分类模型；

所述步骤S5具体为：

将根据步骤S4得到的每个训练地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云分类模型。

在本发明一实施例中，所述支持向量机分类器为径向基核函数。

步骤S6，获取测试输入地基云样本的最终特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云样本分类结果。

其中，所述测试输入地基云样本的最终特征表示可按照上述步骤得到。

在本发明一应用实例中，所使用的地基云图像数据库是在不同的季节不同的时间下在中国拍摄的，所用摄像机是鱼眼镜头，具有广泛的视角。多模态信息是用手持气象站获得的，包含温度、湿度、气压、风速等信息。地基云图像拍摄与多模态信息采集是同时进行的，因此，一幅图像对应多个多模态信息。通过从两个子网络分别提取地基云样本的视觉信息与多模态信息，再将它们融合，地基云样本的分类正确率为93.37％，由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims

1.一种基于联合深度融合的多模态地基云分类方法，其特征在于，所述方法包括以下步骤：

步骤S5，训练支持向量机分类器，得到地基云分类模型；

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

3.根据权利要求2所述的方法，其特征在于，所述步骤S11包括以下步骤：

步骤S111，将所述地基云图像进行归一化，得到归一化图像；

步骤S112，对所述归一化图像进行随机裁剪；

4.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：

5.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：

6.根据权利要求5所述的方法，其特征在于，所述步骤S23中，输入至所述联合深度融合神经网络训练模型的视觉信息与多模态信息是一一对应的。

7.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

8.根据权利要求7所述的方法，其特征在于，所述步骤S4包括以下步骤：

9.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：将每个输入地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云样本分类模型。