CN108108720A - 一种基于深度多模态融合的地基云图像分类方法 - Google Patents

Abstract

本发明实施例公开了一种基于深度多模态融合的地基云图像分类方法，该方法包括：对输入地基云图像进行预处理，得到输入图像；将输入图像信息转移到深度神经网络训练模型中，训练得到深度神经网络；提取每幅输入图像的卷积激活特征，并进行平均池化，得到输入图像的视觉表示；将视觉特征与多模态特征相融合，得到每幅输入图像的最终特征表示；训练得到地基云图像分类模型；将测试输入图像的最终特征表示输入至模型中，得到地基云图像分类标签。本发明能够有效保持地基云图像的空间信息，达到有效提取地基云图像视觉特征的目的；充分利用视觉特征与多模态特征之间的互补信息，从而提高地基云图像分类的正确率。

Description

一种基于深度多模态融合的地基云图像分类方法

技术领域

本发明属于模式识别、人工智能技术领域，具体涉及一种基于深度多模态融合的地基云图像分类方法

背景技术

云作为一种重要的天气现象，在天气预测中扮演着极其重要的角色。云分类是云观测的重要一部分，目前这项工作一直由专业的云观测者来担任。但是，人工观测需要大量的人力和时间成本，而且观测结果在很大程度上依赖于观测者的主观判断，可靠性低。因此，现在迫切需要对地基云图像自动分类。

近年来，人们做了许多的努力来分类地基云图像，其中一种趋势就是发明了许多地基云天空成像仪，例如全天空成像仪(WSI)、总天空成像仪(TSI)、红外天空成像仪(ICI)、全天成像仪(ASI)、全天红外云量测量系统(WSIRCMS)。得益于这些设备的发明，人们可以使用大量的地基云图像来开发地基云图像自动分类算法。Calbo基于傅里叶变换提取地基云的数据纹理特征来分类图像；Heinle基于12种特征用最近邻分类器将地基云分为7类；Ghonima将云图像与无云天空图像的红蓝比(red-blue-ratio(RBR))作为特征；Zhuo将纹理和结构特征结合起来作为云的表示；Kazantzidis在分类地基云图像时考虑了颜色、太阳天顶角以及云图像上出现的雨滴；Cheng将地基云图像分成一些小块，并基于这些小块对云图像进行分类；Xiao将纹理、结构和颜色特征进行融合作为云的视觉特征。

据观测，云的外貌可视为一种自然纹理，因此使用纹理特征来描述云比较合理。Sun利用局部二值模式(LBP)将地基云图像分为5类；Liu也提出了一些算法来提取地基云图像的纹理特征，例如多重随机映射、显著性局部二值模式(SLBP)和学习小组模式。近年来，卷积神经网络在视觉分类、目标检测、演讲识别等领域取得了显著的成绩，卷积神经网络之所以能够取得这些成果，在于卷积神经网络能够学习大量的参数，并且通过使用局部视野、共享权重和下采样对旋转和图像变形具有一定的鲁棒性。特别是共享权重，使卷积神经网络具有更高的泛化性。因而一些研究者也开始使用卷积神经网络来分类地基云图像。例如，Ye利用卷积层的输出值作为特征，之后，又采用了Fisher编码来进一步提高分类准确率。Shi利用了大多数的卷积层输出值作为特征，也评估了全连接层的性能。

但是，由于云的形状是由多重因素决定的，如温度、湿度、压强、风速等，因此，仅仅使用地基云图像的视觉特征来对云进行分类很难解决云图分类的难题。此外，Shi在利用卷积层做特征时，对每一个特征图进行平均池化，忽略了特征的空间信息。

发明内容

本发明的目的是要解决地基云图像分类困难的技术问题，为此，本发明提供一种基于深度多模态融合的地基云图像分类方法。

为了实现所述目的，本发明提出一种基于深度多模态融合的地基云图像分类方法，所述方法包括以下步骤：

步骤S1，对输入地基云图像进行预处理，得到深度神经网络的输入图像；

步骤S2，将输入图像信息转移到深度神经网络训练模型中，训练得到深度神经网络；

步骤S3，提取每幅输入图像的卷积激活特征；

步骤S4，对提取得到的卷积激活特征进行平均池化，得到输入图像的视觉表示；

步骤S5，将所述视觉特征与多模态特征相融合，得到每幅输入图像的最终特征表示；

步骤S6，训练支持向量机分类器，得到地基云图像分类模型；

步骤S7，将测试输入图像的最终特征表示输入至所述地基云图像分类模型中，得到地基云图像分类标签。

可选地，所述步骤S1包括以下步骤：

步骤S11，将所述输入地基云图像归一化，得到归一化图像；

步骤S12，将所述归一化图像进行中心裁剪；

步骤S13，将经中心裁剪的图像中的每个像素值减去相应位置处的预设像素均值，得到深度神经网络的输入图像。

可选地，所述预设像素均值利用训练集中所有地基云图像计算得到。

可选地，所述步骤S2包括以下步骤：

步骤S21，构建N层深度神经网络，N层深度神经网络中包括N₁层卷积层，N₂层全连接层，N₃层最大池化层，N＝N₁+N₂+N₃；

步骤S22，初始化卷积层和全连接层的参数；

步骤S23，将所述输入图像批量输入至深度神经网络训练模型进行训练，得到深度神经网络。

可选地，所述深度神经网络中还设有局部响应归一化层。

可选地，所述步骤S3包括以下步骤：

步骤S31，将所述输入图像输入至训练好的深度神经网络中；

步骤S32，提取每幅输入图像各个卷积层的激活特征图，得到相应输入图像的卷积激活特征。

可选地，所述步骤S4包括以下步骤：

步骤S41，对步骤S32提取得到的每一卷积层的所有激活特征图进行平均池化；

步骤S42，将新得到的激活特征图按列转化为向量，得到相应卷积层的视觉特征；

步骤S43，将所有卷积层的视觉特征进行归一化处理，得到输入图像的视觉表示。

可选地，所述步骤S5具体为：

使用融合函数将视觉特征与多模态特征进行融合，作为输入图像的最终特征表示。

可选地，所述步骤S5还包含对多模态特征进行归一化处理的步骤。

可选地，所述步骤S6具体为：

将每幅输入图像的最终特征表示与该图像所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云图像分类模型。

本发明的有益效果为：本发明通过微调深度神经网络和平均池化，能够有效保持地基云图像的空间信息，达到有效提取地基云图像视觉特征的目的；通过融合视觉特征与多模态特征，能够充分利用视觉特征与多模态特征之间的互补信息，从而提高地基云图像分类的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61401309、天津市自然科学基金项目No.17JCZDJC30600、15JCQNJC01700、天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703、国家模式识别实验室开放项目研究No.201700001的资助。

附图说明

图1是根据本发明一实施例提出的一种基于深度多模态融合的地基云图像分类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例提出的一种基于深度多模态融合的地基云图像分类方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明的方法是一种基于深度多模态融合的地基云图像分类方法，其具体步骤包括：

步骤S1，对输入地基云图像进行预处理，得到深度神经网络的输入图像；

其中，所述对输入地基云图像进行预处理包括以下步骤：

步骤S11，将所述输入地基云图像归一化，得到归一化图像；

在本发明一实施例中，所述输入地基云图像大小为1056×1056，其中，两个1056分别表示输入地基云图像的高度和宽度；归一化后的图像大小为256×256，其中两个256分别表示归一化后的图像的高度和宽度。

步骤S12，将所述归一化图像进行中心裁剪；

其中，所述中心剪裁指的是以图像的中心为基准中心进行窗口裁剪。

在本发明一实施例中，图像的大小为256x256，以图像的中心为基准中心进行裁剪，得到的地基云图像大小为224×224，其中，两个224分别表示经中心裁剪后地基云图像的高度和宽度。

步骤S13，将经中心裁剪的图像中的每个像素值减去相应位置处的预设像素均值，得到深度神经网络的输入图像。

在本发明一实施例中，所述预设像素均值可利用训练集中所有地基云图像计算得到。

步骤S2，将输入图像信息转移到深度神经网络训练模型中，训练得到深度神经网络；

进一步地，所述步骤S2包括以下步骤：

步骤S21，构建N层深度神经网络，其中，卷积层有N₁层，全连接层有N₂层，最大池化层有N₃层，N＝N₁+N₂+N₃，第i层卷积层卷积核大小为m_i×m_i，步长为s_i；第j层全连接层有K_j个神经元；最大池化层核大小均为m×m，步长为s；另外，在深度神经网络中还有局部响应归一化层。

在本发明一实施例中，构建的深度神经网络包含有11层。其中，卷积层有5层，全连接层有3层，最大池化层有3层。第一个卷积层卷积核大小为7×7，步长为3；第二个卷积层卷积核大小为5×5，步长为2；其余三个卷积层的卷积核为3×3，步长为1。前两个全连接层有4096个神经元，最后一个有7个神经元。最大池化层在第一、第二、第五个卷积层后面，核大小均为2×2，步长为2。另外，在前两个卷积层后面分别还有一个局部响应归一化层。

其中，所述深度神经网络中，局部响应归一化可以表示为：

其中，是在图像中(i，j)位置上的局部响应归一化值，表示第l个卷积核作用在(i，j)位置并经过修正线性单元(ReLU)作用后的激活值，Z表示核函数的个数，n表示用于求的相邻核函数的个数，k、n、α、β为常数参数，可分别设为2、5、0.0001、0.75。

其中，所述修正线性单元(ReLU)表示为：

f(x)＝max(0，x)，

其中，f(x)为经过修正线性单元作用后的输出值，x为神经元的输入值。

步骤S22，初始化卷积层和全连接层的参数；

在本发明一实施例中，卷积层和前两个全连接层的参数初始化为均值为0、方差为1的高斯函数，最后一个全连接层的初始值全部设为0。

步骤S23，将所述输入图像批量，即每次将I幅输入图像输入至深度神经网络训练模型进行训练，得到深度神经网络，也可以看作是对于初始深度神经网络的微调。

在本发明一实施例中，可将地基云图像批量48幅送至神经网络重新训练模型。

步骤S3，提取每幅输入图像的卷积激活特征；

进一步地，所述步骤S3包括以下步骤：

步骤S31，将经过步骤S1预处理后的输入图像每次一幅输入至训练好的深度神经网络中；

步骤S32，提取每幅输入图像各个卷积层的激活特征图，得到相应输入图像的卷积激活特征，其中，激活特征图(feature map)尺寸为H×W，个数为C，H和W分别表示激活特征图(feature map)的高度和宽度。

在本发明一实施例中，各卷积层的激活特征图(feature map)大小依次为109×109、26×26、13×13、13×13、13×13，对应个数分别为64、64、256、256、256。

在本发明一实施例中，对于每幅输入图像，可选择多个卷积层中的一个卷积层的激活特征图作为相应输入图像的卷积激活特征，也可以将多个卷积层的激活特征图组合起来作为该输入图像的卷积激活特征。

步骤S4，对提取得到的卷积激活特征进行平均池化(max pooling)，得到输入图像的视觉表示；

进一步地，所述步骤S4包括以下步骤：

步骤S41，对步骤S32提取得到的每一卷积层的所有激活特征图(feature map)进行平均池化(max pooling)，所述平均池化处理可以表示为：

其中，y_ij表示在新得到的激活特征图中(i，j)位置的平均池化值，x_ij表示第k个原始激活特征图在(i，j)位置的激活值。其中，新得到的激活特征图的尺寸为H×W，H和W分别表示新得到的激活特征图的高度和宽度，C表示该卷积层激活特征图的个数。

在本发明一实施例中，5个卷积层新得到的激活特征图的大小依次为109×109、26×26、13×13、13×13、13×13。

步骤S42，将新得到的激活特征图按列转化为向量，得到相应卷积层的视觉特征，其中，视觉特征V_conv可以表示为：

V_conv＝[y₁₁，y₂₁，...，y_H1，y₁₂，y₂₂，...，y_H2，...，y_1W，y_2W，...，y_HW]，

其中，某一卷积层视觉特征V_conv的维度等于新得到的激活特征图的维度。

在本发明一实施例中，5个卷积层视觉特征V_conv的维度分别为11881维、676维、169维、169维、169维。

步骤S43，将所有卷积层的视觉特征V_conv进行归一化处理，得到输入图像的视觉表示。

在本发明一实施例中，对视觉特征V_conv进行L₂-范数归一化处理。

在本发明一实施例中，可选择其中一个卷积层的视觉特征V_conv作为输入图像的视觉表示，也可以将所有卷积层的视觉特征V_conv组合起来作为输入图像的视觉表示。

步骤S5，将所述视觉特征与多模态特征相融合，得到每幅输入图像的最终特征表示；

所述步骤S5具体为：

将步骤S43获取的输入图像的视觉特征V与多模态特征M进行融合，作为输入图像的最终特征表示。

其中，融合算法可以表示为：

Q＝f(V，M)；

其中，Q为融合后得到的每幅输入图像的最终特征表示，f为融合函数，多模态特征M表示为：

M＝[m₁，m₂，...，m_i，...，m_p]，

其中，m_i表示第i个多模态信息，p表示多模态信息的个数。

在本发明一实施例中，使用6个多模态信息，即p为6，m₁，m₂，...，m₆分别表示温度、湿度、气压、风速、平局风速、最大风速。

在本发明一实施例中，所述步骤S5还可包含对多模态特征M进行归一化处理的步骤。

在本发明一实施例中，对多模态特征M进行L₂-范数归一化处理。

在本发明一实施例中，所述融合函数选为串联融合函数，即将视觉特征V与多模态特征M进行串联，得到输入图像的最终特征表示，即融合函数f表示为：

f(V，M)＝[αV，βM]，

其中，α，β表示平衡视觉特征V与多模态特征M重要性的参数。

在本发明一实施例中，α，β分别设为1和0.8。

步骤S6，训练支持向量机分类器(SVM)，得到地基云图像分类模型；

所述步骤S6具体为：

将根据步骤S5得到的训练地基云图像的特征表示与每幅训练地基云图像所对应的标签分别输入到支持向量机(SVM)分类器中，训练得到所述地基云图像分类模型。

在本发明一实施例中，所述支持向量机分类器(SVM)为径向基核函数(radialbasis function kernel)SVM。

步骤S7，将测试输入图像的最终特征表示输入至所述地基云图像分类模型中，得到地基云图像分类标签。

其中，所述测试输入图像的最终特征表示可按照上述步骤得到。

在本发明一应用实例中，所使用的地基云图像数据库是在不同的天气条件下在中国拍摄的，所用摄像机是鱼眼镜头，具有广泛的视角。多模态信息是用手持气象站获得的，包含温度、湿度、气压、风速等信息。地基云图像拍摄与多模态信息采集是同时进行的，因此，一幅图像对应多个多模态信息。通过对提取的卷积层激活特征值进行平均池化并融合多模态信息，地基云图像的分类正确率为86.30％，由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于深度多模态融合的地基云图像分类方法，其特征在于，所述方法包括以下步骤：

步骤S1，对输入地基云图像进行预处理，得到深度神经网络的输入图像；

步骤S2，将输入图像信息转移到深度神经网络训练模型中，训练得到深度神经网络；

步骤S3，提取每幅输入图像的卷积激活特征；

步骤S4，对提取得到的卷积激活特征进行平均池化，得到输入图像的视觉表示；

步骤S5，将所述视觉特征与多模态特征相融合，得到每幅输入图像的最终特征表示；

步骤S6，训练支持向量机分类器，得到地基云图像分类模型；

步骤S7，将测试输入图像的最终特征表示输入至所述地基云图像分类模型中，得到地基云图像分类标签。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

步骤S11，将所述输入地基云图像归一化，得到归一化图像；

步骤S12，将所述归一化图像进行中心裁剪；

步骤S13，将经中心裁剪的图像中的每个像素值减去相应位置处的预设像素均值，得到深度神经网络的输入图像。

3.根据权利要求2所述的方法，其特征在于，所述预设像素均值利用训练集中所有地基云图像计算得到。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：

步骤S21，构建N层深度神经网络，N层深度神经网络中包括N₁层卷积层，N₂层全连接层，N₃层最大池化层，N＝N₁+N₂+N₃；

步骤S22，初始化卷积层和全连接层的参数；

步骤S23，将所述输入图像批量输入至深度神经网络训练模型进行训练，得到深度神经网络。

5.根据权利要求4所述的方法，其特征在于，所述深度神经网络中还设有局部响应归一化层。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，将所述输入图像输入至训练好的深度神经网络中；

步骤S32，提取每幅输入图像各个卷积层的激活特征图，得到相应输入图像的卷积激活特征。

7.根据权利要求6所述的方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，对步骤S32提取得到的每一卷积层的所有激活特征图进行平均池化；

步骤S42，将新得到的激活特征图按列转化为向量，得到相应卷积层的视觉特征；

步骤S43，将所有卷积层的视觉特征进行归一化处理，得到输入图像的视觉表示。

8.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：

使用融合函数将视觉特征与多模态特征进行融合，作为输入图像的最终特征表示。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5还包含对多模态特征进行归一化处理的步骤。

10.根据权利要求1所述的方法，其特征在于，所述步骤S6具体为：

将每幅输入图像的最终特征表示与该图像所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云图像分类模型。