CN108388544A - 一种基于深度学习的图文融合微博情感分析方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图文融合微博情感分析方法，其特征在于，包括如下步骤：S1采集图文微博数据并进行预处理；S2提取图文微博文本情感特征；S3提取图文微博图片情感特征；S4进行图文融合微博情感分析。这种方法通过结合微博中的图片和文本，能更加准确地判断用户的情感倾向，能提高情感分析的准确率。

Description

一种基于深度学习的图文融合微博情感分析方法

技术领域

本发明属于情感分析领域，特别是涉及一种基于深度学习的图文融合微博情感分析方法。

背景技术

随着网络技术的发展和移动设备的普及，人们与互联网的信息交互越来越频繁，各大社交网络平台的用户数量也不断增加，诸如新浪微博、Twitter和 Facebook等社交网络平台已经成为了人们发表观点和记录生活的重要工具。通过挖掘用户发表在社交平台上海量信息所蕴含的情感将有助于舆情分析、个性化推荐和个性化搜索，因此，微博情感分析研究对于学术界和工业界具有巨大的科研价值和应用价值。

现有的大多数情感分析研究主要以文本为主，然而用户在微博平台上发表的信息除了140字左右的短文本外，还包含了大量的符号表情、图片、语音和视频等多种形式的信息，这些不同形式的信息在情感分析中往往具有互补作用，充分地发挥这种互补作用，有时通过融合微博中多种形式的数据可以更加准确地判断用户的情感倾向。此外，目前的微博情感分析方法主要有基于情感词典的方法和基于机器学习的方法两种。基于情感词典的方法首先构建情感词典，然后根据新词与情感词典中词语的相似度来新词的情感极性，该方法受限于情感词典的覆盖面，尤其对于微博这样网络新词频现的社交媒体，更是难以应付；基于机器学习的方法主要采用SVM、K-means、NB等机器学习模型提取微博情感特征，然而由于微博的随意性和简短性，这些方法往往也效果不佳。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于深度学习的图文融合微博情感分析方法。这种方法通过结合微博中的图片和文本，能更加准确地判断用户的情感倾向，能提高情感分析的准确率。

实现本发明目的的技术方案是：

一种基于深度学习的图文融合微博情感分析方法，包括如下步骤：

S1采集图文微博数据并进行预处理：从微博上采集图文微博数据并进行预处理；

S2提取图文微博文本情感特征：采用双向长短期记忆神经网络(Bi-directionalLong Short-Term Memory，简称BLSTM)提取图文微博文本情感特征；

S3提取图文微博图片情感特征：采用卷积神经网络(Convolutional NeuralNetwork，简称CNN)提取图文微博图片情感特征；

S4进行图文融合微博情感分析：融合步骤S2得到的文本情感特征和步骤S3 得到的图片情感特征构建图文微博情感分类模型，进行图文融合微博情感分析。

步骤S1中所述的预处理包括：

S11：先采用网络爬虫采集微博数据、并进行过滤，只保留微博数据中的图文微博数据，然后采用人工标注的方式对图文微博进行情感标注，以此作为数据集；

S12：采用中文分词工具jieba对微博文本进行分词处理，并采用word2vec 工具在大规模语料上训练，将句子转化成对应的词向量矩阵，如果一条微博文本 s由n个词语构成，经分词处理之后可表示为s＝(w₁,w₂,w₃,…,w_n)，将每个词语w 表示为k维实数向量，则最终每条微博就表示为n×k的矩阵；

S13：将图文微博中每张微博图片都归一化为227像素×227像素大小的RGB 三通道图片。

步骤S2中所述的提取图文微博图片情感特征包括：

S21构建双向长短期记忆神经网络：为了提取微博文本上下文相关的情感特征，本技术方案构建了双向的长短期记忆神经网络，所述双向长短期记忆神经网络包括Input层、LSTM(长短期记忆神经网络)层和全连接层组成，其中LSTM 层包含t个LSTM单元，LSTM单元之间采用平行但方向相反的方式连接，用于提取微博文本上下文相关的情感特征；

S22训练双向长短期记忆神经网络：将微博文本数据集按照4:1比例拆分成训练集和测试集，在训练集上训练双向长短期记忆神经网络，训练过程中为了防止过拟合，设置Dropout率为0.5，即每次迭代中随机放弃一部分训练参数，双向长短期记忆神经网络采用Adam算法更新网络各层的参数，迭代次数为100 代；

S23利用训练好的双向长短期记忆神经网络模型提取微博文本特征：将m个n×k维矩阵表示的微博文本由Input层输入LSTM层，LSTM层的特征提取分为两个过程，第一个过程为在LSTM单元间的正向传播特征提取，第二个过程为在LSTM 单元间的反向传播特征提取，最终将两个方向最后一个LSTM单元的输出连接后作为LSTM层最终的输出，正向传播和反向传播LSTM的计算公式如下：

其中c_t表示t时刻LSTM的单元状态，h_t表示隐含状态，x_t为输入，c_t-1、h_t-1和c_t+1、h_t+1表示上一时刻的单元状态和隐含状态，两个方向LSTM的参数是共享的，LSTM 层的输出最终表示为其中n是微博文本序列的长度；

S24特征映射：将LSTM层的输出输入到全连接层进行特征降维，经sigmoid 激活函数将特征映射到(0,1)区间内，即得到微博文本情感极性的概率，若概率 P>0.5，则微博文本表达的情感为正，反之表达的情感为负。

步骤S3中所述的提取图文微博图片情感特征包括：

S31构建卷积神经网络模型：所述卷积神经网络模型为在CaffeNet网络的基础之上，去掉最后的全连接层，再连接一个输出维度为2的全连接层进行特征降维，最后采用softmax作为输出映射函数；

S32训练卷积神经网络模型：采用参数迁移的方式训练卷积神经网络模型，将在ImageNet上训练的CaffeNet网络模型的前7层参数迁移到步骤S31构建卷积神经网络模型中，由于边缘、纹理、颜色等特征是图片共有的，所以通过迁移 CaffeNet网络的卷积和池化层的参数可以避免从头学习这些特征，大大提高模型的训练效率，参数迁移之后，设置网络的学习率为0.0001，动量0.9，采用 fine-tuning的方式微调训练卷积神经网络模型，不断更新卷积神经网络模型各层的参数，使卷积神经网络模型适用于微博图片情感分析任务；

S33利用步骤S32训练好的卷积神经网络模型提取微博图片特征：将m张227 像素×227像素大小的RGB三通道图片输入到CNN网络中，经过卷积和池化特征提取之后，每张图片表示成4096维的特征向量，采用全连接层对特征向量进行降维处理，最后采用softmax函数计算图片情感极性属于正负的概率：

其中z为特征向量，k为类别的数量，第i张图片经过softmax映射成一个 k维的实数向量σ(z)＝(P₁,P₂,P₃,…,P_k)，其中P代表图片为某一类情感的概率，在情感二分类问题中，取k＝2，因此得到2维的实数向量(P₁,P₂)，若P₁>P₂，则图片表达的情感极性为正；若P₁<P₂，则图片表达的情感极性为负。

步骤S4中所述的图文融合微博情感分析包括：

S41：在判断一条微博的情感极性时，微博图片和对应的文本往往相辅相成，共同决定着整条微博的情感极性，依据如下模型融合公式采用late fusion的模型融合：

P＝λP_t+(1-λ)P_i,λ∈[0,1]

其中P_t为步骤S23输出的文本情感极性概率，P_i为步骤S33输出的微博图片的情感极性概率，λ为融合权重，P为融合后的概率，即图文微博的情感极性概率；

S42：在测试集上对融合权重λ进行调整，当λ取值为0.42时，融合模型具有最高的情感分类准确率，这说明在图文微博情感分析过程中，微博文本和微博图片对最终的情感极性判断具有不同的贡献。

本技术方案与现有技术相比，其显著优点为：

1.引入深度学习中的长短期记忆神经网络，通过构建双向长短期记忆神经网络提取微博文本上下文相关的情感特征，相比传统的机器学习方法提取的特征更抽象、更具代表性，可有效提高情感分类准确率；

2.引入深度学习中的卷积神经网络，通过参数迁移的方法初始化网络参数，并采用微调方法进行模型训练，相比于从头开始训练卷积神经网络的方法具有更高的模型训练效率，模型可以更快的收敛；

3.通过设计模型融合公式融合长短期记忆神经网络和卷积神经网络，构建图文融合微博情感分类模型，充分发挥了微博数据中图片和文本地互补作用。相比于传统单独基于文本的情感分类方法更加可靠，并且具有更高的情感分类准确率。

这种方法通过结合微博中的图片和文本，更加准确地判断用户的情感倾向，提高了情感分析的准确率。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中图文融合微博情感分类模型的整体框架示意图；

图3为实施例中长短期记忆神经网络的模型结构示意图；

图4为实施例中卷积神经网络的模型结构示意图；

图5为实施例中从新浪微博上截取的普通的图片和文本情感倾向均为正的图文微博示例示意图；

图6为实施例中从新浪微博上截取的普通的文本没有明显的情感倾向但图片情感倾向为正的图文微博示例示意图；

图7为实施例中从新浪微博上截取的普通的图片没有明显的情感倾向但文本情感极性为负的图文微博示例示意图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图1、图2，一种基于深度学习的图文融合微博情感分析方法，包括如下步骤：

S1采集图文微博数据并进行预处理：从微博上采集图文微博数据并进行预处理；

S2提取图文微博文本情感特征：采用双向长短期记忆神经网络提取图文微博文本情感特征；

S3提取图文微博图片情感特征：采用卷积神经网络提取图文微博图片情感特征；

S4进行图文融合微博情感分析：融合步骤S2得到的文本情感特征和步骤S3 得到的图片情感特征构建图文微博情感分类模型，进行图文融合微博情感分析。

步骤S1中所述的预处理包括：

S11：先采用网络爬虫采集微博数据、并进行过滤，只保留微博数据中的图文微博数据，然后采用人工标注的方式对图文微博进行情感标注，以此作为数据集；

S12：采用中文分词工具jieba对微博文本进行分词处理，并采用word2vec 工具在大规模语料上训练，将句子转化成对应的词向量矩阵，如果一条微博文本 s由n个词语构成，经分词处理之后可表示为s＝(w₁,w₂,w₃,…,w_n)，将每个词语w 表示为k维实数向量，则最终每条微博就表示为n×k的矩阵；

S13：将图文微博中每张微博图片都归一化为227像素×227像素大小的RGB 三通道图片。

步骤S2中所述的提取图文微博图片情感特征包括：

S21构建双向长短期记忆神经网络：为了提取微博文本上下文相关的情感特征，本技术方案构建了双向的长短期记忆神经网络，所述双向长短期记忆神经网络包括Input层、LSTM层和全连接层组成，其中LSTM层包含t个LSTM单元， LSTM单元之间采用平行但方向相反的方式连接，用于提取微博文本上下文相关的情感特征；

S22训练双向长短期记忆神经网络：将微博文本数据集按照4:1比例拆分成训练集和测试集，在训练集上训练双向长短期记忆神经网络，训练过程中为了防止过拟合，设置Dropout率为0.5，即每次迭代中随机放弃一部分训练参数，双向长短期记忆神经网络采用Adam算法更新网络各层的参数，迭代次数为100 代；

S23利用训练好的双向长短期记忆神经网络模型提取微博文本特征：将m个 n×k维矩阵表示的微博文本由Input层输入LSTM层，LSTM层的特征提取分为两个过程，第一个过程为在LSTM单元间的正向传播特征提取，第二个过程为在LSTM 单元间的反向传播特征提取，最终将两个方向最后一个LSTM单元的输出连接后作为LSTM层最终的输出，正向传播和反向传播LSTM的计算公式如下：

其中c_t表示t时刻LSTM的单元状态，h_t表示隐含状态，x_t为输入，c_t-1_、h_t-1和c_t+1、h_t+1表示上一时刻的单元状态和隐含状态，两个方向LSTM的参数是共享的，LSTM 层的输出最终表示为其中n是微博文本序列的长度；

S24特征映射：将LSTM层的输出输入到全连接层进行特征降维，经sigmoid 激活函数将特征映射到(0,1)区间内，即得到微博文本情感极性的概率，若概率 P>0.5，则微博文本表达的情感为正，反之表达的情感为负。

步骤S3中所述的提取图文微博图片情感特征包括：

S31构建卷积神经网络模型：所述卷积神经网络模型为在CaffeNet网络的基础之上，去掉最后的全连接层，再连接一个输出维度为2的全连接层进行特征降维，最后采用softmax作为输出映射函数；

S32训练卷积神经网络模型：采用参数迁移的方式训练卷积神经网络模型，将在ImageNet上训练的CaffeNet网络模型的前7层参数迁移到步骤S31构建卷积神经网络模型中，由于边缘、纹理、颜色等特征是图片共有的，所以通过迁移 CaffeNet网络的卷积和池化层的参数可以避免从头学习这些特征，大大提高模型的训练效率，参数迁移之后，设置网络的学习率为0.0001，动量0.9，采用 fine-tuning的方式微调训练卷积神经网络模型，不断更新卷积神经网络模型各层的参数，使卷积神经网络模型适用于微博图片情感分析任务；

S33利用步骤S32训练好的卷积神经网络模型提取微博图片特征：将m张227 像素×227像素大小的RGB三通道图片输入到CNN网络中，经过卷积和池化特征提取之后，每张图片表示成4096维的特征向量，采用全连接层对特征向量进行降维处理，最后采用softmax函数计算图片情感极性属于正负的概率：

其中z为特征向量，k为类别的数量，第i张图片经过softmax映射成一个 k维的实数向量σ(z)＝(P₁,P₂,P₃,…,P_k)，其中P代表图片为某一类情感的概率，在情感二分类问题中，取k＝2，因此得到2维的实数向量(P₁,P₂)，若P₁>P₂，则图片表达的情感极性为正；若P₁<P₂，则图片表达的情感极性为负。

步骤S4中所述的图文融合微博情感分析包括：

S41：在判断一条微博的情感极性时，微博图片和对应的文本往往相辅相成，共同决定着整条微博的情感极性，依据如下模型融合公式采用late fusion的模型融合：

P＝λP_t+(1-λ)P_i,λ∈[0,1]

其中P_t为步骤S23输出的文本情感极性概率，P_i为步骤S33输出的微博图片的情感极性概率，λ为融合权重，P为融合后的概率，即图文微博的情感极性概率；

S42：在测试集上对融合权重λ进行调整，当λ取值为0.42时，融合模型具有最高的情感分类准确率。

具体地：

本实施例以新浪微博上图文微博为例，包括如下步骤：

S1：从新浪微博上采集图文微博数据并进行预处理，步骤如下：

S11：编写爬虫从新浪微博上爬取用户发表的微博数据，过滤掉其中的广告、新闻等无关信息，只保留其中个人用户发表的带有主观倾向的图文微博数据。采用多人投票的方法，人工标注过滤后的图文微博数据，作为实验数据集；

S12：利用中文分词工具结巴对微博文本进行分词处理，然后利用Google 的word2vec工具在25万条微博的语料库上训练词向量模型，训练过程中文本采用CBOW表示，词向量维度设置为d＝100，利用训练好的词向量模型将每条微博文本转化为对应的词向量矩阵，取最长微博文本的词语个数n＝114，文本词语个数小于n的采用d维的0向量填充，最后每条微博文本都表示为n×d的二维矩阵；

S13：将每张微博图片都归一化为227×227像素大小的RGB三通道图片。

S2：利用双向长短期记忆神经网络提取微博文本情感特征，步骤如下：

S21：构建双向长短期记忆神经网络，网络的结构如图3所示，模型的输入为n×d的二维矩阵，模型采用正向传播和反向传播的方式连接LSTM单元，之后采用全连接层进行特征降维，全连接层采用Dropout防止过拟合，最后利用 Sigmoid激活函数对降维后的特征进行情感映射；

S22：将微博文本数据集按照4:1比例拆分成训练集和测试集，同时利用NLPCC2013和NLPCC2014提供的微博文本数据集扩充实验数据集，避免模型训练过程中因数据量太小而过拟合，模型训练采用Adam算法更新网络各层参数，训练100代时模型达到收敛，取此时的模型作为特征提取模型；

S23：利用训练好的双向长短期记忆神经网络模型提取微博文本特征。将m 个n×k维矩阵表示的微博文本由Input层输入LSTM层，LSTM层的特征提取分为两个过程，第一个过程为在LSTM单元间的正向传播特征提取，第二个过程为在 LSTM单元间的反向传播特征提取，最终将两个方向最后一个LSTM单元的输出连接后作为LSTM层最终的输出，正向传播和反向传播LSTM的计算公式如下：

其中c_t表示t时刻LSTM的单元状态，h_t表示隐含状态，x_t为输入，c_t-1、h_t-1和 c_t+1、h_t+1表示上一时刻的单元状态和隐含状态，两个方向LSTM的参数是共享的，LSTM层的输出最终表示为其中n是微博文本序列的长度；

S24：将LSTM层的输出输入到全连接层进行特征降维，经sigmoid激活函数将特征映射到(0,1)区间内，即微博文本情感极性的概率，若概率P>0.5，则微博文本表达的情感为正，反之表达的情感为负。

S3：利用卷积神经网络提取微博图片情感特征，步骤如下：

构建卷积神经网络，本例在CaffeNet网络的基础之上，去掉最后的全连接层，再连接一个输出维度为2的全连接层进行特征降维，最后采用softmax作为输出映射函数。

S31：构建卷积神经网络：网络的结构如图4所示，网络由5个卷积层 (Conv1-Conv5)、3个池化层(Pool1、Pool2、Pool5)和3个全连接层(Fc6-Fc8) 构成，全连接层Fc6和Fc7使用Dropout技术防止过拟合，即每次迭代中随机放弃一部分训练好的参数，最后采用softmax函数将提取的特征进行情感映射；

训练卷积神经网络：本发明采用参数迁移的方式训练卷积神经网络，将在ImageNet上训练的CaffeNet网络模型的前7层参数迁移到本发明构建的卷积神经网络模型中。由于边缘、纹理、颜色等特征是图片共有的，所以通过迁移 CaffeNet网络的卷积和池化层的参数可以避免从头学习这些特征，大大提高模型的训练效率。参数迁移之后，设置网络的学习率为0.0001，动量0.9，在微博图片数据集上采用fine-tuning的方式微调训练网络，不断更新网络各层的参数，使模型适用于微博图片情感分析任务；

S32：将在ImageNet图片数据集上训练过的CaffeNet网络模型的前7层的参数迁移至本发明构建的卷积神经网络模型中，进行两个阶段的微训练；

S321：第一阶段微调训练在Flickr和Instagram上采集的具有8类情感(开心、赞叹、满足、激动、生气、厌恶、害怕、悲伤)标注的图片情感数据集上进行，设置学习率为0.001，动量0.9，训练100代，以此初步调整网络的参数，提高模型的泛化能力；

S322：第二阶段微调在第一阶段微调后的网络模型状态下进行，数据集采用采集的微博图片数据集，设置学习率为0.0001，动量0.9，训练100代，进一步调整网络参数，使得模型适用于微博图片情感分类；

S33：利用训练好的卷积神经网络模型提取微博图片特征：将m张227×227 像素大小的RGB三通道图片输入到CNN网络中，经过卷积和池化操作之后，每张图片表示成4096维的特征向量，利用全连接层对特征向量进行降维处理，

最后采用softmax函数计算图片情感极性属于正负的概率：

其中z为特征向量，k为类别的数量，第i张图片经过softmax映射成一个 k维的实数向量σ(z)＝(P₁,P₂,P₃,…,P_k)，其中P代表图片为某一类情感的概率。在情感二分类问题中，取k＝2，因此得到2维的实数向量(P₁,P₂)，若P₁>P₂，则图片表达的情感极性为正；若P₁<P₂，则图片表达的情感极性为负。

S4：融合双向长短期记忆神经网络和卷积神经网络构建图文微博情感分类模型，进行图文融合微博情感分析，步骤如下：

在判断一条微博的情感极性时，微博图片和对应的文本往往相辅相成，共同决定着整条微博的情感极性，本例采用late fusion的模型融合方法，设计的模型融合公式如下：

S41：结合微博信息中的图片和对应的文本。可以更加准确地判断用户的情感倾向，图5是一条比较普遍的正面图文微博，文本和图片都表达了正面的情感、图6的文本没有明显的情感倾向，通过结合图片才能判断它的情感极性为正，图 7中的图片并没有表达明显的情感倾向，通过结合文字可判断它表达了负面的情感，本实施例抓住这个特点，借用late fusion模型融合思想，设计了如下的模型融合公式来进行图文微博的情感分析：

P＝λP_t+(1-λ)P_i,λ∈[0,1]

其中P_t为步骤S23输出的文本情感极性概率，P_i为步骤S33输出的微博图片的情感极性概率，λ为融合权重，P为融合后的概率，即最终的图文微博的情感极性概率。若P>0.5，则图文微博表达的正面情感；若P<0.5，则图文微博表达的负面情感；

S42：在测试集上对融合权重λ进行调整还发现，当λ取值为0.42时，融合模型具有最高的情感分类准确率。这说明在图文微博情感分析过程中，微博文本和微博图片对最终的情感极性判断具有不同的贡献。

为了验证本实施例情感分析方法的有效性，将本实施例方法与基于机器学习模型SVM的文本情感分析方法进行对比，对比结果如表1所示，从表中可以看出，本本实施例方法的分类准确率为0.888，相较于SVM的方法(0.815)有显著的提高，召回率为0.890，相较于SVM方法(0.878)也有小幅提高，F1值综合考虑精确率和召回率，代表了方法的可靠性，本实施例方法的F1值较SVM方法有较大提升，证明了本实施例方法具有较高的可靠性。

表1

Claims (5)

1.一种基于深度学习的图文融合微博情感分析方法，其特征在于，包括如下步骤：

S1采集图文微博数据并进行预处理：从微博上采集图文微博数据并进行预处理；

S2提取图文微博文本情感特征：采用双向长短期记忆神经网络提取图文微博文本情感特征；

S3提取图文微博图片情感特征：采用卷积神经网络提取图文微博图片情感特征；

S4进行图文融合微博情感分析：融合步骤S2得到的文本情感特征和步骤S3得到的图片情感特征构建图文微博情感分类模型，进行图文融合微博情感分析。

2.根据权利要求1所述的基于深度学习的图文融合微博情感分析方法，其特征在于，步骤S1中所述的预处理包括：

S11：先采用网络爬虫采集微博数据、并进行过滤，只保留微博数据中的图文微博数据，然后采用人工标注的方式对图文微博进行情感标注，以此作为数据集；

S12：采用中文分词工具jieba对微博文本进行分词处理，并采用word2vec工具在大规模语料上训练，将句子转化成对应的词向量矩阵，如果一条微博文本s由n个词语构成，经分词处理之后可表示为s＝(w₁,w₂,w₃,…,w_n)，将每个词语w表示为k维实数向量，则最终每条微博就表示为n×k的矩阵；

S13：将图文微博中每张微博图片都归一化为227像素×227像素大小的RGB三通道图片。

3.根据权利要求1所述的基于深度学习的图文融合微博情感分析方法，其特征在于，步骤S2中所述的提取图文微博图片情感特征包括：

S21构建双向长短期记忆神经网络：所述双向长短期记忆神经网络包括Input层、LSTM层和全连接层组成，其中LSTM层包含t个LSTM单元，LSTM单元之间采用平行但方向相反的方式连接；

S22训练双向长短期记忆神经网络：将微博文本数据集按照4:1比例拆分成训练集和测试集，在训练集上训练双向长短期记忆神经网络，设置Dropout率为0.5，即每次迭代中随机放弃一部分训练参数，双向长短期记忆神经网络采用Adam算法更新网络各层的参数，迭代次数为100代；

S23利用训练好的双向长短期记忆神经网络模型提取微博文本特征：将m个n×k维矩阵表示的微博文本由Input层输入LSTM层，LSTM层的特征提取分为两个过程，第一个过程为在LSTM单元间的正向传播特征提取，第二个过程为在LSTM单元间的反向传播特征提取，最终将两个方向最后一个LSTM单元的输出连接后作为LSTM层最终的输出，正向传播和反向传播LSTM的计算公式如下：

其中c_t表示t时刻LSTM的单元状态，h_t表示隐含状态，x_t为输入，c_t-1、h_t-1和c_t+1、h_t+1表示上一时刻的单元状态和隐含状态，两个方向LSTM的参数是共享的，LSTM层的输出最终表示为其中n是微博文本序列的长度；

S24特征映射：将LSTM层的输出输入到全连接层进行特征降维，经sigmoid激活函数将特征映射到(0,1)区间内，即得到微博文本情感极性的概率，若概率P>0.5，则微博文本表达的情感为正，反之表达的情感为负。

4.根据权利要求1所述的基于深度学习的图文融合微博情感分析方法，其特征在于，步骤S3中所述的提取图文微博图片情感特征包括：

S31构建卷积神经网络模型：所述卷积神经网络模型为在CaffeNet网络的基础之上，去掉最后的全连接层，再连接一个输出维度为2的全连接层进行特征降维，最后采用softmax作为输出映射函数；

S32训练卷积神经网络模型：采用参数迁移的方式训练卷积神经网络模型，将在ImageNet上训练的CaffeNet网络模型的前7层参数迁移到步骤S31构建卷积神经网络模型中，参数迁移之后，设置网络的学习率为0.0001，动量0.9，采用fine-tuning的方式微调训练卷积神经网络模型，不断更新卷积神经网络模型各层的参数，使卷积神经网络模型适用于微博图片情感分析任务；

S33利用步骤S32训练好的卷积神经网络模型提取微博图片特征：将m张227像素×227像素大小的RGB三通道图片输入到CNN网络中，经过卷积和池化特征提取之后，每张图片表示成4096维的特征向量，采用全连接层对特征向量进行降维处理，最后采用softmax函数计算图片情感极性属于正负的概率：

其中z为特征向量，k为类别的数量，第i张图片经过softmax映射成一个k维的实数向量σ(z)＝(P₁,P₂,P₃,…,P_k)，其中P代表图片为某一类情感的概率，在情感二分类问题中，取k＝2，因此得到2维的实数向量(P₁,P₂)，若P₁>P₂，则图片表达的情感极性为正；若P₁<P₂，则图片表达的情感极性为负。

5.根据权利要求1所述的基于深度学习的图文融合微博情感分析方法，其特征在于，步骤S4中所述的图文融合微博情感分析包括：

S41：依据如下模型融合公式采用late fusion的模型融合：

P＝λP_t+(1-λ)P_i,λ∈[0,1]

其中P_t为步骤S23输出的文本情感极性概率，P_i为步骤S33输出的微博图片的情感极性概率，λ为融合权重，P为融合后的概率，即图文微博的情感极性概率；

S42：在测试集上对融合权重λ进行调整，当λ取值为0.42时，融合模型具有最高的情感分类准确率。