CN106599824B - 一种基于情感对的gif动画情感识别方法 - Google Patents

Abstract

一种基于情感对的GIF动画情感识别方法，涉及动画情感识别。包括以下步骤：(1)训练情感对序列检测子；(2)训练中层表示到情感倾向的分类器。提出了基于GIF动画情感识别方法，相对于基于静态图片的情感识别方法更具有挑战性，并且解决了底层特征不匹配的问题和词与词之间关系扁平的问题。解决了GIF动画情感识别问题，相比目前的基于底层特征的情感识别方法，识别准确率更高。可以应用于微博情感识别领域。相对于基于静态图片的情感识别方法更具有挑战性，并且解决了底层特征不匹配的问题和词与词之间关系扁平的问题。

Description

一种基于情感对的GIF动画情感识别方法

技术领域

本发明涉及动画情感识别，尤其是涉及一种基于情感对的GIF动画情感识别方法。

背景技术

“情感对”是一种我们提出的情感中层特征表示方法。GIF图片是社交网络上常见的动画形式。情感识别指的是用计算机算法来识别物体情感倾向的过程，常见的情感倾向有三种：积极、中性和消极。

对社交网络上的内容进行情感识别可以分析用户的情感倾向。根据内容的性质不同可以分为文本情感识别，静态图像情感识别和GIF动画情感识别三个领域。文本情感识别采用情感词和语言模型。流行的静态图像情感识别方法采用基于ANP的中层特征表示。

目前与本发明最相近的技术方案是基于SentiBank的静态图片的情感识别。在国际会议ACM MM论文Large-scale visual sentiment ontology and detectors usingadjective noun pairs中Borth等人提出了一个视觉情感分类器的集合SentiBank，这个分类器集合构成了一个视觉情感的中层表示。基于SentiBank的方案首先从Flickr的标签数据中提取形容词和名词，将这些形容词和名词组成形容词名词对(ANP)。将这些形容词名词对在YouTube中搜索，剔除不合理的形容词和名词对。之后将这些ANP作为搜索词在Google图片搜索中搜索相关词，作为训练数据集，训练对应ANP的检测器。检测器的模型是SVM.使用的特征是五种底层特征的拼接。

现有技术的主要缺点是不适用于GIF动画的情感识别问题。这种不适用主要体现在：

1.所采用的底层特征不能直接用于GIF动画。现有技术采用的是静态图片底层的特征，不适用于GIF动画。

2.现有方法形成的中层表示不能用于GIF动画。现有方法的中层表示是形容词名词对(ANP)的形式。其中的形容词和名词取材于静态图片的社交网络Flickr.这些词不一定能表达GIF动画的情感。ANP本身对动作的表示能力弱。也不适合表示GIF动画。

3.现有方法中词与词之间的结构是扁平的，难以处理一词多义以及种属关系问题。扩展性差。

发明内容

本发明所要解决的问题在于针对上述现有技术的不足，提供一种基于情感对的GIF动画情感识别方法。

本发明包括以下步骤：

(1)训练情感对序列检测子；

(2)训练中层表示到情感倾向的分类器。

在步骤(1)中，所述训练情感对序列检测子的具体方法可为：

(1.1)构建“情感对”模型，在现有“形容词名词对”模型的基础上引入了动词，构成了动词名词对，专门用来描述GIF视频中的动作信息。为了表述方便将“形容词名词对”和“动词名词对”合称为“情感对”；

(1.2)概念语义体系的构建，只需要WordNet中的形容词，动词和名词三种类型的单词。其他的例如副词、介词、助词均被删除。对提取出的动词、形容词和名词组合为形容词名词对(ANP)和动词名词对(VNP)；

(1.3)概念语义的筛选，在删除数词，介词，副词等和“情感对”无关的概念语义词之后,还需要从中筛选出符合目标的概念语义项目；

(1.4)基于多任务学习和情感相关性挖掘的“情感对”的检测，我们检测器的输出是相应“情感对”的概率值，输入是GIF动画的视频帧。检测之后的结果是一个长向量，该向量的维度是筛选后“情感对”的个数，该向量将作为该视频帧的中间层特征表示。

在步骤(1)第(1.3)部分中，所述筛选出符合目标的概念语义项目的具体步骤可为：

设计了情感丰富度权值。构建过程如下：在SentiWordNet中，每个词的情感倾向性(SentiScore)分为若干个等级，情感丰富度权值的绝对值越大表示情感倾向越强烈。

SentiWeight_i＝|SentiScore_i|

SentiScore就是SentiWordNet中该概念语义的情感得分，情感丰富度权值的取值范围是[0,1]。

设计语义频率权值(GiphyWeight)。构建过程如下：在GIF视频网站Giphy.com中搜索情感词，统计Giphy.com搜索结果中GIF图像的数量Count,每一个概念语义的语义频率权值依据下式得出：

在上式中，Count_i是第i个概念语义在Giphy.com中对应的GIF动画个数。分母则是全部概念语义对应的GIF动画个数的最大值。

在得到情感丰富度权值和语义频率权值后，根据下式计算出一个筛选权值FilterWeight:

筛选权值FilterWeight的取值范围为[0,1]。

在步骤(1)第(1.4)部分中，所述基于多任务学习和情感相关性挖掘的“情感对”的检测中：

在多任务情感分析中使用的损失函数是交叉熵损失函数，使用KL距离来计算标签与分类结果之间的相似度；

对于两个离散型分布P，Q，KL距离可以用上式进行计算。

在步骤(2)中，所述训练中层表示到情感倾向的分类器具体包括以下步骤：

(2.1)构建情感对序列；

(2.2)构建基于情感对序列的GIF情感时序分析模型，为了评估情感对序列的有效性，引入了带长短期记忆单元(LSTM)的循环神经网络(RNN)作为时序分析的模型。

在步骤(2)第(2.1)部分中，所述构建情感对序列具体包括以下步骤：

设计一个GIF情感分析时序模型—“情感对序列”，试图通过将时序信息形式化为概念语义的有序链表来解决时序问题；一个“情感对序列”是一组“情感对”构成的向量，为了评价不同长度的视频，向量的维度是不确定的，向量中的每个值代表一个情感对，而情感对则是从GIF视频帧中检测得到的；

SentiPair Sequence＝(SentE₁,SentE₂,...,SentE_n),SentE_i∈{ANP,VNP}

Time(SentE_i)＜Time(SentE_j),i＜j

上式是一个情感对序列的时序表达，SentE_i代表情感对序列中第i个情感对；Time(SentE_i)表示该情感对在GIF视频中出现的时刻；

当i＜j时，第i个情感对出现在第j个情感对之前。

本发明首先构建了GIF视频情感分析概念语义体系(GIF Sentiment Ontology)，该语义体系包含了概念语义项以及概念语义项之间的上下位关系，在语义项的构建过程中提出了“情感丰富度权值”和“语义频率权值”实现了对概念语义体系的筛选。筛选过程综合考虑了概念语义的情感丰富度和概念语义在GIF视频出现的频率。在概念语义体系的基础之上，概念语义体系的上下位关系也为概念语义的检测提供帮助，使用深度神经网络训练了“情感对”检测器。之后，提出了一个GIF情感分析时序模型—“情感对序列”模型，通过该模型对输入的GIF动图进行情感判断。本发明首次提出了基于GIF动画情感识别方法，这种方法相对于基于静态图片的情感识别方法更具有挑战性，并且解决了底层特征不匹配的问题和词与词之间关系扁平的问题。

本发明为了解决底层特征不匹配的问题。在静态图像特征的基础上，引入光流等时序特征。为了解决中层表示不匹配的问题。在ANP之外提出动词名词对(VNP)的概念，更好表征GIF动画中的动作。同时提出“情感对序列”的概念。一个情感对序列是按照时间先后顺序排列的情感对。作为GIF动画的中层表示。

为了解决词与词之间关系扁平的问题，本发明采用了不同的提取词的方法，其中的形容词、名词和动词来自普林斯顿大学的WordNet系统，并根据GIF动画收集网站Giphy上的人工标注进行筛选，筛选的结果是和GIF动画情感相关的词，因为这些词都是原先WordNet的词，具有上下位关系，因此中层表示扩展性好。

本发明解决了GIF动画情感识别问题，相比目前的基于底层特征的情感识别方法，本发明识别准确率更高。相比其它方法，本发明可以应用于微博情感识别领域。

本发明首次提出了基于GIF动画情感识别方法，这种方法相对于基于静态图片的情感识别方法更具有挑战性，并且解决了底层特征不匹配的问题和词与词之间关系扁平的问题。

附图说明

图1为GIF动图情感判断流程图。

图2为情感对的构成。

图3为概念语义体系示意图。

图4为情感对序列示意图。

图5为循环神经网络。

图6为带长短期记忆的神经元示意图。

图7为基于“情感对序列”的GIF情感时序分析模型。

具体实施方式

以下实施例将结合附图对本发明做进一步详细说明。

参见图1，本实施例首先构建GIF情感分析概念语义体系，包括构建“情感对”模型，构建概念语义体系，概念语义的筛选和基于多任务学习和情感相关性挖掘的“情感对”的检测；然后提出了一个GIF情感分析时序模型—“情感对序列”模型，对输入的GIF动图进行情感识别。具体包括以下步骤：

一、构建GIF情感分析概念语义体系

(1)构建“情感对”模型

在开始实际构建概念语义之前，需要一个合适的模型来表示GIF视频中出现的概念语义。在静态图像情感分析中，使用“形容词名词对”模型来表示图像中的概念语义。但是，在动态视频情感分析领域，“形容词名词对”模型的表示能力有所欠缺。这是由于在GIF视频中有很多动作信息，使用形容词名词对模型不能很好描述。为此，在现有“形容词名词对”模型的基础上引入了动词，构成了动词名词对，专门用来描述GIF视频中的动作信息(如图2所示)。为了表述方便，将“形容词名词对”和“动词名词对”合称为“情感对”。

(2)概念语义体系的构建

在自然语言处理领域，WordNet是一个被公认为有着广泛覆盖面的单词网络。WordNet起初是由普林斯顿大学提出的一个词典项目。与常见的词典项目不同，WordNet不仅把单词以字母顺序排列，而且按照单词的意义组成一个“单词的树形结构”。但是，仅仅照WordNet的语义网络结构不能满足我们的要求。主要原因是在GIF情感分析的过程中，WordNet中的很多概念语义是很少在GIF动画中出现的。因此，我们需要从现有的WordNet的网络中筛选出在GIF动画中经常出现的概念。此外，因为我们的概念语义表示方法为前文提出的“情感对”，所以只需要WordNet中的形容词、动词和名词三种类型的单词。其他的例如副词、介词、助词均被删除。

图3是构建的GIF视频情感分析概念语义体系的示意图。本发明的概念语义体系主要由三棵“语义树”构成，分别是“名词语义树”、“动词语义树”、“形容词语义树”。

(3)概念语义的筛选

选择WordNet作为概念语义体系的基础。然而，并不是所有WordNet中出现的概念语义都应该出现在本发明的概念语义体系中的。在删除数词，介词，副词等和“情感对”无关的概念语义词之后，还需要从中筛选出符合以下目标的概念语义项目：

筛选的目标有两个：

1.找出情感倾向性强的概念语义。在概念语义体系中不同的概念语义所含有的情感倾向是不同的，因此，需要筛选出那些情感倾向性强的概念语义。

2.找出GIF视频中经常出现的概念语义。因为那些很少出现在GIF视频中的概念语义项目会增加概念语义的检测难度，并且这些项目对GIF情感分析没有什么贡献。

为满足第一个筛选目标，设计情感丰富度权值。构建过程如下：在SentiWordNet中，每个词的情感倾向性(SentiScore)分为若干个等级。正数表示积极情感倾向，负数表示消极倾向。情感丰富度权值的绝对值越大表示情感倾向越强烈。

SentiWeight_i＝|SentiScore_i|

SentiScore就是SentiWordNet中该概念语义的情感得分，显然，情感丰富度权值的取值范围是[0,1]。

为满足第二个筛选目标，设计语义频率权值(GiphyWeight)。构建过程如下：在GIF视频网站Giphy.com中搜索情感词，统计Giphy.com搜索结果中GIF图像的数量Count,每一个概念语义的语义频率权值依据下式得出：

在上式中，Count_i是第i个概念语义在Giphy.com中对应的GIF动画个数。分母则是全部概念语义对应的GIF动画个数的最大值。因此，GiphyWeight情感权值的取值范围是[0,1]。为了得到Counti的数据，爬取了GIF收藏网站Giphy.com中的GIF标注(tag)。使用爬虫技术采集了Giphy.com中的英文标签。因为这些标签都是描述GIF内容的，使用这个集合对WordNet进行筛选，保留在Giphy.com的标签中出现数量多的词语。

在得到情感丰富度权值和语义频率权值后，根据下式计算出一个筛选权值FilterWeight：

显然，由于情感丰富度权值和语义频率权值的取值范围均为[0,1]，筛选权值FilterWeight的取值范围为[0,1]。由于情感丰富度权值描述的是概念语义的情感丰富程度，语义频率权值描述的是概念语义在GIF视频中分布的广泛程度，按照上式得出的筛选权值既能描述概念语义的丰富程度，又能描述概念语义在GIF视频中出现的概率。

(4)基于多任务学习和情感相关性挖掘的“情感对”的检测

在构建好GIF情感分析概念语义体系后，要开始训练概念语义的检测器。由于概念语义的描述方式是“情感对”，因此检测器的输出是相应“情感对”的概率值，输入是GIF动画的视频帧。检测之后的结果是一个长向量，该向量的维度是筛选后“情感对”的个数，该向量将作为该视频帧的中间层特征表示。

在多任务情感分析中使用的损失函数是交叉熵损失函数。使用KL距离来计算标签与分类结果之间的相似度。

对于两个离散型分布P，Q，KL距离可以用上式进行计算。

最后，受到深度学习尤其是卷积神经网络在视觉识别方面的巨大成功的启发，选择卷积神经网络作为情感对检测器的检测模型。

二.GIF情感分析时序模型的构建

(1)情感对序列

由于现有的两种时序信息处理方式的不足，设计一个GIF情感分析时序模型—“情感对序列”，试图通过将时序信息形式化为概念语义的有序链表来解决时序问题。顾名思义，一个“情感对序列”是一组“情感对”构成的向量。为了评价不同长度的视频，向量的维度是不确定的。向量中的每个值代表一个情感对。而情感对则是从GIF视频帧中检测得到的。

SentiPair Sequence＝(SentE₁,SentE₂,...,SentE_n),SentE_i∈{ANP,VNP}

Time(SentE_i)＜Time(SentE_j),i＜j

上式是一个情感对序列的时序表达，SentE_i代表情感对序列中第i个情感对；Time(SentE_i)表示该情感对在GIF视频中出现的时刻；

当i＜j时，第i个情感对出现在第j个情感对之前。如图5所示，GIF视频的内容为一个小女孩的情绪变化过程。情感对序列如下：

(Lovely Girl,Innocent Girl,Girl Frown,Girl Shout)

(2)基于情感对序列的GIF情感时序分析模型

为了解决GIF视频中概念语义之间的时序关系问题，设计GIF情感分析时序模型。为了评估情感对序列的有效性，引入带长短期记忆单元(LSTM)的循环神经网络(RNN)作为时序分析的模型。

(2.1)带长短期记忆单元(LSTM)的循环神经网络

本发明设计的GIF时序情感分析循环神经网络(RNN)的结构如图5所示，循环神经网络的隐含层(Hidden Layer)结点中存在着连向自身的边。Input Layer是输入层，OutputLayer是输出层，Hidden Layer是隐含层。对于RNN的隐含层结点而言，需要处理的输入既包括输入层的输出，又包括上一个时刻的输出。由于这条边的存在，循环神经网络可以认为是有记忆能力的。那么，如何使用循环神经网络来处理时序信息呢？为了将时序信息输入网络，循环神经网络将神经元展开为若干个神经元的并行连接。循环神经网络会对之前输入的结点信息进行记忆，并应用于当前输出的计算中。与传统的神经网络相比，隐藏层之间的节点不再无连接而是有连接的。各个隐藏层节点的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

传统循环神经网络的一个问题是，当输入序列很长时，神经网络学习时会出现“梯度消失”的现象。这是由于传统的循环神经网络将“过去”的所有节点都记住，导致参数过多，为了解决这个问题，使用长短期记忆的循环神经网络结构。GIF情感时序分析中带长短期记忆的神经元如图6所示。

(2.2)时序模型的形式化描述

在上一节的基础上，长短期记忆单元(LSTM)模型形式化描述如下：U_i,U_f,U_c,U_o,V_o

设x_t是t时刻视频帧对应的“情感对”，W_i,W_f,W_c,W_o分别是输入门、遗忘门、神经细胞体、输出门中作用于情感对的权值矩阵，U_i,U_f,U_c,U_o分别为输入门、遗忘门、神经细胞体、输出门中作用于历史状态的权值矩阵，V_o为输出门中作用于神经细胞状态的权值矩阵，b_i,b_f,b_c,b_o分别是输入门、遗忘门、神经细胞体、输出门的偏置向量。

首先计算输入门在t时刻的激励i_t以及t时刻神经细胞的备选状态

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

接下来，计算遗忘门在t时刻的激励f_t：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

在得到了遗忘门，输入门的激励和t时刻的备选状态后，可以得到t时刻的神经细胞状态：

之后，计算t时刻的输出：

σ_t＝σ(W_ox_t+U_oh_t-1+V_oC_t+b_o)

h_t＝ο_t*tanh(C_t)

h_t就是t时刻隐含层的状态。接下来，对各个隐含层状态进行一次mean pooling：

其中ws为窗口大小，10000为隐含层的个数，h_i为隐含层的状态。之后，将meanpooling后的值送入softmax层，softmax损失函数如下：

j为情感倾向的类别数，因为最终有三个倾向性，因此取值范围0,1,2分别对应积极消极和中性。为了对情感对序列进行情感分类，基于“情感对序列”的GIF情感时序分析模型网络结构如图7所示。

以上实施例仅用以说明本发明的技术方案而非对其进行限制。

Claims (4)

1.一种基于情感对的GIF动画情感识别方法，其特征在于包括以下步骤：

(1)训练情感对序列检测子，具体方法为：

(1.1)构建“情感对”模型，在现有“形容词名词对”模型的基础上引入动词，构成动词名词对，专门用来描述GIF视频中的动作信息；为了表述方便将“形容词名词对”和“动词名词对”合称为“情感对”；

(1.2)概念语义体系的构建，只需要WordNet中的形容词、动词和名词三种类型的单词；其他的副词、介词、助词均被删除；对提取出的动词、形容词和名词组合为形容词名词对和动词名词对；

(1.3)概念语义的筛选，在删除数词、介词、副词和“情感对”无关的概念语义词之后，还需要从中筛选出符合目标的概念语义项目，所述筛选出符合目标的概念语义项目的具体步骤为：

设计情感丰富度权值，构建过程如下：在SentiWordNet中，每个词的情感倾向性分为若干个等级，情感丰富度权值的绝对值越大表示情感倾向越强烈；

SentiWeight_i＝|SentiScore_i|

SentiScore就是SentiWordNet中该概念语义的情感得分，情感丰富度权值的取值范围是[0,1]；

设计语义频率权值，构建过程如下：在GIF视频网站Giphy.com中搜索情感词，统计Giphy.com搜索结果中GIF图像的数量Count，每一个概念语义的语义频率权值依据下式得出：

在上式中，Count_i是第i个概念语义在Giphy.com中对应的GIF动画个数；分母则是全部概念语义对应的GIF动画个数的最大值；

在得到情感丰富度权值和语义频率权值后，根据下式计算出一个筛选权值FilterWeight:

筛选权值FilterWeight的取值范围为[0,1]；

(1.4)基于多任务学习和情感相关性挖掘的“情感对”的检测，检测器的输出是相应“情感对”的概率值，输入是GIF动画的视频帧；检测之后的结果是一个长向量，该长向量的维度是筛选后“情感对”的个数，该长向量将作为该视频帧的中间层特征表示；

(2)训练中层表示到情感倾向的分类器。

2.如权利要求1所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(1)第(1.4)部分中，所述基于多任务学习和情感相关性挖掘的“情感对”的检测中：

在多任务情感分析中使用的损失函数是交叉熵损失函数，使用KL距离来计算标签与分类结果之间的相似度；

对于两个离散型分布P，Q，KL距离用上式进行计算。

3.如权利要求1所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(2)中，所述训练中层表示到情感倾向的分类器具体包括以下步骤：

(2.1)构建情感对序列；

(2.2)构建基于情感对序列的GIF情感时序分析模型，为了评估情感对序列的有效性，引入了带长短期记忆单元的循环神经网络作为时序分析的模型。

4.如权利要求3所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(2)第(2.1)部分中，所述构建情感对序列具体包括以下步骤：

设计一个GIF情感分析时序模型—“情感对序列”，试图通过将时序信息形式化为概念语义的有序链表来解决时序问题；一个“情感对序列”是一组“情感对”构成的向量，为了评价不同长度的视频，向量的维度是不确定的，向量中的每个值代表一个情感对，而情感对则是从GIF视频帧中检测得到的；

SentiPair Sequence＝(SentE₁,SentE₂,...,SentE_n),SentE_i∈{ANP,VNP}

Time(SentE_i)＜Time(SentE_j),i＜j

上式是一个情感对序列的时序表达，SentE_i代表情感对序列中第i个情感对；Time(SentE_i)表示该情感对在GIF视频中出现的时刻；

当i＜j时，第i个情感对出现在第j个情感对之前。