CN106598948B

CN106598948B - 基于长短期记忆神经网络结合自动编码器的情绪识别方法

Info

Publication number: CN106598948B
Application number: CN201611175806.XA
Authority: CN
Inventors: 程凯; 徐骥
Original assignee: Hangzhou Yuyi Technology Co ltd
Current assignee: Hangzhou Yuyi Technology Co ltd
Priority date: 2016-12-19
Filing date: 2016-12-19
Publication date: 2019-05-03
Anticipated expiration: 2036-12-19
Also published as: CN106598948A

Abstract

本发明公开了一种基于长短期记忆神经网络结合自动编码器的情绪识别方法，通过语音和文字来识别人类的各种复杂情绪例如愉快、害羞、愤怒。通过改变传统深度学习神经网络单一监督式训练机制，引入多监督式神经网络层和分步式模型训练，有效的将原始数据进行多次再组合，对语法中的隐性记忆关系进行充分的挖掘，从而能够有效的识别中文语言中所夹带的各种复杂情绪。本发明能够准确的检测出中文语言中夹带的复杂情感，为营销策略制定，人机语音交互系统提供重要分析依据。

Description

基于长短期记忆神经网络结合自动编码器的情绪识别方法

技术领域

本发明涉及用于人工智能识别领域，是一种通过深度学习神经网络来实现情感识别的方法。可用于精准营销行业，社交网络，客服质量管理以及人机交互领域。

背景技术

人工智能技术和机器人产业诞生至今，人类一直在努力改变人工智能核心算法以及外部硬件，使得人工智能系统或硬件更加智能化和人性化。人类在智能化这条路上已经迈出了巨大的一步，通过传统机器学习算法加上当前主流的深度学习算法，人类已经能够通过人工智能算法基本实现机器智能化。谷歌最新的AlphaGo智能系统已经能够做到和世界项尖围棋选手一较高低的地步。

虽然人类在智能化领域已经获得了重大的突破，但是至今为止几乎所有的人工智能系统都没有能够拥有识别人类情绪的能力从而使得自身变得更加人性化。比如现在各大手机厂商所宣传的手机语音交互功能，其实都只能做到以完成任务为目的的交流。用户在手机智能助手交流的过程中都仍然会保有一种和机器对话的感觉。

机器人性化不但能够提升消费者在使用人工智能产品时的体验感，更加能够大大增强人工智能设备在单独完成任务时的任务成功率。人类在独立完成任务时之所以能够在成功率上大大超越机器设备，正是因为人类是一种情绪化的生物。人类会因为外界环境的变化从而产生不同的情绪状态，比如在感知到未知存在的情况下，人类会产生害怕和紧张的情绪，而正是这样的情绪能够让人类更加有效的处理外界环境对任务所带来的影响。而这样的情绪能力是目前所有的人工智能设备都不具备的功能。

现有的人工智能情感识别技术多专注于图像识别，而图像识别由于硬件的要求较高以及人类面部表情本身的多变性和快速性，使得图像识别技术依旧很难在日常生活中被广泛的应用。而由于语言本身是具有一定的语法结构，并且语言情感识别对硬件要求相对较小，语言情感识别是更具有应用性的一种识别方式。

语言情感识别目前已知的技术多局限于单一维度的情感判断既正向情感和负向情感。对于人类复杂情绪的判断，比如愉快、紧张、害羞还缺乏有效的判断方式。

发明内容

本发明的目的是针对现有人工智能技术对多维度复杂情感的判断不足而提出的一种能够识别语言中复杂情感的方法。此方法能够在数据允许的情况下，识别任意给定的人类情感。

实现本发明目的的具体技术方案是：

一种基于长短期记忆神经网络结合自动编码器的情绪识别方法，其特点是该方法包括以下具体步骤：

a、采集大量带有情绪标签和正、负、中立情感标签的语音或者文字；并将语音转化为文字数据；

b、将步骤a中的数据输入到双层神经网络来建立词嵌入，词嵌入的维度范围为150-200维；

c、将通过步骤b建立的词嵌入数据中的10％-20％输入一个双层的长短期记忆人工神经网络，以正、负、中立情感标签进行第一次训练；

d、将步骤c训练的模型用于词嵌入数据中的未被训练的80％-90％做正负中立情感预测，得到所对应的正、负、中立情感标签，以及所对应的正、负、中立情感概率P⁺、P^-和P^*；其中P⁺为正向情感概率，P^-为负向情感概率，P^*为中立情感概率，并且P⁺+P^-+P^*＝1；

e、将步骤d得到的正、负、中立情感概率P⁺、P^-和P^*所对应的被预测数据的10-15％和词嵌入数据中未被训练的80-90％中的10-15％输入到一个五层的自动编译器神经网络中进行非监督式训练；

f、将步骤d得到的正、负、中立情感概率P⁺、P^-和P^*所对应的被预测数据的未被训练的85-90％输入步骤e所训练后的五层自动编译器神经网络中进行特征重组，其中，五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据；由于最中间一层神经网络的隐性神经元数量远远小于词嵌入维度，模型产生了降维的过程；

g、将步骤d得到的正、负、中立情感概率P⁺、P^-和P^*所对应的被预测数据的未被训练的85-90％、步骤a采集的文字数据及步骤f中的中间层所有隐性神经元的值，按正向情绪，负向情绪，中立情绪分为三组，每组情绪对应一个双层长短期记忆人工神经网络，分别分配到三个双层长短期记忆人工神经网络中进行分开训练，得到情绪识别结果。

当有新的数据输入后，数据将先通过词嵌入模型实行词嵌入，之后通过训练好的模型得到正负中立情感标签，以及所对应的概率。再将经过词嵌入得到的结果结合P⁺或P^-或P^*输入自动编码器中进行特征重组。特征重组后把自动编码器最中间的隐性神经元输出数值再次结合之前的P⁺或P^-或P^*，然后根据之前所得到的正负中立情感标签输入到对应的双层长短期记忆人工神经网络中进行识别。对于某种情绪e，如果此情绪在之前的步骤中被归为正向情绪，并且所训练的正向情绪模型所识别的该情绪的概率为P^e，则最终此情绪e的识别概率为P^e。

与现有方法相比，本发明的优点在于：

1)除了能够和现有方法一样探知正、负、中立情感极性，还能够探知具体的情绪组成分布，例如开心，害羞，紧张。

2)模型判断时间非常短暂，100字以下的文字平均判断时间在30毫秒左右，完全可以应用于移动端应用场景。

附图说明

图1为本发明流程图；

图2为自动编译器神经网络模型构架图；

图3为本发明实施例效果示意图。

具体实施方式

为了更清楚地说明本发明中的技术方案，下面将对本发明的具体操作步骤作进一步的说明，从而使本领域普通技术人员也能够通过附图在不付出创造性劳动的前提下再现本发明。

本发明包括以下具体步骤：

i)采集大量带有情绪标签和正、负、中立情感标签的数据，如果数据格式为音频文件，则需要首先通过语音识别软件将音频转化为文字数据；

ii)将文字输入传统的词嵌入模型例如CBOW中进行词嵌入；

iii)从带有正、负、中立情感标签的数据中抽取10-20％左右的数据作为第一次模型训练所需要的数据对模型进行训练，此模型为一个双层长短期记忆人工神经网络。这是一个监督式学习的过程。训练结束后得到能够判断文字正负极情感的模型；

iv)将其余80-90％的数据输入步骤iii)中所得到的模型，获得正、负、中立情感标签以及所对应的概率P⁺，P^-和P^*；

v)将步骤iv)中所得到的概率P⁺，P^-和P^*数据的10-15％和词嵌入数据中未被训练的80-90％中的10-15％输入图2中的自动编译器神经网络中进行非监督式训练；自动编译器神经网络为五层神经网络结构，x_i为第一层神经元值，第一层的神经元数量m由原始数据的维度决定；如果原始数据是3维数据，那么第一层的神经元数量就为3+1个；第一层的每个神经元均与第二层中的所有隐性神经元h_i连接，第二层到第三层为编码的过程，第二层和第三层的隐性神经元数量没有严格意义上的限制，但是如果第三层的隐性神经元h″_i数量过多或大于第二层h_i或第四层的隐性神经元h″′_i数量，预测准确度会受到比较严重的影响；第三层到第四层为解码过程；第五层的神经元x_i′数量应和第一层数量保持一致；

图2中的自动编译器神经网络训练过程如下：

a)定义代价函数为

x_i为图2中第一层神经网络的神经元的值，x_i′为第五层神经网络的神经元的值；m为第一层的神经元数量；

b)通过Stochastic gradient descent训练模型；

i)将得到的正、负、中立情感概率P⁺、P^-和P^*数据的未被训练的85-90％输入所训练后的自动编译器神经网络中进行特征重组，其中，五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据；

ii)将得到的正、负、中立情感概率P⁺、P^-和P^*数据的未被训练的85-90％、采集的文字数据及最中间层所有隐性神经元的值，按正向情绪，负向情绪，中立情绪分为三组，每组情绪对应一个双层长短期记忆人工神经网络，例如数据的情绪标签是愉快，那么数据就将被分配到正面情绪所对应的双层长短期记忆人工神经网络中；数据分配完成之后，三组双层长短期记忆人工神经网络将被分别进行监督式训练，得到情绪识别结果。

实施例

使用本发明做情绪识别时，具体的识别过程：

1)、文本信息或语言转换成的文本信息首先将通过模型进行词嵌入。

2)、经过词嵌入之后的数据将通过所得到的模型获得正负中立情感标签以及对应的概率P⁺，P^-和P^*。

3)、经过词嵌入的数据与其对应的概率P⁺或P^-或P^*将通过自动编译器神经网络进行特征工程也就是特征重组。

4)、重组后的数据再次结合P⁺或P^-或P^*并根据得到的情感标签被输入到对应的情绪模型中得到相关情绪所对应的概率P^e此处上角标e代表某种特定的情绪。

5)、对于某种情绪e，其最终的识别概率便为P^e。

参阅图3，为实施例的展示效果图，需要判断的语句：

俗话说得好“美哭”，有想象力，看到了你们的努力，不易。然而大杂烩的上古传说做衬、日漫做面，整块料太铺张，不像汉服倒像和服。故事意境输了，世界观没能有效立住，三角恋也矫情。原画和中间画有外国团队、中期是同韩国合作，音乐是日本做的，国产动画仍需努力啊！也许是我太苛刻了。

上述语句会先通过词嵌入模型，被转换为150维的数字向量，数字向量接下来将会通过第一个长短期记忆人工神经网络进行第一次识别得到正负极情感标签以及对应的P⁺，P^-和P^*。此处语句被判断为负向情感。接下来数字向量会和P⁺或P^-或P^*一起通过自动编译器神经网络进行特征重组从而得到隐性神经元输出数据，一组数字向量这里k为第三层隐性神经元的数量。接下来和P⁺或P^-或P^*会根据之前得到的正负极情感标签(此例为负向情感标签)输入到相对应的负向情感长短期记忆人工神经中来判断具体带有的情感。

Claims

1.一种基于长短期记忆神经网络结合自动编码器的情绪识别方法，其特征在于：该方法包括以下具体步骤：

d、将步骤c训练的模型用于词嵌入数据中的未被训练的80％-90％做正负中立情感预测，得到所对应的正、负、中立，以及所对应的正、负、中立情感概率P⁺、P^-和P^*；其中P⁺为正向情感概率，P^-为负向情感概率，P^*为中立情感概率，并且P⁺+P^-+P^*＝1；

f、将步骤d得到的正、负、中立情感概率P⁺、P^-和P^*所对应的被预测数据的未被训练的85-90％输入步骤e所训练后的五层自动编译器神经网络中进行特征重组，其中，五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据；

2.根据权利要求1所述的方法，其特征在于所述五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据是由于最中间一层神经网络的隐性神经元数量远小于词嵌入维度，模型产生了降维的过程。