CN106598948B - 基于长短期记忆神经网络结合自动编码器的情绪识别方法 - Google Patents

基于长短期记忆神经网络结合自动编码器的情绪识别方法 Download PDF

Info

Publication number
CN106598948B
CN106598948B CN201611175806.XA CN201611175806A CN106598948B CN 106598948 B CN106598948 B CN 106598948B CN 201611175806 A CN201611175806 A CN 201611175806A CN 106598948 B CN106598948 B CN 106598948B
Authority
CN
China
Prior art keywords
data
positive
negative
neutral
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611175806.XA
Other languages
English (en)
Other versions
CN106598948A (zh
Inventor
程凯
徐骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yuyi Technology Co ltd
Original Assignee
Hangzhou Yuyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yuyi Technology Co ltd filed Critical Hangzhou Yuyi Technology Co ltd
Priority to CN201611175806.XA priority Critical patent/CN106598948B/zh
Publication of CN106598948A publication Critical patent/CN106598948A/zh
Application granted granted Critical
Publication of CN106598948B publication Critical patent/CN106598948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于长短期记忆神经网络结合自动编码器的情绪识别方法,通过语音和文字来识别人类的各种复杂情绪例如愉快、害羞、愤怒。通过改变传统深度学习神经网络单一监督式训练机制,引入多监督式神经网络层和分步式模型训练,有效的将原始数据进行多次再组合,对语法中的隐性记忆关系进行充分的挖掘,从而能够有效的识别中文语言中所夹带的各种复杂情绪。本发明能够准确的检测出中文语言中夹带的复杂情感,为营销策略制定,人机语音交互系统提供重要分析依据。

Description

基于长短期记忆神经网络结合自动编码器的情绪识别方法
技术领域
本发明涉及用于人工智能识别领域,是一种通过深度学习神经网络来实现情感识别的方法。可用于精准营销行业,社交网络,客服质量管理以及人机交互领域。
背景技术
人工智能技术和机器人产业诞生至今,人类一直在努力改变人工智能核心算法以及外部硬件,使得人工智能系统或硬件更加智能化和人性化。人类在智能化这条路上已经迈出了巨大的一步,通过传统机器学习算法加上当前主流的深度学习算法,人类已经能够通过人工智能算法基本实现机器智能化。谷歌最新的AlphaGo智能系统已经能够做到和世界项尖围棋选手一较高低的地步。
虽然人类在智能化领域已经获得了重大的突破,但是至今为止几乎所有的人工智能系统都没有能够拥有识别人类情绪的能力从而使得自身变得更加人性化。比如现在各大手机厂商所宣传的手机语音交互功能,其实都只能做到以完成任务为目的的交流。用户在手机智能助手交流的过程中都仍然会保有一种和机器对话的感觉。
机器人性化不但能够提升消费者在使用人工智能产品时的体验感,更加能够大大增强人工智能设备在单独完成任务时的任务成功率。人类在独立完成任务时之所以能够在成功率上大大超越机器设备,正是因为人类是一种情绪化的生物。人类会因为外界环境的变化从而产生不同的情绪状态,比如在感知到未知存在的情况下,人类会产生害怕和紧张的情绪,而正是这样的情绪能够让人类更加有效的处理外界环境对任务所带来的影响。而这样的情绪能力是目前所有的人工智能设备都不具备的功能。
现有的人工智能情感识别技术多专注于图像识别,而图像识别由于硬件的要求较高以及人类面部表情本身的多变性和快速性,使得图像识别技术依旧很难在日常生活中被广泛的应用。而由于语言本身是具有一定的语法结构,并且语言情感识别对硬件要求相对较小,语言情感识别是更具有应用性的一种识别方式。
语言情感识别目前已知的技术多局限于单一维度的情感判断既正向情感和负向情感。对于人类复杂情绪的判断,比如愉快、紧张、害羞还缺乏有效的判断方式。
发明内容
本发明的目的是针对现有人工智能技术对多维度复杂情感的判断不足而提出的一种能够识别语言中复杂情感的方法。此方法能够在数据允许的情况下,识别任意给定的人类情感。
实现本发明目的的具体技术方案是:
一种基于长短期记忆神经网络结合自动编码器的情绪识别方法,其特点是该方法包括以下具体步骤:
a、采集大量带有情绪标签和正、负、中立情感标签的语音或者文字;并将语音转化为文字数据;
b、将步骤a中的数据输入到双层神经网络来建立词嵌入,词嵌入的维度范围为150-200维;
c、将通过步骤b建立的词嵌入数据中的10%-20%输入一个双层的长短期记忆人工神经网络,以正、负、中立情感标签进行第一次训练;
d、将步骤c训练的模型用于词嵌入数据中的未被训练的80%-90%做正负中立情感预测,得到所对应的正、负、中立情感标签,以及所对应的正、负、中立情感概率P+、P-和P*;其中P+为正向情感概率,P-为负向情感概率,P*为中立情感概率,并且P++P-+P*=1;
e、将步骤d得到的正、负、中立情感概率P+、P-和P*所对应的被预测数据的10-15%和词嵌入数据中未被训练的80-90%中的10-15%输入到一个五层的自动编译器神经网络中进行非监督式训练;
f、将步骤d得到的正、负、中立情感概率P+、P-和P*所对应的被预测数据的未被训练的85-90%输入步骤e所训练后的五层自动编译器神经网络中进行特征重组,其中,五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据;由于最中间一层神经网络的隐性神经元数量远远小于词嵌入维度,模型产生了降维的过程;
g、将步骤d得到的正、负、中立情感概率P+、P-和P*所对应的被预测数据的未被训练的85-90%、步骤a采集的文字数据及步骤f中的中间层所有隐性神经元的值,按正向情绪,负向情绪,中立情绪分为三组,每组情绪对应一个双层长短期记忆人工神经网络,分别分配到三个双层长短期记忆人工神经网络中进行分开训练,得到情绪识别结果。
当有新的数据输入后,数据将先通过词嵌入模型实行词嵌入,之后通过训练好的模型得到正负中立情感标签,以及所对应的概率。再将经过词嵌入得到的结果结合P+或P-或P*输入自动编码器中进行特征重组。特征重组后把自动编码器最中间的隐性神经元输出数值再次结合之前的P+或P-或P*,然后根据之前所得到的正负中立情感标签输入到对应的双层长短期记忆人工神经网络中进行识别。对于某种情绪e,如果此情绪在之前的步骤中被归为正向情绪,并且所训练的正向情绪模型所识别的该情绪的概率为Pe,则最终此情绪e的识别概率为Pe
与现有方法相比,本发明的优点在于:
1)除了能够和现有方法一样探知正、负、中立情感极性,还能够探知具体的情绪组成分布,例如开心,害羞,紧张。
2)模型判断时间非常短暂,100字以下的文字平均判断时间在30毫秒左右,完全可以应用于移动端应用场景。
附图说明
图1为本发明流程图;
图2为自动编译器神经网络模型构架图;
图3为本发明实施例效果示意图。
具体实施方式
为了更清楚地说明本发明中的技术方案,下面将对本发明的具体操作步骤作进一步的说明,从而使本领域普通技术人员也能够通过附图在不付出创造性劳动的前提下再现本发明。
本发明包括以下具体步骤:
i)采集大量带有情绪标签和正、负、中立情感标签的数据,如果数据格式为音频文件,则需要首先通过语音识别软件将音频转化为文字数据;
ii)将文字输入传统的词嵌入模型例如CBOW中进行词嵌入;
iii)从带有正、负、中立情感标签的数据中抽取10-20%左右的数据作为第一次模型训练所需要的数据对模型进行训练,此模型为一个双层长短期记忆人工神经网络。这是一个监督式学习的过程。训练结束后得到能够判断文字正负极情感的模型;
iv)将其余80-90%的数据输入步骤iii)中所得到的模型,获得正、负、中立情感标签以及所对应的概率P+,P-和P*
v)将步骤iv)中所得到的概率P+,P-和P*数据的10-15%和词嵌入数据中未被训练的80-90%中的10-15%输入图2中的自动编译器神经网络中进行非监督式训练;自动编译器神经网络为五层神经网络结构,xi为第一层神经元值,第一层的神经元数量m由原始数据的维度决定;如果原始数据是3维数据,那么第一层的神经元数量就为3+1个;第一层的每个神经元均与第二层中的所有隐性神经元hi连接,第二层到第三层为编码的过程,第二层和第三层的隐性神经元数量没有严格意义上的限制,但是如果第三层的隐性神经元h″i数量过多或大于第二层hi或第四层的隐性神经元h″′i数量,预测准确度会受到比较严重的影响;第三层到第四层为解码过程;第五层的神经元xi′数量应和第一层数量保持一致;
图2中的自动编译器神经网络训练过程如下:
a)定义代价函数为
xi为图2中第一层神经网络的神经元的值,xi′为第五层神经网络的神经元的值;m为第一层的神经元数量;
b)通过Stochastic gradient descent训练模型;
i)将得到的正、负、中立情感概率P+、P-和P*数据的未被训练的85-90%输入所训练后的自动编译器神经网络中进行特征重组,其中,五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据;
ii)将得到的正、负、中立情感概率P+、P-和P*数据的未被训练的85-90%、采集的文字数据及最中间层所有隐性神经元的值,按正向情绪,负向情绪,中立情绪分为三组,每组情绪对应一个双层长短期记忆人工神经网络,例如数据的情绪标签是愉快,那么数据就将被分配到正面情绪所对应的双层长短期记忆人工神经网络中;数据分配完成之后,三组双层长短期记忆人工神经网络将被分别进行监督式训练,得到情绪识别结果。
实施例
使用本发明做情绪识别时,具体的识别过程:
1)、文本信息或语言转换成的文本信息首先将通过模型进行词嵌入。
2)、经过词嵌入之后的数据将通过所得到的模型获得正负中立情感标签以及对应的概率P+,P-和P*
3)、经过词嵌入的数据与其对应的概率P+或P-或P*将通过自动编译器神经网络进行特征工程也就是特征重组。
4)、重组后的数据再次结合P+或P-或P*并根据得到的情感标签被输入到对应的情绪模型中得到相关情绪所对应的概率Pe此处上角标e代表某种特定的情绪。
5)、对于某种情绪e,其最终的识别概率便为Pe
参阅图3,为实施例的展示效果图,需要判断的语句:
俗话说得好“美哭”,有想象力,看到了你们的努力,不易。然而大杂烩的上古传说做衬、日漫做面,整块料太铺张,不像汉服倒像和服。故事意境输了,世界观没能有效立住,三角恋也矫情。原画和中间画有外国团队、中期是同韩国合作,音乐是日本做的,国产动画仍需努力啊!也许是我太苛刻了。
上述语句会先通过词嵌入模型,被转换为150维的数字向量,数字向量接下来将会通过第一个长短期记忆人工神经网络进行第一次识别得到正负极情感标签以及对应的P+,P-和P*。此处语句被判断为负向情感。接下来数字向量会和P+或P-或P*一起通过自动编译器神经网络进行特征重组从而得到隐性神经元输出数据,一组数字向量这里k为第三层隐性神经元的数量。接下来和P+或P-或P*会根据之前得到的正负极情感标签(此例为负向情感标签)输入到相对应的负向情感长短期记忆人工神经中来判断具体带有的情感。

Claims (2)

1.一种基于长短期记忆神经网络结合自动编码器的情绪识别方法,其特征在于:该方法包括以下具体步骤:
a、采集大量带有情绪标签和正、负、中立情感标签的语音或者文字;并将语音转化为文字数据;
b、将步骤a中的数据输入到双层神经网络来建立词嵌入,词嵌入的维度范围为150-200维;
c、将通过步骤b建立的词嵌入数据中的10%-20%输入一个双层的长短期记忆人工神经网络,以正、负、中立情感标签进行第一次训练;
d、将步骤c训练的模型用于词嵌入数据中的未被训练的80%-90%做正负中立情感预测,得到所对应的正、负、中立,以及所对应的正、负、中立情感概率P+、P-和P*;其中P+为正向情感概率,P-为负向情感概率,P*为中立情感概率,并且P++P-+P*=1;
e、将步骤d得到的正、负、中立情感概率P+、P-和P*所对应的被预测数据的10-15%和词嵌入数据中未被训练的80-90%中的10-15%输入到一个五层的自动编译器神经网络中进行非监督式训练;
f、将步骤d得到的正、负、中立情感概率P+、P-和P*所对应的被预测数据的未被训练的85-90%输入步骤e所训练后的五层自动编译器神经网络中进行特征重组,其中,五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据;
g、将步骤d得到的正、负、中立情感概率P+、P-和P*所对应的被预测数据的未被训练的85-90%、步骤a采集的文字数据及步骤f中的中间层所有隐性神经元的值,按正向情绪,负向情绪,中立情绪分为三组,每组情绪对应一个双层长短期记忆人工神经网络,分别分配到三个双层长短期记忆人工神经网络中进行分开训练,得到情绪识别结果。
2.根据权利要求1所述的方法,其特征在于所述五层自动编译器神经网络的最中间层所有隐性神经元的值作为下一步的输入数据是由于最中间一层神经网络的隐性神经元数量远小于词嵌入维度,模型产生了降维的过程。
CN201611175806.XA 2016-12-19 2016-12-19 基于长短期记忆神经网络结合自动编码器的情绪识别方法 Active CN106598948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611175806.XA CN106598948B (zh) 2016-12-19 2016-12-19 基于长短期记忆神经网络结合自动编码器的情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611175806.XA CN106598948B (zh) 2016-12-19 2016-12-19 基于长短期记忆神经网络结合自动编码器的情绪识别方法

Publications (2)

Publication Number Publication Date
CN106598948A CN106598948A (zh) 2017-04-26
CN106598948B true CN106598948B (zh) 2019-05-03

Family

ID=58599411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611175806.XA Active CN106598948B (zh) 2016-12-19 2016-12-19 基于长短期记忆神经网络结合自动编码器的情绪识别方法

Country Status (1)

Country Link
CN (1) CN106598948B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10747761B2 (en) 2017-05-18 2020-08-18 Salesforce.Com, Inc. Neural network based translation of natural language queries to database queries
CN107993636B (zh) * 2017-11-01 2021-12-31 天津大学 基于递归神经网络的乐谱建模与生成方法
CN108039181B (zh) * 2017-11-02 2021-02-12 北京捷通华声科技股份有限公司 一种声音信号的情感信息分析方法和装置
CN108186033B (zh) * 2018-01-08 2021-06-25 杭州不亦乐乎健康管理有限公司 一种基于人工智能的幼儿情绪监控方法及其系统
CN110555204A (zh) * 2018-05-31 2019-12-10 北京京东尚科信息技术有限公司 情绪判断的方法和装置
CN108899050B (zh) * 2018-06-14 2020-10-02 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
US11375293B2 (en) * 2018-10-31 2022-06-28 Sony Interactive Entertainment Inc. Textual annotation of acoustic effects
CN110154024B (zh) * 2019-05-22 2020-09-15 清华大学 一种基于长短期记忆神经网络增量模型的装配控制方法
CN110399522B (zh) * 2019-07-03 2020-05-15 中国传媒大学 一种基于lstm与分层匹配的音乐哼唱检索方法及装置
CN110570844B (zh) * 2019-08-15 2023-05-05 平安科技(深圳)有限公司 语音情绪识别方法、装置及计算机可读存储介质
CN110705233B (zh) * 2019-09-03 2023-04-07 平安科技(深圳)有限公司 基于文字识别技术的笔记生成方法、装置和计算机设备
CN111883101B (zh) * 2020-07-13 2024-02-23 北京百度网讯科技有限公司 一种模型训练及语音合成方法、装置、设备和介质
CN111883179B (zh) * 2020-07-21 2022-04-15 四川大学 一种基于大数据机器学习的情感语音识别方法
CN112214222B (zh) * 2020-10-27 2021-11-19 华中科技大学 COStream中用于实现前馈神经网络的sequential结构及其编译方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868A (zh) * 2009-05-19 2009-10-21 华中科技大学 基于高斯特征的人体运动情感识别方法
CN102637433A (zh) * 2011-02-09 2012-08-15 富士通株式会社 识别语音信号中所承载的情感状态的方法和系统
CN103413113A (zh) * 2013-01-15 2013-11-27 上海大学 一种服务机器人智能情感交互的方法
CN103810994A (zh) * 2013-09-05 2014-05-21 江苏大学 基于情感上下文的语音情感推理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI470564B (zh) * 2012-02-21 2015-01-21 Wistron Corp 使用者情緒偵測方法與應用其之手寫輸入電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868A (zh) * 2009-05-19 2009-10-21 华中科技大学 基于高斯特征的人体运动情感识别方法
CN102637433A (zh) * 2011-02-09 2012-08-15 富士通株式会社 识别语音信号中所承载的情感状态的方法和系统
CN103413113A (zh) * 2013-01-15 2013-11-27 上海大学 一种服务机器人智能情感交互的方法
CN103810994A (zh) * 2013-09-05 2014-05-21 江苏大学 基于情感上下文的语音情感推理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel speech emotion recognition algorithm based on combination;Zha Cheng et al.;《Journal of Southeast University ( English Edition)》;20160615;第32卷(第2期);158-163
Long short term memory recurrent neural network based encoding method for emotion recognition in video;Linlin Chao et al.;《2016 IEEE International Conference on Acoustic,Speech and Signal Processing》;20160325;2752-2756

Also Published As

Publication number Publication date
CN106598948A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106598948B (zh) 基于长短期记忆神经网络结合自动编码器的情绪识别方法
CN108875807A (zh) 一种基于多注意力多尺度的图像描述方法
CN108595436A (zh) 情感对话内容的生成方法和系统、存储介质
CN108920510A (zh) 自动聊天方法、装置和电子设备
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN109063164A (zh) 一种基于深度学习的智能问答方法
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN113065344A (zh) 一种基于迁移学习和注意力机制的跨语料库情感识别方法
CN111598979A (zh) 虚拟角色的面部动画生成方法、装置、设备及存储介质
CN110457661A (zh) 自然语言生成方法、装置、设备及存储介质
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN109800295A (zh) 基于情感词典和词概率分布的情感会话生成方法
CN117216234A (zh) 基于人工智能的话术改写方法、装置、设备及存储介质
CN117892237B (zh) 一种基于超图神经网络的多模态对话情绪识别方法及系统
CN110188791B (zh) 基于自动估计的视觉情感标签分布预测方法
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统
CN114255300A (zh) 流程图的提取模型训练方法、获取方法、设备及介质
Xu et al. CNN-based skip-gram method for improving classification accuracy of chinese text
CN112000793B (zh) 一种面向人机交互的对话目标规划方法
CN108563628A (zh) 基于hred和内外记忆网络单元的情感对话生成方法
WO2024103637A1 (zh) 舞蹈动作生成方法、计算机设备及存储介质
CN117237479A (zh) 基于扩散模型的产品风格自动生成方法、装置及设备
Singh Deep learning will radically change the ways we interact with technology
CN116966574A (zh) 非玩家角色的交互处理方法、装置、电子设备及存储介质
CN115270917A (zh) 一种两阶段处理多模态服装图像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Emotion recognition method based on long short-term memory neural network combined with autoencoder

Granted publication date: 20190503

Pledgee: Hangzhou United Rural Commercial Bank Limited by Share Ltd. Wushan sub branch

Pledgor: HANGZHOU YUYI TECHNOLOGY CO.,LTD.

Registration number: Y2024980005563