CN114970561B - 一种性格加强的对话情感预测模型及其构建方法 - Google Patents

一种性格加强的对话情感预测模型及其构建方法 Download PDF

Info

Publication number
CN114970561B
CN114970561B CN202210585125.XA CN202210585125A CN114970561B CN 114970561 B CN114970561 B CN 114970561B CN 202210585125 A CN202210585125 A CN 202210585125A CN 114970561 B CN114970561 B CN 114970561B
Authority
CN
China
Prior art keywords
emotion
vector
character
sentence
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210585125.XA
Other languages
English (en)
Other versions
CN114970561A (zh
Inventor
吴雯
李浩铭
冯路平
贺樑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210585125.XA priority Critical patent/CN114970561B/zh
Publication of CN114970561A publication Critical patent/CN114970561A/zh
Application granted granted Critical
Publication of CN114970561B publication Critical patent/CN114970561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种性格加强的对话情感预测模型及其构建方法，其特点是采用性格加强情感抽取模块、上下文特征提取模块和情感预测模块构建的对话情感预测模型，预测对话者的情感，构建方法具体包括：获取对话者性格信息、用户初始情感表示、词级别信息提取、句子表征生成、性格加强的情感提取和情感预测等步骤。本发明与现有技术相比具有准确率更高，可解释性更强，大大提升了深度学习模型在对话中进行情感预测的准确性，方法简便，实用性强，利用用户和物品的交互信息以及评论信息进行对评论的情感倾向进行二次分类，充分使用用户信息、物品信息和文本信息，提高了情感分类的准确率，具有很好的应用前景。

Description

一种性格加强的对话情感预测模型及其构建方法
技术领域
本发明涉及对话系统中情感预测技术领域，尤其是一种基于对话者性格加强的对话情感预测模型及其构建方法。
背景技术
情感计算(affective computing)是自然语言处理领域中的一项基础任务，其目的是推断用户语句中的情感信息。随着互联网技术的蓬勃发展，如今已经进入信息爆炸的时代，如何从用户的海量数据中提取出用户的情感信息变得尤为重要。特别是在对话系统中，情感计算能够帮助机器理解用户的情感，选择适当的反应情感并在对话中表达出来。在早期研究中，研究者们专注于在相应中呈现特定的情感，或者以同理心回应用户的情感，这样的对话系统忽略了情感表现的个体差异，可能会导致情感交互不一致，让用户感觉他们在与死板的机器交谈。
为了解决先前的方法所带来的问题，研究者们采用基于深度学习的方法来处理情感预测任务。由于深度神经网络能够自动地从原始数据中提取特征，从而在很大程度上避免了耗时耗力的特征工程。现有的研究往往使用循环神经网络进行情感预测，因为循环神经网络能够抓取序列信息，从而能够更好地抓取文本中的有效信息。另外，用户和物品作为评论的发出者和接受者，它们的信息也相当重要。因此，研究者引入自注意力机制，帮助循环神经网络更好地抓取对话系统中语句中的有效信息，以更好地进行情感预测。
现有技术的情感预测方法只进行一次分类即得出结果，对于类别较多的任务，显得有些力不从心，尤其是对话系统中情感预测的个体差异问题更是无能为力。其主要问题在于，如果只进行一次分类，那么在这一次分类的过程中，需要均衡的考虑所有的情感类别。而实际上，有些类别的正确性更高，需要赋予更多的关注，有些类别的正确性更低，可以适当减少关注。通过一些先验知识，例如用户和物品的交互信息，可以提前判断哪些类别的正确性更高，哪些类别的正确性更低，在这个基础上再进行分类会更有针对性，效果也会更好。
发明内容
本发明的目的是针对现有技术的不足而提供的一种性格加强的对话情感预测模型及其构建方法，采用语句输入模块、上下文特征提取模块、性格加强的情感抽取模块、性格处理模块和情感预测模块组成的对话情感预测模型，预测对话者的情感，利用用户的初始情感和性格信息，以及对话的上下文信息，通过性格影响的情感转换，最终得到最终预测结果。对话情感预测模型的构建包括：获取对话者性格信息、用户初始情感表示、词级别信息提取、句子表征生成、性格加强的情感提取和情感预测等步骤。本发明提升了深度学习模型在对话中进行情感预测的准确性，在MELD和EmoryNLP两个真实数据集上进行实验，结果表明较高的准确率和更强的可解释性，方法简便，实用性强，效果好，具有很好的应用前景。
实现本发明目的具体技术方案是：一种性格加强的对话情感预测模型，其特点是采用语句输入模块、上下文特征提取模块、性格加强的情感抽取模块、性格处理模块和情感预测模块组成的对话情感预测模型，预测对话者的情感，所述语句输入模块将输入的对话语句进行分句处理后输入上下文特征提取模块；所述上下文特征提取模块使用预训练模型roberta从对话语句中，将得到上下文信息的向量表示输入性格加强的情感抽取模块；所述性格加强的情感抽取模块协同性格处理模块采用注意力机制以及从对话语句中学习用户情感，将得到情感变化的向量表示输入情感预测模块；所述情感预测模块将对话者的初始情感向量和性格影响的情感向量连接起来，从而预测对话者的情感。
所述情感预测模块由多层感知机和softmax函数组成，将对话者初始情感向量和性格影响的情感转换向量相加后输入多层感知机和softmax函数中进行情感预测。
一种性格加强的对话情感预测模型的构建方法，其特特点是对话情感预测模型的构建具体包括下述步骤：
步骤1：获取对话者性格信息
1-1：采用性格大五结构模型来表示对话者的性格，用5维向量表示对话者的性格信息，性格向量的维度分别表示大五模型中的OCEAN(Openness,Conscientiousness,Extraversion,Agreeableness,Neuroticism)，将OCEAN映射到情感模型PAD中(Pleasure,Arousal,Dominance)，得到下述(a)式表示的对话者性格信息Pn：
Pn＝(Pα,Pβ,Pγ) (a)。
其中，Pα、Pβ、Pγ分别为PAD空间中的权重，且由下述(b)～(d)计算：
Pα＝0.21E+0.59A+0.19N (b)；
Pβ＝0.15O+0.30A-0.57N (c)；
Pγ＝0.25O+0.17C+0.60E-0.32A (d)。
1-2：获得对话者性格信息后，通过多层感知机提取对话者的性格表示向量Rp，具体计算如下述(e)式计算：
Rp＝Dropout(Relu(Wp*Pn+bp)) (e)。
其中，Pn＝(Pα,Pβ,Pγ)表示心理学中将性格映射到PAD空间的性格表示；Dropout是正则化手段；Relu(x)＝max(0,x)是激活函数；Wp是权重矩阵；bp是偏置项；Rp表示经过深度神经网络学习后的性格向量表示。
步骤2：用户初始情感表示
2-1：将情感分为七类(即中性、生气、厌烦、恐惧、开心、悲伤和惊讶)，将七种情感映射到PAD(Pleasure-Arousal-Dominance)空间中，PAD空间在三个不同维度上表示了情感意向，详见下表1心理学中的七种情感表示向量Epad：
表1七种情感表示向量
表中，P体现对话者情感中的积极性(正值)和消极性(负值)；A体现对话者神经(生理层面)的激活水平及兴奋程度(高兴奋为正值，低兴奋为负值)；D体现对话者与外部环境相互主导的强弱情况(对话者主导为正值，外界主导为负值)。
根据表1得到心理学中的情感表示向量Epad，通过多层感知机提取对话者初始情感的表示向量Ei，具体计算如下述(f)式：
Ei＝Relu(WEi*Epad+bEi) (f)。
其中，Ei表示对话者的初始情感表示向量；Relu(x)＝max(0,x)是激活函数；WEi是权重矩阵；bEi是偏置项。
步骤3：词级别信息提取
将对话语句进行分句，对每个句子中的词所对应的向量按序送入双向LSTM中进行处理，使用双向LSTM对应位置的输出表示该位置的词所包含的信息。
步骤4：句子表征生成
使用预训练模型roberta提取对话语句的语义信息，输入对话语句Ui，Ui语句的长度为120，对长度小于120的语句进行padding处理，使用k维向量表示语句的语义信息，k的取值为768，i表示对话中的第i个语句，获得语句的语义信息后，通过多层感知机获得语句的情感信息/>具体计算如下述(g)～(h)式:
其中，Ui表示对话中的第i个句子；Ai表示第i个句子的attention-mask信息；Dropout是正则化手段；Relu(x)＝max(0,x)是激活函数；Wu1是权重矩阵；bu1是偏置项；是对话中第i个语句的roberta的输出；/>是对话中第i个语句的深度神经网络的输出；Eu是表示句子的语义信息；ru表示语句的情感信息。
步骤5：性格加强的情感提取
5-1：使用k维向量表示对话中第i个语句的情感信息，使用k维向量Rp表示对话者的性格向量，其中k的取值为128。
5-2：采用基于余弦和正弦的位置编码方案，且由下述(i)～(j)式在语句情感信息和性格信息表示中加入位置编码：
其中，p表示对应的位置编码矩阵；i表示行；j表示列；pi,2j为第i个位置在2j
维的位置编码。
5-3：根据对话中语句的位置，把语句情感信息向量和位置编码向量相加作为新的语句向量表示具体计算如下述(k)式；
其中，p表示对应的位置编码矩阵；表示加入位置编码的语句k维向量表示。
5-4：使用性格信息向量Rp作为attention层的查询(query)向量Q，使用语句的向量表示作为attention层的键K(key)和值V(value)向量。
5-5：将查询向量Q和每个键K由下述(m)式计算权重；
f(Q,Ki)＝QTWaKi (m)。
其中，QT为性格查询向量；Wa为注意力矩阵；Ki为语句情感向量。
5-6：使用softmax函数将上述权重由下述(n)式进行归一化处理：
其中，ai为第i个语句的权重；softmax(f(Q,Ki))为激活函数；
exp(f(Q,K))为指数函数。
5-7：对权重和相应的值V进行加权求和，得到attention值作为情感转换向量Ea，具体计算如下式(p)；
Ea＝Attention(Q,K,V)＝∑iaiVi (p)。
其中，Q、K和V分别是查询、键、值向量；Ea表示性格影响的情感转换向量；ai为Vi向量的权重。
步骤6：情感预测
情感预测模块由多层感知机和softmax函数组成，将对话者初始情感向量和性格影响的情感转换向量相加后输入多层感知机和softmax函数中进行情感预测，具体计算如下述(q)式；
Er＝softmax(Relu(WEr*(Ei+Ea)+bEr)) (q)。
其中，Ei和Ea分别是对话者初始情感和性格加强的情感转换向量表示；Relu(x)＝max(0,x)为激活函数。
本发明与现有技术相比具有准确率更高，可解释性更强，大大提升了深度学习模型在对话中进行情感预测的准确性，方法简便，实用性强，效果好，利用用户和物品的交互信息以及评论信息进行对评论的情感倾向进行二次分类，从而充分使用用户信息、物品信息和文本信息，提高了情感分类的准确率，具有很好的应用前景。
附图说明
图1为本发明的流程图。
具体实施方式
参阅图1，本发明采用语句输入模块、上下文特征提取模块、性格加强的情感抽取模块、性格处理模块和情感预测模块组成的对话情感预测模型，预测对话者的情感，所述语句输入模块将输入的对话语句进行分句处理后输入上下文特征提取模块；所述上下文特征提取模块使用预训练模型roberta从对话语句中，将得到上下文信息的向量表示输入性格加强的情感抽取模块；所述性格加强的情感抽取模块协同性格处理模块采用注意力机制以及从对话语句中学习用户情感，将得到情感变化的向量表示输入情感预测模块；所述情感预测模块将对话者的初始情感向量和性格影响的情感向量连接起来，从而预测对话者的情感。
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公识常识，本发明没有特别限制内容。
实施例1
采用MELD数据集中的一个对话例子，对话者1是Chandler，对话者2为Jade，对话者1的OCEAN性格向量为[0.648,0.375,0.386,0.58,0.477](以下简称性格向量P)，对话语句1为“Um,absolutely.Uh,how'bout tomorrow afternoon？Do you know uh,Central Perkin the Village,say,five-ish？”(以下简称为语句U1)，对话语句2为“Great,I'll seeyou then.”(以下简称为语句U2)，对话者的初始情感为“neutral”(以下简称初始情感Ei)，对对话者1(Chandler)的下一语句的情感进行预测，其具体操作按下述步骤进行：
步骤1：获取对话者1(Chandler)的性格信息
1-1：使用64维向量Rp表示对话者1的性格信息；把OCEAN性格向量P映射到情感PAD空间，得到PAD空间性格向量表示：Ppad＝[0.514,0.00,0.272]，具体计算如下述(1)-(3)式：
Pα＝0.21E+0.59A+0.19N (1)；
Pβ＝0.15O+0.30A-0.57N (2)；
Pγ＝0.25O+0.17C+0.60E-0.32A (3)。
1-2：将PAD空间中的性格向量Ppad送入深度神经网络得到对话者1的性格表示向量Rp，具体计算如式(4)；
Rp＝Dropout(Relu(Wp*Pn+bp)) (4)。
其中，Ppad＝(Pα,Pβ,Pγ)表示PAD空间计算得出；Dropout是正则化手段；Relu(x)＝max(0,x)是激活函数；Wp是权重矩阵；bp是偏置项；Rp表示经过深度神经网络的输出。
步骤2：用户初始情感表示
2-1：使用64维向量Ei表示对话者1的初始情感；将对话者1的初始情感映射到情感PAD空间中得到Epad＝[0.00,0.00,0.00]，具体映射如下表1所示：
表1七种情感表示向量
2-2：将PAD空间中的情感向量Epad送入深度神经网络得到对话者1的初始情感表示向量Ei，具体计算如述(5)式：
Ei＝Relu(WEi*Epad+bEi) (5)。
其中，Ei表示经过深度神经网络的输出；Relu(x)＝max(0,x)是激活函数；WEi是权重矩阵；bEi是偏置项。
步骤3：词级别信息提取
将对话语句U1、U2进行分，对每个句子进行如下处理：将句子中的词所对应的向量按序送入双向LSTM中，使用双向LSTM对应位置的输出表示该位置的词所包含的信息。
步骤4：句子表征生成
将对话语句U1和U2进行padding处理，长度统一为120，将U1和U2送入roberta得到对话语句U1和U2的语义信息向量 的维度为768，将语义信息向量/>送入深度神经网络得到语句情感表示RE；具体计算如下述(6)～(7)式；
其中，Ui表示对话中的第i个句子；Ai表示第i个句子的attention-mask信息；Dropout是正则化手段；Relu(x)＝max(0,x)是激活函数；Wu1是权重矩阵；bu1是偏置项；是对话中第i个语句的roberta的输出；/>是对话中第i个语句的深度神经网络的输出。
步骤5：性格加强的情感提取
5-1：使用64维向量表示对话中第i个语句的情感信息，使用64维向量Rp表示对话者的性格向量:。
5-2：在语句情感信息和性格信息表示中加入位置编码，采用基于余弦和正弦的位置编码方案，根据对话中语句的位置，把语句情感信息向量和位置编码向量相加作为新的语句向量表示具体计算如下述(8)～(10)式；
其中，p表示对应的位置编码矩阵；i表示行；j表示列；k维向量表示加入位置编码的语句向量了表示。
5-3：使用性格信息向量Rp作为attention层的查询(query)向量Q，使用语句的向量表示作为attention层的键K(key)和值V(value)向量。
5-4：将查询向量(query)和每个键(key)计算得到权重，使用softmax函数对这些权重进行归一化处理，对权重和相应的键值(value)进行加权求和得到最后attention值作为情感转换向量Ea，具体计算如下述(11)～(13)式：
f(Q,Ki)＝QTWaKi (11)；
Ea＝Attention(Q,K,V)＝∑iaiVi (13)。
其中，Q、K、V分别是查询、键、值向量；Ea表示性格影响的情感转换。
步骤6：情感预测
情感预测模块由多层感知机和softmax函数组成，将对话者初始情感向量Ei和性格影响的情感转换向量Ea相加后输入多层感知机和softmax函数中进行情感预测，具体计算如下述(14)式：
Er＝softmax(Relu(WEr*(Ei+Ea)+bEr)) (14)。
其中，Ei和Ea分别是对话者初始情感和性格加强的情感转换向量表示；Relu(x)＝max(0,x)为激活函数。
本发明提升了深度学习模型在对话中进行情感预测的准确性，在MELD和EmoryNLP两个真实数据集上进行实验，实验结果表明，本发明与现有技术相比，准确率更高，可解释性更强。
以上只是本发明的较佳实现而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实现方法所做的任何的简单修改、等同变化与修饰，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (4)

1.一种性格加强的对话情感预测模型，其特征在于采用语句输入模块、上下文特征提取模块、性格加强的情感抽取模块、性格处理模块和情感预测模块组成的对话情感预测模型，预测对话者的情感，所述语句输入模块将输入的对话语句分句处理后输入上下文特征提取模块；所述上下文特征提取模块使用预训练模型roberta从对话语句中，将得到上下文信息的向量表示输入性格加强的情感抽取模块；所述性格加强的情感抽取模块协同性格处理模块采用注意力机制以及从对话语句中学习用户情感，将得到情感变化的向量表示输入情感预测模块；所述情感预测模块将对话者的初始情感向量和性格影响的情感向量连接起来，从而预测对话者的情感。
2.根据权利要求1所述性格加强的对话情感预测模型，其特征在于所述情感预测模块由多层感知机和softmax函数组成，将对话者初始情感向量和性格影响的情感转换向量相加后输入多层感知机和softmax函数中进行情感预测。
3.一种权利要求1所述性格加强的对话情感预测模型的构建方法，其特征在于对话情感预测模型的构建具体包括下述步骤：
步骤1：获取对话者性格信息
1-1：采用性格大五结构模型来表示对话者的性格，用5维向量表示对话者的性格信息，性格向量的维度分别表示大五模型中的OCEAN，将其映射到情感模型PAD中，得到下述(a)式表示的对话者性格信息Pn：
Pn＝(Pα,Pβ,Pγ) (a)；
其中，Pα、Pβ、Pγ分别为PAD空间中的权重，且由下述(b)～(d)计算：
Pα＝0.21E+0.59A+0.19N (b)；
Pβ＝0.15O+0.30A-0.57N (c)；
Pγ＝0.25O+0.17C+0.60E-0.32A (d)；
1-2：获得对话者性格信息后，通过多层感知机提取对话者的性格表示向量Rp由下述(e)式计算：
Rp＝Dropout(Relu(Wp*Pn+bp)) (e)；
其中，Pn＝(Pα,Pβ,Pγ)表示心理学中将性格映射到PAD空间的性格表示；Dropout是正则化手段；Relu(x)＝max(0,x)是激活函数；Wp是权重矩阵；bp是偏置项；Rp表示经过深度神经网络的输出；
步骤2：用户初始情感表示
2-1：将情感分为中性、生气、厌烦、恐惧、开心、悲伤和惊讶七种，将其映射到PAD空间中；
2-2：根据下表1得到心理学中的情感表示向量Epad：
表1七种情感表示向量
上述表中，P体现对话者情感中的积极性为正值，消极性为负值；A体现对话者神经的激活水平及兴奋程度，其高兴奋为正值，低兴奋为负值；D体现对话者与外部环境相互主导的强弱情况，对话者主导为正值，外界主导为负值；
2-3：通过多层感知机提取对话者初始情感的表示向量Ei由下述(f)式计算：
Ei＝Relu(WEi*Epad+bEi) (f)；
其中，Ei表示对话者的初始情感表示向量；Relu(x)＝max(0,x)为激活函数；WEi为权重矩阵；Epad为情感在PAD情感空间中的表示向量；bEi是偏置项；
步骤3：词级别信息提取
将对话语句进行分句，并将每一句子中的词所对应的向量按序送入双向LSTM中，使用双向LSTM对应位置的输出表示该位置的词所包含的信息；
步骤4：句子表征生成
4-1：使用预训练模型roberta提取对话语句的语义信息，将其使用k维向量表示语句的语义信息；其中，k的取值为768；i为对话中的第i个语句；
4-2：将语句的语义信息通过多层感知机，获得语句的情感信息具体计算如下式(g)式:
其中，Ui表示对话中的第i个句子；Ai表示第i个句子的attention-mask信息；Wu1为权重矩阵；bu1为偏置项；是对话中第i个语句的深度神经网络的输出；/>为对话中第i个语句的roberta的输出，具体计算如下述(h)式:
步骤5：性格加强的情感提取
5-1：使用k维向量表示对话中第i个语句的情感信息，使用k维向量Rp表示对话者的性格向量，其中k的取值为128；
5-2：采用基于余弦和正弦的位置编码方案由下述(i)～(j)式，在语句情感信息和性格信息表示中加入位置编码：
其中，i表示位置；j表示维度；pi,2j为第i个位置在2j维的位置编码信息；
5-3：根据对话中语句的位置，把语句情感信息向量和位置编码向量相加，作为新的语句向量表示，加入位置编码的k维语句向量由下述(k)式计算：
其中，p为对应的位置编码矩阵；
5-4：使用性格信息向量Rp作为attention层的查询向量Q，使用语句的向量表示作为attention层的键K和值V向量；
5-5：将查询向量Q和每个键K由下述(m)式计算权重；
f(Q,Ki)＝QTWaKi (m)；
其中，QT为性格查询向量；Wa为注意力矩阵；Ki为语句情感向量；
5-6：使用softmax函数将上述权重由下述(n)式进行归一化处理：
其中，ai为第i个语句的权重；softmax(f(Q,Ki))为激活函数；exp(f(Q,K))为指数函数；
5-7：对权重和相应的值V进行加权求和，得到attention值作为情感转换向量Ea，具体计算如下式(p)；
Ea＝Attention(Q,K,V)＝∑iaiVi (p)；
其中，Q、K和V分别是查询、键、值向量；Ea表示性格影响的情感转换向量；ai为Vi向量的权重；
步骤6：情感预测
情感预测模块由多层感知机和softmax函数组成，将对话者初始情感向量和性格影响的情感转换向量相加后输入多层感知机和softmax函数中进行情感预测，具体计算如下述(q)式；
Er＝softmax(Relu(WEr*(Ei+Ea)+bEr)) (q)；
其中，Ei和Ea分别是对话者初始情感和性格加强的情感转换向量表示；Relu(x)＝max(0,x)为激活函数；WEr为可学习的参数矩阵；bEr为偏置项。
4.根据权利要求3所述性格加强的对话情感预测模型的构建方法，其特征在于所述对话语句Ui的长度为120，对输入长度小于120的语句进行padding处理。
CN202210585125.XA 2022-05-27 2022-05-27 一种性格加强的对话情感预测模型及其构建方法 Active CN114970561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210585125.XA CN114970561B (zh) 2022-05-27 2022-05-27 一种性格加强的对话情感预测模型及其构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210585125.XA CN114970561B (zh) 2022-05-27 2022-05-27 一种性格加强的对话情感预测模型及其构建方法

Publications (2)

Publication Number Publication Date
CN114970561A CN114970561A (zh) 2022-08-30
CN114970561B true CN114970561B (zh) 2023-08-01

Family

ID=82956754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210585125.XA Active CN114970561B (zh) 2022-05-27 2022-05-27 一种性格加强的对话情感预测模型及其构建方法

Country Status (1)

Country Link
CN (1) CN114970561B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563290B (zh) * 2022-12-06 2023-04-07 广东数业智能科技有限公司 一种基于语境建模的智能情感识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270168A (zh) * 2020-10-14 2021-01-26 北京百度网讯科技有限公司 对白情感风格预测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175237B (zh) * 2019-05-14 2023-02-03 华东师范大学 一种面向多类别的二次情感分类方法
CN110427490B (zh) * 2019-07-03 2021-11-09 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置
CN114385802A (zh) * 2022-01-10 2022-04-22 重庆邮电大学 一种融合主题预测和情感推理的共情对话生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270168A (zh) * 2020-10-14 2021-01-26 北京百度网讯科技有限公司 对白情感风格预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114970561A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Abdullah et al. SEDAT: sentiment and emotion detection in Arabic text using CNN-LSTM deep learning
Xie et al. Speech emotion classification using attention-based LSTM
Liu et al. Speech emotion recognition based on feature selection and extreme learning machine decision tree
Mai et al. Locally confined modality fusion network with a global perspective for multimodal human affective computing
Al-Omari et al. Emodet2: Emotion detection in english textual dialogue using bert and bilstm models
CN111859978A (zh) 一种基于深度学习的情感文本生成方法
CN107301168A (zh) 智能机器人及其情绪交互方法、系统
Li et al. Towards Discriminative Representation Learning for Speech Emotion Recognition.
CN109815493B (zh) 一种智能嘻哈音乐歌词生成的建模方法
CN108597541A (zh) 一种增强愤怒与开心识别的语音情感识别方法及系统
CN110502753A (zh) 一种基于语义增强的深度学习情感分析模型及其分析方法
CN111241250B (zh) 一种情感对话生成系统和方法
CN110765260A (zh) 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN112417894B (zh) 一种基于多任务学习的对话意图识别方法及识别系统
Gobron et al. From sentence to emotion: a real-time three-dimensional graphics metaphor of emotions extracted from text
CN108628935A (zh) 一种基于端到端记忆网络的问答方法
Liu et al. Speech emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multi-task learning
CN113065344A (zh) 一种基于迁移学习和注意力机制的跨语料库情感识别方法
Zhao et al. Applications of deep learning to audio generation
Shirani et al. Speech emotion recognition based on SVM as both feature selector and classifier
Chou et al. Exploiting annotators’ typed description of emotion perception to maximize utilization of ratings for speech emotion recognition
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN111949762B (zh) 基于上下文情感对话的方法和系统、存储介质
CN114970561B (zh) 一种性格加强的对话情感预测模型及其构建方法
de Velasco et al. Emotion Detection from Speech and Text.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant