CN114385802A - 一种融合主题预测和情感推理的共情对话生成方法 - Google Patents
一种融合主题预测和情感推理的共情对话生成方法 Download PDFInfo
- Publication number
- CN114385802A CN114385802A CN202210019847.9A CN202210019847A CN114385802A CN 114385802 A CN114385802 A CN 114385802A CN 202210019847 A CN202210019847 A CN 202210019847A CN 114385802 A CN114385802 A CN 114385802A
- Authority
- CN
- China
- Prior art keywords
- emotion
- word
- topic
- context
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000002996 emotional effect Effects 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 30
- 239000010410 layer Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 26
- 238000012546 transfer Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000002356 single layer Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000000699 topical effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000004260 weight control Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及自然语言处理、深度学习、文本情感分析、对话生成领域,特别涉及一种融合主题预测和情感推理的共情对话生成方法,包括构建融合主题预测和情感推理的共情对话生成模型,该模型包括主题预测模块、情感推理模块以及对话生成模块,利用主题预测模块进行受上下文控制的对话主题预测,得到预测的主题;使用情感推理模块预测上下文情感标签和进行情感原因词识别,得到相应的情感信息;将获得主题信息和情感信息输入到对话生成模块中,得到与用户情感共鸣的共情回复;本发明有效地利用上下文控制主题的预测,准确地预测出上下文情感标签和识别情感原因相关的词,从而提升了模型生成的回复在情感上的共情性、主题上的一致性和内容上的相关性。
Description
技术领域
本发明涉及自然语言处理、深度学习、文本情感分析、对话生成领域,特别涉及一种融合主题预测和情感推理的共情对话生成方法。
背景技术
人机对话的场景充斥在人们生活中,作为人工智能领域的核心领域,人机对话一直以来受到各界的广泛关注。一直以来人们都希望创造出能够与人流畅交流的机器人,早在1950年,图灵就明确提出了判断机器人是否智能的标准,即图灵测试。受到图灵测试的启发,人机对话引起了学者们的关注,随着深度学习技术的发展,人工智能迎来了第三次浪潮,网上海量的对话数据,为基于深度学习的人机对话技术提供了数据驱动与支撑,但是早期的对话生成系统生成的对话是不具有任何情感的,然而用户一般希望机器产生的回复能够与自己产生情感共鸣,没有情感的回复,很容易使用户失去聊天的兴趣,所以提出一种情感对话生成方法是有必要的。
早期情感对话模型的研究大多数集中于指定情感的单轮次对话生成,这类模型不能根据用户的输入语句判断出用户此时此刻的情感,而是通过在模型编码器或者解码器额外输入一个指定的情感,用于生成带有情感的回复,而且每次回复的生成是单轮次的,也就是说模型只能与用户进行一个轮次的对话。但是在现实生活中,人们希望与机器的对话能够持续很多轮次,而且在生成带有情感的回复时,也不需要指定情感,而是通过用户的输入和对话历史信息来分析用户的情感,并预测用户希望得到什么样的情感回复,这种生成回复的方式称为共情对话生成。
共情对话是从情感对话任务中衍生而来的,根据对话历史,来理解用户当前的感受,产生相应的回复,从而与用户产生情感上的共鸣。共情对话生成的主要挑战集中于对话主题的预测和情感的识别。在对话主题预测方面,以往的研究仅仅根据对话历史进行预测对话主题,只考虑了每个话题的个体语义,忽略了其特定的对话语境,这可能会导致不准确的话题表征和影响反应连贯;在情感识别方面,目前的方法主要集中在学习一个预测情绪标签的模型,却被忽略了情感背后原因的检测,这将会导致模型只能利用表面的情感信息。
发明内容
为解决以上现有技术问题,本发明提出了一种融合主题预测和情感推理的共情对话生成方法,包括构建融合主题预测和情感推理的共情对话生成模型,该模型包括主题预测模块、情感推理模块以及对话生成模块,利用主题预测模块进行受上下文控制的对话主题预测,得到预测的主题;使用情感推理模块预测上下文情感标签和进行情感原因词识别,得到相应的情感信息;将获得主题信息和情感信息输入到对话生成模块中,得到与用户情感共鸣的共情回复,对融合主题预测和情感推理的共情对话生成模型的训练过程具体包括以下步骤:
S1:获取共情对话数据,对数据进行处理,生成训练数据集、验证数据集和测试数据集;
S2:采用word embedding将共情对话数据集中的输入序列转换成相应的词向量表示;
S3:将经过word embedding得到的向量表示分别输入主题预测和情感推理模块,进行对话主题预测和情感推理;
S4:利用可训练的emotion embedding作为每个上下文标签ε的表示;
S5:将emotion embedding与word embedding和position embedding相加输入对话生成模块获取主题词和情感原因词;
S6:最大化条件概率p(Um|U<m)生成最终回复,根据生成的结果计算模型的损失函数,并将测试样本中的数据输入到模型中,不断调整模型的参数,当模型的损失函数值小于设定阈值时,完成模型的训练。
进一步的,主题预测模块包括层次上下文编码、上下文相关主题表示和上下文控制主题预测,层次上下文编码用于获取话语的上下文表示;上下文相关主题表示用于根据话语的上下文表示获取话语的主题表示;上下文控制主题预测用于根据话语的主题表示对主题进行预测。
其中,U<m表示对话上下文,Ni为话语Ui词的数量,m为整个对话过程中话语数量;为wn,i隐藏向量,是wn,i的初始词嵌入,wn,i表示话语Ui的第n个词;BiGRU()表示BiGRU网络;是Ui的上下文级表示。
进一步的,上下文相关主题表示由主题词提取、主题内注意力、上下文主题注意力、话语内主题表示和话语间主题表示构成,其中:
主题内注意力为利用注意力机制计算每个话语中不同主题词相互重要权重,并利用权重更新每个主题词的表示,该过程表示为:
上下文主题注意力是利用注意力机制将话语表示融入主题表示过程,该过程表示为:
话语内主题表示利用softmax函数计算出主题词与其相关话语之间的相关性,得到综合的话语内主题表示,包括:
话语间主题表示用GRU网络对话语内主题表示进行编码,捕捉不同话语间的关系,得到话语间主题表示,包括:
其中,αj,l表示相互重要权重,f()表示点乘操作,分别为主题词tj,i、tl,i的词嵌入表示,grelu()为单层全连接网络,ReLU是激活函数,zj,i为词级主题表示,glinear为单层线性全连接网络,Ki为每个话语挑选的主题词数量;βj,n为zj,i和之间的相关性,为主题词tj,i的上下文相关主题表示,Ni为话语Ui词的数量;ξj,i是主题tj,i与Ui之间的相关性,是话语Ui综合的话语内主题表示;是话语Ui整合后的具有话语感知的主题表示。
进一步的,进行上下文控制主题预测时,利用H层前馈网络进行预测出对话主题转移到回复中的转移概率,并从中选择转移概率最大的L个主题词,包括以下过程:
其中,Concat[;]表示连接操作,W1,…,WH、b1,…,bH表示模型中可训练的参数,是H层前馈网络的输出,K表示上下文相关的主题词个数,表示主题词的转移权重,表示主题词tk转移到回复Um中的概率,t表示从Ts={t1,…tk}中挑选的在前L的主题词,TopL()表示选择最大的L个参数,表示预测的转移主题的词嵌入表示,Gt是主题门序列,表示选择作为预测转移主题词的概率。
进一步的,情感推理模块由transformer模型构成,该模型根据对话上下文预测出上下文情感标签ε,包括:
X={x0,x1,…,xN}
其中,X是给定对话上下文M={U1,…,Um-1}连接起来后的输入序列,x0表示序列的开始符号,V为X的词表示,We和be表示模型中可训练参数;p(ε|X)表示根据对话上下文预测情感标签ε的概率。
进一步的,进行情感原因词识别包括:
其中,表示第i个词与情感原因相关的概率,ci为第i个词情感原因相关的标签,Wc和bc为可训练参数,C表示从输入中选择的时的前k个主题词,表示从输入中选择的时的第k个主题词;是一个[0,1]中取值连续的软门,表示在输入中选择作为情感原因词的概率;表示第一个特殊字符[CLS]的向量表示,Ni为话语Ui词的数量。
进一步的,对话生成模块中包括编码器、解码器,将词向量表示Ew、对话上下文的情感标签嵌入Eε和词向量的位置嵌入表示Ep相加输入到对话生成模块的编码器中进行编码得到上下文化的词表示;在解码器中利用一个交叉注意力机制对上下文化的词表示进行关注,在交叉注意力层上添加一个主题门注意力和情感原因词门注意力,对主题预测模块得到主题门序列进行关注,动态选择预测的转移主题序列中出现在回复中主题词,对情感推理模块得到的门序列进行关注,动态控制输入中情感原因相关词的选择,包括:
其中,的值表示选择预测主题序列中的作为出现在回复中的主题词的概率;的值表示在输入中选择作为情感原因词的概率,ql表示问询向量,为多头注意力层的输出;表示的嵌入表示,表示的嵌入表示,表示在输入中选择作为情感原因词的概率,⊙表示点积操作,表示解码器第l块注意力层第i个位置的主题门注意力权重,表示解码器第l块注意力层第i个位置的情感原因词门注意力权重。
进一步的,通过最大化在给定对话上下文U<m的条件下,生成回复Um的概率P(Um|U<m)得到共情回复,表示为:
其中,p(wn,m|w<n,m,U<m,t,C,ε)表示在n时刻前生成词为w<n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下,n时刻生成词wn,m的概率;wn,m表示回复Um中n时刻生成词,w<n,m表示回复Um中n时刻之前生成词,U<m表示对话上下文,t表示从Ts={t1,…tk}中挑选的在前L的主题词,表示主题词的转移权重,C表示从输入中选择的时的前k个主题词,ε表示对话上下文情感标签。
进一步的,模型的损失函数由主题预测模块、情感推理模块和对话生成模块三者损失函数之和,其中:
主题预测模块损失函数为:
情感推理模块的损失函数为:
对话生成模块的损失函数为:
其中,Ltran表示转移主题词预测损失,K表示上下文相关的主题词个数;Ltran(k)表示焦点损失函数,ψ∈[0,1]是一个权重控制因子,γ≥02是调节因子,表示主题词转移权重;τk表示预测的转移主题词是否出现在回复中,当τk=1表示预测的转移主题词出现在回复Um中,当τk=0表示预测的转移主题词不出现在回复Um中;Lε表示上下文情感标签预测损失,表示上下文情感标签的预测概率,表示第i个词与情感原因相关的概率,Ni为话语Ui词的数量,Lc表示情感原因词检测损失;Lg表示解码器的生成损失,Nm表示生成回复中的词的个数;p(wn,m|w<n,m,U<m,t,C,ε)表示在n时刻前生成词为w<n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下,n时刻生成词wn,m的概率;U<m表示对话上下文,表示主题词的转移权重,C表示从输入中选择的时的前k个主题词,ε表示对话上下文情感标签。
本发明很好的融合了主题信息和情感信息,有效地利用上下文控制主题的预测,准确地预测出上下文情感标签和识别情感原因相关的词,从而提升了模型生成的回复在情感上的共情性、主题上的一致性和内容上的相关性。
附图说明
图1为本发明的融合主题预测和情感推理的共情对话生成模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种基于融合主题预测和情感推理的共情对话生成方法,构建融合主题预测和情感推理的共情对话生成模型,该模型包括主题预测模块、情感推理模块以及对话生成模块,利用主题预测模块进行受上下文控制的对话主题预测,得到预测的主题;使用情感推理模块预测上下文情感标签和进行情感原因词识别,得到相应的情感信息;将获得主题信息和情感信息输入到对话生成模块中,得到与用户情感共鸣的共情回复,对融合主题预测和情感推理的共情对话生成模型的训练过程具体包括以下步骤:
S1:获取共情对话数据,对数据进行处理,生成训练数据集、验证数据集和测试数据集;
S2:采用word embedding将共情对话数据集中的输入序列转换成相应的词向量表示;
S3:将经过word embedding得到的向量表示分别输入主题预测和情感推理模块,进行对话主题预测和情感推理;
S4:利用可训练的emotion embedding作为每个上下文标签ε的表示;
S5:将emotion embedding与word embedding和position embedding相加输入对话生成模块获取主题词和情感原因词;
S6:最大化条件概率p(Um|U<m)生成最终回复,根据生成的结果计算模型的损失函数,并将测试样本中的数据输入到模型中,不断调整模型的参数,当模型的损失函数值小于设定阈值时,完成模型的训练。
如图1,本实施例中融合主题预测和情感推理的共情对话生成模型包括主题预测模块、情感推理模块以及对话生成模块,用户将数据分别输入主题预测模块和情感推理模块,主题推理模块和情感推理模块得到的输出进行相加后输入对话生成模块生成回复作为模型的输出,其中主题预测模块结合对话上下文进行受上下文控制的对话主题预测,由层次上下文编码、上下文相关主题表示和上下文控制主题预测三个部分构成,如图1,主题预测模块包括以下操作:
第一步,首先,对话上下文中每个话语经过第一层BiGRU进行编码,得到话语级表示 是Ui话语级表示的最后一个隐藏层向量,然后,将第一层编码得到的话语级表示通过第二层BiGRU进行编码,最后,得到上下文级表示,公式可表示如下:
第二步,利用LDA主题模型从上下文U<m中抽取出一个唯一的主题词序列Ts={t1,…tk},并从Ts中为每个话语Ui挑选主题词得到上下文主题为T<m={T1,…,Tm-1},再利用主题内注意力计算每个话语中不同主题词相互重要权重,根据权重更新每个主题词的表示,计算公式如下:
第四步,利用softmax函数计算出主题词与其相关话语之间的相关性ξj,i,并根据ξji进行话语内主题表示,计算公式如下:
第六步,将第五步得到的话语间的主题表示和第一步得到的上下文级表示通过一个H层的前馈神经网络预测主题词tk转移到回复Um中的概率,得到转移权重并从中挑选出转移概率在前L的主题词作为预测的主题词序列t,最后,由t得到主题门序列Gt,主题预测过程的计算公式如下:
其中,Concat[;]表示连接操作,W1,…,WH和b1,…,bH表示可训练的参数,是H层前馈网络的输出,K表示上下文相关的主题词个数,表示主题词的转移权重,表示主题词tk转移到回复Um中的概率,t表示从Ts={t1,…tk}中挑选的在前L的主题词,表示预测的转移主题的词嵌入表示,Gt是主题门序列,表示选择作为预测转移主题词的概率。
情感推理模块包含情感预测和情感原因词识别,分别进行上下文情感标签预测和识别情感原因相关的词,如图1所示,该模块的操作包括:
将对话上下文M={U1,…,Um-1}连接起来得到输入序列X={x0,x1,…,xN},再将X进行词表示后得到并利用一个transformer模型预测上下文情感标签ε,接着进行情感原因词识别,情感原因词能够为对话生成提供更深层次的情感信息,如果第i个词与情感原因相关,其情感原因标签为1,否则为0,给定X={x0,x1,…,xN},得到每个词与情感原因相关的概率,从输入中选择时的前k个主题词作为情感原因词,根据情感原因标签概率得到情感原因词门序列计算公式如下:
其中,x0表示序列的开始符号,V是X的词表示,We和be表示可训练参数,表示第i个词与情感原因相关的概率,ci为第i个词情感原因相关的标签,Wc和bc为可训练参数,C表示从输入中选择的时的前k个主题词,是一个[0,1]中取值连续的软门,表示在输入中选择作为情感原因词的概率。
对话生成模块,即利用主题预测模块得到的主题信息和情感推理模块得到的情感信息生成主题相关、情感共鸣的回复,如图1所示,该模块操作包括:
在解码器中利用一个交叉注意力机制对H进行关注,再在交叉注意力层上添加一个主题门注意力和情感原因词门注意力,对主题预测模块得到主题门序列进行关注,动态选择预测的转移主题序列中出现在回复中主题词,对情感推理模块得到的门进行关注,动态控制输入中情感原因相关词的选择,计算公式如下:
其中,的值表示选择预测主题序列中的作为出现在回复中的主题词的概率,的值表示在输入中选择作为情感原因词的概率,ql表示问询向量,是多头注意力层的输出,表示的嵌入表示,表示的嵌入表示,最后,通过最大化得到共情回复。
本发明在训练模型时采用的模型的损失函数是主题预测模块、情感推理模块和对话生成模块三者损失函数之和。主题预测模块损失函数为:
其中,Ltran是动态加权交叉熵损失,表示转移主题词预测损失,它能够解决训练样本不平衡的问题,Ltran(k)表示焦点损失函数,ψ∈[0,1]是一个权重控制因子,γ≥02是调节因子。
情感推理模块的损失函数为:
其中,Lε表示上下文情感标签预测损失,Lc表示情感原因词检测损失。
对话生成模块的损失函数为:
其中,Lg是一个负对数似然损失,表示解码器的生成损失,Nm表示生成回复中的词的个数。
模型总的损失函数为:
L=Lε+Lc+Ltran+Lg。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种融合主题预测和情感推理的共情对话生成方法,其特征在于,构建融合主题预测和情感推理的共情对话生成模型,该模型包括主题预测模块、情感推理模块以及对话生成模块,利用主题预测模块进行受上下文控制的对话主题预测,得到预测的主题;使用情感推理模块预测上下文情感标签和进行情感原因词识别,得到相应的情感信息;将获得主题信息和情感信息输入到对话生成模块中,得到与用户情感共鸣的共情回复,对融合主题预测和情感推理的共情对话生成模型的训练过程具体包括以下步骤:
S1:获取共情对话数据,对数据进行处理,生成训练数据集、验证数据集和测试数据集;
S2:采用词嵌入将共情对话数据集中的输入序列转换成相应的词向量表示;
S3:将词向量表示分别输入主题预测模块和情感推理模块,;
S4:利用可训练的情感嵌入获取每个词向量表示的上下文情感标签;
S5:将词向量表示、词向量的情感标签和词向量的位置向量表示相加输入对话生成模块获取主题词和情感原因词;
S6:计算在给定对话上下文U<m的条件下生成回复Um的概率p(Um|U<m)并将该概率最大值对应的生成回复作为最终回复,根据最终回复计算模型的损失函数,并将测试样本中的数据输入到模型中,通过方向传播调整模型的参数,当模型的损失函数值小于设定阈值时,完成模型的训练。
2.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法,其特征在于,主题预测模块包括层次上下文编码、上下文相关主题表示和上下文控制主题预测,层次上下文编码用于获取话语的上下文表示;上下文相关主题表示用于根据话语的上下文表示获取话语的主题表示;上下文控制主题预测用于根据话语的主题表示对主题进行预测。
4.根据权利要求2所述的一种融合主题预测和情感推理的共情对话生成方法,其特征在于,上下文相关主题表示由主题词提取、主题内注意力、上下文主题注意力、话语内主题表示和话语间主题表示构成,其中:
主题内注意力为利用注意力机制计算每个话语中不同主题词相互重要权重,并利用权重更新每个主题词的表示,该过程表示为:
上下文主题注意力是利用注意力机制将话语表示融入主题表示过程,该过程表示为:
话语内主题表示利用softmax函数计算出主题词与其相关话语之间的相关性,得到综合的话语内主题表示,包括:
话语间主题表示用GRU网络对话语内主题表示进行编码,捕捉不同话语间的关系,得到话语间主题表示,包括:
8.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法,其特征在于,对话生成模块中包括编码器、解码器,将词向量表示Ew、对话上下文的情感标签嵌入Eε和词向量的位置嵌入表示Ep相加输入到对话生成模块的编码器中进行编码得到上下文化的词表示;在解码器中利用一个交叉注意力机制对上下文化的词表示进行关注,在交叉注意力层上添加一个主题门注意力和情感原因词门注意力,对主题预测模块得到主题门序列进行关注,动态选择预测的转移主题序列中出现在回复中主题词,对情感推理模块得到的门序列进行关注,动态控制输入中情感原因相关词的选择,包括:
9.根据权利要求8所述的一种融合主题预测和情感推理的共情对话生成方法,其特征在于,通过最大化在给定对话上下文U<m的条件下,生成回复Um的概率P(Um|U<m)得到共情回复,表示为:
10.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法,其特征在于,模型的损失函数由主题预测模块、情感推理模块和对话生成模块三者损失函数之和,其中:
主题预测模块损失函数为:
情感推理模块的损失函数为:
对话生成模块的损失函数为:
其中,Ltran表示转移主题词预测损失,K表示上下文相关的主题词个数;Ltran(k)表示焦点损失函数,ψ∈[0,1]是一个权重控制因子,γ≥02是调节因子,表示主题词转移权重;τk表示预测的转移主题词是否出现在回复中,当τk=1表示预测的转移主题词出现在回复Um中,当τk=0表示预测的转移主题词不出现在回复Um中;Lε表示上下文情感标签预测损失,表示上下文情感标签的预测概率,表示第i个词与情感原因相关的概率,Ni为话语Ui词的数量,Lc表示情感原因词检测损失;Lg表示解码器的生成损失,Nm表示生成回复中的词的个数;p(wn,m|w<n,m,U<m,t,C,ε)表示在n时刻前生成词为w<n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下,n时刻生成词wn,m的概率;U<m表示对话上下文,表示主题词的转移权重,C表示从输入中选择的时的前k个主题词,ε表示对话上下文情感标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210019847.9A CN114385802A (zh) | 2022-01-10 | 2022-01-10 | 一种融合主题预测和情感推理的共情对话生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210019847.9A CN114385802A (zh) | 2022-01-10 | 2022-01-10 | 一种融合主题预测和情感推理的共情对话生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114385802A true CN114385802A (zh) | 2022-04-22 |
Family
ID=81199896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210019847.9A Pending CN114385802A (zh) | 2022-01-10 | 2022-01-10 | 一种融合主题预测和情感推理的共情对话生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114385802A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114970561A (zh) * | 2022-05-27 | 2022-08-30 | 华东师范大学 | 一种性格加强的对话情感预测模型及其构建方法 |
CN115048946A (zh) * | 2022-06-14 | 2022-09-13 | 昆明理工大学 | 融合主题信息的篇章级神经机器翻译方法 |
CN115169367A (zh) * | 2022-09-06 | 2022-10-11 | 杭州远传新业科技股份有限公司 | 对话生成方法及装置、存储介质 |
CN115934909A (zh) * | 2022-12-02 | 2023-04-07 | 苏州复变医疗科技有限公司 | 一种共情回复生成方法、装置、终端和存储介质 |
CN116258134A (zh) * | 2023-04-24 | 2023-06-13 | 中国科学技术大学 | 一种基于卷积联合模型的对话情感识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3089830A1 (en) * | 2018-01-29 | 2019-08-01 | EmergeX, LLC | System and method for facilitating affective-state-based artificial intelligence |
CN111522936A (zh) * | 2020-04-24 | 2020-08-11 | 上海智臻智能网络科技股份有限公司 | 一种包含情感的智能客服对话回复生成方法、装置及电子设备 |
CN111522924A (zh) * | 2020-03-31 | 2020-08-11 | 华东师范大学 | 一种带有主题感知的情感聊天式回复生成方法 |
CN111949761A (zh) * | 2020-07-06 | 2020-11-17 | 合肥工业大学 | 考虑情感和主题的对话问题生成方法和系统、存储介质 |
CN111949762A (zh) * | 2020-07-09 | 2020-11-17 | 合肥工业大学 | 基于上下文情感对话的方法和系统、存储介质 |
CN112905776A (zh) * | 2021-03-17 | 2021-06-04 | 西北大学 | 一种情感对话模型构建方法、情感对话系统及方法 |
-
2022
- 2022-01-10 CN CN202210019847.9A patent/CN114385802A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3089830A1 (en) * | 2018-01-29 | 2019-08-01 | EmergeX, LLC | System and method for facilitating affective-state-based artificial intelligence |
CN111522924A (zh) * | 2020-03-31 | 2020-08-11 | 华东师范大学 | 一种带有主题感知的情感聊天式回复生成方法 |
CN111522936A (zh) * | 2020-04-24 | 2020-08-11 | 上海智臻智能网络科技股份有限公司 | 一种包含情感的智能客服对话回复生成方法、装置及电子设备 |
CN111949761A (zh) * | 2020-07-06 | 2020-11-17 | 合肥工业大学 | 考虑情感和主题的对话问题生成方法和系统、存储介质 |
CN111949762A (zh) * | 2020-07-09 | 2020-11-17 | 合肥工业大学 | 基于上下文情感对话的方法和系统、存储介质 |
CN112905776A (zh) * | 2021-03-17 | 2021-06-04 | 西北大学 | 一种情感对话模型构建方法、情感对话系统及方法 |
Non-Patent Citations (3)
Title |
---|
XIAO SUN等: "Neural Network With Hierarchical Attention Mechanism for Contextual Topic Dialogue Generation", 《IEEE ACCESS》, vol. 10, 6 January 2022 (2022-01-06), pages 4628 * |
唐宏等: "融合主题预测和情感推理的共情回复生成方法", 《计算机工程与应用》, vol. 59, no. 14, 10 June 2022 (2022-06-10), pages 114 - 123 * |
彭叶红: "基于主题模型与变分自编码的情感对话生成技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 01, 15 January 2020 (2020-01-15), pages 138 - 2489 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114970561A (zh) * | 2022-05-27 | 2022-08-30 | 华东师范大学 | 一种性格加强的对话情感预测模型及其构建方法 |
CN115048946A (zh) * | 2022-06-14 | 2022-09-13 | 昆明理工大学 | 融合主题信息的篇章级神经机器翻译方法 |
CN115169367A (zh) * | 2022-09-06 | 2022-10-11 | 杭州远传新业科技股份有限公司 | 对话生成方法及装置、存储介质 |
CN115169367B (zh) * | 2022-09-06 | 2022-12-09 | 杭州远传新业科技股份有限公司 | 对话生成方法及装置、存储介质 |
CN115934909A (zh) * | 2022-12-02 | 2023-04-07 | 苏州复变医疗科技有限公司 | 一种共情回复生成方法、装置、终端和存储介质 |
CN115934909B (zh) * | 2022-12-02 | 2023-11-17 | 苏州复变医疗科技有限公司 | 一种共情回复生成方法、装置、终端和存储介质 |
CN116258134A (zh) * | 2023-04-24 | 2023-06-13 | 中国科学技术大学 | 一种基于卷积联合模型的对话情感识别方法 |
CN116258134B (zh) * | 2023-04-24 | 2023-08-29 | 中国科学技术大学 | 一种基于卷积联合模型的对话情感识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112348075B (zh) | 一种基于情景注意力神经网络的多模态情感识别方法 | |
CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
CN110647612A (zh) | 一种基于双视觉注意力网络的视觉对话生成方法 | |
CN114385802A (zh) | 一种融合主题预测和情感推理的共情对话生成方法 | |
CN111312245B (zh) | 一种语音应答方法、装置和存储介质 | |
CN110321418A (zh) | 一种基于深度学习的领域、意图识别和槽填充方法 | |
Padi et al. | Multimodal emotion recognition using transfer learning from speaker recognition and bert-based models | |
CN111259976A (zh) | 基于多模态对齐与多向量表征的人格检测方法 | |
Liu et al. | Turn-Taking Estimation Model Based on Joint Embedding of Lexical and Prosodic Contents. | |
CN113065344A (zh) | 一种基于迁移学习和注意力机制的跨语料库情感识别方法 | |
Poncelet et al. | Low resource end-to-end spoken language understanding with capsule networks | |
CN113887836B (zh) | 一种融合事件环境信息的叙述性事件预测方法 | |
CN113656569B (zh) | 一种基于上下文信息推理的生成式对话方法 | |
CN115171176A (zh) | 对象情绪的分析方法、装置和电子设备 | |
CN114360584A (zh) | 一种基于音素级的语音情感分层式识别方法及系统 | |
CN116108856B (zh) | 基于长短回路认知与显隐情感交互的情感识别方法及系统 | |
CN116434786A (zh) | 融合文本语义辅助的教师语音情感识别方法 | |
CN115422388A (zh) | 一种视觉对话方法及系统 | |
CN115795010A (zh) | 一种外部知识辅助的多因素层次建模共情对话生成方法 | |
CN115240713A (zh) | 基于多模态特征和对比学习的语音情感识别方法及装置 | |
CN115240712A (zh) | 一种基于多模态的情感分类方法、装置、设备及存储介质 | |
Hore et al. | Code-switched end-to-end Marathi speech recognition for especially abled people | |
CN115169363A (zh) | 一种融合知识的增量编码的对话情感识别方法 | |
Atmaja et al. | Dimensional Speech Emotion Recognition from Acoustic and Text Features using Recurrent Neural Networks | |
CN112700796A (zh) | 一种基于交互式注意力模型的语音情感识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |