CN114385802A - 一种融合主题预测和情感推理的共情对话生成方法 - Google Patents

一种融合主题预测和情感推理的共情对话生成方法 Download PDF

Info

Publication number
CN114385802A
CN114385802A CN202210019847.9A CN202210019847A CN114385802A CN 114385802 A CN114385802 A CN 114385802A CN 202210019847 A CN202210019847 A CN 202210019847A CN 114385802 A CN114385802 A CN 114385802A
Authority
CN
China
Prior art keywords
emotion
word
topic
context
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210019847.9A
Other languages
English (en)
Inventor
唐宏
彭金枝
郭艳霞
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210019847.9A priority Critical patent/CN114385802A/zh
Publication of CN114385802A publication Critical patent/CN114385802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及自然语言处理、深度学习、文本情感分析、对话生成领域，特别涉及一种融合主题预测和情感推理的共情对话生成方法，包括构建融合主题预测和情感推理的共情对话生成模型，该模型包括主题预测模块、情感推理模块以及对话生成模块，利用主题预测模块进行受上下文控制的对话主题预测，得到预测的主题；使用情感推理模块预测上下文情感标签和进行情感原因词识别，得到相应的情感信息；将获得主题信息和情感信息输入到对话生成模块中，得到与用户情感共鸣的共情回复；本发明有效地利用上下文控制主题的预测，准确地预测出上下文情感标签和识别情感原因相关的词，从而提升了模型生成的回复在情感上的共情性、主题上的一致性和内容上的相关性。

Description

一种融合主题预测和情感推理的共情对话生成方法
技术领域
本发明涉及自然语言处理、深度学习、文本情感分析、对话生成领域，特别涉及一种融合主题预测和情感推理的共情对话生成方法。
背景技术
人机对话的场景充斥在人们生活中，作为人工智能领域的核心领域，人机对话一直以来受到各界的广泛关注。一直以来人们都希望创造出能够与人流畅交流的机器人，早在1950年，图灵就明确提出了判断机器人是否智能的标准，即图灵测试。受到图灵测试的启发，人机对话引起了学者们的关注，随着深度学习技术的发展，人工智能迎来了第三次浪潮，网上海量的对话数据，为基于深度学习的人机对话技术提供了数据驱动与支撑，但是早期的对话生成系统生成的对话是不具有任何情感的，然而用户一般希望机器产生的回复能够与自己产生情感共鸣，没有情感的回复，很容易使用户失去聊天的兴趣，所以提出一种情感对话生成方法是有必要的。
早期情感对话模型的研究大多数集中于指定情感的单轮次对话生成，这类模型不能根据用户的输入语句判断出用户此时此刻的情感，而是通过在模型编码器或者解码器额外输入一个指定的情感，用于生成带有情感的回复，而且每次回复的生成是单轮次的，也就是说模型只能与用户进行一个轮次的对话。但是在现实生活中，人们希望与机器的对话能够持续很多轮次，而且在生成带有情感的回复时，也不需要指定情感，而是通过用户的输入和对话历史信息来分析用户的情感，并预测用户希望得到什么样的情感回复，这种生成回复的方式称为共情对话生成。
共情对话是从情感对话任务中衍生而来的，根据对话历史，来理解用户当前的感受，产生相应的回复，从而与用户产生情感上的共鸣。共情对话生成的主要挑战集中于对话主题的预测和情感的识别。在对话主题预测方面，以往的研究仅仅根据对话历史进行预测对话主题，只考虑了每个话题的个体语义，忽略了其特定的对话语境，这可能会导致不准确的话题表征和影响反应连贯；在情感识别方面，目前的方法主要集中在学习一个预测情绪标签的模型，却被忽略了情感背后原因的检测，这将会导致模型只能利用表面的情感信息。
发明内容
为解决以上现有技术问题，本发明提出了一种融合主题预测和情感推理的共情对话生成方法，包括构建融合主题预测和情感推理的共情对话生成模型，该模型包括主题预测模块、情感推理模块以及对话生成模块，利用主题预测模块进行受上下文控制的对话主题预测，得到预测的主题；使用情感推理模块预测上下文情感标签和进行情感原因词识别，得到相应的情感信息；将获得主题信息和情感信息输入到对话生成模块中，得到与用户情感共鸣的共情回复，对融合主题预测和情感推理的共情对话生成模型的训练过程具体包括以下步骤：
S1：获取共情对话数据，对数据进行处理，生成训练数据集、验证数据集和测试数据集；
S2：采用word embedding将共情对话数据集中的输入序列转换成相应的词向量表示；
S3：将经过word embedding得到的向量表示分别输入主题预测和情感推理模块，进行对话主题预测和情感推理；
S4：利用可训练的emotion embedding作为每个上下文标签ε的表示；
S5：将emotion embedding与word embedding和position embedding相加输入对话生成模块获取主题词和情感原因词；
S6：最大化条件概率p(Um|U＜m)生成最终回复，根据生成的结果计算模型的损失函数，并将测试样本中的数据输入到模型中，不断调整模型的参数，当模型的损失函数值小于设定阈值时，完成模型的训练。
进一步的，主题预测模块包括层次上下文编码、上下文相关主题表示和上下文控制主题预测，层次上下文编码用于获取话语的上下文表示；上下文相关主题表示用于根据话语的上下文表示获取话语的主题表示；上下文控制主题预测用于根据话语的主题表示对主题进行预测。
进一步的，层次上下文编码由两层BiGRU网络组成，层次上下文编码的第一层BiGRU能够对上下文中每个话语
Figure BDA0003461916390000031
进行编码，得到话语级表示
Figure BDA0003461916390000032
Figure BDA0003461916390000033
是话语Ui的话语级表示的最后一个隐藏层向量，表示为：
Figure BDA0003461916390000034
层次上下文编码的第二层BiGRU能够对话第一层编码得到的话语级表示
Figure BDA0003461916390000035
进行编码得到上下文级表示，包括：
Figure BDA0003461916390000036
其中，U＜m表示对话上下文，Ni为话语Ui词的数量，m为整个对话过程中话语数量；
Figure BDA0003461916390000037
为wn,i隐藏向量，
Figure BDA0003461916390000038
是wn,i的初始词嵌入，wn,i表示话语Ui的第n个词；BiGRU()表示BiGRU网络；
Figure BDA0003461916390000039
是Ui的上下文级表示。
进一步的，上下文相关主题表示由主题词提取、主题内注意力、上下文主题注意力、话语内主题表示和话语间主题表示构成，其中：
进行主题词抽取时，利用LDA主题模型从上下文U＜m中抽取出一个唯一的主题词序列Ts＝{t1,…tk}，并从Ts中为每个话语Ui挑选主题词
Figure BDA00034619163900000312
得到上下文主题为T＜m＝{T1,…,Tm-1}；
主题内注意力为利用注意力机制计算每个话语中不同主题词相互重要权重，并利用权重更新每个主题词的表示，该过程表示为：
Figure BDA00034619163900000310
Figure BDA00034619163900000311
上下文主题注意力是利用注意力机制将话语表示融入主题表示过程，该过程表示为：
Figure BDA0003461916390000041
Figure BDA0003461916390000042
话语内主题表示利用softmax函数计算出主题词与其相关话语之间的相关性，得到综合的话语内主题表示，包括：
Figure BDA0003461916390000043
Figure BDA0003461916390000044
话语间主题表示用GRU网络对话语内主题表示进行编码，捕捉不同话语间的关系，得到话语间主题表示，包括：
Figure BDA0003461916390000045
其中，αj,l表示相互重要权重，f()表示点乘操作，
Figure BDA0003461916390000046
分别为主题词tj,i、tl,i的词嵌入表示，grelu()为单层全连接网络，ReLU是激活函数，zj,i为词级主题表示，glinear为单层线性全连接网络，Ki为每个话语挑选的主题词数量；βj,n为zj,i和
Figure BDA0003461916390000047
之间的相关性，
Figure BDA0003461916390000048
为主题词tj,i的上下文相关主题表示，Ni为话语Ui词的数量；ξj,i是主题tj,i与Ui之间的相关性，
Figure BDA0003461916390000049
是话语Ui综合的话语内主题表示；
Figure BDA00034619163900000410
是话语Ui整合后的具有话语感知的主题表示。
进一步的，进行上下文控制主题预测时，利用H层前馈网络进行预测出对话主题转移到回复中的转移概率，并从中选择转移概率最大的L个主题词，包括以下过程：
Figure BDA00034619163900000411
Figure BDA00034619163900000412
Figure BDA00034619163900000413
Figure BDA0003461916390000051
其中，Concat[；]表示连接操作，W1,…,WH、b1,…,bH表示模型中可训练的参数，
Figure BDA0003461916390000052
是H层前馈网络的输出，K表示上下文相关的主题词个数，
Figure BDA0003461916390000053
表示主题词的转移权重，
Figure BDA0003461916390000054
表示主题词tk转移到回复Um中的概率，t表示从Ts＝{t1,…tk}中挑选的
Figure BDA0003461916390000055
在前L的主题词，TopL()表示选择最大的L个参数，
Figure BDA0003461916390000056
表示预测的转移主题
Figure BDA0003461916390000057
的词嵌入表示，Gt是主题门序列，
Figure BDA0003461916390000058
表示选择
Figure BDA0003461916390000059
作为预测转移主题词的概率。
进一步的，情感推理模块由transformer模型构成，该模型根据对话上下文预测出上下文情感标签ε，包括：
X＝{x0,x1,…,xN}
Figure BDA00034619163900000510
Figure BDA00034619163900000511
其中，X是给定对话上下文M＝{U1,…,Um-1}连接起来后的输入序列，x0表示序列的开始符号，V为X的词表示，We和be表示模型中可训练参数；p(ε|X)表示根据对话上下文预测情感标签ε的概率。
进一步的，进行情感原因词识别包括：
Figure BDA00034619163900000512
Figure BDA00034619163900000513
Figure BDA00034619163900000514
Figure BDA00034619163900000515
其中，
Figure BDA00034619163900000516
表示第i个词与情感原因相关的概率，ci为第i个词情感原因相关的标签，Wc和bc为可训练参数，C表示从输入中选择的
Figure BDA00034619163900000517
时的前k个主题词，
Figure BDA00034619163900000518
表示从输入中选择的
Figure BDA00034619163900000519
时的第k个主题词；
Figure BDA00034619163900000520
是一个[0,1]中取值连续的软门，
Figure BDA00034619163900000521
表示在输入中选择
Figure BDA00034619163900000522
作为情感原因词的概率；
Figure BDA00034619163900000523
表示第一个特殊字符[CLS]的向量表示，Ni为话语Ui词的数量。
进一步的，对话生成模块中包括编码器、解码器，将词向量表示Ew、对话上下文的情感标签嵌入Eε和词向量的位置嵌入表示Ep相加输入到对话生成模块的编码器中进行编码得到上下文化的词表示；在解码器中利用一个交叉注意力机制对上下文化的词表示进行关注，在交叉注意力层上添加一个主题门注意力和情感原因词门注意力，对主题预测模块得到主题门序列进行关注，动态选择预测的转移主题序列中出现在回复中主题词，对情感推理模块得到的门序列进行关注，动态控制输入中情感原因相关词的选择，包括：
Figure BDA0003461916390000061
Figure BDA0003461916390000062
其中，
Figure BDA0003461916390000063
的值表示选择预测主题序列中的
Figure BDA0003461916390000064
作为出现在回复中的主题词的概率；
Figure BDA0003461916390000065
的值表示在输入中选择
Figure BDA0003461916390000066
作为情感原因词的概率，ql表示问询向量，为多头注意力层的输出；
Figure BDA0003461916390000067
表示
Figure BDA0003461916390000068
的嵌入表示，
Figure BDA0003461916390000069
表示
Figure BDA00034619163900000610
的嵌入表示，
Figure BDA00034619163900000611
表示在输入中选择
Figure BDA00034619163900000612
作为情感原因词的概率，⊙表示点积操作，
Figure BDA00034619163900000613
表示解码器第l块注意力层第i个位置的主题门注意力权重，
Figure BDA00034619163900000614
表示解码器第l块注意力层第i个位置的情感原因词门注意力权重。
进一步的，通过最大化在给定对话上下文U＜m的条件下，生成回复Um的概率P(Um|U＜m)得到共情回复，表示为：
Figure BDA00034619163900000615
其中，p(wn,m|w＜n,m,U<m,t,C,ε)表示在n时刻前生成词为w＜n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下，n时刻生成词wn,m的概率；wn,m表示回复Um中n时刻生成词，w＜n,m表示回复Um中n时刻之前生成词，U<m表示对话上下文，t表示从Ts＝{t1,…tk}中挑选的
Figure BDA0003461916390000071
在前L的主题词，
Figure BDA0003461916390000072
表示主题词的转移权重，C表示从输入中选择的
Figure BDA0003461916390000073
时的前k个主题词，ε表示对话上下文情感标签。
进一步的，模型的损失函数由主题预测模块、情感推理模块和对话生成模块三者损失函数之和，其中：
主题预测模块损失函数为：
Figure BDA0003461916390000074
Figure BDA0003461916390000075
情感推理模块的损失函数为：
Figure BDA00034619163900000715
Figure BDA0003461916390000076
对话生成模块的损失函数为：
Figure BDA0003461916390000077
其中，Ltran表示转移主题词预测损失，K表示上下文相关的主题词个数；Ltran(k)表示焦点损失函数，ψ∈[0,1]是一个权重控制因子，γ≥02是调节因子，
Figure BDA0003461916390000078
表示主题词转移权重；τk表示预测的转移主题词
Figure BDA0003461916390000079
是否出现在回复中，当τk＝1表示预测的转移主题词
Figure BDA00034619163900000710
出现在回复Um中，当τk＝0表示预测的转移主题词
Figure BDA00034619163900000711
不出现在回复Um中；Lε表示上下文情感标签预测损失，
Figure BDA00034619163900000712
表示上下文情感标签的预测概率，
Figure BDA00034619163900000713
表示第i个词与情感原因相关的概率，Ni为话语Ui词的数量，Lc表示情感原因词检测损失；Lg表示解码器的生成损失，Nm表示生成回复中的词的个数；p(wn,m|w＜n,m,U<m,t,C,ε)表示在n时刻前生成词为w＜n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下，n时刻生成词wn,m的概率；U＜m表示对话上下文，
Figure BDA00034619163900000714
表示主题词的转移权重，C表示从输入中选择的
Figure BDA0003461916390000081
时的前k个主题词，ε表示对话上下文情感标签。
本发明很好的融合了主题信息和情感信息，有效地利用上下文控制主题的预测，准确地预测出上下文情感标签和识别情感原因相关的词，从而提升了模型生成的回复在情感上的共情性、主题上的一致性和内容上的相关性。
附图说明
图1为本发明的融合主题预测和情感推理的共情对话生成模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于融合主题预测和情感推理的共情对话生成方法，构建融合主题预测和情感推理的共情对话生成模型，该模型包括主题预测模块、情感推理模块以及对话生成模块，利用主题预测模块进行受上下文控制的对话主题预测，得到预测的主题；使用情感推理模块预测上下文情感标签和进行情感原因词识别，得到相应的情感信息；将获得主题信息和情感信息输入到对话生成模块中，得到与用户情感共鸣的共情回复，对融合主题预测和情感推理的共情对话生成模型的训练过程具体包括以下步骤：
S1：获取共情对话数据，对数据进行处理，生成训练数据集、验证数据集和测试数据集；
S2：采用word embedding将共情对话数据集中的输入序列转换成相应的词向量表示；
S3：将经过word embedding得到的向量表示分别输入主题预测和情感推理模块，进行对话主题预测和情感推理；
S4：利用可训练的emotion embedding作为每个上下文标签ε的表示；
S5：将emotion embedding与word embedding和position embedding相加输入对话生成模块获取主题词和情感原因词；
S6：最大化条件概率p(Um|U＜m)生成最终回复，根据生成的结果计算模型的损失函数，并将测试样本中的数据输入到模型中，不断调整模型的参数，当模型的损失函数值小于设定阈值时，完成模型的训练。
如图1，本实施例中融合主题预测和情感推理的共情对话生成模型包括主题预测模块、情感推理模块以及对话生成模块，用户将数据分别输入主题预测模块和情感推理模块，主题推理模块和情感推理模块得到的输出进行相加后输入对话生成模块生成回复作为模型的输出，其中主题预测模块结合对话上下文进行受上下文控制的对话主题预测，由层次上下文编码、上下文相关主题表示和上下文控制主题预测三个部分构成，如图1，主题预测模块包括以下操作：
第一步，首先，对话上下文中每个话语
Figure BDA0003461916390000091
经过第一层BiGRU进行编码，得到话语级表示
Figure BDA0003461916390000092
Figure BDA0003461916390000093
是Ui话语级表示的最后一个隐藏层向量，然后，将第一层编码得到的话语级表示
Figure BDA0003461916390000094
通过第二层BiGRU进行编码，最后，得到上下文级表示，公式可表示如下：
Figure BDA0003461916390000095
Figure BDA0003461916390000096
其中，
Figure BDA0003461916390000097
为wn,i隐藏向量，
Figure BDA0003461916390000098
是wn,i的初始词嵌入，wn,i表示话语Ui的第n个词，
Figure BDA0003461916390000099
是Ui的上下文级表示。
第二步，利用LDA主题模型从上下文U＜m中抽取出一个唯一的主题词序列Ts＝{t1,…tk}，并从Ts中为每个话语Ui挑选主题词
Figure BDA00034619163900000911
得到上下文主题为T＜m＝{T1,…,Tm-1}，再利用主题内注意力计算每个话语中不同主题词相互重要权重，根据权重更新每个主题词的表示，计算公式如下：
Figure BDA00034619163900000910
Figure BDA0003461916390000101
其中，
Figure BDA0003461916390000102
和
Figure BDA0003461916390000103
为主题词tj,i与tl,i的词嵌入表示，αj,l相互重要权重，grelu是单层全连接网络，ReLU是激活函数，zj,i为词级主题表示，glinear是单层线性全连接网络。
第三步，利用下文主题注意力计算zj,i与
Figure BDA0003461916390000104
之间的相关性βj,n，并根据βj,n更新主题表示，得到上下文相关的主题表示，计算公式如下：
Figure BDA0003461916390000105
Figure BDA0003461916390000106
其中，βj,n是zj,i和
Figure BDA0003461916390000107
之间的相关性，
Figure BDA0003461916390000108
是tj,i的上下文相关主题表示。
第四步，利用softmax函数计算出主题词与其相关话语之间的相关性ξj,i，并根据ξji进行话语内主题表示，计算公式如下：
Figure BDA0003461916390000109
Figure BDA00034619163900001010
其中，ξj,i是主题tj,i与Ui之间的相关性，
Figure BDA00034619163900001011
是Ui的话语内主题表示。
第五步，利用GRU网络对话语内主题表示进行编码，捕捉不同话语间的关系，得到话语间主题表示
Figure BDA00034619163900001012
计算公式如下：
Figure BDA00034619163900001013
其中，
Figure BDA00034619163900001014
是Ui整合后的具有话语感知的主题表示。
第六步，将第五步得到的话语间的主题表示和第一步得到的上下文级表示通过一个H层的前馈神经网络预测主题词tk转移到回复Um中的概率，得到转移权重
Figure BDA00034619163900001015
并从中挑选出转移概率
Figure BDA00034619163900001016
在前L的主题词作为预测的主题词序列t，最后，由t得到主题门序列Gt，主题预测过程的计算公式如下：
Figure BDA0003461916390000111
Figure BDA0003461916390000112
Figure BDA0003461916390000113
Figure BDA0003461916390000114
其中，Concat[；]表示连接操作，W1,…,WH和b1,…,bH表示可训练的参数，
Figure BDA0003461916390000115
是H层前馈网络的输出，K表示上下文相关的主题词个数，
Figure BDA0003461916390000116
表示主题词的转移权重，
Figure BDA0003461916390000117
表示主题词tk转移到回复Um中的概率，t表示从Ts＝{t1,…tk}中挑选的
Figure BDA0003461916390000118
在前L的主题词，
Figure BDA00034619163900001118
表示预测的转移主题
Figure BDA0003461916390000119
的词嵌入表示，Gt是主题门序列，
Figure BDA00034619163900001110
表示选择
Figure BDA00034619163900001111
作为预测转移主题词的概率。
情感推理模块包含情感预测和情感原因词识别，分别进行上下文情感标签预测和识别情感原因相关的词，如图1所示，该模块的操作包括：
将对话上下文M＝{U1,…,Um-1}连接起来得到输入序列X＝{x0,x1,…,xN}，再将X进行词表示后得到
Figure BDA00034619163900001112
并利用一个transformer模型预测上下文情感标签ε，接着进行情感原因词识别，情感原因词能够为对话生成提供更深层次的情感信息，如果第i个词与情感原因相关，其情感原因标签为1，否则为0，给定X＝{x0,x1,…,xN}，得到每个词与情感原因相关的概率，从输入中选择
Figure BDA00034619163900001113
时的前k个主题词作为情感原因词，根据情感原因标签概率得到情感原因词门序列
Figure BDA00034619163900001114
计算公式如下：
Figure BDA00034619163900001115
Figure BDA00034619163900001116
Figure BDA00034619163900001117
Figure BDA0003461916390000121
其中，x0表示序列的开始符号，V是X的词表示，We和be表示可训练参数，
Figure BDA0003461916390000122
表示第i个词与情感原因相关的概率，ci为第i个词情感原因相关的标签，Wc和bc为可训练参数，C表示从输入中选择的
Figure BDA0003461916390000123
时的前k个主题词，
Figure BDA0003461916390000124
是一个[0,1]中取值连续的软门，
Figure BDA0003461916390000125
表示在输入中选择
Figure BDA0003461916390000126
作为情感原因词的概率。
对话生成模块，即利用主题预测模块得到的主题信息和情感推理模块得到的情感信息生成主题相关、情感共鸣的回复，如图1所示，该模块操作包括：
将词嵌入Ew、情感嵌入Eε和位置嵌入Ep相加输入到对话生成模块的编码器和解码器中进行编码，输入序列X＝{x0,x1,…,xN}经过编码器进行编码后得到上下文化的词表示
Figure BDA0003461916390000127
在解码器中利用一个交叉注意力机制对H进行关注，再在交叉注意力层上添加一个主题门注意力和情感原因词门注意力，对主题预测模块得到主题门序列
Figure BDA0003461916390000128
进行关注，动态选择预测的转移主题序列中出现在回复中主题词，对情感推理模块得到的门
Figure BDA0003461916390000129
进行关注，动态控制输入中情感原因相关词的选择，计算公式如下：
Figure BDA00034619163900001210
Figure BDA00034619163900001211
其中，
Figure BDA00034619163900001212
的值表示选择预测主题序列中的
Figure BDA00034619163900001213
作为出现在回复中的主题词的概率，
Figure BDA00034619163900001214
的值表示在输入中选择
Figure BDA00034619163900001215
作为情感原因词的概率，ql表示问询向量，是多头注意力层的输出，
Figure BDA00034619163900001216
表示
Figure BDA00034619163900001217
的嵌入表示，
Figure BDA00034619163900001218
表示
Figure BDA00034619163900001219
的嵌入表示，最后，通过最大化
Figure BDA0003461916390000131
得到共情回复。
本发明在训练模型时采用的模型的损失函数是主题预测模块、情感推理模块和对话生成模块三者损失函数之和。主题预测模块损失函数为：
Figure BDA0003461916390000132
Figure BDA0003461916390000133
其中，Ltran是动态加权交叉熵损失，表示转移主题词预测损失，它能够解决训练样本不平衡的问题，Ltran(k)表示焦点损失函数，ψ∈[0,1]是一个权重控制因子，γ≥02是调节因子。
情感推理模块的损失函数为：
Figure BDA0003461916390000136
Figure BDA0003461916390000134
其中，Lε表示上下文情感标签预测损失，Lc表示情感原因词检测损失。
对话生成模块的损失函数为：
Figure BDA0003461916390000135
其中，Lg是一个负对数似然损失，表示解码器的生成损失，Nm表示生成回复中的词的个数。
模型总的损失函数为：
L＝Lε+Lc+Ltran+Lg。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种融合主题预测和情感推理的共情对话生成方法，其特征在于，构建融合主题预测和情感推理的共情对话生成模型，该模型包括主题预测模块、情感推理模块以及对话生成模块，利用主题预测模块进行受上下文控制的对话主题预测，得到预测的主题；使用情感推理模块预测上下文情感标签和进行情感原因词识别，得到相应的情感信息；将获得主题信息和情感信息输入到对话生成模块中，得到与用户情感共鸣的共情回复，对融合主题预测和情感推理的共情对话生成模型的训练过程具体包括以下步骤：
S1：获取共情对话数据，对数据进行处理，生成训练数据集、验证数据集和测试数据集；
S2：采用词嵌入将共情对话数据集中的输入序列转换成相应的词向量表示；
S3：将词向量表示分别输入主题预测模块和情感推理模块，；
S4：利用可训练的情感嵌入获取每个词向量表示的上下文情感标签；
S5：将词向量表示、词向量的情感标签和词向量的位置向量表示相加输入对话生成模块获取主题词和情感原因词；
S6：计算在给定对话上下文U＜m的条件下生成回复Um的概率p(Um|U＜m)并将该概率最大值对应的生成回复作为最终回复，根据最终回复计算模型的损失函数，并将测试样本中的数据输入到模型中，通过方向传播调整模型的参数，当模型的损失函数值小于设定阈值时，完成模型的训练。
2.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，主题预测模块包括层次上下文编码、上下文相关主题表示和上下文控制主题预测，层次上下文编码用于获取话语的上下文表示；上下文相关主题表示用于根据话语的上下文表示获取话语的主题表示；上下文控制主题预测用于根据话语的主题表示对主题进行预测。
3.根据权利要求2所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，层次上下文编码由两层BiGRU网络组成，层次上下文编码的第一层BiGRU能够对上下文中每个话语
Figure FDA0003461916380000021
进行编码，得到话语级表示
Figure FDA0003461916380000022
Figure FDA0003461916380000023
是话语Ui的话语级表示的最后一个隐藏层向量，表示为：
Figure FDA0003461916380000024
层次上下文编码的第二层BiGRU能够对话第一层编码得到的话语级表示
Figure FDA0003461916380000025
进行编码得到上下文级表示，包括：
Figure FDA0003461916380000026
其中，U＜m表示对话上下文，Ni为话语Ui词的数量，m为整个对话过程中话语数量；
Figure FDA0003461916380000027
为wn,i隐藏向量，
Figure FDA0003461916380000028
是wn,i的初始词嵌入，wn,i表示话语Ui的第n个词；BiGRU()表示BiGRU网络；
Figure FDA0003461916380000029
是Ui的上下文级表示。
4.根据权利要求2所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，上下文相关主题表示由主题词提取、主题内注意力、上下文主题注意力、话语内主题表示和话语间主题表示构成，其中：
进行主题词抽取时，利用LDA主题模型从上下文U＜m中抽取出一个唯一的主题词序列Ts＝{t1,…tk}，并从Ts中为每个话语Ui挑选主题词
Figure FDA00034619163800000210
得到上下文主题为T＜m＝{T1,…,Tm-1}；
主题内注意力为利用注意力机制计算每个话语中不同主题词相互重要权重，并利用权重更新每个主题词的表示，该过程表示为：
Figure FDA00034619163800000211
Figure FDA00034619163800000212
上下文主题注意力是利用注意力机制将话语表示融入主题表示过程，该过程表示为：
Figure FDA00034619163800000213
Figure FDA00034619163800000214
话语内主题表示利用softmax函数计算出主题词与其相关话语之间的相关性，得到综合的话语内主题表示，包括：
Figure FDA0003461916380000031
Figure FDA0003461916380000032
话语间主题表示用GRU网络对话语内主题表示进行编码，捕捉不同话语间的关系，得到话语间主题表示，包括：
Figure FDA0003461916380000033
其中，αj,l表示相互重要权重，f()表示点乘操作，
Figure FDA0003461916380000034
分别为主题词tj,i、tl,i的词嵌入表示，grelu()为单层全连接网络，ReLU是激活函数，zj,i为词级主题表示，glinear为单层线性全连接网络，Ki为每个话语挑选的主题词数量；βj,n为zj,i和
Figure FDA0003461916380000035
之间的相关性，
Figure FDA0003461916380000036
为主题词tj,i的上下文相关主题表示，Ni为话语Ui词的数量；ξj,i是主题tj,i与Ui之间的相关性，
Figure FDA0003461916380000037
是话语Ui综合的话语内主题表示；
Figure FDA0003461916380000038
是话语Ui整合后的具有话语感知的主题表示。
5.根据权利要求2所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，进行上下文控制主题预测时，利用H层前馈网络进行预测出对话主题转移到回复中的转移概率，并从中选择转移概率最大的L个主题词，包括以下过程：
Figure FDA0003461916380000039
Figure FDA00034619163800000310
Figure FDA00034619163800000311
Figure FDA00034619163800000312
其中，Concat[；]表示连接操作，W1,…,WH、b1,…,bH表示模型中可训练的参数，
Figure FDA0003461916380000041
是H层前馈网络的输出，K表示上下文相关的主题词个数，
Figure FDA0003461916380000042
表示主题词的转移权重，
Figure FDA0003461916380000043
表示主题词tk转移到回复Um中的概率，t表示从Ts＝{t1,…tk}中挑选的
Figure FDA0003461916380000044
在前L的主题词，TopL()表示选择最大的L个参数，
Figure FDA0003461916380000045
表示预测的转移主题
Figure FDA0003461916380000046
的词嵌入表示，Gt是主题门序列，
Figure FDA0003461916380000047
表示选择
Figure FDA0003461916380000048
作为预测转移主题词的概率。
6.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，情感推理模块由transformer模型构成，该模型根据对话上下文预测出上下文情感标签ε，包括：
X＝{x0,x1,…,xN}
Figure FDA0003461916380000049
Figure FDA00034619163800000410
其中，X是给定对话上下文M＝{U1,…,Um-1}连接起来后的输入序列，x0表示序列的开始符号，V为X的词表示，We和be表示模型中可训练参数；p(ε|X)表示根据对话上下文预测情感标签ε的概率。
7.根据权利要求6所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，进行情感原因词识别包括：
Figure FDA00034619163800000411
Figure FDA00034619163800000412
Figure FDA00034619163800000413
Figure FDA00034619163800000414
其中，
Figure FDA00034619163800000415
表示第i个词与情感原因相关的概率，ci为第i个词情感原因相关的标签，Wc和bc为可训练参数，C表示从输入中选择的
Figure FDA00034619163800000416
时的前k个主题词，
Figure FDA00034619163800000417
表示从输入中选择的
Figure FDA00034619163800000418
时的第k个主题词；
Figure FDA00034619163800000419
是一个[0,1]中取值连续的软门，
Figure FDA00034619163800000420
表示在输入中选择
Figure FDA00034619163800000421
作为情感原因词的概率；
Figure FDA00034619163800000422
表示第一个特殊字符[CLS]的向量表示，Ni为话语Ui词的数量。
8.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，对话生成模块中包括编码器、解码器，将词向量表示Ew、对话上下文的情感标签嵌入Eε和词向量的位置嵌入表示Ep相加输入到对话生成模块的编码器中进行编码得到上下文化的词表示；在解码器中利用一个交叉注意力机制对上下文化的词表示进行关注，在交叉注意力层上添加一个主题门注意力和情感原因词门注意力，对主题预测模块得到主题门序列进行关注，动态选择预测的转移主题序列中出现在回复中主题词，对情感推理模块得到的门序列进行关注，动态控制输入中情感原因相关词的选择，包括：
Figure FDA0003461916380000051
Figure FDA0003461916380000052
其中，
Figure FDA0003461916380000053
的值表示选择预测主题序列中的
Figure FDA0003461916380000054
作为出现在回复中的主题词的概率；
Figure FDA0003461916380000055
的值表示在输入中选择
Figure FDA0003461916380000056
作为情感原因词的概率，ql表示问询向量，为多头注意力层的输出；
Figure FDA0003461916380000057
表示
Figure FDA0003461916380000058
的嵌入表示，
Figure FDA0003461916380000059
表示
Figure FDA00034619163800000510
的嵌入表示，
Figure FDA00034619163800000511
表示在输入中选择
Figure FDA00034619163800000512
作为情感原因词的概率，⊙表示点积操作，
Figure FDA00034619163800000513
表示解码器第l块注意力层第i个位置的主题门注意力权重，
Figure FDA00034619163800000514
表示解码器第l块注意力层第i个位置的情感原因词门注意力权重。
9.根据权利要求8所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，通过最大化在给定对话上下文U＜m的条件下，生成回复Um的概率P(Um|U＜m)得到共情回复，表示为：
Figure FDA00034619163800000515
其中，p(wn,m|w＜n,m,U<m,t,C,ε)表示在n时刻前生成词为w＜n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下，n时刻生成词wn,m的概率；wn,m表示回复Um中n时刻生成词，w＜n,m表示回复Um中n时刻之前生成词，U<m表示对话上下文，t表示从Ts＝{t1,…tk}中挑选的
Figure FDA0003461916380000061
在前L的主题词，
Figure FDA0003461916380000062
表示主题词的转移权重，C表示从输入中选择的
Figure FDA0003461916380000063
时的前k个主题词，ε表示对话上下文情感标签。
10.根据权利要求1所述的一种融合主题预测和情感推理的共情对话生成方法，其特征在于，模型的损失函数由主题预测模块、情感推理模块和对话生成模块三者损失函数之和，其中：
主题预测模块损失函数为：
Figure FDA0003461916380000064
Figure FDA0003461916380000065
情感推理模块的损失函数为：
Figure FDA0003461916380000066
Figure FDA0003461916380000067
对话生成模块的损失函数为：
Figure FDA0003461916380000068
其中，Ltran表示转移主题词预测损失，K表示上下文相关的主题词个数；Ltran(k)表示焦点损失函数，ψ∈[0,1]是一个权重控制因子，γ≥02是调节因子，
Figure FDA0003461916380000069
表示主题词转移权重；τk表示预测的转移主题词
Figure FDA00034619163800000610
是否出现在回复中，当τk＝1表示预测的转移主题词
Figure FDA00034619163800000611
出现在回复Um中，当τk＝0表示预测的转移主题词
Figure FDA00034619163800000612
不出现在回复Um中；Lε表示上下文情感标签预测损失，
Figure FDA00034619163800000613
表示上下文情感标签的预测概率，
Figure FDA00034619163800000614
表示第i个词与情感原因相关的概率，Ni为话语Ui词的数量，Lc表示情感原因词检测损失；Lg表示解码器的生成损失，Nm表示生成回复中的词的个数；p(wn,m|w＜n,m,U<m,t,C,ε)表示在n时刻前生成词为w＜n,m、对话上下文为U<m、预测的转移主题词序列为t、情感原因词序列为C、对话上下文情感标签为ε的条件下，n时刻生成词wn,m的概率；U＜m表示对话上下文，
Figure FDA0003461916380000071
表示主题词的转移权重，C表示从输入中选择的
Figure FDA0003461916380000072
时的前k个主题词，ε表示对话上下文情感标签。
CN202210019847.9A 2022-01-10 2022-01-10 一种融合主题预测和情感推理的共情对话生成方法 Pending CN114385802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210019847.9A CN114385802A (zh) 2022-01-10 2022-01-10 一种融合主题预测和情感推理的共情对话生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210019847.9A CN114385802A (zh) 2022-01-10 2022-01-10 一种融合主题预测和情感推理的共情对话生成方法

Publications (1)

Publication Number Publication Date
CN114385802A true CN114385802A (zh) 2022-04-22

Family

ID=81199896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210019847.9A Pending CN114385802A (zh) 2022-01-10 2022-01-10 一种融合主题预测和情感推理的共情对话生成方法

Country Status (1)

Country Link
CN (1) CN114385802A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970561A (zh) * 2022-05-27 2022-08-30 华东师范大学 一种性格加强的对话情感预测模型及其构建方法
CN115169367A (zh) * 2022-09-06 2022-10-11 杭州远传新业科技股份有限公司 对话生成方法及装置、存储介质
CN115934909A (zh) * 2022-12-02 2023-04-07 苏州复变医疗科技有限公司 一种共情回复生成方法、装置、终端和存储介质
CN116258134A (zh) * 2023-04-24 2023-06-13 中国科学技术大学 一种基于卷积联合模型的对话情感识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970561A (zh) * 2022-05-27 2022-08-30 华东师范大学 一种性格加强的对话情感预测模型及其构建方法
CN115169367A (zh) * 2022-09-06 2022-10-11 杭州远传新业科技股份有限公司 对话生成方法及装置、存储介质
CN115169367B (zh) * 2022-09-06 2022-12-09 杭州远传新业科技股份有限公司 对话生成方法及装置、存储介质
CN115934909A (zh) * 2022-12-02 2023-04-07 苏州复变医疗科技有限公司 一种共情回复生成方法、装置、终端和存储介质
CN115934909B (zh) * 2022-12-02 2023-11-17 苏州复变医疗科技有限公司 一种共情回复生成方法、装置、终端和存储介质
CN116258134A (zh) * 2023-04-24 2023-06-13 中国科学技术大学 一种基于卷积联合模型的对话情感识别方法
CN116258134B (zh) * 2023-04-24 2023-08-29 中国科学技术大学 一种基于卷积联合模型的对话情感识别方法

Similar Documents

Publication Publication Date Title
CN112348075B (zh) 一种基于情景注意力神经网络的多模态情感识别方法
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
Zhao et al. Hearing lips: Improving lip reading by distilling speech recognizers
CN110647612A (zh) 一种基于双视觉注意力网络的视觉对话生成方法
CN114385802A (zh) 一种融合主题预测和情感推理的共情对话生成方法
CN111312245B (zh) 一种语音应答方法、装置和存储介质
CN112115687B (zh) 一种结合知识库中的三元组和实体类型的生成问题方法
CN110321418A (zh) 一种基于深度学习的领域、意图识别和槽填充方法
Padi et al. Multimodal emotion recognition using transfer learning from speaker recognition and bert-based models
CN113065344A (zh) 一种基于迁移学习和注意力机制的跨语料库情感识别方法
Liu et al. Turn-Taking Estimation Model Based on Joint Embedding of Lexical and Prosodic Contents.
CN111259976A (zh) 基于多模态对齐与多向量表征的人格检测方法
Poncelet et al. Low resource end-to-end spoken language understanding with capsule networks
CN113887836B (zh) 一种融合事件环境信息的叙述性事件预测方法
CN113656569B (zh) 一种基于上下文信息推理的生成式对话方法
CN115171176A (zh) 对象情绪的分析方法、装置和电子设备
CN114360584A (zh) 一种基于音素级的语音情感分层式识别方法及系统
CN114239607A (zh) 一种对话答复方法及装置
CN116434786A (zh) 融合文本语义辅助的教师语音情感识别方法
CN115422388A (zh) 一种视觉对话方法及系统
CN115795010A (zh) 一种外部知识辅助的多因素层次建模共情对话生成方法
CN115240713A (zh) 基于多模态特征和对比学习的语音情感识别方法及装置
CN115240712A (zh) 一种基于多模态的情感分类方法、装置、设备及存储介质
CN115169363A (zh) 一种融合知识的增量编码的对话情感识别方法
Atmaja et al. Dimensional Speech Emotion Recognition from Acoustic and Text Features using Recurrent Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination