CN116306686A - 一种多情绪指导的共情对话生成方法 - Google Patents

一种多情绪指导的共情对话生成方法 Download PDF

Info

Publication number
CN116306686A
CN116306686A CN202310574090.4A CN202310574090A CN116306686A CN 116306686 A CN116306686 A CN 116306686A CN 202310574090 A CN202310574090 A CN 202310574090A CN 116306686 A CN116306686 A CN 116306686A
Authority
CN
China
Prior art keywords
emotion
node
nodes
representing
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310574090.4A
Other languages
English (en)
Other versions
CN116306686B (zh
Inventor
张勇东
毛震东
王朋喆
张驰
符凤仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310574090.4A priority Critical patent/CN116306686B/zh
Publication of CN116306686A publication Critical patent/CN116306686A/zh
Application granted granted Critical
Publication of CN116306686B publication Critical patent/CN116306686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及人工智能领域。本发明提供一种多情绪指导的共情对话生成方法，该方法将输入的文本进行上下文编码，并为文本中的每个词汇计算情绪强度值，根据情绪强度值构造多级情绪关系图来描述输入的文本和情绪的关系，并基于多级情绪关系图构造多级情绪关系图网络，迭代更新多级情绪关系图网络中的情绪边特征和节点特征，通过情绪边特征与全局上下文特征预测情绪概率的分布，通过改变初始情绪边权重和改变情绪节点的集合对多级情绪关系图网络进行改造更新，并生成答复语句。本发明通过对情感共现关系的分析和预测，实现了富含多种情绪的对话中的共情表达，提高了对话的情感交流效果和共情价值，指导对话的发展和转移，提高了对话的质量和效果。

Description

一种多情绪指导的共情对话生成方法
技术领域
本发明涉及人工智能领域，具体涉及一种多情绪指导的共情对话生成方法。
背景技术
开放域对话生成模型近年来受到了广泛的研究与发展，其中结合个性和情绪特征可以使对话系统生成更人类化的回复。为此，早期的方法将指定的情绪标签作为输入，以生成情绪化的对话响应。然而，真实的对话场景中，往往并不提供直接的情绪指导，而是要求听者根据对话内容，以推断说话者的情绪，进而产生富含同理心的共情响应。此类任务被称之为共情对话生成。
目前的共情对话生成方法多遵循多任务学习的范式，通过联合训练一个情绪预测任务与对话生成任务，以实现具有共情约束的生成。这些方法大多从两个方面改善共情响应的生成，一类方法聚焦于提升情绪的预测准确性，通过引入外部知识，挖掘情绪原因，以及更细粒度的情绪信息建模等；另一类方法则重在改进生成策略，基于强化学习，混合专家模型，模拟说话者情绪等手段。
然而，这些方法均基于预测单个情绪标签，将获得的情绪信息注入现有的对话生成模型以生成共情响应，这样的方法在简单的对话场景中，尚有较为良好的表现，但在更加复杂的长对话语境下，则缺乏有效的共情理解。原因在于复杂的长对话中，往往伴随着多种情绪的组合与转移，存在一定的情绪共现关系，这种单情绪的信息预测与指导，将抑制对话中存在的其他情绪的共情价值，而不利于富含多种情绪的对话中的共情表达。
发明内容
为解决上述问题，本发明提供一种多情绪指导的共情对话生成方法。
该方法在推理阶段，将文本输入完成训练的对话生成模型，得到与文本情绪一致的答复语句；对话生成模型在推理阶段不使用情绪标签；所述对话生成模型的训练包括以下步骤：
步骤一，准备训练样本，每个训练样本包含m个句子和q种情绪标签；
步骤二，上下文编码：用编码器将训练样本的m个句子串成词汇序列，并在首端插入特殊字符串[CLS]，得到上下文序列X，将q种情绪标签及上下文序列X分别转换为情绪嵌入向量xe及上下文嵌入向量x，将上下文嵌入向量x输入到Transformer进行全局编码处理，得到全局上下文特征
Figure SMS_1
；
步骤三，多级情绪关系图网络：对上下文序列X中每个词汇，计算情绪强度值；基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，多级情绪关系图的节点包括情绪词节点Vw与情绪节点Ve；构建多级情绪关系图网络，将情绪嵌入向量xe作为情绪节点Ve的初始特征，将上下文嵌入向量x作为情绪词节点Vw的初始特征，迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征
Figure SMS_2
及节点特征/>
Figure SMS_3
；
步骤四，情绪预测任务：通过情绪边特征
Figure SMS_4
与全局上下文特征/>
Figure SMS_5
预测情绪/>
Figure SMS_6
的概率分布/>
Figure SMS_7
，得到全局上下文特征的中间量/>
Figure SMS_8
；情绪预测任务的损失函数为/>
Figure SMS_9
；
步骤五，门控处理：通过改变初始情绪边权重和改变情绪节点Ve的集合对多级情绪关系图网络进行改造，获得经过门控处理的情绪边特征
Figure SMS_10
及节点特征/>
Figure SMS_11
；
步骤六，响应生成任务：通过全局上下文特征的中间量
Figure SMS_12
与节点特征/>
Figure SMS_13
生成答复语句，响应生成任务的损失函数为/>
Figure SMS_14
；
步骤七，定义对话生成模型的总体损失函数
Figure SMS_15
，根据总体损失函数L训练对话生成模型。
进一步的，步骤三中，所述计算情绪强度值的过程，具体包括：
对上下文序列X中每个词汇
Figure SMS_16
，使用知识模型SKEP输出一个[0,1]区间的词汇积极程度分值/>
Figure SMS_17
，每个词汇/>
Figure SMS_18
的情绪强度值/>
Figure SMS_19
为：
Figure SMS_20
；
定义
Figure SMS_21
为上下文序列X的情绪强度值集合，其中所述特殊字符[CLS]的情绪强度值设置为1，p-1为上下文序列X中的词汇总数。
进一步的，步骤三中，所述基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，具体包括：
将每个情绪词节点Vw指向所有排序在前的情绪词所对应的情绪词节点的连接边，所述排序指按在上下文序列X中次序排序；
将每个情绪词节点Vw指向所有情绪节点Ve的连接边；
将特殊字符[CLS]的节点指向所有情绪词节点Vw和所有情绪节点Ve的连接边，将得到的图定义为全局情绪图G；
将情绪强度值的集合
Figure SMS_22
分为K个不同的情绪强度阈值范围，将全局情绪图G分为K个局部情绪图Gk，k=1,2,…,K，每个局部情绪图中的情绪词节点Vw的情绪强度均在对应的情绪强度阈值范围内。
进一步的，步骤三中，基于所述情绪强度值构造多级情绪关系图网络，并迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征
Figure SMS_23
及节点特征/>
Figure SMS_24
的过程，具体包括：
初始化节点
Figure SMS_25
到邻域节点/>
Figure SMS_26
的边/>
Figure SMS_27
的初始边权重/>
Figure SMS_28
为：
Figure SMS_29
，
其中，max-abs表示最大绝对值归一化运算，
Figure SMS_30
代表邻域节点/>
Figure SMS_31
的情绪强度值；
局部情绪图Gk中第
Figure SMS_32
层的节点特征/>
Figure SMS_33
和边特征/>
Figure SMS_34
更新运算为：
Figure SMS_35
；
Figure SMS_36
；
Figure SMS_37
；
Figure SMS_38
；
其中，
Figure SMS_40
均为可学习的参数矩阵，/>
Figure SMS_44
表示元素点乘操作，/>
Figure SMS_48
是一个2层的线性映射网络，/>
Figure SMS_39
表示对K个局部情绪图中的节点特征的串联操作，/>
Figure SMS_43
表示节点/>
Figure SMS_47
的邻域节点的下标的集合，/>
Figure SMS_50
代表节点/>
Figure SMS_42
关于邻域节点/>
Figure SMS_46
特征的权重向量，/>
Figure SMS_49
是/>
Figure SMS_51
进一步使用Softmax函数归一化的结果，/>
Figure SMS_41
表示Softmax函数，/>
Figure SMS_45
表示转置；
以最后一层的
Figure SMS_52
的集合作为节点特征/>
Figure SMS_53
，以最后一层的/>
Figure SMS_54
的集合作为情绪边特征/>
Figure SMS_55
。
进一步的，步骤四具体包括：
计算情绪
Figure SMS_56
的概率分布/>
Figure SMS_57
：
Figure SMS_58
；
Figure SMS_59
；
Figure SMS_60
；
其中，
Figure SMS_62
代表初步情绪特征，全局上下文特征的中间量/>
Figure SMS_68
由全局上下文特征/>
Figure SMS_71
经过一个平均池化层处理得到，||代表特征串联操作，/>
Figure SMS_63
代表结合/>
Figure SMS_65
和/>
Figure SMS_69
的情绪感知信号，/>
Figure SMS_72
、/>
Figure SMS_61
都是线性映射的权重，/>
Figure SMS_66
表示基于所述上下文序列X来预测情绪ε的概率分布，/>
Figure SMS_70
表示Softmax函数，/>
Figure SMS_73
表示第k个局部情绪图中节点/>
Figure SMS_64
和节点/>
Figure SMS_67
的每个邻域节点之间的情绪边的情绪边特征；
情绪预测任务损失函数
Figure SMS_74
，/>
Figure SMS_75
代表对话情绪标签。
优选的，步骤五具体包括：
计算情绪注意特征表示
Figure SMS_76
：
Figure SMS_77
；
其中，
Figure SMS_78
为权重参数，/>
Figure SMS_79
为sigmoid函数，/>
Figure SMS_80
表示元素点乘操作；
更新多级情绪关系图网络中情绪节点的初始边权重
Figure SMS_81
：
Figure SMS_82
；
其中，
Figure SMS_84
表示节点/>
Figure SMS_87
的邻域节点的集合，/>
Figure SMS_89
表示针对节点/>
Figure SMS_85
，对节点/>
Figure SMS_86
的邻域节点集合/>
Figure SMS_88
中的每个邻域节点/>
Figure SMS_90
的情绪特征使用/>
Figure SMS_83
函数处理；
将情绪节点划分为有关情绪节点及无关情绪节点：
Figure SMS_91
；
其中，
Figure SMS_92
代表节点/>
Figure SMS_98
的有关情绪节点集合，/>
Figure SMS_102
代表节点/>
Figure SMS_94
的无关情绪节点集合，/>
Figure SMS_96
是计算过程中的节点/>
Figure SMS_100
的有关情绪节点的中间变量的集合，/>
Figure SMS_104
、/>
Figure SMS_93
、/>
Figure SMS_99
分别为/>
Figure SMS_103
、/>
Figure SMS_106
和/>
Figure SMS_95
中所有节点的节点特征平均值，C代表求补集操作，|V|代表对集合/>
Figure SMS_97
取模操作，/>
Figure SMS_101
代表对括号内的表达式关于/>
Figure SMS_105
求最大值；
从多级情绪关系图网络中移除无关情绪节点集合
Figure SMS_107
中所有节点；
迭代更新多级情绪关系图网络的情绪边特征和节点特征，以最后一层的节点特征集合作为经过门控处理的节点特征
Figure SMS_108
，以最后一层的边特征集合作为经过门控处理的情绪边特征/>
Figure SMS_109
。
进一步的，步骤六具体包括：
计算transformer得到的解码特征
Figure SMS_110
：
Figure SMS_111
；
Figure SMS_112
；
Figure SMS_113
；
其中，
Figure SMS_114
代表先前响应输入与全局上下文信息的注意力向量，/>
Figure SMS_115
为t时刻前的响应输入，/>
Figure SMS_116
为t-1时刻的相应输入，MH-Att代表前馈连接网络，FFN代表多头注意层，LayerNorm代表层归一化操作，/>
Figure SMS_117
为线性映射的权重，/>
Figure SMS_118
代表计算/>
Figure SMS_119
的中间量；
在t时间步的生成词汇
Figure SMS_120
的概率分布计算为：
Figure SMS_121
；
其中，
Figure SMS_122
为可学习的线性映射参数权重，/>
Figure SMS_123
表示Softmax函数；
响应生成任务的损失函数
Figure SMS_124
。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
提供了一种针对对话的情感应答生成方法，可以根据对话内容生成与对话共情的应答，实现对复杂多变的情感信息的准确识别和表达，通过对情感共现关系的分析和预测，实现了富含多种情绪的对话中的共情表达，提高了对话的情感交流效果和共情价值，指导对话的发展和转移，提高了对话的质量和效果。
附图说明
图1为本发明实施例提供的多情绪指导的对话生成模型框图；
图2为本发明实施例提供的多级情绪关系图网络的示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明，在详细说明本发明各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。
本发明提出了一种多情绪指导的对话生成模型，基于情绪关系图以学习对话中情绪的共现关系，基于捕捉的对话情绪信息，自适应的选用单情绪、多情绪进行指导，以实现多情绪的共情对话生成。
本发明首先阐述共情对话生成的任务范式。对于每一个样本，给定包含m句对话的上下文
Figure SMS_125
，共情对话生成任务旨在生成与上下文对话情绪一致且包含丰富信息的下一句对话y。同时，样本提供了q种情绪标签，在训练时用以指导基于上下文语义的情绪预测以实现共情约束，而在推理阶段不予使用。
下面进一步阐述本发明的多情绪指导的对话生成模型，图1展示了对话生成模型整体的结构示意图。本发明提供的对话生成模型可分为五个模块：上下文编码器、多级情绪关系图网络、情绪预测器、门控模块及响应生成器。首先，采用上下文编码器对上下文对话及q种情绪标签进行特征编码，并采用一个Transformer编码层获得对话全局特征表示。将上下文编码器中得到的对话与情绪的基本嵌入向量作为节点特征，基于情绪强度值构造多级情绪关系图网络。并依据情绪关系图网络捕捉的情绪信息进行情绪预测，通过一个门控模块以实现单情绪、多情绪的自适应选择指导，最终经过响应生成器实现多情绪的共情响应生成。
1.上下文编码器
上下文编码器对上下文对话及q种情绪标签进行特征编码，并采用一个Transformer编码层获得对话全局特征表示。
上下文编码器由一个上下文嵌入器，一个情绪嵌入器以及一个Transformer编码层构成。上下文编码器将q种情绪标签及原始上下文对话U作为输入。
首先将上下文对话U中的m句对话串联成长词汇序列，并在开头插入特殊字符[CLS]，得到上下文序列
Figure SMS_126
，其中p-1即上下文序列X中的词汇总数。将q种情绪标签及上下文序列X分别转换为情绪嵌入向量xe及上下文嵌入向量x，上下文嵌入向量x进一步输入到Transformer进行全局编码处理，获得全局上下文特征/>
Figure SMS_127
：
Figure SMS_128
；
其中，
Figure SMS_129
代表transformer编码层。
2.多级情绪关系图网络
为学习多种情绪间的共现关系，本发明基于词汇情绪强度值构造情绪关系图。引入外部知识模型SKEP以获取词汇的情绪强度值，对于任一词汇
Figure SMS_130
，SKEP输出一个[0,1]区间内表示词汇积极程度的分值/>
Figure SMS_131
。每个词汇/>
Figure SMS_132
的情绪强度值/>
Figure SMS_133
为：
Figure SMS_134
；
Figure SMS_135
为上下文序列X的情绪强度值集合，其中特殊字符[CLS]的情绪强度值设置为1。
2.1多级情绪关系图的构造
多级情绪关系图考虑了两种节点信息，分别为情绪词节点Vw与情绪节点Ve，以及两种节点连接边构造体系：全局与局部图连接边。
对于全局连接，本发明应用两种类型的有向边来构造全局情绪图G：
（1）将每个情绪词节点Vw指向所有排序在前的情绪词所对应的情绪词节点的连接边，所述排序指按在上下文序列X中次序排序。
（2）将每个情绪词节点Vw指向所有情绪节点Ve的连接边。这是由于在长对话中，不同的情绪转折，可能将导向不同的新情绪，因此情绪词的先后次序首先成为构造全局情绪图G的一大要素。
（3）将特殊字符[CLS]的节点指向所有情绪词节点Vw和所有情绪节点Ve的连接边。
在全局情绪图G的基础上，根据不同词汇的情绪强度值实现局部细化。基于情绪强度值，对话生成模型能够控制哪些情绪词应该受到更多的关注，因此，通过设置K个不同的情绪强度阈值范围，全局情绪图将被扩展为K个细化的局部情绪图Gk，k=1,2,…,K，以从K个不同的层级关注对话情绪信息，每个局部情绪图中的情绪词节点Vw的情绪强度均在对应的情绪强度阈值范围内。
全局情绪图G和K个局部情绪图Gk组成了多级情绪关系图。
一个具体的多级情绪关系图边连接示例如图2所示。以上下文序列中的词汇“幸存”对应的情绪词节点的边连接为例，构造全局情绪图时，存在两种边连接关系：（1）情绪词节点指向先前的情绪词节点，（2）情绪词节点指向所有情绪节点，（3）特殊字符[CLS]的节点指向所有情绪词节点和情绪节点。因此情绪词节点“幸存”指向先前所有词汇“[CLS]”...“我”以及所有情绪“害怕”...。
构造细节的局部连接图时，本发明应用K个不同的情绪强度阈值范围，筛除情绪强度值小于情绪强度阈值范围的节点，得到K个局部细化情绪图，可以从K个不同的层级关注对话情绪信息。如对较小的情绪强度阈值范围，几乎所有词汇被保留，对较大的情绪强度阈值范围，只有“害怕”“感激”这类情绪较强的词汇被保留。
情绪强度阈值范围包含较大的阈值的局部情绪图包含较少的情绪词节点，对话生成模型能够更针对性的学习局部情绪特征，反之对于情绪强度阈值范围包含较大的阈值的局部情绪图，对话生成模型能够学习到更全局的情绪特征。
2.2多级情绪关系图的更新
在完成多级情绪关系图的构造后，本发明进一步设计了一个结合了多图网络（multi-graph network）及多头注意力（multi-head attention）的注意力机制，以实现多级情绪关系图中节点特征和边特征的更新。
将情绪嵌入向量xe作为情绪节点Ve的初始特征，将上下文嵌入向量x作为情绪词节点Vw的初始特征，初始化节点
Figure SMS_136
到节点/>
Figure SMS_137
的邻域节点/>
Figure SMS_138
的边/>
Figure SMS_139
的初始边权重/>
Figure SMS_140
为：
Figure SMS_141
，
其中，max-abs表示最大绝对值归一化运算，
Figure SMS_142
代表邻域节点/>
Figure SMS_143
的情绪强度值。
局部情绪图Gk中第
Figure SMS_144
层的节点特征/>
Figure SMS_145
和边特征/>
Figure SMS_146
更新运算为：
Figure SMS_147
；
Figure SMS_148
；
Figure SMS_149
；
Figure SMS_150
；
其中，
Figure SMS_153
均为可学习的参数矩阵，/>
Figure SMS_157
表示元素点乘操作，/>
Figure SMS_160
是一个2层的线性映射网络，/>
Figure SMS_151
表示对K个局部情绪图中的节点特征的串联操作，/>
Figure SMS_155
表示/>
Figure SMS_158
是节点/>
Figure SMS_162
的邻域节点，/>
Figure SMS_154
代表节点/>
Figure SMS_161
关于邻域节点/>
Figure SMS_163
特征的权重向量，/>
Figure SMS_164
是/>
Figure SMS_152
进一步使用Softmax函数归一化的结果，T代表矩阵转置，/>
Figure SMS_156
表示Softmax函数，/>
Figure SMS_159
表示转置。
以最后一层的
Figure SMS_165
的集合作为节点特征/>
Figure SMS_166
，以最后一层的/>
Figure SMS_167
的集合作为情绪边特征/>
Figure SMS_168
。
3.情绪预测器
多层情绪关系图的情绪边特征直接的反应了对话上下文词汇对不同情绪的注意程度，因此，本发明通过情绪边特征
Figure SMS_169
与全局上下文特征/>
Figure SMS_170
预测情绪的概率分布P，采用一个线性映射层和Softmax层获得情绪类别的分类表示。
计算情绪的概率分布P：
Figure SMS_171
；
Figure SMS_172
；
Figure SMS_173
；
其中，
Figure SMS_175
代表初步情绪特征，全局上下文特征的中间量/>
Figure SMS_180
由全局上下文特征/>
Figure SMS_183
经过一个平均池化层处理得到，||代表特征串联操作，/>
Figure SMS_174
代表结合/>
Figure SMS_179
和/>
Figure SMS_182
的情绪感知信号，/>
Figure SMS_185
、/>
Figure SMS_177
都是线性映射的权重，/>
Figure SMS_178
表示基于上下文序列X来预测情绪ε的概率分布，/>
Figure SMS_181
表示第k个局部情绪图中节点/>
Figure SMS_184
和节点/>
Figure SMS_176
的每个邻域节点之间的情绪边的情绪边特征；
对话生成模型通过最小化对话情绪标签ε∗及预测情绪ε间的交叉熵损失进行优化，情绪预测器损失函数
Figure SMS_186
。
4.门控模块
考虑到单情绪感知和多情绪选择之间的矛盾，本发明设计了一个门控模块来学习如何保留初始的情绪边特征与情绪感知信号之间的有意义内容。
计算对q种情绪标签的情绪注意特征表示
Figure SMS_187
：
Figure SMS_188
；
其中，
Figure SMS_189
为权重参数，/>
Figure SMS_190
为sigmoid函数，/>
Figure SMS_191
表示元素点乘操作。
为了实现单情绪、多情绪的选择与指导，本发明将情绪注意特征表示
Figure SMS_192
视为软标签以作为多级情绪关系图网络中情绪节点的初始边权重，这样的方法也称之为软门控。
更新多级情绪关系图网络中情绪节点的初始边权重
Figure SMS_193
：
Figure SMS_194
；
其中，
Figure SMS_197
表示节点/>
Figure SMS_199
的邻域节点的集合，/>
Figure SMS_201
表示针对节点/>
Figure SMS_196
，对节点/>
Figure SMS_198
的邻域节点集合/>
Figure SMS_200
中的每个邻域节点/>
Figure SMS_202
的情绪特征使用/>
Figure SMS_195
函数处理。
然而，这样简单的软门控策略可能引入不需要的情绪信息从而造成噪声干扰，因此，本发明更进一步的提出了硬门控策略。考虑到对话相关的情绪与无关的情绪应当在注意力特征上表现出一定的区分，本发明采用最大类间方差算法将情绪节点划分为有关情绪节点及无关情绪节点：
Figure SMS_203
；
其中，
Figure SMS_204
代表节点/>
Figure SMS_208
的有关情绪节点集合，/>
Figure SMS_212
代表节点/>
Figure SMS_206
的无关情绪节点集合，/>
Figure SMS_209
是计算过程中的节点/>
Figure SMS_213
的有关情绪节点的中间变量的集合，/>
Figure SMS_216
、/>
Figure SMS_205
、/>
Figure SMS_210
分别为/>
Figure SMS_214
、/>
Figure SMS_217
和
Figure SMS_207
中所有节点的节点特征平均值，C代表求补集操作，|V|代表对集合/>
Figure SMS_211
取模操作，/>
Figure SMS_215
代表对括号内的表达式关于/>
Figure SMS_218
求最大值。
观察知，集合
Figure SMS_219
、/>
Figure SMS_220
在公式中具有相同的形式意义，本发明取注意特征均值较大（更有关）的一部分作为集合/>
Figure SMS_221
。通过从多级情绪关系图网络中移除无关情绪节点，对话生成模型可以实现更具体的单情绪、多情绪指导。
总的来说，软门控策略更加的灵活，但存在引入噪声的可能，硬门控策略针对性更强，但可能遗漏需要的情感信息。基于软门控策略（改变初始情绪边权重）与硬门控策略（改变情绪节点集合）对多层情绪关系图网络进行改造，迭代更新多级情绪关系图网络的情绪边特征和节点特征，以最后一层的节点特征集合作为经过门控处理的节点特征
Figure SMS_222
，以最后一层的边特征集合作为经过门控处理的情绪边特征/>
Figure SMS_223
，以进行多情绪指导的响应生成。
5.响应生成器
最终，对话生成模型结合全局上下文特征的中间量
Figure SMS_224
与节点特征/>
Figure SMS_225
生成答复语句。考虑到节点特征中不仅编码了情绪信息，同时编码了情绪指导的语义信息，本发明采用节点特征/>
Figure SMS_226
以用于解码。对话生成模型采用了一个修改的transformer解码层进行解码。
计算transformer得到的解码特征
Figure SMS_227
：
Figure SMS_228
；
Figure SMS_229
；
Figure SMS_230
；
其中，
Figure SMS_231
代表先前响应输入与全局上下文信息的注意力向量，/>
Figure SMS_232
为t时刻前的响应输入，/>
Figure SMS_233
为t-1时刻的相应输入，MH-Att代表前馈连接网络，FFN代表多头注意层，LayerNorm代表层归一化操作，/>
Figure SMS_234
为线性映射的权重，/>
Figure SMS_235
代表计算/>
Figure SMS_236
的中间量。
在t时间步的生成词汇
Figure SMS_237
的概率分布计算为：
Figure SMS_238
其中，
Figure SMS_239
为可学习的线性映射参数权重，/>
Figure SMS_240
表示Softmax函数。
采用负对数似然损失优化响应生成器，得到优化响应生成器的损失函数
Figure SMS_241
：
Figure SMS_242
。
考虑所有的组件，对话生成模型的整体损失函数即为：
Figure SMS_243
。
本发明立足于全局及局部表征的角度，基于情绪强度值设计了一个多级情绪关系图网络，将多情绪共情的思想引入到了共情对话生成的任务中来，提出了一个多情绪指导的对话生成模型，自适应的实现单情绪、多情绪的选择，从多个层级挖掘对话中的情绪信息，实现情绪关系的建模与学习，辅助多情绪的指导生成。
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (7)

1.一种多情绪指导的共情对话生成方法，其特征在于，在推理阶段，将文本输入完成训练的对话生成模型，得到与文本情绪一致的答复语句；对话生成模型在推理阶段不使用情绪标签；所述对话生成模型的训练包括以下步骤：
步骤一，准备训练样本，每个训练样本包含m个句子和q种情绪标签；
步骤二，上下文编码：用编码器将训练样本的m个句子串成词汇序列，并在首端插入特殊字符串[CLS]，得到上下文序列X，将q种情绪标签及上下文序列X分别转换为情绪嵌入向量xe及上下文嵌入向量x，将上下文嵌入向量x输入到Transformer进行全局编码处理，得到全局上下文特征
Figure QLYQS_1
；
步骤三，多级情绪关系图网络：对上下文序列X中每个词汇，计算情绪强度值；基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，多级情绪关系图的节点包括情绪词节点Vw与情绪节点Ve；构建多级情绪关系图网络，将情绪嵌入向量xe作为情绪节点Ve的初始特征，将上下文嵌入向量x作为情绪词节点Vw的初始特征，迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征
Figure QLYQS_2
及节点特征/>
Figure QLYQS_3
；
步骤四，情绪预测任务：通过情绪边特征
Figure QLYQS_4
与全局上下文特征/>
Figure QLYQS_5
预测情绪/>
Figure QLYQS_6
的概率分布/>
Figure QLYQS_7
，得到全局上下文特征的中间量/>
Figure QLYQS_8
；情绪预测任务的损失函数为/>
Figure QLYQS_9
；
步骤五，门控处理：通过改变初始情绪边权重和改变情绪节点Ve的集合对多级情绪关系图网络进行改造，获得经过门控处理的情绪边特征
Figure QLYQS_10
及节点特征/>
Figure QLYQS_11
；
步骤六，响应生成任务：通过全局上下文特征的中间量
Figure QLYQS_12
与节点特征/>
Figure QLYQS_13
生成答复语句，响应生成任务的损失函数为/>
Figure QLYQS_14
；
步骤七，定义对话生成模型的总体损失函数
Figure QLYQS_15
，根据总体损失函数L训练对话生成模型。
2.根据权利要求1所述多情绪指导的共情对话生成方法，其特征在于，步骤三中，所述计算情绪强度值的过程，具体包括：
对上下文序列X中每个词汇
Figure QLYQS_16
，使用知识模型SKEP输出一个[0,1]区间的词汇积极程度分值/>
Figure QLYQS_17
，每个词汇/>
Figure QLYQS_18
的情绪强度值/>
Figure QLYQS_19
为：
Figure QLYQS_20
；
定义
Figure QLYQS_21
为上下文序列X的情绪强度值集合，其中所述特殊字符[CLS]的情绪强度值设置为1，p-1为上下文序列X中的词汇总数。
3.根据权利要求1所述多情绪指导的共情对话生成方法，其特征在于，步骤三中，所述基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，具体包括：
将每个情绪词节点Vw指向所有排序在前的情绪词所对应的情绪词节点的连接边，所述排序指按在上下文序列X中次序排序；
将每个情绪词节点Vw指向所有情绪节点Ve的连接边；
将特殊字符[CLS]的节点指向所有情绪词节点Vw和所有情绪节点Ve的连接边，将得到的图定义为全局情绪图G；
将情绪强度值的集合
Figure QLYQS_22
分为K个不同的情绪强度阈值范围，将全局情绪图G分为K个局部情绪图Gk，k=1,2,…,K，每个局部情绪图中的情绪词节点Vw的情绪强度均在对应的情绪强度阈值范围内。
4.根据权利要求3所述多情绪指导的共情对话生成方法，其特征在于，步骤三中，基于所述情绪强度值构造多级情绪关系图网络，并迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征
Figure QLYQS_23
及节点特征/>
Figure QLYQS_24
的过程，具体包括：
初始化节点
Figure QLYQS_25
到节点/>
Figure QLYQS_26
的邻域节点/>
Figure QLYQS_27
的边/>
Figure QLYQS_28
的初始边权重/>
Figure QLYQS_29
为：
Figure QLYQS_30
，
其中，max-abs表示最大绝对值归一化运算，
Figure QLYQS_31
代表邻域节点/>
Figure QLYQS_32
的情绪强度值；
局部情绪图Gk中第
Figure QLYQS_33
层的节点特征/>
Figure QLYQS_34
和边特征/>
Figure QLYQS_35
更新运算为：
Figure QLYQS_36
；
Figure QLYQS_37
；
Figure QLYQS_38
；
Figure QLYQS_39
；
其中，
Figure QLYQS_40
均为可学习的参数矩阵，/>
Figure QLYQS_45
表示元素点乘操作，/>
Figure QLYQS_49
是一个2层的线性映射网络，/>
Figure QLYQS_41
表示对K个局部情绪图中的节点特征的串联操作，/>
Figure QLYQS_43
表示节点/>
Figure QLYQS_47
的邻域节点的下标的集合，/>
Figure QLYQS_50
代表节点/>
Figure QLYQS_44
关于邻域节点/>
Figure QLYQS_48
特征的权重向量，/>
Figure QLYQS_51
是/>
Figure QLYQS_52
进一步使用Softmax函数归一化的结果，/>
Figure QLYQS_42
表示Softmax函数，/>
Figure QLYQS_46
表示转置；
以最后一层的
Figure QLYQS_53
的集合作为节点特征/>
Figure QLYQS_54
，以最后一层的/>
Figure QLYQS_55
的集合作为情绪边特征
Figure QLYQS_56
。
5.根据权利要求1所述多情绪指导的共情对话生成方法，其特征在于，步骤四具体包括：
计算情绪
Figure QLYQS_57
的概率分布/>
Figure QLYQS_58
：
Figure QLYQS_59
；
Figure QLYQS_60
；
Figure QLYQS_61
；
其中，
Figure QLYQS_63
代表初步情绪特征，全局上下文特征的中间量/>
Figure QLYQS_68
由全局上下文特征/>
Figure QLYQS_72
经过一个平均池化层处理得到，||代表特征串联操作，/>
Figure QLYQS_64
代表结合/>
Figure QLYQS_69
和/>
Figure QLYQS_71
的情绪感知信号，/>
Figure QLYQS_74
、/>
Figure QLYQS_65
都是线性映射的权重，/>
Figure QLYQS_67
表示基于所述上下文序列X来预测情绪ε的概率分布，
Figure QLYQS_70
表示Softmax函数，/>
Figure QLYQS_73
表示第k个局部情绪图中节点/>
Figure QLYQS_62
和节点/>
Figure QLYQS_66
的每个邻域节点之间的情绪边的情绪边特征；
情绪预测任务损失函数
Figure QLYQS_75
，/>
Figure QLYQS_76
代表对话情绪标签。
6.根据权利要求5所述多情绪指导的共情对话生成方法，其特征在于，步骤五具体包括：
计算情绪注意特征表示
Figure QLYQS_77
：
Figure QLYQS_78
；
其中，
Figure QLYQS_79
为权重参数，/>
Figure QLYQS_80
为sigmoid函数，/>
Figure QLYQS_81
表示元素点乘操作；
更新多级情绪关系图网络中情绪节点的初始边权重
Figure QLYQS_82
：
Figure QLYQS_83
；
其中，
Figure QLYQS_84
表示节点/>
Figure QLYQS_87
的邻域节点的集合，/>
Figure QLYQS_89
表示针对节点/>
Figure QLYQS_85
，对节点/>
Figure QLYQS_88
的邻域节点集合/>
Figure QLYQS_90
中的每个邻域节点/>
Figure QLYQS_91
的情绪特征使用/>
Figure QLYQS_86
函数处理；
将情绪节点划分为有关情绪节点及无关情绪节点：
Figure QLYQS_92
；
其中，
Figure QLYQS_94
代表节点/>
Figure QLYQS_100
的有关情绪节点集合，/>
Figure QLYQS_104
代表节点/>
Figure QLYQS_96
的无关情绪节点集合，/>
Figure QLYQS_101
是计算过程中的节点/>
Figure QLYQS_105
的有关情绪节点的中间变量的集合，/>
Figure QLYQS_107
、/>
Figure QLYQS_93
、/>
Figure QLYQS_97
分别为/>
Figure QLYQS_98
、/>
Figure QLYQS_102
和/>
Figure QLYQS_95
中所有节点的节点特征平均值，C代表求补集操作，|V|代表对集合/>
Figure QLYQS_99
取模操作，/>
Figure QLYQS_103
代表对括号内的表达式关于/>
Figure QLYQS_106
求最大值；
从多级情绪关系图网络中移除无关情绪节点集合
Figure QLYQS_108
中所有节点；
迭代更新多级情绪关系图网络的情绪边特征和节点特征，以最后一层的节点特征集合作为经过门控处理的节点特征
Figure QLYQS_109
，以最后一层的边特征集合作为经过门控处理的情绪边特征/>
Figure QLYQS_110
。
7.根据权利要求1所述多情绪指导的共情对话生成方法，其特征在于，步骤六具体包括：
计算transformer得到的解码特征
Figure QLYQS_111
：
Figure QLYQS_112
；
Figure QLYQS_113
；
Figure QLYQS_114
；
其中，
Figure QLYQS_115
代表先前响应输入与全局上下文信息的注意力向量，/>
Figure QLYQS_116
为t时刻前的响应输入，/>
Figure QLYQS_117
为t-1时刻的相应输入，MH-Att代表前馈连接网络，FFN代表多头注意层，LayerNorm代表层归一化操作，/>
Figure QLYQS_118
为线性映射的权重，/>
Figure QLYQS_119
代表计算/>
Figure QLYQS_120
的中间量；
在t时间步的生成词汇
Figure QLYQS_121
的概率分布计算为：
Figure QLYQS_122
；
其中，
Figure QLYQS_123
为可学习的线性映射参数权重，/>
Figure QLYQS_124
表示Softmax函数；
响应生成任务的损失函数
Figure QLYQS_125
。
CN202310574090.4A 2023-05-22 2023-05-22 一种多情绪指导的共情对话生成方法 Active CN116306686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310574090.4A CN116306686B (zh) 2023-05-22 2023-05-22 一种多情绪指导的共情对话生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310574090.4A CN116306686B (zh) 2023-05-22 2023-05-22 一种多情绪指导的共情对话生成方法

Publications (2)

Publication Number Publication Date
CN116306686A true CN116306686A (zh) 2023-06-23
CN116306686B CN116306686B (zh) 2023-08-29

Family

ID=86791004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310574090.4A Active CN116306686B (zh) 2023-05-22 2023-05-22 一种多情绪指导的共情对话生成方法

Country Status (1)

Country Link
CN (1) CN116306686B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808011A (zh) * 2024-03-01 2024-04-02 青岛网信信息科技有限公司 一种带有模拟情绪的聊天机器人的方法、介质及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
CN110472245A (zh) * 2019-08-15 2019-11-19 东北大学 一种基于层次化卷积神经网络的多标记情绪强度预测方法
KR20210015010A (ko) * 2019-07-31 2021-02-10 주식회사 휴마트컴퍼니 심리상담 데이터를 이용한 텍스트 내 감정분석을 위한 시스템 및 방법
WO2021174757A1 (zh) * 2020-03-03 2021-09-10 深圳壹账通智能科技有限公司 语音情绪识别方法、装置、电子设备及计算机可读存储介质
US20220050972A1 (en) * 2020-08-14 2022-02-17 Iurii Usov Intelligent discovery multi-turn open dialogue agent
CN114742073A (zh) * 2022-04-07 2022-07-12 清华大学深圳国际研究生院 一种基于深度学习的对话情绪自动识别方法
WO2023009020A1 (en) * 2021-07-26 2023-02-02 "Stc"-Innovations Limited" Neural network training and segmenting an audio recording for emotion recognition
US20230048098A1 (en) * 2021-08-16 2023-02-16 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for speech-emotion recognition with quantified emotional states
CN115730070A (zh) * 2022-11-25 2023-03-03 重庆邮电大学 一种人机共情对话方法、系统、电子设备和介质
CN115858756A (zh) * 2022-12-19 2023-03-28 福州大学 基于感知情绪倾向的共情人机对话系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
KR20210015010A (ko) * 2019-07-31 2021-02-10 주식회사 휴마트컴퍼니 심리상담 데이터를 이용한 텍스트 내 감정분석을 위한 시스템 및 방법
CN110472245A (zh) * 2019-08-15 2019-11-19 东北大学 一种基于层次化卷积神经网络的多标记情绪强度预测方法
WO2021174757A1 (zh) * 2020-03-03 2021-09-10 深圳壹账通智能科技有限公司 语音情绪识别方法、装置、电子设备及计算机可读存储介质
US20220050972A1 (en) * 2020-08-14 2022-02-17 Iurii Usov Intelligent discovery multi-turn open dialogue agent
WO2023009020A1 (en) * 2021-07-26 2023-02-02 "Stc"-Innovations Limited" Neural network training and segmenting an audio recording for emotion recognition
US20230048098A1 (en) * 2021-08-16 2023-02-16 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for speech-emotion recognition with quantified emotional states
CN114742073A (zh) * 2022-04-07 2022-07-12 清华大学深圳国际研究生院 一种基于深度学习的对话情绪自动识别方法
CN115730070A (zh) * 2022-11-25 2023-03-03 重庆邮电大学 一种人机共情对话方法、系统、电子设备和介质
CN115858756A (zh) * 2022-12-19 2023-03-28 福州大学 基于感知情绪倾向的共情人机对话系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OCHS, M., SADEK, D. & PELACHAUD, C.: "A formal model of emotions for an empathic rational dialog agent", AUTONOMOUS AGENTS AND MULTI-AGENT SYSTEMS, no. 24, pages 410 *
于尊瑞 , 毛震东, 王泉, 张勇东: "基于预训练语言模型的关键词感知问题生成", 计算机工程, vol. 48, no. 2, pages 125 - 131 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808011A (zh) * 2024-03-01 2024-04-02 青岛网信信息科技有限公司 一种带有模拟情绪的聊天机器人的方法、介质及系统

Also Published As

Publication number Publication date
CN116306686B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN108734276B (zh) 一种基于对抗生成网络的模仿学习对话生成方法
Saul et al. Mixed memory markov models: Decomposing complex stochastic processes as mixtures of simpler ones
CN109887484B (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN103049792B (zh) 深层神经网络的辨别预训练
Thomson Statistical methods for spoken dialogue management
CN110377916B (zh) 词预测方法、装置、计算机设备及存储介质
CN110275939B (zh) 对话生成模型的确定方法及装置、存储介质、电子设备
CN112417894B (zh) 一种基于多任务学习的对话意图识别方法及识别系统
CN106448670A (zh) 基于深度学习和强化学习的自动回复对话系统
CN112541063B (zh) 一种基于自学习对话模型的人机对话方法及系统
CN112214591B (zh) 一种对话预测的方法及装置
CN110060657B (zh) 基于sn的多对多说话人转换方法
CN111966800A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN113435211B (zh) 一种结合外部知识的文本隐式情感分析方法
CN116306686B (zh) 一种多情绪指导的共情对话生成方法
CN112115687A (zh) 一种结合知识库中的三元组和实体类型的生成问题方法
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
Chen et al. Exploiting future word contexts in neural network language models for speech recognition
CN112347756A (zh) 一种基于序列化证据抽取的推理阅读理解方法及系统
CN114168707A (zh) 一种面向推荐的情绪型对话方法
CN110297894B (zh) 一种基于辅助网络的智能对话生成方法
CN110955765A (zh) 智能助理的语料构建方法、装置、计算机设备和存储介质
CN111563161B (zh) 一种语句识别方法、语句识别装置及智能设备
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
CN117094365A (zh) 图文生成模型的训练方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant