CN115934909B - 一种共情回复生成方法、装置、终端和存储介质 - Google Patents
一种共情回复生成方法、装置、终端和存储介质 Download PDFInfo
- Publication number
- CN115934909B CN115934909B CN202211540231.2A CN202211540231A CN115934909B CN 115934909 B CN115934909 B CN 115934909B CN 202211540231 A CN202211540231 A CN 202211540231A CN 115934909 B CN115934909 B CN 115934909B
- Authority
- CN
- China
- Prior art keywords
- emotion
- reply
- reason
- dialogue
- dialogue history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008451 emotion Effects 0.000 claims abstract description 85
- 238000004891 communication Methods 0.000 claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 230000008447 perception Effects 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000019771 cognition Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 101100365657 Mus musculus Scgb2b2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003370 grooming effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种共情回复生成方法、装置、终端和存储介质。其中，该方法包括：获取对话历史并对其进行语义编码，得到该对话历史的特征表示；对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪感知的原因语句；引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容。本发明提出了一种结合情感原因发现、知识图谱挖掘和沟通机制决策的共情回复生成方法，从心理学的角度考虑影响共情表达的多个要素，并将其有机结合，能够提升对话机器人回复内容的信息量和共情力。
Description
技术领域
本发明实施例涉及人工智能技术领域中的自然语言处理技术，尤其涉及一种共情回复生成方法、装置、终端和存储介质。
背景技术
对话机器人在各种智能设备中(如智能手机、智能音箱、智能手表、车载系统等)、在各种场景下(如导航、教学、陪伴、心理疏导等)得以使用。其中，对话系统的共情能力是衡量其智能程度的一项重要指标，也是影响其用户体验的直接因素，尤其对于心理疏导领域的对话机器人而言，共情是一项基本功能。
共情是一种设身处地为他人着想的情绪反应，是人类互相关照的火花，是使社会生活成为可能的粘合剂。它是一种与情绪和认知有关的复杂的人类特质和动态的心理过程，其中情绪共情是指情绪层面的替代共享，认知共情是指心理层面的换位思考。自20世纪90年代以来，对共情的研究已被广泛地应用于心理健康支持、护理质量改进和智能虚拟助理等方面。
然而，在开发对话机器人中的共情回复模型的过程往往存在一些挑战，例如如何准备一个合适的训练语料库，如何全面深入了解对话上下文，以及怎样设计一个合适的共情表达策略。已经有一些工作来解决这些问题：(1)一个包含大规模共情对话的标准数据集被提出，奠定了共情对话研究的基石。(2)一些研究人员试图更深入地了解对话的背景信息。例如，有人将情感原因提取器应用于对话，并使用提取的原因语句来指导回复生成过程。有人引入外部常识性信息来丰富对话的上下文背景。(3)在语言生成过程中，一些研究人员专注于控制生成反应的情绪，使用情绪混合来模仿说话者的情绪。
但是，上述所有现有的工作都只考虑了影响共情的一个方面，无法提供内容丰富且具备共情力的回复内容，本申请因此而来。
发明内容
本发明提供一种共情回复生成方法、装置、终端和存储介质，以提升对话机器人中自动生成的回复内容的信息量和共情力。
第一方面，本发明实施例提供了一种共情回复生成方法，包括：
获取对话历史并对其进行语义编码，得到该对话历史的特征表示；
对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句；
引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；
根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容。
第二方面，本发明实施例还提供了一种共情回复生成装置，包括：
语义编码模块，用于获取对话历史并对其进行语义编码，得到该对话历史的特征表示；
情绪感知和原因抽取模块，用于对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句；
经验投射和策略选取模块，用于引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；
解码模块，用于根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容。
第三方面，本发明实施例还提供了一种终端，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一项所述的共情回复方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例中任一项所述的共情回复方法。
本发明的有益效果：本发明提出了一种结合情感原因发现、知识图谱挖掘和沟通机制决策的共情回复方法。其中，情感原因发现有助于充分理解对话历史中的情绪表达，知识图谱挖掘有助于丰富上下文的信息，沟通机制决策有助于生成更贴合共情方向的回复，区别于已有的绝大部分工作只考虑共情的单一因子，本发明从心理学的角度考虑影响共情表达的多个要素：情感(与他人分享情感的下意识)、认知(一种在保持自我和他人观点分离的情况下理解他人意图和感受的主体间性)和行为(表达共情的行动)，并将其有机结合，构造全链路的共情回复生成过程，能够提升对话机器人回复内容的信息量和共情力。
附图说明
图1为本发明实施例提供的一种共情回复的模型架构示意图；
图2为本发明实施例提供的一种共情回复生成方法的原理图；
图3为本发明实施例提供的一种共情回复生成方法的流程图；
图4是本发明实施例提供的一种知识图谱示例图；
图5为本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例
具体参见图1和图2，图1为本发明实施例提供的一种共情回复的模型架构示意图，图2为本发明实施例提供的一种共情回复生成方法的原理图。
该模型整体建立在标准的Transformer之上，分为以下几个阶段，即情感-原因提取阶段、基于知识增强的沟通机制决策阶段以及共情回复生成阶段。进一步的，情感-原因提取阶段中的情绪感知功能用于预测对话历史所反映出的用户的情绪状态，原因抽取功能负责从对话历史中提取与情绪相关的原因语句；基于知识增强的沟通机制决策阶段中的经验投射功能用于引入外部知识，扩充上下文信息，沟通策略选取功能基于上下文决定回复用的策略；共情回复生成阶段的回复生成功能则整合了上述四个功能获得的信息，自动生成适当的回复。
其中，Transformer是一个利用注意力机制来提高模型训练速度的模型。
进一步参见图3，图3为本发明实施例提供的一种共情回复生成方法的流程图，具体包括如下步骤：
S1、收集并标注训练数据。
本发明实施例需要用到一个对话数据集，并且对该数据集中的每一组对话做四种类型的标注——对话表现出的情绪、引发该情绪的原因句、最终的回复、该回复涉及的沟通机制。另外，如果想预先对情绪-原因提取模块和沟通机制决策模块做预训练，可以收集并标注额外的数据。
S2、获取对话历史并对其进行语义编码，得到该对话历史的特征表示。
共情回复生成需要依据双方之前的交谈内容，因此需要将对话历史(一轮或者多轮)作为模型的输入。获取对话历史后，将其先进行语义编码，得到该对话历史的特征表示，用于后续的任务。
在本实施例中，给定对话历史S＝s0,s1,…,sk}，将其以词序列的方式输入基于Transformer的编码器，以获得对话上下文的特征表示Hs。
S3、对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句。
给定一个由k个话语与情境情绪组成的对话语境，情绪-原因提取的目的是识别对话语境中哪些话语包含情绪原因。可以从头训练模型，也可以借鉴已有的模型做预训练。
示例性的，本实施例利用一个现有的模型，该模型在一个名为RECCON的开放领域情感对话数据集上进行训练，以识别对话中话语水平上的情绪原因。
具体的，对所述特征表示进行情绪感知，包括：
将对话历史中的对话上下文输入深度学习模型的编码器中，以获得上下文的表征数据；
将上下文的表征数据通过深度学习模型的一个线性层，通过一个归一化指数函数来产生情绪类别分布。
情绪感知功能用于预测对话历史所反映出的用户的情绪状态，这是一个旨在预测对话语境中情绪ε的分类问题。
本实施例中，给定对话上下文S＝s0,s1,…,sk}，然后将其输入基于Transformer的编码器，以获得一系列上下文的表征Hs。将Hs通过一个线性层，然后是一个softmax(归一化指数函数)操作来产生情绪类别分布:
其中，是将上下文表征通过一个线性层后得到的表示，We和be分别表示该线性层的权重和偏差参数；/>是通过归一化指数函数得到的情绪类别分布；Lemo是在训练过程中情绪识别模块使用的损失函数。
具体的，从所述对话历史中抽取导致所述情绪的原因语句，包括：
根据对话历史中的对话上下文以及所述情绪类别分布从对话历史中提取与所述情绪类别分布中概率最高的情绪相关的原因语句。原因抽取功能负责从对话历史中提取与情绪相关的原因语句。
本实施例中，给定对话上下文S及其情绪ε，从中提取导致情绪的原因语句集C＝{c0，c1，...，cu}。将表示情绪原因的话语连接起来，并添加一个特殊的符号[CLS]，以获得原因输入C＝[CLS]+c0+c1+…+cu。每一句话ci包含一个符号序列：其中li是ci的长度。
每个符号都从三个方面来表示：它的语义含义，它在序列中的位置，以及谁说了它。
假设ci,的在词汇表中的ID为(V为词汇表)，在句子中的位置ID为此外，在多回合对话设置中，区分听者和说话者是有帮助的。因此，可以将对话状态嵌入到输入序列中。具体来说，每一句话ci都被标记有它相应的角色/>(0表示说话者，1表示聆听者)。序列中的每一个元素ci,可以通过结合单词嵌入、位置嵌入和对话状态嵌入来表示：
其中，EW、EP、ES分别表示在各自词典规模下，可学习的单词、位置、对话状态的向量表示。表示对应的索引，/>为符号ci,结合了上述三类信息后的综合表示。
将由组织的整个词嵌入EC序列提供给一个原因编码器，可以产生该部分内容的特征表示：
HC＝Cause-Encoder(EC)；
其中，Cause-Encoder(·)是基于Transformer的语义编码器，专门针对原因句的特征表示做进一步编码，输出HC。
接下来，使用原因编码器hc＝HC[0]的[CLS]处的隐藏状态，在下一阶段用来预测沟通机制(CM)策略。
S4、引入外部知识对所述原因语句进行经验投射，以及引入沟通机制对所述原因语句进行策略选取。
其中，沟通策略选取功能基于上下文决定回复用的共情策略，经验投射功能引入外部知识，用来扩充上下文信息。
具体的，引入沟通机制针对所述原因语句进行回复策略选取，包括：
将所述情绪的原因语句经过深度学习模型进行语义编码后通过一个线性层，然后经归一化指数函数来产生沟通机制类别分布，以确定回复用的共情策略。
本实施例使用了有CM注释的语料库。有三种沟通因素，分别是情绪反应(ER)、理解(IP)和探索(EX)，每种机制都有不同的程度。将每个机制的程度分为两种类型：“是”和“否”。将hc通过一个线性层，然后经softmax操作来产生CM类别分布，在训练过程中，该模块采用负对数似然函数进行损失计算：
ecmi＝Wcmihc+bcmi,cmi∈{er,ip,ex}；
ecmi表示eer、eip、eex，是情绪原因句经原因编码器后的语义表示，分别通过ER、IP、EX线性层后得到的表示，Wcmi、bcmi分别是权重和偏差；是通过归一化指数函数后得到的每个机制在“是”和“否”程度上的概率分布；Lcm是在训练过程中共情策略选取模块使用的损失函数；/>表示三种策略表示的加权和，用于指导生成后续的共情回复。
进一步的，引入外部知识对所述原因语句进行经验投射，包括：
构造知识图谱，并从知识图谱中选择以说话者为中心并对说话者有积极贡献的知识图来扩展对话上下文信息；将扩展后的对话上下文信息与所述原因语句进行知识融合。
本实施例通过构造常识知识图谱、专业知识图谱等，作为对有限内容输入的延伸，用来扩展既有数据的信息量。
继续参见图4，本实施例通过引入常识知识图谱ATOMIC-2020并对其进行适当改造，通过从知识图中选择那些以说话者为中心并对说话者有积极贡献的知识图来扩展对话上下文。最后本实施例将知识图谱划分为四种类型：Affect(偏情感方向)，Behaviour(偏行为方向)，Physical(偏生理方向)，Events(偏事件方向)。它们总共包含11种关系[r1，r2，...，r11](如图5所示)。在Affect中，选择一种关系([XReact])，在Behaviour中，选择五种关系([XIntent]，[XNeed]，[XWant]，[XEffect]，[XAttr])，在Physical中，选择三种关系([HasP roperty]，[CapableOf]，[Desires])。在Events中，选择两种关系([Causes]，[XReason])。对于输入序列C，本实施例使用COMET模型为每个关系ri生成5个常识性推断实体 然后，将属于同一关系类型的关系生成的所有实体连接起来。通过这种方法，每个输入序列可以被扩展得到四个常识序列：SAffect，SBehav，SPhys，SEvents。最后，将常识序列输入到知识编码器中：
在这里，KABPE∈{Affect，Behav，Phys，Events}。
Knowledge-Encoder(·)是基于Transformer的语义编码器，专门针对知识扩展后的上下文信息做进一步编码。
接下来，使用它们各自第一个位置的隐层向量来分别表示序列SBehav，SPhys，SEvents：
此外，使用隐层表征HAffect的平均值来表示SAffect：
hAffect＝Average(HAffect)|)xis＝0。
在得到经知识图谱扩展的内容后，将经过知识图谱扩展的内容hAffect、hBehav、hPhts、hEvents进行融合，强化知识表达，而情绪原因句也可再次融入强化后的知识，为下一阶段做准备。
为了通过知识信息来细化情绪原因，将每个常识性关系表征连接到原因句的表征HC上。与序列级连接相比，词级别连接能够在原因序列中的每个单词中融合知识：
对融合的表征进行编码，并为每种关系类型获得知识细化的上下文表征：
其中，Refine-Encoder(·)是基于Transformer的语义编码器，专门针对知识融合表征进行编码。
情感类型的关系(Affect)与情感的同理心有关，而Behaviour、Physical和Events的关系与认知同理心有关。因此，可以将上述情感类型和认知类型的知识细化表征重新融合：
接下来，为了突出知识细化后的上下文表征中的重要特征，将重要性分数分配给然后使用ReLU激活函数的多层感知(MLP)层：
最后，被一起输入到解码模块：
本发明实施例提出的模型架构采用Transformer结构将上下文信息和知识图谱深入结合，让机器可以有联想的能力，可以从已有经验中去扩展引发用户情绪的语义信息，最后通过沟通策略给予用户适合的回复。
S5、根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容。
本实施例中，为了获得情绪依赖性，将中间情绪信号与预期反应的单词嵌入连接起来，得到/>然后将嵌入的内容输入到响应解码器中。该解码器是基于Transformer建立的：
而在训练阶段，其损失函数可以表示为：
S6、对待训练的共情回复模型进行训练，以得到训练后的共情回复模型。
整个模型需要依赖完整的训练流程才能投入推理使用。上文已经列举出三个损失函数：Lemo,Lcm,Lgen,此处再新增一个多样性约束，防止一些过于频繁的用词(如停用词)等不断在生成的回复中出现。
wi＝a×FQi+1；
其中，V表示整个词表的规模，FQi表示单词vi的词频与词表中所有词的词频之和的比值，a(max0＜j＜V(FQj))-1用来表示词频的系数，Ldiv表示多样性损失函数。
模型的总损失函数为：Lλ1·Lgen+λ2·Lemo+λ3·Lcm+λ4·Ldiv。
λ1、λ2、λ3、λ4分别表示四种类型的损失函数在总损失函数中的系数。
本发明实施例提出了一种结合情感原因发现、知识图谱挖掘和沟通机制决策的共情回复生成方法。其中，情感原因发现有助于充分理解对话历史中的情绪表达，知识图谱挖掘有助于丰富上下文的信息，沟通机制决策有助于生成更贴合共情方向的回复，区别于已有的绝大部分工作只考虑共情的单一因子，本发明从心理学的角度考虑影响共情表达的多个要素，并将其有机结合，能够提升对话机器人回复内容的信息量和共情力。
本发明在共情对话数据集上的实验结果证明了本发明中方法的有效性，并表明串联关键要素可以生成更多信息量和更有同理心的回复。详细的实验指标以及结果如下所示：
1、自动评价指标
本发明的评价指标有困惑度(PPL)，BLEU-2，Distinct-1，Distinc-2，准确度(ACC)。结果如下表1所示，其中IMAGINE是本发明实施例提供的共情回复生成方法，其余为现有其他回复生成方法：
表1自动评估和人工评估的结果。
2、人工评价指标
由于人对于语言的感知具有主观性，仅依据自动评估指标衡量模型所生成语言的质量不够完善，因此，引入人工的判断是必要的。本发明实施例随机抽取100组对话，并用不同的模型生成相应的回复。五位受过良好教育且专业涵盖文学写作、心理学和教育的人员，从流畅性、相关性和共情性三个指标给每条回复打分。每个指标的评分范围从1到5，其中1、2、3、4和5分别表示不可接受、不好、中等、良好和优秀。为了保持不同方法的匿名性，每组对话中的响应顺序被打乱。结果如表1后三列所示。
为了将本发明实施例提供的模型和7个基线模型依次比较，进行了人工A/B测试。为了确保公平性，本发明实施例重新抽样了额外700组对话(平均分为7份，每份100组)。每一份对话数据都用于构造A-vs-B测试，其中A是本发明实施例提供的模型，B是一个基线模型。针对每一组对话，A和B都会生成一句回复，三位评分人员需要从中选出一个他们觉得更好的回答，如果他们认为两者质量相当，也可以选择平局。最终A/B测试的结果如表2所示：
表2人工A/B测试结果
上述实验结果证明了本发明中方法的有效性，并表明串联关键要素可以生成更多信息量和更有同理心的回复。
本发明实施例还提供一种共情回复装置，该装置可执行本发明任意实施例所提供的一种一种共情回复生成方法，包括：
语义编码模块，用于获取对话历史并对其进行语义编码，得到该对话历史的特征表示；
情绪感知和原因抽取模块，用于对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句；
经验投射和策略选取模块，用于引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；
解码模块，用于根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容。
其中，情绪感知模块，具体用于：将对话历史中的对话上下文输入深度学习模型的编码器中，以获得上下文的表征数据；
将上下文的表征数据通过深度学习模型的一个线性层，通过一个归一化指数函数来产生情绪类别分布。
原因抽取模块，具体用于：根据对话历史中的对话上下文以及所述情绪类别分布从对话历史中提取与所述情绪类别分布中概率最高的情绪相关的原因语句。
经验投射模块，具体用于：构造知识图谱，并从知识图谱中选择以说话者为中心并对说话者有积极贡献的知识图来扩展对话上下文信息；
将扩展后的对话上下文信息与所述原因语句进行知识融合。
策略选取模块，具体用于：将所述情绪的原因语句经过深度学习模型进行语义编码后通过一个线性层，然后经归一化指数函数来产生沟通机制类别分布，以确定回复用的共情策略。
进一步的，该装置还包括：
数据处理模块，用于收集并标注训练数据；
模型训练模块，用于对待训练的共情回复模型进行训练，以得到训练后的共情回复模型。
本发明实施例所提供的一种共情回复装置可执行本发明任意实施例所提供的一种共情回复生成方法，具备执行方法相应的功能模块和有益效果。
图5为本发明实施例提供的一种终端的结构示意图。图5示出了适于用来实现本发明实施方式的示例性终端12的框图。图5显示的终端12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，终端12以通用计算设备的形式表现。终端12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
终端12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。终端12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
终端12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该终端12交互的设备通信，和/或与使得该终端12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，终端12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与终端12的其它模块通信。应当明白，尽管图中未示出，可以结合终端12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种共情回复方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例中任一所述的共情回复生成方法。其中，该方法包括：
获取对话历史并对其进行语义编码，得到该对话历史的特征表示；
对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句；
引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；
根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种共情回复生成方法，其特征在于，包括：
获取对话历史并对其进行语义编码，得到该对话历史的特征表示；
对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句；
引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；
根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容；
引入外部知识对所述原因语句进行经验投射，包括：
构造知识图谱，并从知识图谱中选择以说话者为中心并对说话者有积极贡献的知识图来扩展对话上下文信息；
将扩展后的对话上下文信息与所述原因语句进行知识融合；
引入沟通机制针对所述原因语句进行回复策略选取，包括：
将所述情绪的原因语句经过深度学习模型语义编码后通过一个线性层，然后经归一化指数函数来产生沟通机制类别分布，以确定回复用的共情策略。
2.根据权利要求1所述的方法，其特征在于，在获取对话历史并对其进行语义编码之前，还包括：收集并标注训练数据。
3.根据权利要求1所述的方法，其特征在于，对所述特征表示进行情绪感知，包括：
将对话历史中的对话上下文输入深度学习模型的编码器中，以获得上下文的表征数据；
将上下文的表征数据通过深度学习模型的一个线性层，通过一个归一化指数函数来产生情绪类别分布。
4.根据权利要求3所述的方法，其特征在于，从所述对话历史中抽取导致所述情绪的原因语句，包括：
根据对话历史中的对话上下文以及所述情绪类别分布从对话历史中提取与所述情绪类别分布中情绪相关的原因语句。
5.根据权利要求1所述的方法，其特征在于，在生成共情回复内容之后，还包括：
对待训练的共情回复模型进行训练，以得到训练后的共情回复模型。
6.一种共情回复生成装置，其特征在于，包括：
语义编码模块，用于获取对话历史并对其进行语义编码，得到该对话历史的特征表示；
情绪感知和原因抽取模块，用于对所述特征表示进行情绪感知，并从所述对话历史中抽取导致所述情绪的原因语句；
经验投射和策略选取模块，用于引入外部知识对所述原因语句进行经验投射，以及引入沟通机制针对所述原因语句进行回复策略选取；
解码模块，用于根据所述情绪感知结果、经验投射结果以及回复策略选取结果进行组合解码，以生成共情回复内容；
引入外部知识对所述原因语句进行经验投射，包括：
构造知识图谱，并从知识图谱中选择以说话者为中心并对说话者有积极贡献的知识图来扩展对话上下文信息；
将扩展后的对话上下文信息与所述原因语句进行知识融合；
引入沟通机制针对所述原因语句进行回复策略选取，包括：
将所述情绪的原因语句经过深度学习模型语义编码后通过一个线性层，然后经归一化指数函数来产生沟通机制类别分布，以确定回复用的共情策略。
7.一种终端，其特征在于，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的共情回复生成方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的共情回复生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211540231.2A CN115934909B (zh) | 2022-12-02 | 2022-12-02 | 一种共情回复生成方法、装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211540231.2A CN115934909B (zh) | 2022-12-02 | 2022-12-02 | 一种共情回复生成方法、装置、终端和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115934909A CN115934909A (zh) | 2023-04-07 |
| CN115934909B true CN115934909B (zh) | 2023-11-17 |
Family
ID=86698661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211540231.2A Active CN115934909B (zh) | 2022-12-02 | 2022-12-02 | 一种共情回复生成方法、装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115934909B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274390A (zh) * | 2020-01-15 | 2020-06-12 | 深圳前海微众银行股份有限公司 | 一种基于对话数据的情感原因确定方法及装置 |
| CN111897933A (zh) * | 2020-07-27 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN112949857A (zh) * | 2021-03-24 | 2021-06-11 | 网经科技（苏州）有限公司 | 一种模拟用户情绪的对话策略生成方法 |
| CN113987179A (zh) * | 2021-10-27 | 2022-01-28 | 哈尔滨工业大学 | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 |
| CN114385802A (zh) * | 2022-01-10 | 2022-04-22 | 重庆邮电大学 | 一种融合主题预测和情感推理的共情对话生成方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11580350B2 (en) * | 2016-12-21 | 2023-02-14 | Microsoft Technology Licensing, Llc | Systems and methods for an emotionally intelligent chat bot |
| US10366168B2 (en) * | 2017-01-12 | 2019-07-30 | Microsoft Technology Licensing, Llc | Systems and methods for a multiple topic chat bot |
| US11074913B2 (en) * | 2019-01-03 | 2021-07-27 | International Business Machines Corporation | Understanding user sentiment using implicit user feedback in adaptive dialog systems |
| US11494566B2 (en) * | 2020-04-28 | 2022-11-08 | Avaya Management L.P. | Systems and methods for adaptive emotion based automated emails and/or chat replies |
-
2022
- 2022-12-02 CN CN202211540231.2A patent/CN115934909B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274390A (zh) * | 2020-01-15 | 2020-06-12 | 深圳前海微众银行股份有限公司 | 一种基于对话数据的情感原因确定方法及装置 |
| CN111897933A (zh) * | 2020-07-27 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN112949857A (zh) * | 2021-03-24 | 2021-06-11 | 网经科技（苏州）有限公司 | 一种模拟用户情绪的对话策略生成方法 |
| CN113987179A (zh) * | 2021-10-27 | 2022-01-28 | 哈尔滨工业大学 | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 |
| CN114385802A (zh) * | 2022-01-10 | 2022-04-22 | 重庆邮电大学 | 一种融合主题预测和情感推理的共情对话生成方法 |
Non-Patent Citations (4)
| Title |
|---|
| 5G背景下的智能对话系统架构及应用;黄毅;冯俊兰;胡珉;吴晓婷;杜晓宇;;电信工程技术与标准化(01);全文 * |
| A computational approach to understanding empathy expressed in text-based mental health support.;Sharma A等;《arXiv preprint arXiv:2009.08441, 2020》;全文 * |
| 文本情感原因自动提取综述;邱祥庆等;《计算机研究与发展》;22467-2496 * |
| 邱祥庆等.《计算机研究与发展》.2022,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115934909A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bibauw et al. | Discussing with a computer to practice a foreign language: Research synthesis and conceptual framework of dialogue-based CALL | |
| CN110782870B (zh) | 语音合成方法、装置、电子设备及存储介质 | |
| Cui et al. | MuTual: A dataset for multi-turn dialogue reasoning | |
| Mayfield et al. | Equity beyond bias in language technologies for education | |
| CN112131366A (zh) | 训练文本分类模型及文本分类的方法、装置及存储介质 | |
| Callejas et al. | Predicting user mental states in spoken dialogue systems | |
| Griol et al. | An architecture to develop multimodal educative applications with chatbots | |
| Ezen-Can et al. | Unsupervised classification of student dialogue acts with query-likelihood clustering | |
| Picca et al. | Natural Language Processing in Serious Games: A state of the art. | |
| Flores et al. | Transfer learning for depression screening from follow-up clinical interview questions | |
| Ghosh | Exploring intelligent functionalities of spoken conversational search systems | |
| CN115934909B (zh) | 一种共情回复生成方法、装置、终端和存储介质 | |
| Meylan et al. | Evaluating models of robust word recognition with serial reproduction | |
| Alarcón et al. | Hulat-ALexS CWI Task-CWI for Language and Learning Disabilities Applied to University Educational Texts. | |
| Lehesvuori et al. | Towards Automatic Analysis of Science Classroom Talk: Focus on Teacher Questions | |
| Ostyakova et al. | Linguistic Annotation Generation with ChatGPT: a Synthetic Dataset of Speech Functions for Discourse Annotation of Casual Conversations | |
| US20230140480A1 (en) | Utterance generation apparatus, utterance generation method, and program | |
| Lv et al. | StyleBERT: Chinese pretraining by font style information | |
| Huang | Chatbot: design, architecture, and applications | |
| CN113705163A (zh) | 实体提取方法、装置、设备及计算机可读存储介质 | |
| Yang et al. | Do children know wh anything? 3-year-olds know the ambiguity of wh-phrases in Mandarin | |
| Mallios | Virtual doctor: an intelligent human-computer dialogue system for quick response to people in need | |
| Torrent et al. | Copilots for Linguists: AI, Constructions, and Frames | |
| CN114610861B (zh) | 基于变分自编码器的融入知识和感情的端到端对话方法 | |
| Cardenas et al. | ‘Don’t Get Too Technical with Me’: A Discourse Structure-Based Framework for Automatic Science Journalism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |