CN111522936B - 一种包含情感的智能客服对话回复生成方法、装置及电子设备 - Google Patents

一种包含情感的智能客服对话回复生成方法、装置及电子设备 Download PDF

Info

Publication number
CN111522936B
CN111522936B CN202010333255.5A CN202010333255A CN111522936B CN 111522936 B CN111522936 B CN 111522936B CN 202010333255 A CN202010333255 A CN 202010333255A CN 111522936 B CN111522936 B CN 111522936B
Authority
CN
China
Prior art keywords
vector
round
hidden
word
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010333255.5A
Other languages
English (en)
Other versions
CN111522936A (zh
Inventor
陈成才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoi Robot Technology Co Ltd filed Critical Shanghai Xiaoi Robot Technology Co Ltd
Priority to CN202010333255.5A priority Critical patent/CN111522936B/zh
Publication of CN111522936A publication Critical patent/CN111522936A/zh
Application granted granted Critical
Publication of CN111522936B publication Critical patent/CN111522936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种包含情感的智能客服对话回复生成方法、装置及电子设备，所述方法包括：获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；获取与所述本轮用户对话对应的主题词向量；根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；根据所述本轮输入向量，获取本轮用户对话隐向量；根据所述本轮用户对话隐向量，获取情感标签向量；进而获取本轮回复隐向量；根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复。本发明同时满足了智能客服应用中对会话主题与情感回复的需求，设计简单、构建方便，具有广泛的实用价值。

Description

一种包含情感的智能客服对话回复生成方法、装置及电子 设备
技术领域
本发明涉及人工智能技术领域，特别涉及一种包含情感的智能客服对话回复生成方法、装置及电子设备。
背景技术
人机对话聊天系统是目前在机器对话领域比较热门的研究方向，在智能客服等诸多领域应用广泛。对于聊天型对话系统来说，它们没有明确的任务目标，而是通过机器来模拟人类闲聊时的状态。在机器与人进行聊天时，如果聊天机器人能够具备人类的情感表达能力，无疑会使得交流沟通更加顺畅。
目前常用的聊天型对话系统有两种回复生成方式，其一为检索式，通过语料库检索适合的回复，但这种方式非常受限于语料库的内容，不能适应所有的情况；其二为生成式，这种方法相对灵活，但如何获取包含情感内容的回复这个问题仍比较困难。
现阶段大多数生成式对话系统常用的模型都是基于循环神经网络的序列到序列模型，目前基于此模型的带情感的回复的生成方法，由于情感因素的加入，很多都会倾向于生成琐碎的或普遍相关的响应，几乎没有任何实际意义。另外当前的方法往往容易忽略生成的回复和输入会话之间的主题相关性，发生答非所问的情况。
发明内容
为了解决上述问题，本发明提出一种包含情感的智能客服对话回复生成方法，包括：
获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；
获取与所述本轮用户对话对应的主题词向量；
根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；
根据所述本轮输入向量，获取本轮用户对话隐向量；
根据所述本轮用户对话隐向量，获取情感标签向量；
根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量；
根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复。
进一步地，所述获取与所述本轮用户对话对应的主题词向量包括：
根据所述本轮输入向量，获取与所述本轮用户对话最匹配的主题；
选取所述主题下概率高于预设阈值的多个主题词；
在词向量表中查询所述多个主题词对应的主题词向量。
进一步地，所述主题词还包括以下一种或多种的任意组合：
对所述本轮用户对话进行关键词提取得到的关键词，
对所述本轮用户对话进行实体抽取得到的实体词，
对所述关键词进行同义词拓展得到的关键词同义词；
对所述实体词进行同义词拓展得到的实体词同义词。
进一步地，所述多种注意力向量包括上下文注意力向量和主题注意力向量；
所述根据所述本轮输入向量与所述主题词向量，计算多种注意力向量包括：
根据所述上一轮回复隐向量、所述本轮输入向量计算对话词语权重；
根据编码器隐状态、所述本轮输入向量、所述主题词向量计算主题词权重；
根据所述对话词语权重和所述本轮输入向量计算所述上下文注意力向量；
根据所述主题词权重和所述主题词向量计算所述主题注意力向量。
进一步地，所述融合为融合注意力向量包括：
将所述上下文注意力向量和所述主题注意力向量拼接为第一融合向量；
将所述第一融合向量通过多层感知器融合得到所述融合注意力向量。
进一步地，所述根据所述本轮输入向量，获取本轮用户对话隐向量包括：
将所述本轮输入向量通过训练好的隐向量网络模型，得到所述本轮用户对话隐向量；
其中，所述隐向量网络模型的训练方法为：
获取用户会话训练数据和目标回复训练数据；
将所述用户会话训练数据与所述目标回复训练数据拼接，训练第一隐向量网络，所述第一隐向量网络输出第一正态分布均值与第一标准差；
利用所述用户会话训练数据训练第二隐向量网络，所述第二隐向量网络输出第二正态分布均值与第二标准差；
根据所述第一正态分布均值和所述第一标准差采样得到第一隐向量，根据所述第二正态分布均值和所述第二标准差采样得到第二隐向量；
根据所述第一隐向量和所述第二隐向量计算相对熵，若所述相对熵符合预设的要求，则训练完成，将所述第二隐向量网络作为所述隐向量网络模型；否则，将所述相对熵反向传播回所述第一隐向量网络和所述第二隐向量网络，重复上述训练的步骤。
进一步地，所述根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复包括：
将所述本轮回复隐向量与所述本轮用户对话隐向量拼接，根据拼接后的向量得到所述本轮情感回复中的词语类型分布；
计算不同类型词语在所述本轮情感回复中的词语概率分布；
根据词语概率分布对所述词语类型分布进行加权求和，得到所述本轮情感回复。
本发明还提供了一种包含情感的智能客服对话回复生成装置，包括：
输入编码模块，用于获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；
主题获取模块，用于获取与所述本轮用户对话对应的主题词向量；
注意力融合模块，用于根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；
隐向量获取模块，用于根据所述本轮输入向量，获取本轮用户对话隐向量；
情感感知模块，用于根据所述本轮用户对话隐向量，获取情感标签向量；
回复计算模块，用于根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量；
回复生成模块，用于根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复。
此外，本发明还提供了一种电子设备，包括存储器、处理器及输出装置，所述处理器执行所述程序时实现上述包含情感的智能客服对话回复生成的方法步骤，所述输出装置适于输出所述本轮情感回复。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述包含情感的智能客服对话回复生成的方法步骤。
本发明在一般的对话回复生成模型中，通过多种注意力机制融合的方式引入了外部主题常识，使得生成的对话回复与用户输入对话中有良好的主题相关性。在获取情感内容时，通过隐向量有效地捕获到对话中的语义与情感信息，使得最后生成的回复内容更加符合预设的情感类别。同时满足了智能客服应用中对会话主题与情感回复的需求，设计简单、构建方便，具有广泛的实用价值。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为本发明实施例一中包含情感的智能客服对话回复生成方法的流程示意图；
图2为本发明实施例一中获取与所述本轮用户对话对应的主题词向量的流程示意图；
图3为本发明实施例一中计算注意力向量流程示意图；
图4为本发明实施例一中注意力向量融合流程示意图；
图5为本发明实施例一中隐向量网络模型训练流程示意图；
图6为本发明实施例一中获取本轮情感回复流程示意图；
图7为本发明实施例二中包含情感的智能客服对话回复生成装置的结构示意图；
图8为本发明实施例三中一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在智能客服对话系统中，目前通常采用检索式或生成式的方法来得到机器对用户对话内容的反馈，但检索式的方法受限于数据库包含的内容，即使是生成式的办法也不能够很好地在回复中融入情感信息。
为了使机器回复具备情感功能，目前大多是通过在基于循环神经网络的序列到序列模型中引入一定情感因素，但这使得生成的回复非常琐碎或者太过普适，缺乏实际意义，还很容易与对话的主题发生脱节。
为了解决上述问题，本发明在下述实施例中给出了一种包含情感的智能客服对话回复生成方法、装置和电子设备。通过隐向量捕捉会话的语义和情感标签，使得系统能生成更加符合预设情感类别的回复，并引入主题相关性，避免偏离主题的情况的发生。
实施例一
在本实施例中，给出了一种包含情感的智能客服对话回复生成方法，如附图1所示，包括以下步骤：
步骤S110：获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；
步骤S120：获取与所述本轮用户对话对应的主题词向量；
步骤S130：根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；
步骤S140：根据所述本轮输入向量，获取本轮用户对话隐向量；
步骤S150：根据所述本轮用户对话隐向量，获取情感标签向量；
步骤S160：根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量；
步骤S170：根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复。
步骤S110中，首先获取本轮用户输入的会话内容，例如“信用卡的还款期限”。用户输入的会话内容可以为完整的句子，也可以为具体的词语组成的有含义的短句。进一步地，根据需要，对用户会话内容进行预处理，例如分词、去除停用词、语气词等步骤，本发明在此不进行限制。
设输入会话X＝x1，x2，…，xn，其中x分别表示分词得到的每个词语，n表示词语的数目，获取各单独词对应的词向量x1，x2，…，xn，在步骤S110中，对输入会话进行编码，得到本轮输入向量H＝h1，h2，…，hn，H表示输入对话的隐状态向量。
在本实施例一种可选的实施方式中，可以采用双向门控循环神经网络(Bi-GRU)作为编码器，计算本轮用户对话对应的本轮输入向量，具体计算方式如下：
其中，GRUf、GRUb分别表示双向门控循环神经网络中前向和反向传播的网络模型，Xk表示第k个词语的词向量。分别通过前向、反向计算得到词语Xk对应的前向隐向量反向隐向量/>之后拼接得到hk。
需要说明的是，在本发明的其它实施例中，还可以采用其它方式进行编码，其都在本发明的保护范围之内。
在步骤S110获取本轮用户对话后，在步骤S120中，获取与所述本轮用户对话对应的主题词向量。优选地，在本实施例一项可选的实施方式中，如图2所示，步骤S120具体可以包括：
步骤S121：根据所述本轮输入向量，获取与所述本轮用户对话最匹配的主题；
步骤S122：选取所述主题下概率高于预设阈值的多个主题词；
步骤S123：在词向量表中查询所述多个主题词对应的主题词向量。
在步骤S121中，优选地，可以采用训练好的主题模型(BTM)为本轮用户输入的会话匹配最相关的主题。BTM模型是一种概率模型，适合于获取短文本的主题信息，它的输入即是一段文本，模型会为当前输入的文本分配一个最可能的主题，在该主题下，按照概率从高到低提供了多个主题词。进一步地，在步骤S122中，在这些主题词中选取概率高于预设阈值的多个主题词，例如可以选择20～40个主题词进行后续的注意力生成，提高处理效能。
对步骤S122中获得的l个主题词T＝t1，t2，…，tl，进行步骤S123，在词向量表中查询个主题词对应的主题词向量T＝t1，t2，…，tl。
优选地，所述主题词还包括以下一种或多种的任意组合：对所述本轮用户对话进行关键词提取得到的关键词、对所述本轮用户对话进行实体抽取得到的实体词、对所述关键词进行同义词拓展得到的关键词同义词、对所述实体词进行同义词拓展得到的实体词同义词。
对主题词进行拓展是为了进一步提高主题模型的准确率，关键词提取、实体词抽取的方法本发明在此不做限制，例如可以通过Textbank工具进行关键词提取。对于提取得到的关键词、实体词，可以通过同义词词库进行拓展，再获取多个同义词，这些提取到的关键词、实体词以及拓展得到的同义词都可以作为外部主题的一部分。
在模型中引入主题感知信息后，保证了模型最后得到的回复与输入的会话能够在同一主题下，不会偏离用户对话的内容。
获取主题信息之后，在步骤S130中，通过注意力机制将主题词引入到模型中。在本发明中，根据本轮输入向量H、主题词向量T，计算不同机制的注意力向量，并最后将多种注意力向量融合得到融合注意力向量M。
在本实施例一项可选的实施方式中，所述多种注意力向量包括上下文注意力向量和主题注意力向量。
基于此，可选地，如图3所示，步骤S130还包括：
步骤S131：根据所述上一轮回复隐向量、所述本轮输入向量计算对话词语权重；
步骤S132：根据编码器隐状态、所述本轮输入向量、所述主题词向量计算主题词权重；
步骤S133：根据所述对话词语权重和所述本轮输入向量计算所述上下文注意力向量；
步骤S134：根据所述主题词权重和所述主题词向量计算所述主题注意力向量。
具体地，本实施例一项可选的实施方式中，在计算上下文注意力向量C时，首先需要计算对话词语权重α。计算的方法为：
其中，αui表示第u轮对话中，用户输入对话的第i个词语对应的对话词语权重，hi表示本轮输入向量中对应第i个词语的隐状态向量，n表示词语的数目，su-1表示上一轮对话中系统回复时获取的隐向量，μ表示为计算对话词语权重选用的一个简单的神经网络模型。
得到对话词语权重αui后，上下文注意力向量Cu的计算方式为：
相应的，在计算主题注意力向量TC时，先计算主题词权重β。计算的方法为：
其中，βuq表示第u轮对话中，外部主题常识中的第q个主题词对应的主题词权重，tq表示对应第q个主题词的主题词向量，l表示主题词的数目，r表示步骤S110中编码器的隐状态，是编码器最后一个时间步的隐状态，代表了整个句子的语义信息，ρ表示为计算主题词权重选用的一个简单的神经网络模型。
得到对话词语权重βuq后，主题注意力向量TCu的计算方式为：
需要说明的是，如图3所示，步骤S131～步骤S134并非依次的顺序，只需在进行步骤S133前完成步骤S131、在进行步骤S134前完成步骤S132即可，本发明在此不进行限制。
得到本轮的多种注意力向量之后，通过数据融合的方式将各个注意力向量融合为融合注意力向量，在融合注意力向量中包含了用户对话所属主题的信息，能够更准确地预测并给出相应的回复。
优选地，在多种注意力向量包括上下文注意力向量和主题注意力向量的前提下，在本实施例一项可选的实施方式中，如图4所示，步骤S130中还包括：
步骤S135：将所述上下文注意力向量Cu和所述主题注意力向量TCu拼接为第一融合向量；
步骤S136：将所述第一融合向量通过多层感知器融合得到所述融合注意力向量M。
即，计算得到上下文注意力向量Cu、主题注意力向量TCu后，将二者拼接，拼接的顺序本发明不进行限制，但需要在各轮对话中保持统一，并与多层感知器训练时的样本素材匹配一致。步骤S136中的多层感知器是一种训练好的神经网络模型，例如全连接神经网络模型g*，这种情况下融合注意力向量Mu的计算方法可以表示为：
Mu＝g*(Cu，TCu)
在步骤S140中，根据所述本轮输入向量H，获取本轮用户对话隐向量Z。
优选地，在一种可选的实施方式中，可以将所述本轮输入向量H通过训练好的隐向量网络模型，得到所述本轮用户对话隐向量Z。本轮用户对话隐向量Z中包含有对应用户输入对话的系统回复相应的语义和句式信息。
具体地，该隐向量模型包括两个隐向量网络。在模型训练时，其中一个隐向量网络将输入会话与目标回复拼接后作为输入数据，网络输出得到隐向量Z，但在实际应用中，输入数据只包括用户输入的会话内容，不包含有目标回复信息，因此需要另一个输入数据只包括输入会话的隐向量网络。通过对两个隐向量网络采样得到隐向量，并获取能描述两个网络输出差异的变量，通过反馈机制重新训练，是的两个网络的输出越来越接近，达到训练的目的。
具体说明，如图5所示，该隐向量网络模型在训练时可以包括以下步骤：
步骤S210：获取用户会话训练数据Xtrain和目标回复训练数据Ytrain；
步骤S220：将所述用户会话训练数据Xtrain与所述目标回复训练数据Ytrain拼接，训练第一隐向量网络P，所述第一隐向量网络P输出第一正态分布均值E1与第一标准差σ1；
步骤S230：利用所述用户会话训练数据Xtrain训练第二隐向量网络Q，所述第二隐向量网络输出第二正态分布均值E2与第二标准差σ2；
步骤S240：根据所述第一正态分布均值E1和所述第一标准差σ1采样得到第一隐向量ZP，根据所述第二正态分布均值E2和所述第二标准差σ2采样得到第二隐向量ZQ；
步骤S250：根据所述第一隐向量ZP和所述第二隐向量ZQ计算相对熵KL，若所述相对熵KL符合预设的要求，则训练完成，将所述第二隐向量网络Q作为所述隐向量网络模型；否则，将所述相对熵KL反向传播回所述第一隐向量网络P和所述第二隐向量网络Q，重复上述步骤S210～S240。
其中，P网络和Q网络的输出都是一种正态分布的均值和标准差，通过均值和标准差采样得到隐向量，P网络得到的第一隐向量ZP中能够包含对应目标回复的语义信息，当经过反复不断地训练，Q网络的输出与P网络越来越接近时，可以认为第二隐向量zQ中也能够包含该回复的语义信息，进而在实际应用的模型中，只输入本轮输入向量H，就能够通过隐向量网络模型得到带有相应回复语义信息的隐向量Z。
按照上述步骤，为了建立获取带有回复语义信息的隐向量Z的网络模型，采用两个网络同时训练的方式，两个网络输入元素不同，通过反馈机制，让它们的输出相互靠近，进而实现当输入数据中没有回复数据时，也能够获取包含回复数据语义信息的隐向量。
步骤S150是为了获取目标回复的情感标签，根据所述本轮用户对话隐向量Z，获取情感标签向量el。
优选地，在一种可选的实施方式中，可以将得到的隐向量Z输入训练好的情感监督网络模型中，该网络模型对应的监督标签即是目标回复的情感类型，例如：喜欢、讨厌、难受、生气等。因此，网络输出的数据即是对应的情感标签向量el，包含了目标回复中不同类型的情感信息。
在前述的各项数据计算完成后，在步骤S160中，即可通过这些数据解码生成目标回复。即，根据所述本轮用户对话隐向量Z、所述情感标签向量el、所述融合注意力向量M以及上一轮回复词向量yu-1和上一轮回复隐向量su-1，获取本轮回复隐向量su。如下式所示：
su＝Recorder(M，el，yu-1，Z，su-1)
式中，Recorder表示解码单元，优选地，这里可以选择单向一层的门控循环网络(GRU)作为解码器。在每一步进行解码时，都需要将上一轮解码得到的回复单词对应的词向量yu-1、上一个解码单元的输出向量su-1输入当前的解码单元中，融合注意力向量M中包含了主题感知信息，情感标签向量el中则包含有回复对应的情感信息，例如悲伤、快乐等，不同的情感类别对应了不同的特定向量，综合这些数据，最终解码计算出本轮回复隐向量su。
之后进行步骤S170，根据所述本轮回复隐向量su与本轮用户对话隐向量Z获取本轮情感回复。
在包含情感的句子中，我们可以把全部词语分为三个类别：关键词、普通词和情感词。关键词表示句子核心的含义，一般为名词或者动词；情感词体现了句子的情感倾向，例如喜欢、讨厌、难受等等；普通词在二者之外，起到连接、补充句子语义，使句子完整、通顺的作用。不同类型的词语在句子中也具有不同的分布模式，例如，情感词通常会位于关键词之后。在步骤S170中，即是通过本轮回复隐向量su与本轮用户对话隐向量Z获取待回复句子中的词语类别分布，并计算各词语可能的概率，最终组合成本轮包含情感的回复语句。
在本实施例一项可选的实施方式中，如图6所示，步骤S170具体可包括以下步骤：
步骤S171：将所述本轮回复隐向量su与所述本轮用户对话隐向量Z拼接，根据拼接后的向量得到所述本轮情感回复中的词语类型分布；
步骤S172：计算不同类型词语在所述本轮情感回复中的词语概率分布；
步骤S173：根据词语概率分布对所述词语类型分布进行加权求和，得到所述本轮情感回复。
具体地，在步骤S171中，可以按照下述公式计算本轮情感回复中的词语类型分布：
τe，k，o＝softmax(Weko*tanh(WsZ[su；Z])+bsZ)
其中，τe，k，o是一个长度为3的向量，分别表示情感词、关键词、普通词的词语类型分布，Weko、WsZ为相应的权重矩阵，bsZ为参考变量，通过训练过得。
步骤S172中，可通过下述公式计算不同类型词语的词语概率分布：
P(yeu)＝softmax(We*[su；Z；el])
P(yku)＝softmax(Wk*[su；Mu])
P(you)＝softmax(Wo*su)
其中P(yeu)、P(yku)、P(you)分别表示本次回复中情感词、关键词、普通词的概率分布，We、Wk、Wo分别为对应三种类型词语的权重矩阵。在计算情感词概率分布时额外引入了情感标签
得到本轮回复中的词语类型分布、词语概率分布后，在每个位置选择概率最大的词语，进行步骤S173，分别加权求和，得到本轮情感回复yu：
其中，we、wk、wo分别表示概率最大的情感词、关键词和普通词。通过上述方案，即可获得对应的本轮系统回复。
对于同一组输入对话，根据情感标签的不同，系统可能生成不同的包含情感的回复内容，如下述的样例表所示：
表1本轮情感回复样例
对于智能客服应用来说，一般在进行回复时不应当包括一些负面情绪，故在实际应用中，可以在情感标签的设置和训练上选择合适的情感标签，例如喜欢、快乐、抱歉等，使得现有的智能客服更人性化，与用户交流更轻松、自然。
本实施例中，有效地在系统回复中引入了情感信息，并且引入了外部主题常识，保证了生成的回复与输入的对话内容在同一主题之下。本实施例通过大规模带有情感标签的对话语料中训练，生成模型，利用隐变量来学习情感语句的语义信息以及分布特征来辅助回复语句的生成。
实施例二
在本实施例中，提供了一种包含情感的智能客服对话回复生成装置，具体地，如图7所示，包括：
输入编码模块10，用于获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；
主题获取模块20，用于获取与所述本轮用户对话对应的主题词向量；
注意力融合模块30，用于根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；
隐向量获取模块40，用于根据所述本轮输入向量，获取本轮用户对话隐向量；
情感感知模块50，用于根据所述本轮用户对话隐向量，获取情感标签向量；
回复计算模块60，用于根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量；
回复生成模块70，用于根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复。
其中，输入编码模块10，用于获取本轮用户输入的会话内容，例如“信用卡的还款期限”。用户输入的会话内容可以为完整的句子，也可以为具体的词语组成的有含义的短句。进一步地，根据需要，对用户会话内容进行预处理，例如分词、去除停用词、语气词等步骤，本发明在此不进行限制。
在本实施例一种可选的实施方式中，输入编码模块10可以包括双向门控循环神经网络(Bi-GRU)作为编码器，计算本轮用户对话对应的本轮输入向量。
主题获取模块20，用于获取与所述本轮用户对话对应的主题词向量。优选地，在本实施例一项可选的实施方式中，主题获取模块20还包括：
主题匹配单元21，用于根据所述本轮输入向量，获取与所述本轮用户对话最匹配的主题；
主题词筛选单元22，用于选取所述主题下概率高于预设阈值的多个主题词；
词向量查询单元23，用于在词向量表中查询所述多个主题词对应的主题词向量。
优选地，主题匹配单元21可以采用训练好的适用于短文本的主题模型(BTM)为本轮用户输入的会话匹配最相关的主题。BTM模型是一种概率模型，它的输入是一段文本，模型会为当前输入的文本分配一个最可能的主题，在该主题下，按照概率从高到低提供了多个主题词。进一步地，主题词筛选单元22在这些主题词中选取概率高于预设阈值的多个主题词，例如20～40个主题词进行后续的注意力生成。词向量查询单元23在词向量表中查询个主题词对应的主题词向量。
优选地，所述主题词还包括以下一种或多种的任意组合：对所述本轮用户对话进行关键词提取得到的关键词、对所述本轮用户对话进行实体抽取得到的实体词、对所述关键词进行同义词拓展得到的关键词同义词、对所述实体词进行同义词拓展得到的实体词同义词。
对主题词进行拓展是为了进一步提高主题模型的准确率，关键词提取、实体词抽取的方法本发明在此不做限制，例如可以通过Textbank工具进行关键词提取。对于提取得到的关键词、实体词，可以通过同义词词库进行拓展，再获取多个同义词，这些提取到的关键词、实体词以及拓展得到的同义词都可以作为外部主题的一部分。
获取主题信息之后，注意力融合模块30通过注意力机制将主题词引入到模型中。在本发明中，根据本轮输入向量、主题词向量，计算不同机制的注意力向量，并最后将多种注意力向量融合得到融合注意力向量。
在本实施例一项可选的实施方式中，所述多种注意力向量包括上下文注意力向量和主题注意力向量。
基于此，可选地，注意力融合模块30还包括：
词语权重计算单元31，用于根据所述上一轮回复隐向量、所述本轮输入向量计算对话词语权重；
主题词权重计算单元32，用于根据编码器隐状态、所述本轮输入向量、所述主题词向量计算主题词权重；
上下文注意力向量计算单元33，用于根据所述对话词语权重和所述本轮输入向量计算所述上下文注意力向量；
主题注意力向量计算单元34，用于根据所述主题词权重和所述主题词向量计算所述主题注意力向量。
得到本轮的多种注意力向量之后，通过数据融合的方式将各个注意力向量融合为融合注意力向量，在融合注意力向量中包含了用户对话所属主题的信息，能够更准确地预测并给出相应的回复。
优选地，在多种注意力向量包括上下文注意力向量和主题注意力向量的前提下，在本实施例一项可选的实施方式中，注意力融合模块30还包括：
向量拼接单元35，用于将所述上下文注意力向量和所述主题注意力向量拼接为第一融合向量；
向量融合单元36，用于将所述第一融合向量通过多层感知器融合得到所述融合注意力向量。
即，计算得到上下文注意力向量、主题注意力向量后，向量拼接单元35将二者拼接，拼接的顺序本发明不进行限制，但需要在各轮对话中保持统一，并与多层感知器训练时的样本素材匹配一致。向量融合单元36中的多层感知器是一种训练好的神经网络模型，例如全连接神经网络模型。
隐向量获取模块40用于根据所述本轮输入向量，获取本轮用户对话隐向量。
优选地，在一种可选的实施方式中，可以将所述本轮输入向量通过训练好的隐向量网络模型，得到所述本轮用户对话隐向量。本轮用户对话隐向量中包含有对应用户输入对话的系统回复相应的语义和句式信息。
情感感知模块50用于获取目标回复的情感标签，根据所述本轮用户对话隐向量，获取情感标签向量。
优选地，在一种可选的实施方式中，可以将得到的隐向量输入训练好的情感监督网络模型中，该网络模型对应的监督标签即是目标回复的情感类型，例如：喜欢、讨厌、难受、生气等。因此，网络输出的数据即是对应的情感标签向量，包含了目标回复中不同类型的情感信息。
在前述的各项数据计算完成后，回复计算模块60即可通过这些数据解码生成目标回复。即，根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量。
优选地，这里可回复计算模块60中的解码单元以选择单向一层的门控循环网络(GRU)作为解码器。
回复生成模块70根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复。
在包含情感的句子中，我们可以把全部词语分为三个类别：关键词、普通词和情感词。关键词表示句子核心的含义，一般为名词或者动词；情感词体现了句子的情感倾向，例如喜欢、讨厌、难受等等；普通词在二者之外，起到连接、补充句子语义，使句子完整、通顺的作用。不同类型的词语在句子中也具有不同的分布模式，例如，情感词通常会位于关键词之后。回复生成模块70即是通过本轮回复隐向量与本轮用户对话隐向量获取待回复句子中的词语类别分布，并计算各词语可能的概率，最终组合成本轮包含情感的回复语句。
在本实施例一项可选的实施方式中，回复生成模块70具体可包括：
词语类型分布获取单元71，用于将所述本轮回复隐向量与所述本轮用户对话隐向量拼接，根据拼接后的向量得到所述本轮情感回复中的词语类型分布；
词语概率分布获取单元72，用于计算不同类型词语在所述本轮情感回复中的词语概率分布；
回复获取单元73，用于根据词语概率分布对所述词语类型分布进行加权求和，得到所述本轮情感回复。
本实施例中的包含情感的智能客服对话回复生成装置能够在进行人机对话时进行带有感情色彩的回复，并且保证了回复内容与会话内容主题的一致性。
实施例三
需要说明的是，根据本申请实施例的包含情感的智能客服对话回复生成装置可以作为一个软件模块和/或硬件模块而集成到电子设备80中，换言之，该电子设备80可以集成上述实施例中的包含情感的智能客服对话回复生成装置。例如，该包含情感的智能客服对话回复生成装置可以应用于该电子设备80的操作系统中的一个软件模块，或者可以应用于针对于其所开发的一个应用程序；当然，该包含情感的智能客服对话回复生成装置同样可以继承与该电子设备80的众多硬件模块之一的装置中。
在本申请另一实施例中，该包含情感的智能客服对话回复生成装置所集成的载体与该电子设备80也可以是分立的设备(例如，服务器)，并且该包含情感的智能客服对话回复生成装置集成的载体可以通过有线和/或无线网络连接到该电子设备80，并且按照约定的数据格式来传输交互信息。
图8所示为本申请一实施例提供的电子设备80的结构示意图。如图8所示，该电子设备80包括：一个或多个处理器81和存储器82；以及存储在存储器82中的计算机程序指令，计算机程序指令在被处理器81运行时使得处理器81执行如上述任一实施例的包含情感的智能客服对话回复生成方法。
处理器81可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备80中的其他组件以执行期望的功能。
存储器82可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器81可以运行所述程序指令，以实现上文所述的本申请的各个实施例的包含情感的智能客服对话回复生成装置中的步骤以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
在一个示例中，电子设备80还可以包括：输入装置83和输出装置84，这些组件通过总线系统和/或其他形式的连接机构(图8中未示出)互连。
该输出装置84可以向外部输出包括本轮情感回复在内的各种信息，可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图中仅示出了该电子设备80中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备80还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的包含情感的智能客服对话回复生成方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述包含情感的智能客服对话回复生成装置部分中描述的根据本申请各种实施例的包含情感的智能客服对话回复生成装置中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要指出的是，在本申请的装置和设备中，各部件是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种包含情感的智能客服对话回复生成方法，其特征在于，包括以下步骤：
获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；
获取与所述本轮用户对话对应的主题词向量；
根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；
根据所述本轮输入向量，获取本轮用户对话隐向量；
根据所述本轮用户对话隐向量，获取情感标签向量；
根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量；
根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复；
其中，所述多种注意力向量包括上下文注意力向量和主题注意力向量；所述根据所述本轮输入向量与所述主题词向量，计算多种注意力向量包括：
根据所述上一轮回复隐向量和所述本轮输入向量计算对话词语权重；所述对话词语权重的计算方法为：
其中，αui表示第u轮对话中，用户输入对话的第i个词语对应的对话词语权重，hi表示本轮输入向量中对应第i个词语的隐状态向量，n表示词语的数目，su-1表示上一轮对话中系统回复时获取的隐向量，μ表示为计算对话词语权重选用的一个神经网络模型；
根据编码器隐状态、所述本轮输入向量和所述主题词向量计算主题词权重；所述主题词权重的计算方法为：
其中，βuq表示第u轮对话中，外部主题常识中的第q个主题词对应的主题词权重，tq表示对应第q个主题词的主题词向量，tp表示对应第p个主题词的主题词向量，l表示主题词的数目，r表示编码器的隐状态，是编码器最后一个时间步的隐状态，代表整个句子的语义信息，ρ表示为计算主题词权重选用的一个神经网络模型；
根据所述对话词语权重和所述本轮输入向量计算所述上下文注意力向量；
根据所述主题词权重和所述主题词向量计算所述主题注意力向量。
2.如权利要求1所述的方法，其特征在于，所述获取与所述本轮用户对话对应的主题词向量包括：
根据所述本轮输入向量，获取与所述本轮用户对话最匹配的主题；
选取所述主题下概率高于预设阈值的多个主题词；
在词向量表中查询所述多个主题词对应的主题词向量。
3.如权利要求2所述的方法，其特征在于，所述主题词还包括以下一种或多种的任意组合：
对所述本轮用户对话进行关键词提取得到的关键词，
对所述本轮用户对话进行实体抽取得到的实体词，
对所述关键词进行同义词拓展得到的关键词同义词；
对所述实体词进行同义词拓展得到的实体词同义词。
4.如权利要求1所述的方法，其特征在于，所述融合为融合注意力向量包括：
将所述上下文注意力向量和所述主题注意力向量拼接为第一融合向量；
将所述第一融合向量通过多层感知器融合得到所述融合注意力向量。
5.如权利要求1所述的方法，其特征在于，所述根据所述本轮输入向量，获取本轮用户对话隐向量包括：
将所述本轮输入向量通过训练好的隐向量网络模型，得到所述本轮用户对话隐向量；
其中，所述隐向量网络模型的训练方法为：
获取用户会话训练数据和目标回复训练数据；
将所述用户会话训练数据与所述目标回复训练数据拼接，训练第一隐向量网络，所述第一隐向量网络输出第一正态分布均值与第一标准差；
利用所述用户会话训练数据训练第二隐向量网络，所述第二隐向量网络输出第二正态分布均值与第二标准差；
根据所述第一正态分布均值和所述第一标准差采样得到第一隐向量，根据所述第二正态分布均值和所述第二标准差采样得到第二隐向量；
根据所述第一隐向量和所述第二隐向量计算相对熵，若所述相对熵符合预设的要求，则训练完成，将所述第二隐向量网络作为所述隐向量网络模型；否则，将所述相对熵反向传播回所述第一隐向量网络和所述第二隐向量网络，重复上述训练的步骤。
6.如权利要求1所述的方法，其特征在于，所述根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复包括：
将所述本轮回复隐向量与所述本轮用户对话隐向量拼接，根据拼接后的向量得到所述本轮情感回复中的词语类型分布；
计算不同类型词语在所述本轮情感回复中的词语概率分布；
根据词语概率分布对所述词语类型分布进行加权求和，得到所述本轮情感回复。
7.一种包含情感的智能客服对话回复生成装置，其特征在于，包括：
输入编码模块，用于获取本轮用户对话，对所述本轮用户对话进行编码，得到本轮输入向量；
主题获取模块，用于获取与所述本轮用户对话对应的主题词向量；
注意力融合模块，用于根据所述本轮输入向量与所述主题词向量，计算多种注意力向量，并融合为融合注意力向量；
隐向量获取模块，用于根据所述本轮输入向量，获取本轮用户对话隐向量；
情感感知模块，用于根据所述本轮用户对话隐向量，获取情感标签向量；
回复计算模块，用于根据所述本轮用户对话隐向量、所述情感标签向量、所述融合注意力向量以及上一轮回复词向量和上一轮回复隐向量，获取本轮回复隐向量；
回复生成模块，用于根据所述本轮回复隐向量与本轮用户对话隐向量获取本轮情感回复；
其中，所述多种注意力向量包括上下文注意力向量和主题注意力向量；
所述注意力融合模块，还用于根据所述上一轮回复隐向量和所述本轮输入向量计算对话词语权重；根据编码器隐状态、所述本轮输入向量和所述主题词向量计算主题词权重；根据所述对话词语权重和所述本轮输入向量计算所述上下文注意力向量；根据所述主题词权重和所述主题词向量计算所述主题注意力向量；
所述对话词语权重的计算方法为：
其中，αui表示第u轮对话中，用户输入对话的第i个词语对应的对话词语权重，hi表示本轮输入向量中对应第i个词语的隐状态向量，n表示词语的数目，su-1表示上一轮对话中系统回复时获取的隐向量，μ表示为计算对话词语权重选用的一个神经网络模型；
所述主题词权重的计算方法为：
其中，βuq表示第u轮对话中，外部主题常识中的第q个主题词对应的主题词权重，tq表示对应第q个主题词的主题词向量，tp表示对应第p个主题词的主题词向量，l表示主题词的数目，r表示编码器的隐状态，是编码器最后一个时间步的隐状态，代表整个句子的语义信息，ρ表示为计算主题词权重选用的一个神经网络模型。
8.一种电子设备，包括存储器、处理器及输出装置，其特征在于，所述处理器运行计算机指令时执行权利要求1至6任一项所述方法的步骤，所述输出装置适于输出所述本轮情感回复。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～6中所述的方法步骤。
CN202010333255.5A 2020-04-24 2020-04-24 一种包含情感的智能客服对话回复生成方法、装置及电子设备 Active CN111522936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333255.5A CN111522936B (zh) 2020-04-24 2020-04-24 一种包含情感的智能客服对话回复生成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333255.5A CN111522936B (zh) 2020-04-24 2020-04-24 一种包含情感的智能客服对话回复生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111522936A CN111522936A (zh) 2020-08-11
CN111522936B true CN111522936B (zh) 2023-08-04

Family

ID=71903458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333255.5A Active CN111522936B (zh) 2020-04-24 2020-04-24 一种包含情感的智能客服对话回复生成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111522936B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434143B (zh) * 2020-11-20 2022-12-09 西安交通大学 基于gru单元隐藏状态约束的对话方法、存储介质及系统
CN112905776B (zh) * 2021-03-17 2023-03-31 西北大学 一种情感对话模型构建方法、情感对话系统及方法
CN113569559B (zh) * 2021-07-23 2024-02-02 北京智慧星光信息技术有限公司 短文本实体情感分析方法、系统、电子设备及存储介质
CN114385802A (zh) * 2022-01-10 2022-04-22 重庆邮电大学 一种融合主题预测和情感推理的共情对话生成方法
CN115834538B (zh) * 2022-11-03 2024-07-16 宁德时代新能源科技股份有限公司 编码处理方法、装置、设备、存储介质和程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448670A (zh) * 2016-10-21 2017-02-22 竹间智能科技（上海）有限公司 基于深度学习和强化学习的自动回复对话系统
CN108595436A (zh) * 2018-04-28 2018-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
CN110427490A (zh) * 2019-07-03 2019-11-08 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448670A (zh) * 2016-10-21 2017-02-22 竹间智能科技（上海）有限公司 基于深度学习和强化学习的自动回复对话系统
CN108595436A (zh) * 2018-04-28 2018-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
CN110427490A (zh) * 2019-07-03 2019-11-08 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨燕. ECNU at 2016 LiveQA Track: A Parameter Sharing Long Short Term Memory Model for Learning Question Similarity.TREC2016.2016,全文. *

Also Published As

Publication number Publication date
CN111522936A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111522936B (zh) 一种包含情感的智能客服对话回复生成方法、装置及电子设备
CN110427617B (zh) 推送信息的生成方法及装置
CN108846077B (zh) 问答文本的语义匹配方法、装置、介质及电子设备
Wen et al. Dynamic interactive multiview memory network for emotion recognition in conversation
CN112560503A (zh) 融合深度特征和时序模型的语义情感分析方法
CN109800434B (zh) 基于眼动注意力的抽象文本标题生成方法
Zhang et al. Neural multimodal belief tracker with adaptive attention for dialogue systems
CN114676234A (zh) 一种模型训练方法及相关设备
CN114528898A (zh) 基于自然语言命令的场景图修改
CN111522924A (zh) 一种带有主题感知的情感聊天式回复生成方法
CN110263147A (zh) 推送信息的生成方法及装置
Khan et al. A deep neural framework for image caption generation using gru-based attention mechanism
CN116402066A (zh) 多网络特征融合的属性级文本情感联合抽取方法及系统
CN113553418A (zh) 一种基于多模态学习的视觉对话生成方法及装置
Parvin et al. Transformer-based local-global guidance for image captioning
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
He et al. Deep learning in natural language generation from images
Wang et al. Effective utilization of external knowledge and history context in multi-turn spoken language understanding model
CN116662495A (zh) 问答处理方法、训练问答处理模型的方法及装置
CN117765450B (zh) 一种视频语言理解方法、装置、设备及可读存储介质
CN111460118A (zh) 一种人工智能冲突语义识别方法及装置
CN113076718B (zh) 一种商品属性抽取方法及其系统
Yang et al. Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey
CN115422388B (zh) 一种视觉对话方法及系统
CN115248846B (zh) 文本识别方法、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant