CN112765333B - 基于情感与提示词结合的自动对话生成方法及系统 - Google Patents

基于情感与提示词结合的自动对话生成方法及系统 Download PDF

Info

Publication number
CN112765333B
CN112765333B CN202110024255.1A CN202110024255A CN112765333B CN 112765333 B CN112765333 B CN 112765333B CN 202110024255 A CN202110024255 A CN 202110024255A CN 112765333 B CN112765333 B CN 112765333B
Authority
CN
China
Prior art keywords
sequence
emotion
cue
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110024255.1A
Other languages
English (en)
Other versions
CN112765333A (zh
Inventor
吕晨
马正
高曰秀
李季
吴琼
马晓慧
吕蕾
刘弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shucong Technology Co.,Ltd.
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110024255.1A priority Critical patent/CN112765333B/zh
Publication of CN112765333A publication Critical patent/CN112765333A/zh
Application granted granted Critical
Publication of CN112765333B publication Critical patent/CN112765333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本公开提出了基于情感与提示词结合的自动对话生成方法及系统，包括如下步骤：获取输入文本及情感标记数据；将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应解码后生成自动对话内容。本公开通过构建序列到序列神经网络模型，将输入的文本、文本相应的情感和提示词，可以更好地根据用户的输入来生成合理流畅的回复信息，提高客户体验度。

Description

基于情感与提示词结合的自动对话生成方法及系统
技术领域
本公开涉及人工智能与软件工程相关技术领域，具体的说，是涉及基于情感与提示词结合的自动对话生成方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
随着信息化社会的发展及人们生活水平的提高，人们对智能化生活的要求越来越高。例如，为了处理生活中一些比较繁琐的小事，人们能期望着拥有一个虚拟代理的帮助；为了能够在闲暇的时候消遣时光，人们期待着能拥有一个足够智能的聊天伙伴系统。
发明人发现，传统的神经对话生成系统从过去的反应中学习，并根据给定的话语生成反应，而未考虑言语行为，如期望的风格或要表达的情感，使得对话生成系统生成的回复不灵活；另外，目前的对话生成系统很少有人对正在进行的对话中的对话流程进行建模，而现实生活中的人们在进行对话时往往会根据一个主题进行谈论，之后主题再根据谈话自然地发生转移。目前的对话生成系统自动生成的自动回复内容不准确，甚至出现答非所问，使得对话不能顺畅进行，不能满足客户体验。
发明内容
本公开为了解决上述问题，提出了基于情感与提示词结合的自动对话生成方法及系统，通过将输入的文本、文本相应的情感和提示词一起输入至序列到序列神经网络模型，从而能生成更加合适流畅的回复，提高了对话自动生成的准确性和流畅度。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于情感与提示词结合的自动对话生成方法，包括如下步骤：
获取输入文本及情感标记数据；
将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；
通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应进行解码生成自动对话内容。
一个或多个实施例提供了基于情感与提示词结合的自动对话生成系统，包括：
获取模块：被配置为用于获取输入文本及情感标记数据；
情感标记嵌入模块：被配置为用于将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；
提示词嵌入及对话内容生成模块：被配置为用于通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应进行解码生成自动对话内容。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
与现有技术相比，本公开的有益效果为：
(1)本公开通过构建序列到序列神经网络模型，将输入的文本、文本相应的情感和提示词，可以更好地根据用户的输入来生成合理流畅的回复信息，提高客户体验度。
(2)本公开使用了基于编码器-解码器结构的序列到序列的学习模型，该模型广泛应用于机器学习，这使得能够开发可扩展的开放域对话系统，不仅限于特定情境设计的某些规则或者算法。
(3)本公开使用了神经网络模型中注意力机制的方法，能够为重要的信息分配较大的权重，以记忆相关重要信息来帮助生成合理流畅的回复。
(4)本公开使用了主题跟踪机制的方法，能够合理地预测下一个自动对话地主题来来确保自动对话回复的流畅性并以此来描述对话状态。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的方法流程图；
图2是本公开实施例1的向序列到序列模型嵌入情感的三种方式的示意图；
图3是本公开实施例1的向序列到序列模型嵌入自适应提示词的示意图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式中公开的技术方案中，如图1所示，基于情感与提示词结合的自动对话生成方法，包括如下步骤：
步骤1、获取输入文本及情感标记数据；
步骤2、将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；
步骤3、通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应解码后生成自动对话内容。
本实施例将输入的文本、文本相应的情感和提示词一起输入至序列到序列神经网络模型中，根据输入文本的内容来生成合理流畅的回复信息，通过将情感与提示词结合的自动对话生成模型可以更好地根据用户的输入来生成合理流畅的回复信息，使用户得到的回复更加有符合语言场景，提高用户体验度。
步骤1中，输入文本为用户输入的对话内容，可以是键盘等输入工具直接输入的文本、语音输入识别后的文本、选择输入的文本等。
情感标记也可以是通过设置情感标记输入库存储，通过用户选择或者自动识别后与输入文本相关的情感元素。
序列到序列神经网络模型是一个条件语言模型，它以输入消息响应对作为输入，序列到序列该模型的目标是使交叉熵损失降到最小。即本步骤中构建的序列到序列神经网络模型，是以使得输入和输出交叉熵损失最小的条件语言模型。
具体的，本实施例中，序列到序列神经网络模型使用了基于编码器-解码器结构的序列到序列的学习模型，如图1所示，该图是所提方法总的流程图，本实施例中，以LSTM(Long-Short Term Memory RNN)为单元的序列到序列模型，并且使用假设生成的单词可以与上一个对话话语中的任何单词对齐的具有综合得分的全局注意力机制。序列到序列神经网络模型包括依次连接的编码器、全局注意力机制模块和解码器，所述编码器和解码器分别采用LSTM(Long-Short Term Memory RNN)神经网络单元。
全局注意力机制模块用于接收编码器的输出，将输入的输入文本的单词分配合适的权重，并输入至解码器。
可选的，编码器可以描述为：
Figure BDA0002889628070000051
Figure BDA0002889628070000052
其中
Figure BDA0002889628070000061
和
Figure BDA0002889628070000062
是编码器在时间t的隐含状态和单元状态。M(x)是输入文本中的单词x的向量表示。
解码器可以描述为：
Figure BDA0002889628070000063
Figure BDA0002889628070000064
Figure BDA0002889628070000065
Figure BDA0002889628070000066
Figure BDA0002889628070000067
其中，
Figure BDA0002889628070000068
和
Figure BDA0002889628070000069
分别是解码器在t时刻的隐含状态和单元状态，αt包含所有编码器的隐含状态，wa是一个随机初始化的可训练矩阵。
步骤2中，将情感标记嵌入至训练好的序列到序列神经网络模型之中，方法可以有很多种，如图2所示，本实施例中提供了三种将情感嵌入至序列到序列模型的方法，可以是将情感标记与输入文本一起添加至编码器进行处理，情感标记在输入文本之前或者之后，第三种方法将所需的情感标记直接注入解码器。
具体的，将每个情感标记作为单个记号并将其与输入文本X连接起来，可以直接串联在输入文本X之前或输入文本X之后。
输入文本X和情感标记Y分别为单词组成的序列，X＝x1,x2,...,xm，Y＝y1,y2,...,yn，连接结合后的序列表示为：
X1＝{e，x1，x2，...，xm}           (Enc-bef)
X2＝{x1，x2，...，xm，e}        (Enc-aft)
其中，e是基于输入文本生成的响应的情感，可以由由情感挖掘分类器从Y获得。Enc-bef和Enc-aft分别表示将情感标记串联在输入文本之前后之后的新序列。
本步骤中通过将两个单独的输入简化为一个，可以实现最小化交叉熵logp(Y|X′)的目标，以便可以在常规序列到序列模型上进行处理和训练。
将每个情感标记作为单个记号并将其与输入文本X连接起来后，模型中(1-2)和(1-6)中的下标m更改为m+1。
第三种方法将所需的情感标记直接注入解码器：
将不同人有不同的说话风格的因素考虑到模型学习中，主要是通过在解码期间将情感向量ve放入其中，解码器中的公式(1-5)改进为：
Figure BDA0002889628070000071
其中，ve从编码器的嵌入层中提取。
情感向量ve指的是根据输入预测出所要表达情感的向量,可以利用现有的情感标签器，先进行训练，在通过输入样本提取情感向量ve。
步骤2中，将输入文本输入至训练好的序列到序列神经网络模型之后，在序列到序列神经网络模型的解码器进行解码之前，还包括如下步骤：采用注意力机制对编码后的输入文本分配权重，将分配权重后的输入文本传输至序列到序列神经网络模型的解码器。
步骤3中，通过主题跟踪来生成合适的提示词，并将生成的提示词输入至序列到序列模型的解码器中，如图3所示，具体方法为：
(1)根据输入文本即为对话内容对相关的提示词进行采样，提取提示词的相关信息，所述相关信息包括：候选提示词(单词)在t时刻的概率分布pt、提示词嵌入的线性转换在t时刻解码器的隐含层状态。
具体的，可以如下：
I＝WIaj+bI                         (3-1)
st＝LSTM De(yt-1,I)                     (3-2)
pt＝softmax(η(st))                     (3-3)
其中，aj表示第j轮对话的提示词，I表示提示词信息，它是提示词嵌入的线性变换。WI和bI分别是权重矩阵和偏差项。yt-1是上一时刻嵌入序列到序列神经网络模型的提示词，pt表示候选提示词(单词)在t时刻的概率分布，η由多层感知器(MLP)层确定。
(2)根据提取的相关信息，对提示词进行选择：通过主题跟踪器来描述对话状态。
本实施例为了模拟自然和连贯的对话流，提供了主题跟踪器来表示主题流。
主题跟踪器的状态向量为：
uj＝LSTM(aj,uj-1)                (3-4)
对话状态为：
Figure BDA0002889628070000081
(3)基于当前对话状态，计算预定义提示词词汇量的概率分布。概率最高的一个将被选作当前提示词。
p(aj|qj)＝softmax(tanh(Waqj+ba))        (3-6)
其中，Wa和ba分别是参数矩阵和偏移量。
本实施例通过将提示词信息输入至解码器中，从而将提示词信息融合到了生成过程中，以确定对话的主题或方向，提高自动生成对话内容的准确性。
上述步骤3可以通过建立选择策略模型实现，与上述序列到序列神经网络模连接，实现提示词信息的嵌入，具体的如图3所示，选择策略模型包括依次连接的主题跟踪器、多层感知器MLP和提示词输出层；所述主题跟踪器的输出和序列到序列神经网络模型的编码器分别连接多层感知器MLP的输入端，多层感知器MLP的输出端连接提示词输出层，所述提示词输出层连接序列到序列神经网络模型的解码器。
本实施例将提示词嵌入至序列到序列模型，给定源输入，策略模型首先对相关的提示词进行采样，然后，将基于对话状态和所选提示词生成响应。之后，在接下来的对话中估计预期的回报并优化策略网络的参数。形式上，将对话的内容和历史提示词赋予序列到序列神经网络模型，基于对话的状态选择一个自适应的关键提示词，然后使用提示词增强响应生成框架生成回复，从而提高对话方向的准确性。
进一步的，还包括训练序列到序列神经网络模型的步骤，具体的，可以包括如下步骤：
步骤2-1、获取输入文本、其情感标记数据以及对话内容的样本集；
步骤2-2、构建序列到序列神经网络模型，将输入文本输入至序列到序列神经网络模型，并将情感标记嵌入至序列到序列神经网络模型之中；
步骤2-3、通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应解码后生成自动对话内容，根据实际的对话内容及自动生成的对话内容的相似度，优化调整模型参数，直到相似度满足设定的阈值。
步骤2-2中，实现方法与步骤2相同，此处不再赘述。
步骤2-3中，根据实际的对话内容及自动生成的对话内容的相似度可以通过计算自动评估指标BLEU分数的方法实现，分数越高说明相似度越高，其他步骤与方法与步骤3中相同，此处不再赘述。
实施例2
基于实施例1的方法，本实施例提供基于情感与提示词结合的自动对话生成系统，包括：
获取模块：被配置为用于获取输入文本及情感标记数据；
情感标记嵌入模块：被配置为用于将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；
提示词嵌入及对话内容生成模块：被配置为用于通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应进行解码生成自动对话内容。
实施例3
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。
实施例4
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.基于情感与提示词结合的自动对话生成方法，其特征是，获取输入文本及情感标记数据；
将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；其中，将情感标记嵌入至训练好的序列到序列神经网络模型中方法为：将每个情感标记作为单个记号并将其与输入文本连接起来，将情感标记串联在输入文本之前或输入文本之后形成新的序列；情感标记可以是通过设置情感标记输入库存储，通过用户选择或者自动识别后与输入文本相关的情感元素；
通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应进行解码生成自动对话内容；其中，通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中的方法为：
根据输入文本对相关的提示词进行采样，提取提示词的相关信息；
根据提取的相关信息，通过主题跟踪器来描述对话状态；
基于当前对话状态，计算预定义提示词词汇量的概率分布，选择概率最高的提示词为当前提示词；
通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中的方法，通过建立选择策略模型实现；选择策略模型包括依次连接的主题跟踪器、多层感知器MLP和提示词输出层；所述主题跟踪器的输出和序列到序列神经网络模型的编码器分别连接多层感知器MLP的输入端，多层感知器MLP的输出端连接提示词输出层，所述提示词输出层连接序列到序列神经网络模型的解码器。
2.如权利要求1所述的基于情感与提示词结合的自动对话生成方法，其特征是：序列到序列神经网络模型包括依次连接的编码器、全局注意力机制模块和解码器，所述编码器和解码器分别采用神经网络单元；全局注意力机制模块用于接收编码器的输出，将输入的输入文本的单词分配的权重，并输入至解码器。
3.如权利要求1所述的基于情感与提示词结合的自动对话生成方法，其特征是：将输入文本输入至训练好的序列到序列神经网络模型之后，在序列到序列神经网络模型的解码器进行解码之前还包括如下步骤：采用注意力机制对编码后的输入文本分配权重，将分配权重后的输入文本传输至序列到序列神经网络模型的解码器。
4.如权利要求1所述的基于情感与提示词结合的自动对话生成方法，其特征是：
训练序列到序列神经网络模型的方法，包括如下步骤：
获取输入文本、其情感标记数据以及对话内容的样本集；
构建序列到序列神经网络模型，将输入文本输入至序列到序列神经网络模型，并将情感标记嵌入至序列到序列神经网络模型之中；
通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应解码后生成自动对话内容，根据实际的对话内容及自动生成的对话内容的相似度，优化调整模型参数，直到相似度满足设定的阈值。
5.如权利要求1所述的基于情感与提示词结合的自动对话生成方法，其特征是：或者，所述将情感标记嵌入至训练好的序列到序列神经网络模型中方法为：
将情感标记信息注入至解码器。
6.基于情感与提示词结合的自动对话生成系统，其特征是，包括：
获取模块：被配置为用于获取输入文本及情感标记数据；
情感标记嵌入模块：被配置为用于将输入文本输入至训练好的序列到序列神经网络模型，并将情感标记嵌入至训练好的序列到序列神经网络模型之中；其中，将情感标记嵌入至训练好的序列到序列神经网络模型中方法为：将每个情感标记作为单个记号并将其与输入文本连接起来，将情感标记串联在输入文本之前或输入文本之后形成新的序列；情感标记可以是通过设置情感标记输入库存储，通过用户选择或者自动识别后与输入文本相关的情感元素；
提示词嵌入及对话内容生成模块：被配置为用于通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中，采用提示词增强响应进行解码生成自动对话内容；其中，通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中的方法为：
根据输入文本对相关的提示词进行采样，提取提示词的相关信息；
根据提取的相关信息，通过主题跟踪器来描述对话状态；
基于当前对话状态，计算预定义提示词词汇量的概率分布，选择概率最高的提示词为当前提示词；
通过主题跟踪来生成提示词，并将生成的提示词输入至序列到序列模型的解码器中的方法，通过建立选择策略模型实现；选择策略模型包括依次连接的主题跟踪器、多层感知器MLP和提示词输出层；所述主题跟踪器的输出和序列到序列神经网络模型的编码器分别连接多层感知器MLP的输入端，多层感知器MLP的输出端连接提示词输出层，所述提示词输出层连接序列到序列神经网络模型的解码器。
7.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项方法所述的步骤。
8.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项方法所述的步骤。
CN202110024255.1A 2021-01-08 2021-01-08 基于情感与提示词结合的自动对话生成方法及系统 Active CN112765333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110024255.1A CN112765333B (zh) 2021-01-08 2021-01-08 基于情感与提示词结合的自动对话生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110024255.1A CN112765333B (zh) 2021-01-08 2021-01-08 基于情感与提示词结合的自动对话生成方法及系统

Publications (2)

Publication Number Publication Date
CN112765333A CN112765333A (zh) 2021-05-07
CN112765333B true CN112765333B (zh) 2023-04-07

Family

ID=75701034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110024255.1A Active CN112765333B (zh) 2021-01-08 2021-01-08 基于情感与提示词结合的自动对话生成方法及系统

Country Status (1)

Country Link
CN (1) CN112765333B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032545B (zh) * 2021-05-29 2021-09-03 成都晓多科技有限公司 基于无监督对话预训练的对话理解与答案配置方法及系统
CN113377938A (zh) * 2021-06-24 2021-09-10 北京小米移动软件有限公司 一种对话处理方法及装置
CN116383652B (zh) * 2023-04-03 2024-02-06 华院计算技术(上海)股份有限公司 模型训练方法、可控文本的生成方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977212A (zh) * 2019-03-28 2019-07-05 清华大学深圳研究生院 对话机器人的回复内容生成方法和终端设备
CN111986687A (zh) * 2020-06-23 2020-11-24 合肥工业大学 基于交互式解码的双语情感对话生成系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763284B (zh) * 2018-04-13 2021-07-20 华南理工大学 一种基于深度学习和主题模型的问答系统实现方法
CN108595436B (zh) * 2018-04-28 2021-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
KR20190134053A (ko) * 2018-05-24 2019-12-04 한국과학기술원 심리상담을 위한 시퀀스-투-시퀀스 신경망 모델 기반 정서적 대화 학습 방법
CN108874972B (zh) * 2018-06-08 2021-10-19 合肥工业大学 一种基于深度学习的多轮情感对话方法
CN111949761B (zh) * 2020-07-06 2023-12-26 合肥工业大学 考虑情感和主题的对话问题生成方法和系统、存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977212A (zh) * 2019-03-28 2019-07-05 清华大学深圳研究生院 对话机器人的回复内容生成方法和终端设备
CN111986687A (zh) * 2020-06-23 2020-11-24 合肥工业大学 基于交互式解码的双语情感对话生成系统

Also Published As

Publication number Publication date
CN112765333A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112765333B (zh) 基于情感与提示词结合的自动对话生成方法及系统
CN110427490B (zh) 一种基于自注意力机制的情感对话生成方法与装置
CN111159368B (zh) 一种个性化对话的回复生成方法
CN110263150B (zh) 文本生成方法、装置、计算机设备及存储介质
CN111897933B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN108415977A (zh) 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN111831798A (zh) 信息处理方法、装置、电子设备及计算机可读存储介质
CN111966800A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN114443827A (zh) 基于预训练语言模型的局部信息感知对话方法及系统
CN112183061B (zh) 一种多意图口语理解方法、电子设备和存储介质
CN113360618B (zh) 一种基于离线强化学习的智能机器人对话方法及系统
CN115563290B (zh) 一种基于语境建模的智能情感识别方法
CN112100350B (zh) 一种用于强化回复个性化表达的开放域对话方法
CN116484879A (zh) 提示信息的生成方法、装置、电子设备及存储介质
CN115186147B (zh) 对话内容的生成方法及装置、存储介质、终端
CN113918813A (zh) 基于聊天记录形式外部知识的人岗推荐方法及装置
Li et al. Image describing based on bidirectional LSTM and improved sequence sampling
CN110992943B (zh) 基于词混淆网络的语义理解方法及系统
CN114386426B (zh) 一种基于多元语义融合的金牌话术推荐方法及装置
CN113779224A (zh) 一种基于用户对话历史的个性化对话生成方法与系统
CN112183062B (zh) 一种基于交替解码的口语理解方法、电子设备和存储介质
CN114281954A (zh) 一种基于关系图注意力网络的多轮对话回复生成系统及方法
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
KR20210022288A (ko) 문장을 이루는 단위를 단계별 확장하여 스텝화한 영어 교육 서비스 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231201

Address after: A0904, 5th Floor, No. 32 Zhongguancun Street, Haidian District, Beijing, 100080

Patentee after: Beijing Shucong Technology Co.,Ltd.

Address before: 250014 No. 88, Wenhua East Road, Lixia District, Shandong, Ji'nan

Patentee before: SHANDONG NORMAL University

TR01 Transfer of patent right