CN112364148A - 一种基于深度学习方法的生成型聊天机器人 - Google Patents

一种基于深度学习方法的生成型聊天机器人 Download PDF

Info

Publication number
CN112364148A
CN112364148A CN202011424143.7A CN202011424143A CN112364148A CN 112364148 A CN112364148 A CN 112364148A CN 202011424143 A CN202011424143 A CN 202011424143A CN 112364148 A CN112364148 A CN 112364148A
Authority
CN
China
Prior art keywords
knowledge
historical
layer
representation
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011424143.7A
Other languages
English (en)
Other versions
CN112364148B (zh
Inventor
包铁
于洪江
彭涛
白诗瑶
崔海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011424143.7A priority Critical patent/CN112364148B/zh
Publication of CN112364148A publication Critical patent/CN112364148A/zh
Application granted granted Critical
Publication of CN112364148B publication Critical patent/CN112364148B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G06F40/157—Transformation using dictionaries or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于深度学习方法的生成型聊天机器人，包括历史对话编码、知识选择、知识编码和对话生成，所述历史对话编码首先将历史对话拼接，然后将其转化为向量表示，之后利用双向门控神经单元对历史对话进行编码，并经过一个注意力层得到其表示，再对历史对话中的每个对话表示经过一个双向门控神经单元，同样并经过一个注意力层，得到最终的历史对话表示。本发明在传统seq2seq模型的基础上，通过引入外部知识与知识编码器的方式对上述问题进行改善，首先知识编码器在知识选择时会保存对话主题，相当于保存了历史对话中的关键信息。

Description

一种基于深度学习方法的生成型聊天机器人
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于深度学习方法的生成型聊天机器人。
背景技术
随着互联网、信息通讯以及人工智能技术的发展，人机对话系统与生俱来的自然便捷性，使其作为一种与计算设备交流的新型方式，被认为是继鼠标键盘敲击、屏幕触控之后，未来的新一代交互范式。人机对话技术已经被工业界应用到各种类型的产品服务中。人们耳熟能详的有苹果公司的Siri、微软的Cortana、谷歌的Allo和百度的度秘等个人助理系统，还包括亚马逊的Echo智能家居服务系统以及阿里巴巴的小蜜电商智能客服系统等。这些人机对话产品给人们的日常生活带来了极大的便利性，影响着数以亿计的消费者用户。根据其具体应用，对话系统大致可以分为两类：(1)面向任务的系统和(2)非面向任务的系统(也称为聊天机器人)。其中，非面向任务的对话系统与人类交互，提供合理的回复和娱乐消遣功能，通常情况下主要集中在开放的领域与人交谈。虽然非任务导向的系统似乎在进行聊天，但是它在许多实际应用程序中都发挥了作用。例如，在网上购物场景中，近80％的话语是聊天信息，处理这些问题的方式与用户体验密切相关。
一般来说，对于非任务导向型对话系统，目前主要有两种构建方法：
1)基于检索的方法，从事先定义好的索引中进行搜索，学习从当前对话中选择回复。检索型方法的缺点在于它过于依赖数据质量，如果选用的数据质量欠佳，那就很有可能前功尽弃；
2)生成方法，在对话过程中产生合适的回复，和检索型聊天机器人不同的是，它可以生成一种全新的回复。
当前，对话系统在各个领域越来越引起人们的重视，深度学习技术的不断进步极大地推动了对话系统的发展。对于对话系统，深度学习技术可以利用大量的数据来学习特征表示和回复生成策略，这其中仅需要少量的手工操作。因此，基于深度学习的生成型聊天机器人是发展的趋势所在。
此外，知识图谱作为当代人工智能领域的重要组成部分，无论是自然语言处理领域还是在其他研究领域，都有着出色的表现。知识图谱可以作为人工智能智能应用强大的核心，也可以作为互联网系统很好的辅助。
基于深度学习方法的生成型聊天机器人一般是基于传统的序列到序列模型进行构建。seq2seq模型是由Google Brain团队和Yoshua Bengio两个团队各自独立的提出，该模型突破了传统的固定大小输入问题框架，开通了将经典深度神经网络模型运用于翻译与职能问答这一类序列型任务的先河，不仅在机器翻译任务中表现优异，在聊天机器人，文本生成等自然语言处理领域的生成任务中都被证实有着非常好的表现。
但直接将seq2seq模型应用到聊天机器人存在着以下问题：
1)易产生无关紧要的或不明确的、通用的、没有意义的回复，如“我不知道”、“哈哈”这样的无实际含义的回复；
2)聊天机器人一般都是多轮对话，针对多轮数长对话，模型难以保存之前的记忆，可能会导致前后对话主题不一致；
3)针对同一主题的不同表述，可能会得到不一样的结果。
问题1和3的出现主要是因为模型不像人类一样拥有一定的先验知识，而问题2则是因为传统的seq2seq是基于深度神经网络(递归神经网络(RNN))等进行序列的编码，在轮数过多或者对话过长时，无法捕捉对话的全部信息。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于深度学习方法的生成型聊天机器人。
技术方案：为实现上述目的，本发明提供如下技术方案：
一种基于深度学习方法的生成型聊天机器人，包括历史对话编码、知识选择、知识编码和对话生成，所述历史对话编码首先将历史对话拼接，然后将其转化为向量表示，之后利用双向门控神经单元对历史对话进行编码，并经过一个注意力层得到其表示，再对历史对话中的每个对话表示经过一个双向门控神经单元，同样并经过一个注意力层，得到最终的历史对话表示；
知识选择从知识库中检索出与当前文本相似程度最高的知识作为当前的对话背景知识库，使用相似度匹配算法对候选的知识进行排序，按照一定的阈值选取最终的背景知识作为辅助回答的知识库；
知识编码将选取的离散背景知识进行编码，首先利用word2vec预训练词向量进行编码，在知识量较少时可以考虑手动构建字典，然后经过一层双向门控神经单元获取上下文特征，再分别经过一层双向门控神经单元以及胶囊网络层提取深层特征，最后拼接两个网络层的输出计算注意力得到最终的知识表示；
对话生成将历史对话编码以及知识编码的输出拼接作为完整的历史对话信息表示，然后利用其初始化decoder，decoder也是一个双向门控神经单元结构，基于decoder每时刻的输出等计算概率找到最终的生成词。
优选地，所述历史对话编码中首先利用word2vec预训练词向量对历史对话进行编码，然后对单词级和句子级的特征进行层级提取；第一层为单词级别的特征提取，将历史对话拼接作为双向门控神经单元的输入，获取单词之间的联系，然后通过一个词级别的注意力层捕捉关键单词，得到句子表示，以第i个句子举例，具体公式如下：
xi，j＝Embedding(wi，j)j∈[1，l] (1)
Figure BDA0002823995940000041
Figure BDA0002823995940000042
Figure BDA0002823995940000043
ui，j＝t anh(Wshi，j+bs) (5)
Figure BDA0002823995940000044
Figure BDA0002823995940000045
其中l表示第i个句子的token数，uw是单词的全局特征向量，维度与hi，j的维度一致，并在训练之前随机初始化，训练中不断迭代更新。si作为第i个句子的表示；
第二层为句子级别的特征提取。双向GRU的输入不再是历史对话拼接，而是每个对话的表示，假设一共有N个句子，那么输入即为(s1，...，sn)，获取句子之间的联系，然后通过一个句级别的注意力层捕捉关键句子，得到历史对话表示，具体公式如下
Figure BDA0002823995940000046
Figure BDA0002823995940000047
Figure BDA0002823995940000051
ui＝tanh(Wshi+bs) (11)
Figure BDA0002823995940000052
Figure BDA0002823995940000053
ctv即为历史对话编码器得到的最终表示。
优选地，所述知识选择采用BM25算法衡量候选知识和历史对话的相似度，并选择top-k作为背景知识融入到历史对话中。
优选地，所述知识编码对知识选择得到的背景知识进行编码，首先采用一层双向门控神经单元获得知识的上下文表示，然后采用双向门控神经单元以及胶囊网络两种网络进一步提取知识特征，然后将两个网络的输出进行拼接，再经过一个注意力层，得到最终的知识表示。
优选地，所述对话生成为对话生成解码器，在初始化时利用历史对话以及知识编码的拼接，提供更多的知识，与知识编码结构保持一致，对话生成解码器采用双向门控神经单元来获取最终的解码状态，最后计算出最终的生成词。
优选地，所述胶囊网络从网络结构上也分为编码器与解码器两部分，所述编码器包括卷积层、基本胶囊层和高级胶囊层。
优选地，所述卷积层用于提取输入向量中的特征，作为基本胶囊层的输入；基本胶囊网络层采用16至32个不同的胶囊，输出4维向量；高级胶囊层运用动态路由算法重建对象所需的实例化参数，胶囊网络的解码器需要与Euclidean distance损失函数共同作用，确定实际特征与重组特征的相似度。
有益效果：本发明，有益效果如下：
本发明在传统seq2seq模型的基础上，通过引入外部知识与知识编码器的方式对上述问题进行改善，首先知识编码器在知识选择时会保存对话主题，相当于保存了历史对话中的关键信息；其次知识以三元组的形式从知识库中抽取出来，丰富了对话内容，大大减少万能回复的出现；最后同一实体的相关的知识在不同时刻都是一致的，这样就保持了回复的一致性。
基于公开数据集以及收集的特定领域数据集与单纯的基于GRU的Seq2Seq模型,本文提出模型的简化版，去除知识选择器而使用目标实体的全部背景知识，并且知识编码器采用简单的Seq2Seq编码器,经典的Knowledge-Grounded模型，Knowledge-Grounded模型是第一个完全大数据驱动并且利用数据相关知识的神经网络模型。三个模型进行了对比实验，结果在公开数据集上，从F1值，BLEU和BELU2值这三个指标上本发明提出的模型都要高于其他三个模型，说明本发明无论从生成对话的质量，或是生成对话的丰富程度上都要比其他三个模型。在收集的特定领域数据集上的表现也比其余几个模型要好。
附图说明
图1为本发明算法总体结构图；
图2为本发明知识编码器结构图；
图3为本发明聊天机器人系统流程图；
图4为本发明人机对话流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如附图1-4示，本发明实施例中一种基于深度学习方法的生成型聊天机器人，包括历史对话编码、知识选择、知识编码和对话生成，所述历史对话编码首先将历史对话拼接，然后将其转化为向量表示，之后利用双向门控神经单元对历史对话进行编码，并经过一个注意力层得到其表示，再对历史对话中的每个对话表示经过一个双向门控神经单元，同样并经过一个注意力层，得到最终的历史对话表示；
知识选择从知识库中检索出与当前文本相似程度最高的知识作为当前的对话背景知识库，使用相似度匹配算法对候选的知识进行排序，按照一定的阈值选取最终的背景知识作为辅助回答的知识库；
知识编码将选取的离散背景知识进行编码，首先利用word2vec预训练词向量进行编码，在知识量较少时可以考虑手动构建字典，然后经过一层双向门控神经单元获取上下文特征，再分别经过一层双向门控神经单元以及胶囊网络层提取深层特征，最后拼接两个网络层的输出计算注意力得到最终的知识表示；
对话生成将历史对话编码以及知识编码的输出拼接作为完整的历史对话信息表示，然后利用其初始化decoder，decoder也是一个双向门控神经单元结构，基于decoder每时刻的输出等计算概率找到最终的生成词。
优选地，所述历史对话编码中首先利用word2vec预训练词向量对历史对话进行编码，然后对单词级和句子级的特征进行层级提取；第一层为单词级别的特征提取，将历史对话拼接作为双向门控神经单元的输入，获取单词之间的联系，然后通过一个词级别的注意力层捕捉关键单词，得到句子表示，以第i个句子举例，具体公式如下：
xi，j＝Embedding(wi，j)j∈[1，l] (1)
Figure BDA0002823995940000071
Figure BDA0002823995940000072
Figure BDA0002823995940000073
ui，j＝t anh(Wshi，j+bs) (5)
Figure BDA0002823995940000081
Figure BDA0002823995940000082
其中l表示第i个句子的token数，uw是单词的全局特征向量，维度与hi，j的维度一致，并在训练之前随机初始化，训练中不断迭代更新。si作为第i个句子的表示；
第二层为句子级别的特征提取。双向GRU的输入不再是历史对话拼接，而是每个对话的表示，假设一共有N个句子，那么输入即为(s1，...，sn)，获取句子之间的联系，然后通过一个句级别的注意力层捕捉关键句子，得到历史对话表示，具体公式如下
Figure BDA0002823995940000083
Figure BDA0002823995940000084
Figure BDA0002823995940000085
ui＝tanh(Wshi+bs) (11)
Figure BDA0002823995940000086
Figure BDA0002823995940000087
ctv即为历史对话编码器得到的最终表示。
本实施例的知识选择采用BM25算法衡量候选知识和历史对话的相似度，并选择top-k作为背景知识融入到历史对话中。
若用Q表示输入的历史对话序列，wi代表历史对话序列的中的某个词语；
k表示候选的某一条知识序列。则BM25的一般性算法公式如(14)，其中
ai代表wi的权重。通常用IDF表示；
IDF的计算公式如(15)所示，其中N表示全部的候选背景知识数，n(wi)代表包含wi的知识条数，单词wi与知识k的相关性得分R(wi，k)的计算公式如式(16)所示，其中kl表示知识文本的长度，avgdl表示所有知识文本的平均长度，综上，BM25算法公式如式(17)所示；
Figure BDA0002823995940000091
Figure BDA0002823995940000092
Figure BDA0002823995940000093
Figure BDA0002823995940000094
Figure BDA0002823995940000095
直接运用BM25算法进行知识选择会存在如下问题：在实体的名称特别相似时，如“红旗H7尊享版”与“红旗H5尊享版”，名称特别相似但知识截然不同，在这种情况下会抽取出一些错误的结果。因此本发明考虑了这种情况并提出了一种基于BM25的改进算法，让实体的相似度对最终结果产生较大的影响。计算历史对话与知识的编辑距离平方，将其倒数作为参数加入到BM25算法公式中，最后改进的BM25算法如下；
Figure BDA0002823995940000101
Figure BDA0002823995940000102
本实施例的知识编码对知识选择得到的背景知识进行编码，首先采用一层双向门控神经单元获得知识的上下文表示，然后采用双向门控神经单元以及胶囊网络两种网络进一步提取知识特征，然后将两个网络的输出进行拼接，再经过一个注意力层，得到最终的知识表示。
本实施例的对话生成为对话生成解码器，在初始化时利用历史对话以及知识编码的拼接，提供更多的知识，与知识编码结构保持一致，对话生成解码器采用双向门控神经单元来获取最终的解码状态，最后计算出最终的生成词。
基于上一时刻隐藏状态以及上一时刻最终输出得到当前时刻隐藏状态，然后通过一层softmax函数计算候选词，选择得分最高的作为最终的生成词，公式如(20-23)所示；
ht＝GRU(ht-1，Embedding(ot-1)) (20)
βt＝linear(ht；ctv；ktx) (21)
pt＝softmax(βt) (22)
ot＝argmax(pt) (23)
本实施例的胶囊网络从网络结构上也分为编码器与解码器两部分，所述编码器包括卷积层、基本胶囊层和高级胶囊层。
本实施例的卷积层用于提取输入向量中的特征，作为基本胶囊层的输入；基本胶囊网络层采用16至32个不同的胶囊，输出4维向量；高级胶囊层运用动态路由算法重建对象所需的实例化参数，胶囊网络的解码器需要与Euclidean distance损失函数共同作用，确定实际特征与重组特征的相似度。
本发明可以应用作为客户端的聊天机器人，将整个模型包装成能够与用户聊天的机器人嵌入即时通讯系统中，形成最终的基于汽车领域知识库的人机对话系统。整个系统的流程图如图3所示。
基于图3设计了一个完整的基于Android的即时通讯App，系统的功能包括：新用户注册，用户登陆，好友一对一聊天，添加删除好友，退出当前登陆账号，对当前用户账号的基本信息进行更新，人机对话几个核心功能。其中人机对话即基于本发明提出方法，如图3虚线部分，在此App开发中人机对话只适合汽车领域的对话(知识库以及训练数据集为汽车领域)。人机对话功能流程如图4。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于深度学习方法的生成型聊天机器人，其特征在于，包括历史对话编码、知识选择、知识编码和对话生成，所述历史对话编码首先将历史对话拼接，然后将其转化为向量表示，之后利用双向门控神经单元对历史对话进行编码，并经过一个注意力层得到其表示，再对历史对话中的每个对话表示经过一个双向门控神经单元，同样并经过一个注意力层，得到最终的历史对话表示；
知识选择从知识库中检索出与当前文本相似程度最高的知识作为当前的对话背景知识库，使用相似度匹配算法对候选的知识进行排序，按照一定的阈值选取最终的背景知识作为辅助回答的知识库；
知识编码将选取的离散背景知识进行编码，首先利用word2vec预训练词向量进行编码，在知识量较少时可以考虑手动构建字典，然后经过一层双向门控神经单元获取上下文特征，再分别经过一层双向门控神经单元以及胶囊网络层提取深层特征，最后拼接两个网络层的输出计算注意力得到最终的知识表示；
对话生成将历史对话编码以及知识编码的输出拼接作为完整的历史对话信息表示，然后利用其初始化decoder，decoder也是一个双向门控神经单元结构，基于decoder每时刻的输出等计算概率找到最终的生成词。
2.根据权利要求1所述的一种基于深度学习方法的生成型聊天机器人，其特征在于，所述历史对话编码中首先利用word2vec预训练词向量对历史对话进行编码，然后对单词级和句子级的特征进行层级提取；第一层为单词级别的特征提取，将历史对话拼接作为双向门控神经单元的输入，获取单词之间的联系，然后通过一个词级别的注意力层捕捉关键单词，得到句子表示，以第i个句子举例，具体公式如下：
xi，j＝Embedding(wi，j) j∈[1，l] (1)
Figure FDA0002823995930000021
Figure FDA0002823995930000022
Figure FDA0002823995930000023
ui，j＝t anh(Wshi，j+bs) (5)
Figure FDA0002823995930000024
Figure FDA0002823995930000025
其中l表示第i个句子的token数，uw是单词的全局特征向量，维度与hi，j的维度一致，并在训练之前随机初始化，训练中不断迭代更新。si作为第i个句子的表示；
第二层为句子级别的特征提取。双向GRU的输入不再是历史对话拼接，而是每个对话的表示，假设一共有N个句子，那么输入即为(s1，...，sn)，获取句子之间的联系，然后通过一个句级别的注意力层捕捉关键句子，得到历史对话表示，具体公式如下
Figure FDA0002823995930000026
Figure FDA0002823995930000027
Figure FDA0002823995930000028
ui＝t anh(Wshi+bs) (11)
Figure FDA0002823995930000029
Figure FDA00028239959300000210
ctv即为历史对话编码器得到的最终表示。
3.根据权利要求1所述的一种基于深度学习方法的生成型聊天机器人，其特征在于，所述知识选择采用BM25算法衡量候选知识和历史对话的相似度，并选择top-k作为背景知识融入到历史对话中。
4.根据权利要求1所述的一种基于深度学习方法的生成型聊天机器人，其特征在于，所述知识编码对知识选择得到的背景知识进行编码，首先采用一层双向门控神经单元获得知识的上下文表示，然后采用双向门控神经单元以及胶囊网络两种网络进一步提取知识特征，然后将两个网络的输出进行拼接，再经过一个注意力层，得到最终的知识表示。
5.根据权利要求1所述的一种基于深度学习方法的生成型聊天机器人，其特征在于，所述对话生成为对话生成解码器，在初始化时利用历史对话以及知识编码的拼接，提供更多的知识，与知识编码结构保持一致，对话生成解码器采用双向门控神经单元来获取最终的解码状态，最后计算出最终的生成词。
6.根据权利要求1所述的一种基于深度学习方法的生成型聊天机器人，其特征在于，所述胶囊网络从网络结构上也分为编码器与解码器两部分，所述编码器包括卷积层、基本胶囊层和高级胶囊层。
7.根据权利要求6所述的一种基于深度学习方法的生成型聊天机器人，其特征在于，所述卷积层用于提取输入向量中的特征，作为基本胶囊层的输入；基本胶囊网络层采用16至32个不同的胶囊，输出4维向量；高级胶囊层运用动态路由算法重建对象所需的实例化参数，胶囊网络的解码器需要与Euclidean distance损失函数共同作用，确定实际特征与重组特征的相似度。
CN202011424143.7A 2020-12-08 2020-12-08 一种基于深度学习方法的生成型聊天机器人 Expired - Fee Related CN112364148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011424143.7A CN112364148B (zh) 2020-12-08 2020-12-08 一种基于深度学习方法的生成型聊天机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011424143.7A CN112364148B (zh) 2020-12-08 2020-12-08 一种基于深度学习方法的生成型聊天机器人

Publications (2)

Publication Number Publication Date
CN112364148A true CN112364148A (zh) 2021-02-12
CN112364148B CN112364148B (zh) 2022-05-24

Family

ID=74536673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011424143.7A Expired - Fee Related CN112364148B (zh) 2020-12-08 2020-12-08 一种基于深度学习方法的生成型聊天机器人

Country Status (1)

Country Link
CN (1) CN112364148B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882481A (zh) * 2021-04-28 2021-06-01 北京邮电大学 一种基于slam的移动式多模态交互导览机器人系统
CN113377907A (zh) * 2021-06-08 2021-09-10 四川大学 基于记忆掩码自注意力网络的端到端任务型对话系统
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372200A1 (en) * 2016-06-23 2017-12-28 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
US20180052913A1 (en) * 2016-08-16 2018-02-22 Ebay Inc. Selecting next user prompt types in an intelligent online personal assistant multi-turn dialog
US20180060301A1 (en) * 2016-08-31 2018-03-01 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
US20190228070A1 (en) * 2016-09-30 2019-07-25 Huawei Technologies Co., Ltd. Deep learning based dialog method, apparatus, and device
CN111191015A (zh) * 2019-12-27 2020-05-22 上海大学 一种神经网络电影知识智能对话方法
CN111462750A (zh) * 2020-03-20 2020-07-28 北京邮电大学 语义与知识增强的端到端任务型对话系统及方法
CN111897941A (zh) * 2020-08-14 2020-11-06 腾讯科技（深圳）有限公司 对话生成方法、网络训练方法、装置、存储介质及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372200A1 (en) * 2016-06-23 2017-12-28 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
US20180052913A1 (en) * 2016-08-16 2018-02-22 Ebay Inc. Selecting next user prompt types in an intelligent online personal assistant multi-turn dialog
US20180060301A1 (en) * 2016-08-31 2018-03-01 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
US20190228070A1 (en) * 2016-09-30 2019-07-25 Huawei Technologies Co., Ltd. Deep learning based dialog method, apparatus, and device
CN111191015A (zh) * 2019-12-27 2020-05-22 上海大学 一种神经网络电影知识智能对话方法
CN111462750A (zh) * 2020-03-20 2020-07-28 北京邮电大学 语义与知识增强的端到端任务型对话系统及方法
CN111897941A (zh) * 2020-08-14 2020-11-06 腾讯科技（深圳）有限公司 对话生成方法、网络训练方法、装置、存储介质及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ARAMAKIA E 等: "Statistical Selector of the Best Multiple ICD-coding Method", 《HTTP://LUULULU.COM/PAPER/2007-MEDINFO/MEDINFO07.PDF》 *
J. HE 等: "Hierarchical Attention and Knowledge Matching Networks With Information Enhancement for End-to-End Task-Oriented Dialog Systems", 《IEEE ACCESS》 *
古桂元: "基于知识驱动的人机对话系统设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
赵鹏飞 等: "面向迁移学习的意图识别研究进展", 《计算机科学与探索》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882481A (zh) * 2021-04-28 2021-06-01 北京邮电大学 一种基于slam的移动式多模态交互导览机器人系统
CN113377907A (zh) * 2021-06-08 2021-09-10 四川大学 基于记忆掩码自注意力网络的端到端任务型对话系统
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法
CN113656569B (zh) * 2021-08-24 2023-10-13 电子科技大学 一种基于上下文信息推理的生成式对话方法

Also Published As

Publication number Publication date
CN112364148B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN108874972B (zh) 一种基于深度学习的多轮情感对话方法
CN111897933B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN112364148B (zh) 一种基于深度学习方法的生成型聊天机器人
CN110427461B (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN111159368B (zh) 一种个性化对话的回复生成方法
CN110837548B (zh) 答案匹配方法、装置、电子设备及存储介质
CN117521675A (zh) 基于大语言模型的信息处理方法、装置、设备及存储介质
CN109564572A (zh) 生成用于自动聊天的问题-答案对
CN112214591B (zh) 一种对话预测的方法及装置
CN111966800A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN114443827A (zh) 基于预训练语言模型的局部信息感知对话方法及系统
CN113360618B (zh) 一种基于离线强化学习的智能机器人对话方法及系统
CN110597968A (zh) 一种回复选择方法及装置
CN111382257A (zh) 一种生成对话下文的方法和系统
Mathur et al. A scaled‐down neural conversational model for chatbots
Prakash et al. Chatterbot implementation using transfer learning and LSTM encoder-decoder architecture
CN115858756A (zh) 基于感知情绪倾向的共情人机对话系统
Dihingia et al. Chatbot implementation in customer service industry through deep neural networks
CN111046157A (zh) 一种基于平衡分布的通用英文人机对话生成方法和系统
CN114386426A (zh) 一种基于多元语义融合的金牌话术推荐方法及装置
CN115186071A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN115422388B (zh) 一种视觉对话方法及系统
CN114861627B (zh) 一种基于深度学习的选择题干扰项自动化生成方法及装置
CN114154517B (zh) 一种基于深度学习的对话质量评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220524

CF01 Termination of patent right due to non-payment of annual fee