CN111914074B - 基于深度学习与知识图谱的限定领域对话生成方法及系统 - Google Patents

Abstract

本发明提供基于深度学习与知识图谱的限定领域对话生成方法及系统，包括输入特定领域的知识图谱和对话语料；将对话语料中的实体替换为相应类型的标签，使用带有标签的对话语料训练对话生成模型；将用户输入的语句中实体也替换为标签，作为训练后的对话生成模型的输入，输出带有标签槽位的回复，再将回复中的标签槽位填充为知识图谱中相应的实体，生成最终回复。本发明提高了模型自动回答限定领域问题的准确度，并保留了生成回复的用户友好性与多样性，可扩展性强，适于推广应用。

Description

基于深度学习与知识图谱的限定领域对话生成方法及系统

技术领域

本发明属于人机对话系统技术领域，特别涉及一种基于深度学习与知识图谱的对话生成技术方案。

背景技术

人机对话系统是人工智能领域的核心技术之一，它即将成为一种新的人机交互方式，具有重大的研究价值。人类长期研究用自然语言与计算机进行交流，因为这有着重大的意义：人们可以用自己最熟悉的方式来使用计算机，与计算机进行交互，不需要花大量的时间学习和适应计算机语言。随着互联网时代的到来，人机对话系统的使用需求大大增加。例如机票预订、天气信息查询、办公助理等，极大的提高了人与计算机的沟通效率，方便了人们的生活和工作。各大科技巨头也纷纷加入智能对话系统的研究行列并推出相关的产品，如：苹果的siri、微软的Cortana、小冰、百度的小度等。也许在不久的未来，自然语言会代替输入设备和触摸屏成为最广泛的人机交互界面。

人机对话系统主要包括：语音识别、自然语言理解、对话状态跟踪、自然语言生成、语音合成等几个模块。

自然语言生成是人机对话系统中关键的模块之一，其作用是组织适当的应答语句，将系统的答复转换成用户能够理解的自然语言，通常有3种解决方案：基于人工模板、基于知识库检索和基于深度学习的序列到序列生成模型。由于前两种方案的局限性，目前基于深度学习的序列到序列生成模型得到了广泛的关注，并得以快速发展。

然而，传统序列到序列的生成模型的生成依赖于训练语料，并且较难将限定领域内的知识直接融入其中，因此生成的对话往往很难精确回答用户提出的限定领域问题。为了解决上述缺陷，本发明引入了基于知识图谱的问答系统，并通过在训练语料中增加标签的形式，将两种系统进行融合。提高了模型回答限定领域问题的准确度，并保留了生成回复的用户友好性与多样性。

专利CN110502608A为一种意图识别槽填充模型，因此仍然具有意图识别槽填充模型的普遍缺点。除了准备训练语料与知识图谱之外，此专利还需要人工设定意图种类与槽位，使得模型在训练前仍需大量的手工工作，并且可扩展性较差。此外，此专利直接输出知识图谱查询的结果，使得生成的最终回答过于单调直白，丰富性较差。

专利CN111274371A通过模版匹配与基于机器学习的分类器相结合的方式理解用户意图。除了准备训练语料与知识图谱之外，此专利还需要人工编写模版并设定类别，使得模型在训练前仍需大量的手工工作，并且可扩展性较差。此外，此专利直接输出知识图谱中查询得到的结果，使得生成的最终回答过于单调直白，丰富性较差。

可见，现有技术还缺乏实施效果满足需求的解决方案，本发明的提出具有重要实际意义。

发明内容

本发明所要解决的问题是，利用深度学习技术与知识图谱技术来提高特定领域内问答系统的准确性与多样性。

本发明所采用的技术方案提供一种基于深度学习与知识图谱的限定领域对话生成方法，包括以下操作，

输入特定领域的知识图谱和对话语料；

将对话语料中的实体替换为相应类型的标签，使用带有标签的对话语料训练对话生成模型；

将用户输入的语句中实体也替换为标签，作为训练后的对话生成模型的输入，输出带有标签槽位的回复，再将回复中的标签槽位填充为知识图谱中相应的实体，生成最终回复。

而且，将对话语料中的实体替换为相应类型的标签，实现方式为，

定义标签集合，将知识图谱中每种实体类型作为一个标签；

将已有的限定领域对话语料中的实体，替换成知识图谱中对应的类型标签，得到带标签的对话语料。

而且，所述对话生成模型采用序列到序列模型。

而且，所述序列到序列模型使用深度学习模型长短期记忆网络。

而且，将用户输入的语句中实体替换为标签，实现方式为，

预先对知识图谱中的实体训练一个基于BERT的命名实体识别模型，用于识别限定领域的知识图谱中出现的实体；当用户输入语句时，通过命名实体识别模型识别出用户输入的语句中知识图谱中已有的实体集合ES，将其中各实体分别替换成对应类型的标签，将替换后的用户输入语句作为对话生成模型的输入，得到带标签的输出。

而且，将回复中的标签槽位填充为知识图谱中相应的实体，实现方式为，

在特定领域的知识图谱中，依次遍历距离实体集合Es中每个实体i跳的所有节点，i＝0,1,2，若发现类型与生成句子标签相同的实体，则用此实体的名称替换对应标签，其中每个实体至多替换一次标签；

若已经遍历上述全部实体，输出句子中还存在未被替换的标签，则输出回复模板，若输出句子中的所有标签均已被替换，返回替换后的回复语句。

本发明还提供一种基于深度学习与知识图谱的限定领域对话生成系统，用于实现如上所述基于深度学习与知识图谱的限定领域对话生成方法。

综上所述，本发明将基于深度学习的对话生成与基于知识图谱的问答融合到一起，提高了模型自动回答限定领域问题的准确度，并保留了生成回复的用户友好性与多样性。本发明主要提出了以下技术手段：

1、提出了一种对话语料标签替换方式。在传统生成式对话的基础上，增加可以用于替换的标签，将对话生成与特定领域内的问答独立开来。提高了生成回复的准确性，为融合生成式对话与知识图谱问答奠定了基础。

2、融合了生成式对话与知识图谱问答的回复方式。对替换的标签采用参考知识图谱问答的答案检索方式，得到用来替换生成回复中标签的知识图谱中的实体。使得生成的回复同时具有生成式对话的多样性，与知识图谱问答的准确性。

和现有技术相比，本发明区别如下：

一、在无需在训练前进行大量手工工作，只需要准备训练语料与知识图谱即可，无需人工设定意图种类、槽位或模板。

二、可扩展性强。在需要扩展应用领域时，只需增加相应的训练语料与知识图谱内容，无需人工修改意图种类、槽位或模板。

三、生成回复更加多样。本专利通过讲知识图谱问答与对话生成相结合，提高了生成回复的多样性。

附图说明

图1是本发明实施例的流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明实施例中提出一种基于深度学习与知识图谱的限定领域对话生成方法，将序列到序列生成模型与基于知识图谱的问答，通过带标签的训练语料进行融合，自动实现对话生成。本发明首先输入特定领域的知识图谱和对话语料；然后，将对话语料中的实体替换为相应类型的标签，使用带有标签的对话语料训练对话生成模型；最后，将用户输入的语句中实体也替换为标签，作为训练后的对话生成模型的输入，输出带有标签槽位的回复，再将回复中的标签槽位填充为知识图谱中相应的实体，生成最终回复。

参见图1，实施例提出的基于深度学习与知识图谱的限定领域对话生成方法，实现过程包括以下步骤：

步骤1，输入或建立限定领域的知识图谱，并对此知识图谱中的实体训练一个基于BERT的命名实体识别模型，用于识别此限定领域知识图谱中出现的实体。

具体实施时，可以输入已有的限定领域的知识图谱或建立限定领域的知识图谱。知识图谱，也称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示的结果。

BERT(Bidirectional Encoder Representations from Transformers，来自转换器的双向编码器表示)，是谷歌公司提出的一种语言表示模型。BERT旨在通过联合调节所有层中的左右上下文来预训练深度双向表示。因此，只需要一个额外的输出层，就可以对预训练的BERT表示进行微调，从而为广泛的任务(比如回答问题和语言推断任务)创建最先进的模型，而无需对特定于任务进行大量模型结构的修改。具体结构和训练方法可参见现有技术，本发明不予赘述。

命名实体识别(Named Entity Recognition，简称NER)，又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。

具体实施时，可以预先建立所需领域的知识图谱，例如：医学领域、化学领域等。

步骤2，定义标签集合{p₁，p₂，…，p_i，…，p_n}，将步骤1中所述知识图谱中每种实体类型作为一个标签p_i，n为上述知识图谱中实体的类型的种类数。

知识图谱中的每种实体都有自己的类别，根据知识图谱里面的分类，可以得到对应的类别。

步骤3，将对话数据中的实体替换为相应类型的标签，生成带标签的训练语料。

本步骤中，将已有的此限定领域对话语料中的实体替换成知识图谱中对应的类型标签，得到训练语料：可采用软件方式自动检查语料中的句子，若一个句子中存在步骤1中所述知识图谱中的实体，则将实体替换成表示此实体在知识图谱中类型的标签。若一个句子中不存在步骤1中所述知识图谱中的实体，则不对句子做任何处理。对整个训练语料中的每一个句子分别执行上述操作。

实施例中，将实体替换成表示此实体在知识图谱中类型的标签，实现如下：

将对话语料中的在上述知识图谱中的实体s_i替换成对应的标签p_i。在对语料分词时，每个标签p_i作为一个词。

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

步骤4，使用步骤3中所述带标签的对话语料训练深度学习模型，实施例的深度学习模型采用序列到序列模型(Sequence-to-Sequence)。

本步骤使用步骤3所得对话语料训练序列到序列模型(Sequence-to-Sequence)。序列到序列模型为现有技术，本发明不予赘述，可参见I.Sutskever，O.Vinyals，Q.V.Le，I.Sutskever，O.Vinyals，Q.V.Le，Sequence to sequence learning with neuralnetworks，NIPS 4(2014)3104-3112

实施例的序列到序列模型(Sequence-to-Sequence)优选使用深度学习模型长短期记忆网络(Long Short-Term Memory，LSTM)。深度学习模型长短期记忆网络为现有技术，本发明不予赘述，可参见HOCHREITER S，SCHMIDHUBER J.Long short-term memory[J].Neural Computation，1997，9(8)：1735-1780.。

步骤5，训练完毕后，首先对于用户通过文字输入的每一语句，通过步骤1中训练的命名实体识别模型，识别出用户输入中出现在步骤1中所述知识图谱中的实体集合Es。若Es存在，则Es中的每个实体替换成与步骤3中相同的类型标签。若Es不存在，则不对此句做任何处理。

实施例中，用户输入的标签替换，实现如下：

将用户输入语句，通过BERT进行命名实体识别，识别出用户输入中出现在知识图谱中的实体集合Es＝{s₁，s₂，…，s_i，…，s_m}(其中m为用户输入中出现在知识图谱中的实体个数)，将知识图谱中已有的实体s_i分别替换成对应类型的标签p_i；

下一步骤将替换后的用户输入作为训练后的深度学习模型的输入，可得到带标签的输出。

步骤6，将经过步骤5处理后的用户输入作为步骤4中训练完毕的序列到序列模型的输入，得到序列到序列模型的输出，即输出带有标签槽位的回复。

步骤6中序列到序列模型生成的句子中包含的标签，将在后续步骤将标签槽位换成对应的实体名称。

步骤7，将回复中的标签槽位填充为知识图谱中相应的实体，生成最终回复：对于步骤6中得到的序列到序列模型输出，在知识图谱中，依次遍历距离Es中每个实体i(i＝0，1，2)跳的所有节点。在遍历过程中，若句子中存在与当前节点属性相同的标签，则将此标签替换为当前节点的名称，若存在多个标签对应则只替换句子中从左往右第一个标签。若句子中不存在与当前节点属性相同的标签，则跳过当前节点，继续遍历。若已经遍历上述全部实体，输出句子中还存在未被替换的标签，则输出回复模板。若输出句子中的所有标签均已被替换，返回替换后的回复语句。

实施例中，槽位填充实现方式为，

在所述的知识图谱中，依次遍历实体{s₁，s₂，…，s_i，…，s_m}、与实体{s₁，s₂，…，s_i，…，s_m}距离为1的实体、与实体{s₁，s₂，…，s_i，…，s_m}距离为2的实体，若发现类型与生成句子标签相同的实体，则用此实体的名称替换对应标签，其中每个实体s_i最多替换一次标签。

所述遍历结束后，若句子中还存在未被替换的标签，则将安全回复“对不起，我不知道。”作为最终输出。若句子中已不存在标签，则将此句子作为最终的输出。

由于传统序列到序列对话生成，将外部知识融入最终的结果中。因此本专利提出，在传统序列到序列对话生成的基础上，增加标签，通过标签替换，将外部知识融入。相较于传统序列到序列对话生成，本专利通过标签替换，提高了在限定领域内生成回复的准确性。

在知识图谱中寻找用于替换序列到序列模型生成的句子中的标签时，考虑到大多数知识图谱的关系特性与常见问句类型，因此本发明进一步提出设定只遍历距离为0、1、2的实体。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，运行方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习与知识图谱的限定领域对话生成方法，其特征在于：将序列到序列生成模型与基于知识图谱的问答，通过带标签的训练语料进行融合，自动实现对话生成，包括在传统生成式对话的基础上，增加可以用于替换的标签，将对话生成与特定领域内的问答独立开；融合生成式对话与知识图谱问答的回复方式，对替换的标签采用参考知识图谱问答的答案检索方式，得到用来替换生成回复中标签的知识图谱中的实体，使得生成的回复同时具有生成式对话的多样性，与知识图谱问答的准确性；实现过程包括以下操作，

输入特定领域的知识图谱和对话语料，并对此知识图谱中的实体训练一个基于BERT的命名实体识别模型，用于识别此限定领域知识图谱中出现的实体；

定义标签集合{p₁,p₂,…,p_i,…,p_n}，将所述知识图谱中每种实体类型作为一个标签p_i，n为上述知识图谱中实体的类型的种类数，将对话语料中的实体替换为相应类型的标签，基于序列到序列模型，使用带有标签的对话语料训练对话生成模型；

将用户输入的语句中实体也替换为标签，作为训练后的对话生成模型的输入，输出带有标签槽位的回复，再将回复中的标签槽位填充为知识图谱中相应的实体，生成最终回复；

所述用户输入的标签替换实现方式为，将用户输入语句，通过BERT进行命名实体识别，识别出用户输入中出现在知识图谱中的实体集合Es＝{s₁,s₂,…,s_i,…,s_m}，其中m为用户输入中出现在知识图谱中的实体个数，将知识图谱中已有的实体s_i分别替换成对应类型的标签p_i；

所述槽位填充实现方式为，在所述的知识图谱中，依次遍历实体{S₁,s₂,…,s_i,…,s_m}、与实体{s₁,s₂,…,s_i,…,s_m}距离为1的实体、与实体{s₁,s₂,…,s_i,…,s_m}距离为2的实体，若发现类型与生成句子标签相同的实体，则用此实体的名称替换对应标签，其中每个实体s_i最多替换一次标签。

2.根据权利要求1所述基于深度学习与知识图谱的限定领域对话生成方法，其特征在于：将对话语料中的实体替换为相应类型的标签，实现方式为，

定义标签集合，将知识图谱中每种实体类型作为一个标签；

将已有的限定领域对话语料中的实体，替换成知识图谱中对应的类型标签，得到带标签的对话语料。

3.根据权利要求1所述基于深度学习与知识图谱的限定领域对话生成方法，其特征在于：所述对话生成模型采用序列到序列模型。

4.根据权利要求1所述基于深度学习与知识图谱的限定领域对话生成方法，其特征在于：所述序列到序列模型使用深度学习模型长短期记忆网络。

5.根据权利要求1或2或3或4所述基于深度学习与知识图谱的限定领域对话生成方法，其特征在于：将用户输入的语句中实体替换为标签，实现方式为，

预先对知识图谱中的实体训练一个基于BERT的命名实体识别模型，用于识别限定领域的知识图谱中出现的实体；当用户输入语句时，通过命名实体识别模型识别出用户输入的语句中知识图谱中已有的实体集合ES，将其中各实体分别替换成对应类型的标签，将替换后的用户输入语句作为对话生成模型的输入，得到带标签的输出。

6.根据权利要求5所述基于深度学习与知识图谱的限定领域对话生成方法，其特征在于：将回复中的标签槽位填充为知识图谱中相应的实体，实现方式为，

在特定领域的知识图谱中，依次遍历距离实体集合Es中每个实体i跳的所有节点，i＝0,1,2，若发现类型与生成句子标签相同的实体，则用此实体的名称替换对应标签，其中每个实体至多替换一次标签；

若已经遍历上述全部实体，输出句子中还存在未被替换的标签，则输出回复模板，若输出句子中的所有标签均已被替换，返回替换后的回复语句。

7.一种基于深度学习与知识图谱的限定领域对话生成系统，其特征在于：用于实现如权利要求1至6任一项的所述基于深度学习与知识图谱的限定领域对话生成方法。

Images