CN112364147A - 一种基于知识图谱的跨领域多轮对话方法及实现系统 - Google Patents

Abstract

本发明公开了一种基于知识图谱的跨领域多轮对话方法，包括：获取用户的输入对话；结合历史对话信息，识别当轮对话信息；根据历史对话信息和当轮对话信息进行对话跟踪，更新当轮对话状态信息；根据知识图谱和更新后的对话状态信息，对当轮对话的领域和领域信息进行对齐，得到匹配的对话信息根据当轮对话状态信息，进行策略管理；结合当轮对话的策略和对话信息，生成相应的系统回复；将当轮用户的输入对话和系统的回复保存到对话历史中，并将系统的回复返回给用户。本发明的方法能够实现跨领域的多轮对话，引入知识图谱对领域和领域信息进行对齐，并且强化了对话跟踪模块，能够处理信息不匹配以及信息丢失问题。

Description

一种基于知识图谱的跨领域多轮对话方法及实现系统

技术领域

本发明涉及自然语言理解技术领域，特别涉及一种基于知识图谱的跨领域多轮对话方法及实现系统。

背景技术

作为人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向，多轮对话系统应用越来越广，用户通过与多轮对话系统的交互达到问询、操作等目的。绝大多数多轮对话系统是以智能客服机器人的方式实现，并且已经成功应用于电商、金融、电信等领域，如淘宝智能客服；另外很多AI虚拟人物也嵌入了多轮对话系统，如微软小冰。

相关技术中，多轮对话主要分为任务型对话系统和非任务型对话系统。非任务型对话系统针对开放领域，如闲聊；任务型对话通过限定内容的多轮对话，达到完成用户所要求的任务、提供用户所需信息等目的。针对任务型对话系统，主流方法是根据用户输入进行槽填充和意图识别，系统根据槽填充结果获取用户所需信息并进行状态跟踪，通过用户意图与策略管理模块进行系统回复的决策，最后将最终的系统回复返回给用户。其中，意图识别和对话跟踪是多轮对话的两个重要部分，因为随着对话轮次的增加，系统可能会丢失、误判用户意图，其实是当新一轮的用户对话省略、更新、补充关键对话信息地时候，需要对话系统很好的识别用户需求，以及对对话状态的把握。

现有的任务型多轮对话中，单领域的对话系统居多，如公开号为CN109960733A的专利文献中提出了一种端到端的任务型对话系统，该系统中，针对了特定领域，只进行了实体识别，并且直接根据对话历史和识别的实体得到系统回复，容易造成对话信息的不准确与缺失。公开号为CN110111766A的专利文献中提出了一种多领域任务型对话系统、方法和终端，该方法中，直接利用输入的文本数据以及各种中间变量的特征向量通过答复生成程序得到相应的话术模板，最后转换为系统回复，虽然涉及到多领域，但是并没有进行知识对齐，可能会出现领域与其他信息不匹配的情况。

综上所述，现有的任型对话系统普遍存在以下几个问题：

1.绝大多数任务型对话只适用于单领域。

2.跨领域对话系统中，缺少对领域信息的对齐，会出现领域与意图、实体等信息不匹配的情况。

3.对话跟踪模块比较薄弱，只是简单粗暴地直接通过历史对话中获取的信息得到系统回复的话术模板或者回复语句，会出现信息丢失的情况。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种基于知识图谱的跨领域多轮对话方法及实现系统，能够实现跨领域的多轮对话，引入知识图谱对领域和领域信息进行对齐，并且强化了对话跟踪模块，能够处理信息不匹配以及信息丢失问题。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于知识图谱的跨领域多轮对话方法，包括：

步骤1.获取用户的输入对话；即接收用户当轮的输入对话，并将之交给后续模型处理；

步骤2.结合历史对话信息，识别当轮对话信息，所述当轮对话信息包括当轮对话的领域和领域信息；所述领域信息为用于反应用户需求的信息；

步骤3.根据历史对话信息和当轮对话信息进行对话跟踪，更新当轮对话状态信息；具体包括根据领域和领域信息，先判断当轮信息与历史信息是否有冲突；若没有冲突，则保持当轮信息，更新对话状态，否则通过模型来判断该信息状态更新方式，进行对话状态的更新；

步骤4.根据知识图谱和更新后的对话状态信息，对当轮对话的领域和领域信息进行对齐，得到匹配的对话信息；即根据更新后的信息进行知识库检索，得到检索结果后，根据预先设定好的规则进行对齐；

步骤5.根据当轮对话状态信息，进行策略管理；包括根据预先设定好的规则进行根据对齐后的对话状态信息，得到相应的策略；

步骤6.结合当轮对话的策略和对话信息，生成相应的系统回复；即根据当轮对话的系统决策以及对应的回复模板，生成系统回复；

步骤7.将当轮用户的输入对话和系统的回复保存到对话历史中，并将系统的回复返回给用户。

进一步地，所述步骤2具体包括：

步骤2.1.获取当轮用户的输入对话及至少前一轮的对话历史，作为输入文本；

步骤2.2.将获取到的输入文本分为测试集文本及训练集文本，并对训练集文本进行人工标注得到训练集文本的领域和领域信息；

步骤2.3.构建跨领域的领域识别及领域信息识别模型并通过训练集文本进行模型训练；

步骤2.4.通过训练好的模型对测试集文本进行领域识别以及领域信息识别并获取识别结果。

进一步地，所述领域识别和领域信息识别模型包括词向量模块，领域识别模块，领域信息识别模块，联合训练模块，所述词向量模块用于对输入文本做定长词向量处理；所述领域识别模块由多层神经网络组成，用于进行领域分类及计算相应损失函数；所述领域信息识别模块由双向神经网络层以及序列标注层组成，用于识别领域信，并计算相应的损失函数；所述联合训练模块用于通过所述领域识别模块、领域信息识别模块的损失函数计算整个领域识别和领域信息识别模型的损失函数，并采用动态学习率以及优化的梯度下降法来不断迭代模型参数。

进一步地，所述步骤3具体包括：

步骤3.1.判断当轮对话领域及领域信息与历史对话信息是否有冲突；

步骤3.2.若没有冲突，则保留当轮对话状态信息，并更新当轮状态；否则，根据状态跟踪模型判断更新方式并根据不同的更新方式更新当轮对话状态信息。

进一步地，所述步骤3.1中判断是否有冲突时可根据规则或者模型匹配的方式判断。

进一步地，所述状态跟踪模型包括：词向量模块、状态识别模块及模型训练模块；

所述词向量模块用于对输入文本做定长词向量处理；所述状态识别模块由双向神经网络和单层神经网络组成，用于得到对话状态信息的更新方式，并计算相应的损失函数；所述模型训练模块用于根据所述状态识别模块的损失函数，采用动态学习率以及优化的梯度下降法来不断迭代模型参数。

进一步地，所述步骤4具体包括：

步骤4.1.根据更新后的对话状态信息，在知识图谱中进行链接，并根据链接后的结果进行检索；

步骤4.2.若能检索出结果，则保留检索结果作为对话信息，否则，依次扩大查询范围得到多个查询结果，并根据查询结果依据预先定义的规则进行对齐。

进一步地，所述步骤5具体为根据对齐后的对话状态信息以及预先设定好的规则，直接得到相应的系统策略，具体为根据对话意图或者对话目的或者二者结合的规则生成相应的系统策略。

进一步地，所述步骤6具体为执行当轮对话的系统策略，结合对话信息，使用预先设定好的话术模板得到系统回复。

同时，本发明还公开了一种基于知识图谱的跨领域多轮对话实现系统，包括：用户交互模块、领域及领域信息识别模块、状态更新模块、信息对齐模块、策略管理模块、对话生成模块；

所述用户交互模块用于与用户进行交互，获取每轮用户对话并输入到领域及领域信息识别模块，将对话生成模块返回的结果作为系统回复返回给用户，并保留当轮用户对话和系统对话到对话历史；

所述领域及领域信息识别模块用于根据训练数据训练领域识别和领域信息识别的联合模型，并根据模型识别用户输入对话的领域和领域信息；

所述状态更新模块用于更新当轮对话的状态；

所述信息对齐模块用于根据知识图谱的检索结果对齐当轮对话状态信息；

所述策略管理模块用于根据当轮对话状态信息生成相应的系统策略；

所述对话生成模块用于将系统策略转换为系统动作，并将当轮对话信息状态和意图状态填充到相应的话术模板中，生成系统对话。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于知识图谱的跨领域多轮对话方法及实现系统，能够实现跨领域的多轮对话，并且不需要设置领域参数；强化了对话跟踪模块，尤其是当新一轮的用户对话省略、更新、补充关键对话信息时，可处理信息丢失问题；引入知识图谱对领域和领域信息进行对齐，能够处理信息不匹配的问题。

附图说明

图1是本发明的基于知识图谱的跨领域多轮对话方法的流程示意图。

图2是本发明的基于知识图谱的跨领域多轮对话实现系统的示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种基于知识图谱的跨领域多轮对话方法，主要应用于基于知识图谱的跨领域多轮对话领域，通过分析用户的自然语言对话，根据模型算法与相关策略，结合知识图谱，实现与用户的多轮交互，具体实施步骤如下：

步骤1.获取用户的输入对话。

即接收用户当轮的输入对话，并将之交给后续模型处理。

步骤2.结合历史对话信息，识别当轮对话信息，

其中，所述当轮对话信息包括当轮对话的领域和领域信息；所述领域信息为用于反应用户需求的信息，包括对话的意图、实体、目的、实体属性等。

具体的，本实施例中，具体包括：

步骤2.1.获取当轮用户的输入对话及至少前一轮的对话历史，作为输入文本；

步骤2.2.将获取到的输入文本分为测试集文本及训练集文本，并对训练集文本进行人工标注得到训练集文本的领域和领域信息；

步骤2.3.构建跨领域的领域识别及领域信息识别模型并通过训练集文本进行模型训练；

具体的，本实施例中构建的领域识别和领域信息识别模型具体包括词向量模块，领域识别模块，领域信息识别模块，联合训练模块。

其中，所述词向量模块用于对输入文本做定长词向量处理；包括随机初始化词向量及采用预训练的词向量。预训练的词向量包括word2vec词向量，Glove词向量以及在模型中添加BERT、Robert、GPT等大型预训练模型来得到词向量。

所述领域识别模块由多层神经网络组成，用于进行领域分类及计算相应损失函数。具体的，本实施例中为避免领域信息的丢失，具体引入注意力机制得到领域分类结果。

所述领域信息识别模块由双向神经网络层以及序列标注层组成，用于识别领域信，并计算相应的损失函数。其中双向神经网络包括双向循环神经网络(Bi-RNN)，双向长短期记忆网络(Bi-LSTM)和双向门循环单元网络(Bi-GRU)等，序列标注层可采用条件随机场(CRF)，单层神经网络等。

所述联合训练模块用于通过所述领域识别模块、领域信息识别模块的损失函数计算整个领域识别和领域信息识别模型的损失函数，并采用动态学习率以及优化的梯度下降法来不断迭代模型参数。

步骤2.4.通过训练好的模型对测试集文本进行领域识别以及领域信息识别并获取识别结果。

步骤3.根据历史对话信息和当轮对话信息进行对话跟踪，更新当轮对话状态信息。

具体包括根据领域和领域信息，先判断当轮信息与历史信息是否有冲突；若没有冲突，则保持当轮信息，更新对话状态，否则通过模型来判断该信息状态更新方式，进行对话状态的更新。

本实施例中，具体包括：

步骤3.1.判断当轮对话领域及领域信息与历史对话信息是否有冲突；具体判断是否有冲突时可根据规则或者模型匹配的方式判断。其中，基于规则的判断可直接根据领域以及领域信息与历史对话信息异同的个数进行判断；模型匹配的方式可采用文本相似度等模型判断。

步骤3.2.若没有冲突，则保留当轮对话状态信息，并更新当轮状态；否则，根据状态跟踪模型判断更新方式并根据不同的更新方式更新当轮对话状态信息。

具体的，本实施例中，状态跟踪模型包括：词向量模块、状态识别模块及模型训练模块。

其中，所述词向量模块用于对输入文本做定长词向量处理；包括随机初始化词向量；采用预训练的词向量。预训练的词向量包括word2vec词向量，Glove词向量以及在模型中添加BERT、Robert、GPT等大型预训练模型来得到词向量。

所述状态识别模块由双向神经网络和单层神经网络组成，用于得到对话状态信息的更新方式，并计算相应的损失函数。其中双向神经网络包括双向循环神经网络(Bi-RNN)，双向长短期记忆网络(Bi-LSTM)和双向门循环单元网络(Bi-GRU)等。

所述模型训练模块用于根据所述状态识别模块的损失函数，采用动态学习率以及优化的梯度下降法来不断迭代模型参数。

具体的，本实施例中，状态跟踪模型的具体构建方法包括：首先对数据进行标注，得到状态更新方式，包括信息覆盖、信息补充以及信息弃用；将数据输入到状态跟踪模型进行训练。

步骤4.根据知识图谱和更新后的对话状态信息，对当轮对话的领域和领域信息进行对齐，得到匹配的对话信息。

即根据更新后的信息进行知识库检索，得到检索结果后，根据预先设定好的规则进行对齐；本实施例中，具体包括：

步骤4.1.根据更新后的对话状态信息，在知识图谱中进行链接，并根据链接后的结果进行检索。其中，具体的链接方式包括字符串匹配、编辑距离匹配、通过模型匹配等。

步骤4.2.若能检索出结果，则保留检索结果作为对话信息，否则，依次扩大查询范围得到多个查询结果，并根据查询结果依据预先定义的规则进行对齐，如可以直接采用保留查询范围最小的对话信息的规则进行领域和领域信息的对齐。

步骤5.根据当轮对话状态信息，进行策略管理；包括根据预先设定好的规则进行根据对齐后的对话状态信息，得到相应的策略。

具体为根据对齐后的对话状态信息以及预先设定好的规则，直接得到相应的系统策略，具体为根据对话意图或者对话目的或者二者结合的规则生成相应的系统策略。

步骤6.结合当轮对话的策略和对话信息，生成相应的系统回复；即根据当轮对话的系统决策以及对应的回复模板，生成系统回复。

具体为执行当轮对话的系统策略，结合对话信息，使用预先设定好的话术模板得到系统回复。

具体的，以上述步骤得到的对话策略为例，执行对话策略，得到相应的系统动作，如问好、问询、提供信息、结束对话等。根据系统策略和系统动作，预先设定好话术模板，并且根据话术模板格式将当轮对话的信息状态和意图状态填充到模板中，得到完整的系统回复，作为系统对话。

步骤7.将当轮用户的输入对话和系统的回复保存到对话历史中，并将系统的回复返回给用户。

实施例二

一种基于知识图谱的跨领域多轮对话实现系统，如图2所示，包括依次连接的用户交互模块、领域及领域信息识别模块、状态更新模块、信息对齐模块、策略管理模块、对话生成模块。

所述用户交互模块用于与用户进行交互，获取每轮用户对话并输入到领域及领域信息识别模块，将对话生成模块返回的结果作为系统回复返回给用户，并保留当轮用户对话和系统对话到对话历史。

所述领域及领域信息识别模块用于根据训练数据训练领域识别和领域信息识别的联合模型，并根据模型识别用户输入对话的领域和领域信息。

所述状态更新模块用于更新当轮对话的状态；必要时，训练状态跟踪模型，根据模型结果更新当轮对话状态。

所述信息对齐模块用于根据知识图谱的检索结果对齐当轮对话状态信息；

所述策略管理模块用于根据当轮对话状态信息生成相应的系统策略；

所述对话生成模块用于将系统策略转换为系统动作，并将当轮对话信息状态和意图状态填充到相应的话术模板中，生成系统对话。

具体的，本实施例的基于知识图谱的跨领域多轮对话实现系统其具体工作流程即上述实施例一的基于知识图谱的跨领域多轮对话方法流程，其中，用户交互模块可具体实现上述步骤1、步骤7，领域及领域信息识别模块用于具体实现上述步骤2，状态更新模块用于具体实现上述步骤3，信息对齐模块用于具体实现上述步骤4，策略管理模块用于具体实现上述步骤5，对话生成模块用于具体实现上述步骤6，为了避免重复，此处不再赘述。

综上可知，本实施例的基于知识图谱的跨领域多轮对话实现系统，通过与用户进行交互，能够实现跨领域的多轮对话，并且不需要设置领域参数；强化了对话跟踪模块，尤其是当新一轮的用户对话省略、更新、补充关键对话信息时，可处理信息丢失问题；引入知识图谱对领域和领域信息进行对齐，能够处理信息不匹配的问题。

实施例三

本实施例中公开了一种计算机设备，该计算机设备可以是服务器，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于知识图谱的跨领域多轮对话方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于知识图谱的跨领域多轮对话方法。

在另一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中基于知识图谱的跨领域多轮对话方法的步骤，或者，处理器执行计算机程序时实现上述实施例二的基于知识图谱的跨领域多轮对话实现系统的各模块的功能。为避免重复，这里不再赘述。

在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例一中基于知识图谱的跨领域多轮对话方法的步骤，或者，处理器执行计算机程序时实现上述实施例二的基于知识图谱的跨领域多轮对话实现系统的各模块的功能。为避免重复，这里不再赘述。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于知识图谱的跨领域多轮对话方法，其特征在于，包括：

步骤1.获取用户的输入对话；

步骤2.结合历史对话信息，识别当轮对话信息，所述当轮对话信息包括当轮对话的领域和领域信息；所述领域信息为用于反应用户需求的信息；

步骤3.根据历史对话信息和当轮对话信息进行对话跟踪，更新当轮对话状态信息；

步骤4.根据知识图谱和更新后的对话状态信息，对当轮对话的领域和领域信息进行对齐，得到匹配的对话信息；

步骤5.根据当轮对话状态信息，进行策略管理；

步骤6.结合当轮对话的策略和对话信息，生成相应的系统回复；

步骤7.将当轮用户的输入对话和系统的回复保存到对话历史中，并将系统的回复返回给用户。

2.根据权利要求1所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述步骤2具体包括：

步骤2.1.获取当轮用户的输入对话及至少前一轮的对话历史，作为输入文本；

步骤2.2.将获取到的输入文本分为测试集文本及训练集文本，并对训练集文本进行人工标注得到训练集文本的领域和领域信息；

步骤2.3.构建跨领域的领域识别及领域信息识别模型并通过训练集文本进行模型训练；

步骤2.4.通过训练好的模型对测试集文本进行领域识别以及领域信息识别并获取识别结果。

3.根据权利要求2所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述领域识别和领域信息识别模型包括词向量模块，领域识别模块，领域信息识别模块，联合训练模块，所述词向量模块用于对输入文本做定长词向量处理；所述领域识别模块由多层神经网络组成，用于进行领域分类及计算相应损失函数；所述领域信息识别模块由双向神经网络层以及序列标注层组成，用于识别领域信，并计算相应的损失函数；所述联合训练模块用于通过所述领域识别模块、领域信息识别模块的损失函数计算整个领域识别和领域信息识别模型的损失函数，并采用动态学习率以及优化的梯度下降法来不断迭代模型参数。

4.根据权利要求1所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述步骤3具体包括：

步骤3.1.判断当轮对话领域及领域信息与历史对话信息是否有冲突；

步骤3.2.若没有冲突，则保留当轮对话状态信息，并更新当轮状态；否则，根据状态跟踪模型判断更新方式并根据不同的更新方式更新当轮对话状态信息。

5.根据权利要求4所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述步骤3.1中判断是否有冲突时可根据规则或者模型匹配的方式判断。

6.根据权利要求4所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述状态跟踪模型包括：词向量模块、状态识别模块及模型训练模块；

所述词向量模块用于对输入文本做定长词向量处理；所述状态识别模块由双向神经网络和单层神经网络组成，用于得到对话状态信息的更新方式，并计算相应的损失函数；所述模型训练模块用于根据所述状态识别模块的损失函数，采用动态学习率以及优化的梯度下降法来不断迭代模型参数。

7.根据权利要求1所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述步骤4具体包括：

步骤4.1.根据更新后的对话状态信息，在知识图谱中进行链接，并根据链接后的结果进行检索；

步骤4.2.若能检索出结果，则保留检索结果作为对话信息，否则，依次扩大查询范围得到多个查询结果，并根据查询结果依据预先定义的规则进行对齐。

8.根据权利要求1所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述步骤5具体为根据对齐后的对话状态信息以及预先设定好的规则，直接得到相应的系统策略，具体为根据对话意图或者对话目的或者二者结合的规则生成相应的系统策略。

9.根据权利要求1所述的一种基于知识图谱的跨领域多轮对话方法，其特征在于，所述步骤6具体为执行当轮对话的系统策略，结合对话信息，使用预先设定好的话术模板得到系统回复。

10.一种基于知识图谱的跨领域多轮对话实现系统，其特征在于，包括：

用户交互模块、领域及领域信息识别模块、状态更新模块、信息对齐模块、策略管理模块、对话生成模块；

所述用户交互模块用于与用户进行交互，获取每轮用户对话并输入到领域及领域信息识别模块，将对话生成模块返回的结果作为系统回复返回给用户，并保留当轮用户对话和系统对话到对话历史；

所述领域及领域信息识别模块用于根据训练数据训练领域识别和领域信息识别的联合模型，并根据模型识别用户输入对话的领域和领域信息；

所述状态更新模块用于更新当轮对话的状态；

所述信息对齐模块用于根据知识图谱的检索结果对齐当轮对话状态信息；

所述策略管理模块用于根据当轮对话状态信息生成相应的系统策略；

所述对话生成模块用于将系统策略转换为系统动作，并将当轮对话信息状态和意图状态填充到相应的话术模板中，生成系统对话。

Images