CN111462749B

CN111462749B - 基于对话状态导向和知识库检索的端到端对话系统及方法

Info

Publication number: CN111462749B
Application number: CN202010200632.8A
Authority: CN
Inventors: 鄂海红; 宋美娜; 张文静
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2020-03-20
Filing date: 2020-03-20
Publication date: 2023-07-21
Anticipated expiration: 2040-03-20
Also published as: CN111462749A

Abstract

本发明公开了一种基于对话状态导向和知识库检索的端到端对话系统及方法，系统包括：对话历史信息编码模块，用于采用Transformer结构编码句子级别语义信息，并采用GRU结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；对话状态跟踪模块，用于对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值；知识库检索模块，用于确定访问的数据库，并确定访问的数据库中的属性条目；对话回复解码模块，用于引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源。该系统具有数据库精准定位、精准回复、具备逻辑推理能力的优点。

Description

基于对话状态导向和知识库检索的端到端对话系统及方法

技术领域

本发明涉及语音识别技术领域，特别涉及一种基于对话状态导向和知识库检索的端到端对话系统及方法。

背景技术

相关技术，(1)一种端到端任务型对话系统，包括：预处理模块，用于将用户输入数据转换为词向量，并给所述词向量嵌入位置信息；命名体抽取模块，用于标识用户输入数据中的命名体；编译模块，用于接收所述预处理模块和所述命名体抽取模块传输的数据，并输出概率分布；对话历史编码器模块，用于将对话历史输入所述编译模块；解码输出模块，用于输出自然语言句子作为系统对用户输入的回复。本发明能够实现端到端的对话系统，减少繁琐的人工规则，训练所需数据量小，训练速度快，可通过API(ApplicationProgramming Interface，应用程序接口)调用模块进行人工干预。(2)一种融入外部知识的端到端对话方法及系统，其中，该方法包括：获取输入文本信息；获取与输入文本信息对应的对话历史信息，对对话历史信息进行编码，生成历史信息向量；获取数据库信息，通过外部数据库接入模块的多头键值对记忆网络对数据库信息进行编码，生成数据库向量；对输入文本信息进行编码，并根据历史信息向量和数据库向量生成文本回复。该方法搭建一个完全基于注意力机制的对话系统，降低模型训练时间，从多个维度提取知识库信息，增强知识库检索能力。

然而，现有的任务型端到端对话系统仅用一个编解码器模型可直接实现对话历史到回复生成的映射，由于其结构简单，因此语义提取能力较弱，导致产生无意义回复。同时端到端系统因缺乏合适的知识库导入方式，回复中无法存在知识库实体，无法解决任务型对话系统中的“任务”，使得对话系统的实用性与推理能力大大降低。现今虽有记忆网络部件用于端到端系统的知识检索中，但因缺乏合理的检索指导流程，系统回复仍存在知识库检索错误的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于对话状态导向和知识库检索的端到端对话系统，该系统通过一个端到端可训练的对话框架，可微地将对话状态表示融入端到端对话系统中，并采用一种两步知识库检索机制，从而具有数据库精准定位、精准回复、具备逻辑推理能力的优点。

本发明的另一个目的在于提出一种基于对话状态导向和知识库检索的端到端对话方法。

为达到上述目的，本发明一方面实施例提出了一种基于对话状态导向和知识库检索的端到端对话系统，包括：对话历史信息编码模块，用于采用Transformer结构编码句子级别语义信息，并采用GRU(Gate Recurrent Unit)结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；对话状态跟踪模块，用于对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值；知识库检索模块，用于确定访问的数据库，并确定访问的数据库中的属性条目；对话回复解码模块，用于引入copy机制进行解码，以减缓OOV(Out of Vocabulary)问题，并使用门控机制控制copy的来源。

本发明实施例的基于对话状态导向和知识库检索的端到端对话系统，基于gumbel-softmax的对话状态跟踪结构，可微地将对话状态跟踪部件融入端到端对话系统中，为对话解码与知识库生成起到指导的作用，有利于减少无意义回复的生成；具有对话状态与知识库两步检索机制结合的知识库访问结构，知识库库间检索的方式维护了知识库一致性，有利于减少知识库检索错误的问题；在公开数据集上进行测试验证，实验结果达到了目前最有效果，大幅超过了已有工作。

另外，根据本发明上述实施例的基于对话状态导向和知识库检索的端到端对话系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，每一个槽都配置一个状态跟踪器，状态跟踪器采用层级结构。

进一步地，在本发明的一个实施例中，外部知识存储以单个数据库为单位，每个数据库的属性与槽值存储在键值对记忆网络中。

进一步地，在本发明的一个实施例中，所述对话状态跟踪模块进一步用于将对话历史映射到每个槽上，记录对话过程中的关键槽值信息。

进一步地，在本发明的一个实施例中，所述对话回复解码模块进一步用于采用时序结构GRU逐词生成回复，其中，过程如公式为：

P_copy(y_t＝μ)＝g₁*P_content(x_m,n＝μ)+(1-g₁)*P_kb(v_i,j＝μ)

P(y_t＝μ)＝g₂*P_copy(y_t＝μ)+(1-g₂)*P_gen(y_t＝μ)，

其中，y_t为解码器第t时刻取值，μ为解码第t时刻的目标单词，x_m,n代表对话历史中第m个句子中的第n个词，v_i,j表示第i个数据库上第j个实体，g₁、g₂为门控开关，g₂控制是否采用复制源；g₁是已知复制的条件下，控制复制源的选择，即从对话历史复制还是知识库复制；P_content与P_kb分别是注意力方法计算得到的对话历史与知识库上的概率分布值，P_gen是从词表中生成的概率，P为最终融合复制机制的概率。

为达到上述目的，本发明另一方面实施例提出了一种基于对话状态导向和知识库检索的端到端对话方法，包括以下步骤：采用Transformer结构编码句子级别语义信息，并采用GRU结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值；确定访问的数据库，并确定访问的数据库中的属性条目；引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源。

本发明实施例的基于对话状态导向和知识库检索的端到端对话方法，基于gumbel-softmax的对话状态跟踪结构，可微地将对话状态跟踪部件融入端到端对话系统中，为对话解码与知识库生成起到指导的作用，有利于减少无意义回复的生成；具有对话状态与知识库两步检索机制结合的知识库访问结构，知识库库间检索的方式维护了知识库一致性，有利于减少知识库检索错误的问题；在公开数据集上进行测试验证，实验结果达到了目前最有效果，大幅超过了已有工作。

另外，根据本发明上述实施例的基于对话状态导向和知识库检索的端到端对话方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值进一步包括：将对话历史映射到每个槽上，记录对话过程中的关键槽值信息。

进一步地，在本发明的一个实施例中，所述引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源进一步包括：采用时序结构GRU逐词生成回复，其中，过程如公式为：

P_copy(y_t＝μ)＝g₁*P_content(x_m,n＝μ)+(1-g₁)*P_kb(v_i,j＝μ)

P(y_t＝μ)＝g₂*P_copy(y_t＝μ)+(1-g₂)*P_gen(y_t＝μ)，

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于对话状态导向和知识库检索的端到端对话系统的结构示意图；

图2为根据本发明实施例的端到端对话系统构建流程；

图3为根据本发明一个实施例的基于对话状态导向和知识库检索的端到端对话系统的结构示意图；

图4为根据本发明实施例的基于对话状态导向和知识库检索的端到端对话方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本申请是基于发明人对以下问题的认识和发现做出的：

现今任务型对话系统主要分为两个派别：流水线派别和端到端派别。流水线型对话系统主要由五部分构成：自然语言理解、状态跟踪、数据库检索、策略管理与语言生成。在流水线对话中，状态跟踪、知识库检索与策略管理是其核心，状态跟踪模块抽取当前对话历史中关键的槽位信息，对当前对话状态进行实时跟踪；知识库检索根据当前对话状态进行相应的知识库检索；策略管理根据当前话状态与数据库检索结果综合选择下一步的行为。流水线方法的每一个模块都是一个独立的模型或结构，产生相应的值作为下游模型的输入。此种方法各模块结构成熟，工业实现度高效果好，但各模型间级联的结构会造成误差累计传播，且对话状态跟踪等部件需要人为构造状态标签，耗费人力，迁移性差。因此端到端模型逐渐受到工业界与学术界重视，端到端方法仅用一个模型即可实现输入到输出的映射，结构简单迁移性强，但因缺乏对话状态跟踪等部件导致回复效果并不显著，会产生无意义回复及错误回复。同时现今端到端对话系统在生成回复时，会在不同解码时刻检索不同的知识库，生成回复的过程往往存在缺乏实体一致性问题。

针对上述端到端对话中存在的不足，本发明实施例借鉴流水线结构，提出一种基于对话状态导向和知识库交互的端到端对话系统及方法，其中对话状态导向通是指过对话历史可以生成相应的对话状态，用与指导后续知识库检索，知识库交互是指将知识库检索过程引入端到端对话中，准确的检索到相应的知识库，实现一个智能准确的任务型对话系统。

下面参照附图描述根据本发明实施例提出的基于对话状态导向和知识库检索的端到端对话系统及方法，首先将参照附图描述根据本发明实施例提出的基于对话状态导向和知识库检索的端到端对话系统。

图1是本发明一个实施例的基于对话状态导向和知识库检索的端到端对话系统的结构示意图。

如图1，该基于对话状态导向和知识库检索的端到端对话系统10包括：对话历史信息编码模块100、对话状态跟踪模块200、知识库检索模块300和对话回复解码模块400。

其中，对话历史信息编码模块100用于采用Transformer结构编码句子级别语义信息，并采用GRU结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；对话状态跟踪模块200用于对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值；知识库检索模块300用于确定访问的数据库，并确定访问的数据库中的属性条目；对话回复解码模块400用于引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源。本发明实施例的系统10通过一个端到端可训练的对话框架，可微地将对话状态表示融入端到端对话系统中，并采用一种两步知识库检索机制，从而具有数据库精准定位、精准回复、具备逻辑推理能力的优点。

可以理解的是，对话状态跟踪部件可对当前的对话状态进行记录，后续知识库检索根据当前对话状态实现最终实体定位，因此对话状态对知识库检索具有指导作用。目前已存在的端到端对话系统大多采用语义编码-对话生成的编解码器结构，缺少对话状态跟踪部件，导致知识库检索结果存在错误。因此，为了解决上述问题，本发明实施例在现今端到端对话系统的基础上，提出一种对话状态导向与知识库检索的对话系统。本发明实施例将对话状态部件引入端到端系统中，记录对话状态信息，对知识库检索进行指导。同时引入重参数技术设计一种知识库内-知识库间两步检索方式，在多个实体检索的回复过程中只关注某一个知识库，防止同时关注多个知识库导致的检索混乱问题。

具体而言，本发明实施例设计一个端到端可训练的对话框架，可微地将对话状态表示融入端到端对话系统中，并采用一种两步知识库检索机制，完成一个数据库精准定位、精准回复、具备逻辑推理能力的任务型对话系统。本发明实施例设计的端到端对话系统由功能可分为四大模块：对话历史信息编码模块100、对话状态跟踪模块200、知识库检索模块300与对话回复解码模块400。本发明实施例为对话生成模块添加拷贝机制，缓解对话生成过程中的OOV问题。总体流程如图2所示，与每一个模块相关的灰色框中是模块实现所用技术点。

进一步而言，如图3所示，系统四大模块分别定义如下：

对话历史信息编码模块100：对话历史信息编码采用层级结构，第一层采用Transformer结构编码句子级别语义信息，第二层采用GRU结构编码对话级别语义信息。模块输入是对话历史信息，输出是一个对话级别的分布式向量。

对话状态跟踪模块200：为每一个槽都配置一个状态跟踪器，状态跟踪器采用层级结构，第一级采用Transformer或CNN(Convolutional Neural Networks，卷积神经网络)等特征抽取器，对轮级信息进行抽取；第二级采用RNN(Recurrent Neural Network，循环神经网络)、LSTM(Long Short Term Memory Network，长短时记忆网络)等序列结构对轮间信息进行抽取，最终得到当前槽上的槽值概率分布，取最大概率作为最终槽值。

外部数据库访问模块300：外部数据库的访问形式是双层检索结构，第一层是数据库间检索，用以确定访问的数据库；第二层是数据库内部检索，用以确定访问的数据库中具体的属性条目。外部知识存储是以单个数据库为单位，每个数据库的属性与槽值存储在键值对记忆网络中。

对话回复解码模块400：解码过程引入copy机制，有效减缓OOV问题，并使用门控机制控制copy的来源(词表，对话历史信息，数据库)。

本发明实施例的系统10中的对话状态导向加知识库检索机制，可准确定位数据库槽值，维护回复中知识库的一致性。从用户文本输入到回复生成一共分为四个模块，下面将分别对每个模块进行详细阐述。

(一)对话历史信息编码模块100

该模块是将原始多轮对话信息映射为固定维度的分布式向量表示，抽取对话语义信息，用于回复生成。对话历史信息U(U₁,S₁,U₂,S₂,…,U_t)包含前t-1轮的用户-系统对话语句与第t轮的用户语句，此模块将对话历史信息编码，作为当前系统回复所考虑的条件与限制。如何充分抽取对话历史中的语义信息极大影响对话系统回复能力。本发明实施例采用GLoVe的预训练词向量得句子中词语的向量表示，加入正余弦编码的位置向量，得最终词向量。transformer+双向GRU的层级结构抽取对话历史语义信息。其中Transformer抽取句子内部语义信息，双向GRU抽取句子间语义信息，此模块具体流程如下：

1)将输入进行词向量与位置向量的编码，并将编码结果相加作为最终的输入向量表示；

2)将输入向量传入Transformer结构中，经过多头自注意力、前向网络抽取句子中词语间语义联系，多头自注意力与前向网络分别如公式1、2所示；

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^o

FFN(x)＝max(0,xW₁+b₁)W₂+b₂；(2)

3)在Transformer模块输出时进行词语间均值操作，得句子级别向量表示，如公式3所示；

u_i＝∑_jx_i,j；(3)

4)将句子级别向量表示输入GRU结构中，最终时刻的隐状态就是所需的对话级别语义信息，如公式4所示。

(二)对话状态跟踪模块200

该模块是对话系统中的关键部件，它将对话历史映射到每个槽上，记录对话过程中的关键槽值信息。端到端对话系统具有可微性，如何将对话状态融入到端到端系统中一直是研究的难点。本发明实施例在m个槽上构建m个对话状态表示，每一个槽上是槽值的概率分布，概率作为该槽值存在的概率大小，与槽值向量相乘的累加和作为最终槽值的向量表示。

本发明实施例用transformer+GRU的结构抽取语义信息：单层transformer结构提取轮级信息，GRU构建轮间关系。以第t轮对话为例，将第t-1轮系统语句S_t-1与第t轮用户语句U_t拼接起来作为当前第t轮的轮级信息送入transformer，得到的第t轮轮级向量与前t-1轮的轮级向量表示分别作为每一轮时间步的向量表示送入GRU中，最终时间步得到的隐向量映射到槽值表上的概率分布，过程如公式5所示：

在得到槽上的概率分布后，本发明实施例用argmax操作取出概率最大的槽值作为该槽上最终的槽值。每个槽得到相应的槽值后，即得到当前对话状态。然而argmax的离散采样操作破坏了系统的可微性，使得训练过程不可导，因此本发明实施例引入Re-parameterization Trick(重参数技巧)近似替代argmax的离散采样工作，使采样工作变得可导。具体做法是采用gumbel-softmax函数替换argmax操作，操作如公式6所示：

其中，p_v,i代表的是第v个槽上第个i槽值的概率，g_v,i是独立同分布的标准Gumbel分布的随机变量，可以通过Gumbel分布求逆从均匀分布生成，τ是大于零的参数，它控制着softmax的平滑程度。τ越大，生成的分布越平滑；τ越小，生成的分布越接近离散的one-hot分布。z_v,i代表槽v采样后第i个实体的采样被采样的概率。

最后将概率分布作为当前槽值的权重，将槽上槽值的加权向量和作为当前槽中状态的向量表示，如公式7所示：

s_v＝∑_iz_v,i*φ_emb(w_v,i)。(7)

(三)外部数据库访问模块300

该模块采用K*C型知识库格式，每条知识库中各实体-属性对存储在键值对记忆网络中。本模块提出一种两步检索机制，第一步确定检索回复中所需要的知识库条目，第二步定位知识库内实体。

在第一步，本发明实施例进行对话级别的知识库间检索，结合之前对话状态跟踪器得到的状态向量检索最匹配的知识库条目，维护知识库检索的一致性。根据每个属性槽上的向量与每个知识库中对应属性的槽值做相似度计算，将知识库中所有属性得分相加，可得当前知识库与对话状态的匹配程度。将知识库得分做归一化操作，得到每个知识库被检索的注意力权重α‘_i。操作如公式8所示：

sim(s_v,k_i,v)＝s_vk_i,v

在得到槽上的概率分布后，本发明实施例同样引入Re-parameterization Trick近似替代argmax的离散采样工作，使采样工作变得可导。具体做法是采用gumbel-softmax函数替换argmax操作，α_i是第i个知识库被采样概率，操作如公式9所示：

在第二步，本发明实施例进行时间步级别知识库属性检索，用键值对记忆网络结构存储知识库。记忆网络的key中存储属性名的分布式向量，记忆网络的value中存储属性值的分布式向量。本发明实施例将当前时间步的隐状态作为query向量，检索知识库属性条目。过程如公式10所示：

其中，k_i,j表示第i个数据库的第j个属性向量表示，β_i,j表示第i个数据库上第j个实体的注意力权重，α_i*β_i,j是当前第i个数据库的第j个属性被选择的概率P_kb(v_i,j)，v_i,j表示第i个数据库上第j个实体。

(四)对话回复解码模块400

本模块采用时序结构GRU逐词生成回复。本发明实施例引入复制(copy)机制缓解生成中存在的OOV问题，在生成过程中增加对话历史和知识库两条复制源，并加入门控机制，采用门控开关g₁、g₂，g₂控制是否采用复制源；g₁是已知复制的条件下，控制复制源的选择，即从对话历史复制还是知识库复制。过程如公式11所示。P_content与P_kb分别是注意力方法计算而来的对话历史与知识库上的概率分布值，P_gen是从词表中生成的概率，P为最终融合复制机制的概率。

P_copy(y_t＝μ)＝g₁*P_content(x_m,n＝μ)+(1-g₁)*P_kb(v_i,j＝μ)

P(y_t＝μ)＝g₂*P_copy(y_t＝μ)+(1-g₂)*P_gen(y_t＝μ)。(11)

综上，本发明实施例提出一种可微融入对话状态的知识库检索一致性框架，并首次将重参数技术引入对话状态表示中，维护端到端系统的可端到端训练的特性，且首次将对话状态表示与两步知识检索机制结合，维护知识库检索的一致性。另外，本发明实施例将图结构引入知识库的存储中处理非结构化知识库情况，把相关知识三元组看作一个图，基于与其相邻实体和它们之间的关系，更好解读所研究实体的语义；优化对话状态跟踪模块，发掘参数更少、训练时间更快的状态跟踪技术。

根据本发明实施例提出的基于对话状态导向和知识库检索的端到端对话系统，基于gumbel-softmax的对话状态跟踪结构，可微地将对话状态跟踪部件融入端到端对话系统中，为对话解码与知识库生成起到指导的作用，有利于减少无意义回复的生成；具有对话状态与知识库两步检索机制结合的知识库访问结构，知识库库间检索的方式维护了知识库一致性，有利于减少知识库检索错误的问题；在公开数据集上进行测试验证，实验结果达到了目前最有效果，大幅超过了已有工作。

其次参照附图描述根据本发明实施例提出的基于对话状态导向和知识库检索的端到端对话方法。

图4是本发明一个实施例的基于对话状态导向和知识库检索的端到端对话方法的流程图。

如图4所示，该基于对话状态导向和知识库检索的端到端对话方法包括以下步骤：

在步骤S401中，采用Transformer结构编码句子级别语义信息，并采用GRU结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；

在步骤S402中，对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值；

在步骤S403中，确定访问的数据库，并确定访问的数据库中的属性条目；

在步骤S404中，引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源。

进一步地，在本发明的一个实施例中，引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源进一步包括：采用时序结构GRU逐词生成回复，其中，过程如公式为：

P_copy(y_t＝μ)＝g₁*P_content(x_m,n＝μ)+(1-g₁)*P_kb(v_i,j＝μ)

P(y_t＝μ)＝g₂*P_copy(y_t＝μ)+(1-g₂)*P_gen(y_t＝μ)，

需要说明的是，前述对基于对话状态导向和知识库检索的端到端对话系统实施例的解释说明也适用于该实施例的基于对话状态导向和知识库检索的端到端对话方法，此处不再赘述。

根据本发明实施例提出的基于对话状态导向和知识库检索的端到端对话方法，基于gumbel-softmax的对话状态跟踪结构，可微地将对话状态跟踪部件融入端到端对话系统中，为对话解码与知识库生成起到指导的作用，有利于减少无意义回复的生成；具有对话状态与知识库两步检索机制结合的知识库访问结构，知识库库间检索的方式维护了知识库一致性，有利于减少知识库检索错误的问题；在公开数据集上进行测试验证，实验结果达到了目前最有效果，大幅超过了已有工作。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于对话状态导向和知识库检索的端到端对话系统，其特征在于，对话状态对知识库检索具有指导作用，所述端到端对话系统包括：

对话历史信息编码模块，用于采用Transformer结构编码句子级别语义信息，并采用GRU结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；

对话状态跟踪模块，用于对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值，将对话历史映射到每个槽上，记录对话过程中的关键槽值信息；

知识库检索模块，用于确定访问的数据库，并确定访问的数据库中的属性条目；以及

对话回复解码模块，用于引入copy机制进行解码，以减缓OOV问题，使用门控机制控制copy的来源，采用时序结构GRU逐词生成回复，其中，过程公式为：

P_copy(y_t＝μ)＝g₁*P_content(x_m,n＝μ)+(1-g₁)*P_kb(v_i,j＝μ)

P(y_t＝μ)＝g₂*P_copy(y_t＝μ)+(1-g₂)*P_gen(y_t＝μ)，

其中，y_t为对话回复解码模块第t时刻取值，μ为解码第t时刻的目标单词，x_m,n代表对话历史中第m个句子中的第n个词，v_i,j表示第i个数据库上第j个实体，g₁、g₂为门控开关，g₂控制是否采用复制源；g₁是已知复制的条件下，控制复制源的选择，即从对话历史复制还是知识库复制；P_content与P_kb分别是注意力方法计算得到的对话历史与知识库上的概率分布值，P_gen是从词表中生成的概率，P为最终融合复制机制的概率。

2.根据权利要求1所述的系统，其特征在于，每一个槽都配置一个状态跟踪器，状态跟踪器采用层级结构。

3.根据权利要求1所述的系统，其特征在于，外部知识存储以单个数据库为单位，每个数据库的属性与槽值存储在键值对记忆网络中。

4.一种基于对话状态导向和知识库检索的端到端对话方法，其特征在于，对话状态对知识库检索具有指导作用，所述端到端对话方法包括以下步骤：

采用Transformer结构编码句子级别语义信息，并采用GRU结构编码对话级别语义信息，以根据输入的对话历史信息输出是对话级别的分布式向量；

对轮级信息进行抽取，并对轮间信息进行抽取，以得到当前槽上的槽值概率分布，并且取最大概率作为最终槽值，将对话历史映射到每个槽上，记录对话过程中的关键槽值信息；

确定访问的数据库，并确定访问的数据库中的属性条目；以及

引入copy机制进行解码，以减缓OOV问题，并使用门控机制控制copy的来源，采用时序结构GRU逐词生成回复，其中，过程公式为：

P_copy(y_t＝μ)＝g₁*P_content(x_m,n＝μ)+(1-g₁)*P_kb(v_i,j＝μ)

P(y_t＝μ)＝g₂*P_copy(y_t＝μ)+(1-g₂)*P_gen(y_t＝μ)，

5.根据权利要求4所述的方法，其特征在于，每一个槽都配置一个状态跟踪器，状态跟踪器采用层级结构。

6.根据权利要求4所述的方法，其特征在于，外部知识存储以单个数据库为单位，每个数据库的属性与槽值存储在键值对记忆网络中。