CN108415923A - 封闭域的智能人机对话系统 - Google Patents

Abstract

本发明提出一种封闭域的智能人机对话系统，该系统包括：第一建模模块，第一建模模块用于基于双向长短时记忆网络和卷积神经网络构建多特征融合深度意图识别模型；第二建模模块，用于采用人机对话状态系统当前状态输入与上下文语句联合建模方式来构建基于MC‑BLSTM‑MSCNN的对话状态跟踪模型；第三建模模块，用于构建基于移位注意力机制的域外恢复机制的Bi‑LSTM匹配模型，以将识别到的用户意图、用户槽值输入移位网络进行注意力机制的权重分发，实现对话状态的编码和对话控制的匹配。本发明具有更高的意图识别精确度、对话状态跟踪的正确性和对话控制的稳定性，进而提升了人机系统的认知智能能力。

Description

封闭域的智能人机对话系统

技术领域

本发明涉及人机对话技术领域，特别涉及一种封闭域的智能人机对话系统。

背景技术

目前业界的人机对话系统大多采用人工梳理业务逻辑编写成规则的方式进行对话匹配，不具备更高的认知智能，而学术界多专注于人机对话系统的某个实现部分，例如对话状态跟踪，自然语言理解等，没有一套充分考虑业务场景的完整解决方案，且现有技术并不能够轻易解决人机对话系统的低流畅性和单领域问题。而在人机交互的对话系统中又存在如下三个难点。

(1)短文本性和语法缺失性对意图理解精确性的挑战。

在人机交互场景中，用户输入多为口语形式的话语，具有短文本性和语法缺失性等特征，增大了在对话系统中用户意图识别的难度。

(2)人机对话多轮反复的复杂性对对话模型智能化程度及迁移性的挑战。

对话系统不同于一般的“一问一答”问答系统，需要进行对话过程中的状态跟踪，因此需要解析用户输入中的槽值对信息。

(3)人机对话系统多个环节全部AI化带来的挑战。

智能服务人机对话系统要实现一个完整AI系统包括多个流程，设计一套低耦合度、保证各模块高可用性高性能、同时能形成一套完整的数据处理流需要十分详尽的解决方案。

目前的人机对话系统中的意图识别可以作为文本语义分类问题，传统意图识别使用机器学习中的方法，诸如支持向量机(SVM)，贝叶斯网络等。对话状态跟踪技术并没有很好的实现与应用；而对话管理则大多采用有限状态机和规则匹配，根据不同的状态或规则产生相应的对话动作。比如在申请号为201410781154.9的中国专利申请中，使用了一种支持向量机(SVM)的意图识别方法。该系统将采集的数据用数字进行分类编号，确定出特征值和意图类别，然后对采集的数据用PCA主成份分析法进行降维处理，选择适当的核函数将特征向量映射到高维的空间中，以便将本来不可分的数据分开，再用预先分类好的SVM模型对参数进行训练和离线验证，最后通过实时采集的数据对意图进行识别。在申请号为201511001276.2的专利申请中，使用了有限状态机，首先获得用户输入的语音所转化的文本；对所述文本进行语义识别，获得所述用户的意图；将所述用户的意图与跳转条件进行匹配；根据与所述用户的意图匹配的跳转条件根据有限状态自动机，跳转到相应的代理模块，以执行所述代理模块的功能，获得执行结果。

然而，现有对话系统中意图识别忽略了人机对话场景中的短文本性、语法缺失性，造成识别精度不高；对话状态跟踪没有得到很好的应用，导致上下文的语义信息被忽略；对话控制忽略了对话跳到非该域外的控制与恢复，且没有针对上下文语境实现不同反馈，无法响应对话的动态变化。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种封闭域的智能人机对话系统，该系统具有更高的意图识别精确度、对话状态跟踪的正确性和对话控制的稳定性，进而提升了人机系统的认知智能能力。

为了实现上述目的，本发明的实施例提出了一种封闭域的智能人机对话系统，包括：第一建模模块，用于基于双向长短时记忆网络BiLSTM和卷积神经网络CNN构建多特征融合深度意图识别模型，以提取并融合用户输入的短文本不同粒度、维度的特征；第二建模模块，用于采用人机对话状态系统当前状态输入与上下文语句联合建模方式来构建基于MC-BLSTM-MSCNN的对话状态跟踪模型，以提取槽值对特征；第三建模模块，用于构建基于移位注意力机制的域外恢复机制的Bi-LSTM匹配模型，以将识别到的用户意图、用户槽值输入移位网络进行注意力机制的权重分发，实现对话状态的编码和对话控制的匹配。

另外，根据本发明上述实施例的封闭域的智能人机对话系统还可以具有如下附加的技术特征：

在一些示例中，所述多特征融合深度意图识别模型至少包括：多通道嵌入层、高速通道层和多粒度卷积层。

在一些示例中，所述对话状态跟踪模型包括：语义解码模块，所述语义解码模块用于直接交互用户输入的向量表示r与候选槽值对表示c，并通过向量r与候选槽值对c判断用户是否明确表达了与当前候选对相匹配的意图；上下文编码模块，用于获取系统请求参数tq和确认动作的词向量(ts,tv)，并根据所述tq和(ts,tv)计算相似度的度量，包括：系统输出行为(tq,ts,tv)、候选槽值对(cs,cv)和用户输入语句表示r。

在一些示例中，所述候选槽值对的槽名称与值的向量空间表示由cs和cv给出，将该元组映射成与用户输入的向量表示r相同维度的单个向量c，其中，这两个向量表示进行交互以学习一种相似性度量，该相似性度量用于区分用户输入语句与其所表达或者不表达的槽值对之间的交互作用，所述相似性度量具体如下：

其中，表示element-wise向量乘法，其将d中丰富的特征集合减少到单个标量，允许下游网络通过学习r和c中的特征集之间的非线性交互来更好地利用其参数。

在一些示例中，所述系统输出行为(tq,ts,tv)、候选槽值对(cs,cv)和用户输入语句表示r之间存在如下关系：

m_r＝(c_s·t_q)r

m_c＝(c_s·t_s)(c_v·t_v)r

其中，·表示点积，当系统询问当前的候选槽或槽值对时，所计算的相似项用作仅通过话语表示的选通门控机制。

在一些示例中，所述上下文编码模块还用于将得到的向量表示m与语义相似度的向量表示b统一输入到Softmax层，进行分类。

在一些示例中，所述Bi-LSTM匹配模型包括：基于移位的注意力模块，用于将槽值对特征和用户当前意图进行匹配，并将得到的匹配度作为槽值对的重要性依据，实现不同槽值对在不同意图时有不同的注意力权重；用户话语特征提取模块，用于根据长短期记忆网络提取用户话语特征；标准回答分类模块，用于将所述槽值对特征和用户话语特征进行拼接，共同输入到双向长短期记忆网络中，最终进行softmax分类；对话控制模块，所述对话控制模块支持域外恢复机制，用于在封闭域数据集中加入开放域数据集数据，进行自用户域外请求恢复。

在一些示例中，所述基于移位的注意力模块用于将特征集合映射到一个单一的输出，其中输入和输出均为特征向量拼接而成的矩阵，具体通过如下公式实现：

其中，X表示输入的槽值对信息，上式中λ的计算公式为：

其中W是用户当前意图的向量，a是可学习的标量。

在一些示例中，所述用户话语特征提取模块根据长短期记忆网络提取用户话语特征，包括：采用两个LSTM网络，将用户当前输入语句分别输入两个网络，从正向和逆向的时间顺序同时对用户语句进行分析，并获取每个时间点的每个隐藏节点的输出，并将两个LSTM网络的在每个时间点的各隐藏节点输出通过求平均进行连接，输入下一级网络，具体如下式：

其中，表示t时刻正向的隐藏节点各输出，表示t时刻逆向的隐藏节点各输出，将各节点输出在同一时间节点处求平均形成一个二维张量，输入后续网络。

在一些示例中，所述Bi-LSTM匹配模型的最后一层为softmax全连接层，具体如下式：

其中，该层采用隐藏层的输出h*作为输入，来预测S语句应该对应的意图类别y，分类器对用户当前语句和每种意图类别的匹配度进行概率分析并将概率最高的类别作为最终预测类别进行输出；

同时，采用softmax对应的损失函数categorical cross-entropy，所述损失函数categorical cross-entropy如下：

其中，t∈R^m是用one-hot表示的正确类别，y∈R^m是softmax分类器预测的属于每种类型的概率，m是分类类型的个数，σ是在L2正则化时设置的超参数。

根据本发明实施例的封闭域的智能人机对话系统，采用基于多特征融合的短文本用户输入的精确意图识别技术、基于上下文联合建模的对话状态跟踪技术、基于移位注意力的支持状态输入和域外恢复机制的对话控制技术对人机对话系统进行改进，使人机系统具有更高的意图识别精确度、对话状态跟踪的正确性和对话控制的稳定性，进而提升了人机系统的认知智能能力。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的封闭域的智能人机对话系统的结构框图；

图2是根据本发明一个实施例的多特征融合深度意图识别模型示意图；

图3是根据本发明一个实施例的基于MC-BLSTM-MSCNN的对话状态跟踪模型示意图；

图4是根据本发明一个实施例的基于移位注意力机制的域外恢复机制的Bi-LSTM匹配模型示意图；

图5是根据本发明一个具体实施例的域外恢复数据集扩充示例的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图描述根据本发明实施例的封闭域的智能人机对话系统。

图1是根据本发明一个实施例的封闭域的智能人机对话系统的结构框图。如图1所示，该封闭域的智能人机对话系统100，包括：第一建模模块110、第二建模模块120和第三建模模块130。

第一建模模块110用于基于双向长短时记忆网络BiLSTM和卷积神经网络CNN构建多特征融合深度意图识别模型，以提取并融合用户输入的短文本不同粒度、维度的特征。

其中，多特征融合深度意图识别模型至少包括：多通道嵌入层、高速通道层和多粒度卷积层，例如图2所示。

具体地说，本发明的实施例针对面向任务的人机对话场景中任务字长有限性和文本不规范性等需求特征，在多通道、多粒度和高速通道直连三方面进行了改进，构建出基于BiLSTM和CNN的多融合深度意图识别模型，提取并融合用户输入的短文本不同粒度、维度的特征，从而提高用户意图识别的准确度。

以下结合图2，分别对多通道嵌入层、高速通道层和多粒度卷积层进行描述。

多通道嵌入层：传统神经网络多采用单通道的词嵌入层作为输入，分为可训练嵌入层和不可训练嵌入层：第一种可训练嵌入层在模型训练过程中会被修改以更好的表达适应于场景的语义，然而目前并不能对此改动进行定量分析，可能会遇到修改过度，造成较大的语义偏差的情况，且单一嵌入层在通过随机丢弃层后会损失大部分值，从而影响后续计算；第二种不可训练的嵌入层直接使用训练好的词向量作为输入，在模型训练过程中嵌入层不会根据输入数据自动优化，因此不一定完全适应于该任务场景，同理，单嵌入层在通过随机丢弃层后会损失较多信息影响后续计算。基于此，本发明的实施例使用双通道嵌入层作为输入，并通过设置嵌入层中是否可训练这一参数来均衡原始语义信息和动态修改的语义信息，同时双通道的输入可以增强信息强度，在后续的池化卷积等操作中有更高的优化梯度。

高速通道层：神经网络中为了模型性能添加了较多的随机丢弃层及池化层，将特征进行逐层抽象。这样做一方面达到了提取特征、数据降维及防止过拟合等要求，另一方面也带来了原始数据中部分信息被损耗的问题。而在本场景中问题文本较短的情况下，对于原始信息的充分利用变得尤为重要。基于此，本发明的实施例添加了高速通道直连，将原始的嵌入层信息直接同BLSTM输出进行融合输出到卷积神经网络层，在不影响嵌入层输出防止过拟合的情况下，又充分利用了原始信息，降低信息损耗。

多粒度卷积层：传统模型大多采用单一粒度卷积核，仅在单个粒度上对句子信息进行特征提取，存在对用户输入的特征提取不够充分的问题。考虑到场景的短文本性，为了获取更精准的语义信息需要对用户输入的短文本进行更充分地挖掘。基于此，本发明的实施例采用多粒度卷积核的方式对问句进行多范围的特征提取。

第二建模模块120用于采用人机对话状态系统当前状态输入与上下文语句联合建模方式来构建基于MC-BLSTM-MSCNN的对话状态跟踪模型，以提取槽值对特征。具体地说，针对传统基于标注序列的槽位解析强依赖大型的标注数据集，同时当前槽值对提取方法又存在着忽略上下文语句之间的语义关系的问题，本发明的实施例采用人机对话状态系统当前状态输入与上下文语句联合建模方式来构建基于MC-BLSTM-MSCNN的槽值对特征提取模型，提升人机对话系统中在某一特定领域识别用户特定目标的准确性。

具体地，在本发明的一个实施例中，结合图3所示，对话状态跟踪模型包括语义解码模块和上下文编码模块。

其中，语义解码模块，语义解码模块用于直接交互用户输入的向量表示r与候选槽值对表示c，并通过向量r与候选槽值对c判断用户是否明确表达了与当前候选对相匹配的意图。例如，“我想要去杭州”与“目的地＝杭州”是否相互匹配，这就需要使用预先训练好的高质量的词向量。

进一步地，候选槽值对的槽名称与值的向量空间表示由cs和cv给出，将该元组映射成与用户输入的向量表示r相同维度的单个向量c，其中，这两个向量表示进行交互以学习一种相似性度量，该相似性度量用于区分用户输入语句与其所表达或者不表达的槽值对之间的交互作用，相似性度量具体如下：

其中，表示element-wise向量乘法，可以看为更为直观的相似性度量，其将d中丰富的特征集合减少到单个标量，允许下游网络通过学习r和c中的特征集之间的非线性交互来更好地利用其参数。

进一步地，由于语义解码模块还不足以在人机对话中提取意图，为了更好地理解语句，对话状态跟踪必须考虑对话的上下文。虽然之前所有的系统输出与用户输入语句都很重要，但最后的系统输出语句与之最相关。系统输出一般存在于如下两个之一：

系统请求：系统向用户询问特定槽tq的值。例如，系统询问“你想要什么价格范围？”，随后用户给出任何答案，但模型必须推断参考价格范围，而不是其他插槽(如面积或食物)。

系统确认：系统请用户确认特定的槽值对(ts,tv)是否为其所需约束的一部分。例如，系统询问“吃北京烤鸭怎么样”，用户回答是或不是，模型必须意识到系统的行为才能正确更新状态。

基于此，上下文编码模块用于获取系统请求参数tq和确认动作(零向量，如果没有)的词向量(ts,tv)，并根据tq和(ts,tv)计算以下相似度的度量，包括：系统输出行为(tq,ts,tv)、候选槽值对(cs,cv)和用户输入语句表示r。其中，系统输出行为(tq,ts,tv)、候选槽值对(cs,cv)和用户输入语句表示r之间存在如下关系：

m_r＝(c_s·t_q)r

m_c＝(c_s·t_s)(c_v·t_v)r

其中，·表示点积，当系统询问当前的候选槽或槽值对时，所计算的相似项用作仅通过话语表示的选通门控机制。这种类型的交互对于确认系统动作是必要的：如果系统要用户进行确认，用户可能不会提到任何的槽值，而只是肯定或否定地响应，这意味着模型必须考虑到系统的输出语句、候选槽值对以及输出的槽值对三者之间的交互。如果(并且只有)后两者是相同的，模型在进行后续的二元决定时才会考虑用户话语的肯定或否定极性。

最后，上下文编码模块还用于将得到的向量表示m与语义相似度的向量表示b统一输入到Softmax层，进行分类。

第三建模模块130用于构建基于移位注意力机制的域外恢复机制的Bi-LSTM匹配模型，以将识别到的用户意图、用户槽值输入移位网络进行注意力机制的权重分发，实现对话状态的编码和对话控制的匹配。具体地说，针对对话系统中对话状态的跟踪困难的问题，本发明的实施例采用了移位注意力机制的思想，构建了基于移位注意力机制的精确Bi-LSTM匹配网络，将上述识别到的用户意图、用户槽值输入移位网络进行注意力机制的权重分发，实现了对话状态的精准编码和对话控制的精确匹配。与此同时，针对对话系统中健壮性较差的问题，本发明的实施例通过引入开放域数据的方式，重构训练数据集，实现了域外恢复的机制，提升了系统的健壮性。

具体地，在本发明的一个实施例中，结合图4所示，Bi-LSTM匹配模型包括：基于移位的注意力模块、用户话语特征提取模块、标准回答分类模块和对话控制模块。

其中，基于移位的注意力模块基于语义相似度的移位注意力机制，迁移到相应的文本理解场景，假设在不同意图的情况下对识别到的槽值对信息应该有不同的侧重点，因此该用于基于移位的注意力模块用于将槽值对特征和用户当前意图进行匹配，并将得到的匹配度作为槽值对的重要性依据，实现不同槽值对在不同意图时有不同的注意力权重。

更为具体地，基于移位的注意力模块用于将一系列的特征集合映射到一个单一的输出，其中输入和输出均为特征向量拼接而成的矩阵，具体通过如下公式实现：

其中，X表示输入的槽值对信息，上式中λ的计算公式为：

其中W是用户当前意图的向量，a是可学习的标量。考虑到在每轮输入对话中识别到的槽值对数量可能不同，因此将该模块的输出求平均作为最终的槽值对特征信息。本模块针对每个槽值对都进行一次基于移位的注意力机制计算，在每次计算中会有不同的注意力侧重点，将所有注意力机制的输出结果进行连接，作为最终的槽值对特征信息。

用户话语特征提取模块，用于根据长短期记忆网络提取用户话语特征。

具体地，长短期记忆网络(LSTM)作为一种广泛应用于自然语言处理的模型，在各种任务中都取得了很好的效果，其具体实现如下公式：

f_t＝σ(W_f·[h_t-1,X_t]+b_f)

i_t＝σ(W_i·[h_t-1,X_t]+b_i)

o_t＝σ(W_o[h_t-1,X_t]+b_o)

h_t＝o_t*tanh(C_t)

考虑到长短期记忆网络对自然语言的记忆是时间序列累积的，因此模型的中间状态输出的特征是基于之前的本文特征，然后用户输入的话语多为短文本信息。基于此，为了充分挖掘用户输入的信息，在本发明的实施例中，采用两个LSTM网络，将用户当前输入语句分别输入两个网络，从正向和逆向的时间顺序同时对用户语句进行分析，为了获取更充分的文本信息，获取每个时间点的每个隐藏节点的输出，并将两个LSTM网络的在每个时间点的各隐藏节点输出通过求平均进行连接，输入下一级网络，具体如下式：

其中，表示t时刻正向的隐藏节点各输出，表示t时刻逆向的隐藏节点各输出，将各节点输出在同一时间节点处求平均形成一个二维张量，输入后续网络。

标准回答分类模块，用于将上述得到的槽值对特征和用户话语特征进行拼接，共同输入到双向长短期记忆网络中，最终进行softmax分类。

其中，Bi-LSTM匹配模型的最后一层为softmax全连接层，具体如下式：

其中，该层采用隐藏层的输出h*作为输入，来预测S语句应该对应的意图类别y，分类器对用户当前语句和每种意图类别的匹配度进行概率分析并将概率最高的类别作为最终预测类别进行输出。

同时，采用softmax对应的损失函数categorical cross-entropy，损失函数categorical cross-entropy如下：

其中，t∈R^m是用one-hot表示的正确类别，y∈R^m是softmax分类器预测的属于每种类型的概率，m是分类类型的个数，σ是在L2正则化时设置的超参数。

对话控制模块，对话控制模块支持域外恢复机制，用于在封闭域数据集中加入开放域数据集数据，进行自用户域外请求恢复。具体地说，简单的监督学习是不足以学到一个稳定的连续决策策略的。因为模型只能输出专家结论，不能进行自我错误恢复和用户域外请求恢复，因此，在本发明的实施例中，通过在封闭域数据集中加入开放域数据集数据，来增加模型的健壮性。例如图5所示，展示了一个域外恢复数据集扩充示例。

举例说明：设有一个原始的数据集包含n段对话D＝[d0...,dn,...dN]，其中dn是个多转向的封闭域对话，有|dn|个分支可以转向。再拿一个聊天数据集Dc＝[(q0,r0),...(qm,rm),...(qM,rM)]。其中qm,rm是问答，以重复下列步骤的方式创建新数据集D：

1、随机在D里选一段对话dn；

2、随机在dn选择一个转向ti＝[ai,ui]；

3、随机在Dc选择一对问答(qm,rm)；

4、重组ti＝[ai,qm]；

5、加到数据集里面。

综上，根据本发明实施例的封闭域的智能人机对话系统，采用基于多特征融合的短文本用户输入的精确意图识别技术、基于上下文联合建模的对话状态跟踪技术、基于移位注意力的支持状态输入和域外恢复机制的对话控制技术对人机对话系统进行改进，使人机系统具有更高的意图识别精确度、对话状态跟踪的正确性和对话控制的稳定性，进而提升了人机系统的认知智能能力。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (10)

1.一种封闭域的智能人机对话系统，其特征在于，包括：

第一建模模块，用于基于双向长短时记忆网络BiLSTM和卷积神经网络CNN构建多特征融合深度意图识别模型，以提取并融合用户输入的短文本不同粒度、维度的特征；

第二建模模块，用于采用人机对话状态系统当前状态输入与上下文语句联合建模方式来构建基于MC-BLSTM-MSCNN的对话状态跟踪模型，以提取槽值对特征；

第三建模模块，用于构建基于移位注意力机制的域外恢复机制的Bi-LSTM匹配模型，以将识别到的用户意图、用户槽值输入移位网络进行注意力机制的权重分发，实现对话状态的编码和对话控制的匹配。

2.根据权利要求1所述的封闭域的智能人机对话系统，其特征在于，所述多特征融合深度意图识别模型至少包括：多通道嵌入层、高速通道层和多粒度卷积层。

3.根据权利要求1所述的封闭域的智能人机对话系统，其特征在于，所述对话状态跟踪模型包括：

语义解码模块，所述语义解码模块用于直接交互用户输入的向量表示r与候选槽值对表示c，并通过向量r与候选槽值对c判断用户是否明确表达了与当前候选对相匹配的意图；

上下文编码模块，用于获取系统请求参数tq和确认动作的词向量(ts,tv)，并根据所述tq和(ts,tv)计算相似度的度量，包括：系统输出行为(tq,ts,tv)、候选槽值对(cs,cv)和用户输入语句表示r。

4.根据权利要求3所述的封闭域的智能人机对话系统，其特征在于，所述候选槽值对的槽名称与值的向量空间表示由cs和cv给出，将该元组映射成与用户输入的向量表示r相同维度的单个向量c，其中，这两个向量表示进行交互以学习一种相似性度量，该相似性度量用于区分用户输入语句与其所表达或者不表达的槽值对之间的交互作用，所述相似性度量具体如下：

其中，表示element-wise向量乘法，其将d中丰富的特征集合减少到单个标量，允许下游网络通过学习r和c中的特征集之间的非线性交互来更好地利用其参数。

5.根据权利要求3所述的封闭域的智能人机对话系统，其特征在于，所述系统输出行为(tq,ts,tv)、候选槽值对(cs,cv)和用户输入语句表示r之间存在如下关系：

m_r＝(c_s·t_q)r

m_c＝(c_s·t_s)(c_v·t_v)r

其中，·表示点积，当系统询问当前的候选槽或槽值对时，所计算的相似项用作仅通过话语表示的选通门控机制。

6.根据权利要求5所述的封闭域的智能人机对话系统，其特征在于，所述上下文编码模块还用于将得到的向量表示m与语义相似度的向量表示b统一输入到Softmax层，进行分类。

7.根据权利要求1所述的封闭域的智能人机对话系统，其特征在于，所述Bi-LSTM匹配模型包括：

基于移位的注意力模块，用于将槽值对特征和用户当前意图进行匹配，并将得到的匹配度作为槽值对的重要性依据，实现不同槽值对在不同意图时有不同的注意力权重；

用户话语特征提取模块，用于根据长短期记忆网络提取用户话语特征；

标准回答分类模块，用于将所述槽值对特征和用户话语特征进行拼接，共同输入到双向长短期记忆网络中，最终进行softmax分类；

对话控制模块，所述对话控制模块支持域外恢复机制，用于在封闭域数据集中加入开放域数据集数据，进行自用户域外请求恢复。

8.根据权利要求7所述的封闭域的智能人机对话系统，其特征在于，所述基于移位的注意力模块用于将特征集合映射到一个单一的输出，其中输入和输出均为特征向量拼接而成的矩阵，具体通过如下公式实现：

其中，X表示输入的槽值对信息，上式中λ的计算公式为：

其中W是用户当前意图的向量，a是可学习的标量。

9.根据权利要求7所述的封闭域的智能人机对话系统，其特征在于，所述用户话语特征提取模块根据长短期记忆网络提取用户话语特征，包括：

采用两个LSTM网络，将用户当前输入语句分别输入两个网络，从正向和逆向的时间顺序同时对用户语句进行分析，并获取每个时间点的每个隐藏节点的输出，并将两个LSTM网络的在每个时间点的各隐藏节点输出通过求平均进行连接，输入下一级网络，具体如下式：

其中，表示t时刻正向的隐藏节点各输出，表示t时刻逆向的隐藏节点各输出，将各节点输出在同一时间节点处求平均形成一个二维张量，输入后续网络。

10.根据权利要求7所述的封闭域的智能人机对话系统，其特征在于，所述Bi-LSTM匹配模型的最后一层为softmax全连接层，具体如下式：

其中，该层采用隐藏层的输出h*作为输入，来预测S语句应该对应的意图类别y，分类器对用户当前语句和每种意图类别的匹配度进行概率分析并将概率最高的类别作为最终预测类别进行输出；

同时，采用softmax对应的损失函数categorical cross-entropy，所述损失函数categorical cross-entropy如下：

其中，t∈R^m是用one-hot表示的正确类别，y∈R^m是softmax分类器预测的属于每种类型的概率，m是分类类型的个数，σ是在L2正则化时设置的超参数。