CN109858030B - 双向的意图槽值交叉相关的任务型对话理解系统及方法 - Google Patents

Abstract

本发明公开了一种双向的意图槽值交叉相关的任务型对话理解系统及方法，其中，系统包括：文本输入模块、词向量模块、对话语义理解编码器模块、对话语义理解译码器模块、SF‑ID网络模块、Softmax分类模块和对话理解信息模块，其中，对话语义理解编码器模块用于语义解析，对话语义理解译码器模块用于提取意图和槽值的特征向量；SF‑ID网络模块用于通过意图和槽值相互作用的机制对特征向量进行深层特征的提取；Softmax分类模块用于获取意图识别和槽值填充的初步结果；对话理解信息模块用于输出意图识别和槽值提取的输出结果。该系统可以使得自然语义理解的性能得到了大幅度的提升，简单易实现。

Description

双向的意图槽值交叉相关的任务型对话理解系统及方法

技术领域

本发明涉及信息技术及数据业务技术领域，特别涉及一种双向的意图槽值交叉相关的任务型对话理解系统及方法。

背景技术

近年来，随着人工智能的迅速发展，自然语言理解(nlu)技术作为许多应用的基础技术支持，受到了学术界和工业界的广泛关注，尤其是在任务型多轮对话系统中，自然语言理解作为语义解析的核心技术，是对话管理(dm)和自然语言生成(nlg)的上游模块，其效果和性能直接影响到整个对话系统的性能和表现，其重要性不言而喻。因此，自然语言理解(nlu)越来越收到工业界和学术界的广泛关注，并在最近的十年中取得了长足的进步。

相关技术中，一种自然语言理解方法及系统，首先对待理解语句进行分词处理，再得到分词结果中每个词的词向量，之后将所述词向量输入所述深度学习联合模型，计算所述待理解语句的关键词向量和意图向量。但该发明提出的方法只是将同一个模型应用于意图识别和槽填充两个任务，通过损失函数将两个任务隐式关联起来，并未深入挖掘意图识别和槽填充之间的关系。此外，该模型首先对输入文本进行分词处理再进行语义提取，割裂了本身一体的过程，不符合人类进行自然语言理解的规律。

另外，自然语言理解系统及其工作方法，该自然语言理解系统基于数据库，依次对输入的文本数据进行词义分析、句法分析和语义分析来得到每个句子的基本表述成分，从而构建知识图谱，并将分析得到的知识图谱存储至知识图谱库中。这种系统构建的方式庞大且复杂，涉及分词、词性标注、命名体识别、句法分析等等众多点，且这种方式经过了中间三个步骤才得到了最终语义分析的结果，效率相对较低，没有涉及到意图的识别，也不能应用到任务型多轮对话系统的实际业务场景。

发明内容

本申请是基于发明人对以下问题的认识和发现作出的：

自然语言理解(nlu)主流的方式都是将意图识别和曹槽填充作为两个单独的子任务来完成，在进行语义解析的过程中，没有意图识别和曹槽填充的信息相互影响相互促进的机制。实际上，一句话的意图与其槽值具有密不可分的关系。但在以往的技术中，这两者之间的关系并没有很好的结合起来，在许多系统中仅通过损失函数进行弱关联，并没有深入挖掘意图识别和曹槽填充之间的语义关系，没有形成意图识别和曹槽填充之间相互作用的机制。仅仅通过这样的语义解析方式割裂了本来是一体的理解过程，在造成了许多解析过程中信息的丢失，使得自然语言理解过程与人类的语言理解过程出现了偏差，这一影响在汉语的自然语言理解过程中尤为突出，这也是制约当前自然语言理解系统发展的重要原因。

基于自然语言理解的发展现状，建立一种将意图和槽值有效关联起来的机制，并将这种机制应用到任务型多轮对话系统中，是自然语言理解亟待解决的问题。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种双向的意图槽值交叉相关的任务型对话理解系统，该系统可以应用到任务型多轮对话系统的实际业务场景中，且自然语义理解的性能得到了大幅度的提升，简单易实现。

本发明的另一个目的在于提出一种双向的意图槽值交叉相关的任务型对话理解方法。

为达到上述目的，本发明一方面实施例提出了一种双向的意图槽值交叉相关的任务型对话理解系统，包括：文本输入模块，用于输入目标文本；词向量模块，用于将所述目标文本转换为词向量；对话语义理解编码器模块，用于通过双向LSTM(Long Short-TermMemory，是长短期记忆网络)网络对所述词向量进行语义解析，以得到语义解析结果；对话语义理解译码器模块，用于从所述语义解析结果中提取得到意图和槽值的特征向量；SF-ID网络模块，用于通过意图和槽值相互作用的机制对所述意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量；Softmax分类模块，用于根据所述深层特征向量得到意图识别和槽值填充的初步结果；对话理解信息模块，用于根据所述意图识别和槽值填充的初步结果同步得到所述目标文本的意图识别和槽值提取的输出结果。

本发明实施例的双向的意图槽值交叉相关的任务型对话理解系统，创建了双向SF-ID网络，实现了槽填充和意图识别相互作用相互影响的机制，创建了基于编码-解码器结构的意图和槽值提取联合建模模型，同步并行输出意图和槽值的识别结果，创建了一种全新的槽填充和意图识别相互迭代的机制，实验证明大幅度提高了模型的性能，自然语言理解模型可兼容不同模型，易扩展替换，可适用于不同的对话场景，从而可以应用到任务型多轮对话系统的实际业务场景中，且自然语义理解的性能得到了大幅度的提升，简单易实现。

另外，根据本发明上述实施例的双向的意图槽值交叉相关的任务型对话理解系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述SF-ID网络模块进一步包括：SF子网络模块，用于建立意图识别影响槽值提取的机制；ID子网络模块，用于建立槽值提取影响意图识别的机制，并将所述句子级别和词汇级别的信息融合，以预测标签序列，其中，句子级别的信息为意图识别的结果，词汇级别的信息为槽值提取的结果。

进一步地，在本发明的一个实施例中，还包括：迭代模块，用于循环执行所述SF子网络模块和所述ID子网络模块。

进一步地，在本发明的一个实施例中，还包括：CRF层，用于从训练数据中获得约束性的规则，并根据所述约束性的规则对所述预测标签序列进行合法性约束。

进一步地，在本发明的一个实施例中，所述文本输入模块进一步用于统计所述目标文本中出现的所有词汇，并根据所述词汇建立词典，且将所述词汇映射成所述词典对应的编号。

为达到上述目的，本发明另一方面实施例提出了一种双向的意图槽值交叉相关的任务型对话理解方法，包括以下步骤：输入目标文本；将所述目标文本转换为词向量；通过双向LSTM网络对所述词向量进行语义解析得到语义解析结果；从所述语义解析结果中提取得到意图和槽值的特征向量；通过意图和槽值相互作用的机制对所述意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量；根据所述深层特征向量得到意图识别和槽值填充的初步结果；根据所述意图识别和槽值填充的初步结果同步得到所述目标文本的意图识别和槽值提取的输出结果。

本发明实施例的双向的意图槽值交叉相关的任务型对话理解方法，创建了双向SF-ID网络，实现了槽填充和意图识别相互作用相互影响的机制，创建了基于编码-解码器结构的意图和槽值提取联合建模模型，同步并行输出意图和槽值的识别结果，创建了一种全新的槽填充和意图识别相互迭代的机制，实验证明大幅度提高了模型的性能，自然语言理解模型可兼容不同模型，易扩展替换，可适用于不同的对话场景，从而可以应用到任务型多轮对话系统的实际业务场景中，且自然语义理解的性能得到了大幅度的提升，简单易实现。

另外，根据本发明上述实施例的双向的意图槽值交叉相关的任务型对话理解方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述通过意图和槽值相互作用的机制对所述意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量，进一步包括：建立意图识别影响槽值提取的机制；建立槽值提取影响意图识别的机制，并将所述句子级别和词汇级别的信息融合，以预测标签序列，其中，句子级别的信息为意图识别的结果，词汇级别的信息为槽值提取的结果。

进一步地，在本发明的一个实施例中，还包括：循环执行所述意图和槽值相互作用的机制。

进一步地，在本发明的一个实施例中，还包括：从训练数据中获得约束性的规则，并根据所述约束性的规则对所述预测标签序列进行合法性约束。

进一步地，在本发明的一个实施例中，所述输入目标文本之后，进一步包括：统计所述目标文本中出现的所有词汇，并根据所述词汇建立词典，且将所述词汇映射成所述词典对应的编号。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的双向的意图槽值交叉相关的任务型对话理解系统的结构示意图；

图2为根据本发明一个实施例的基于双向SF-ID机制的自然语言理解系统架构图；

图3为根据本发明一个实施例的基于双向SF-ID机制的自然语言理解系统算法模型图；

图4为根据本发明一个实施例的迭代机制示意图；

图5为根据本发明一个实施例的任务型多轮对话系统流程图；

图6为根据本发明一个实施例的自然语言理解系统输出示例示意图；

图7为根据本发明一个实施例的基于双向SF-ID机制的自然语言理解系统的原理流程图；

图8为根据本发明一个实施例的双向的意图槽值交叉相关的任务型对话理解方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的双向的意图槽值交叉相关的任务型对话理解系统及方法，首先将参照附图描述根据本发明实施例提出的双向的意图槽值交叉相关的任务型对话理解系统。

图1是本发明一个实施例的双向的意图槽值交叉相关的任务型对话理解系统的结构示意图。

如图1所示，该双向的意图槽值交叉相关的任务型对话理解系统10包括：文本输入模块100、词向量模块200、对话语义理解编码器模块300、对话语义理解译码器模块400、SF-ID网络模块500、Softmax分类模块600和对话理解信息模块700。

其中，文本输入模块100用于输入目标文本。词向量模块200用于将目标文本转换为词向量。对话语义理解编码器模块300用于通过双向LSTM网络对词向量进行语义解析，以得到语义解析结果。对话语义理解译码器模块400用于从语义解析结果中提取得到意图和槽值的特征向量。SF-ID网络模块500用于通过意图和槽值相互作用的机制对意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量。Softmax分类模块600用于根据深层特征向量得到意图识别和槽值填充的初步结果。对话理解信息模块700用于根据意图识别和槽值填充的初步结果同步得到目标文本的意图识别和槽值提取的输出结果。本发明实施例的系统10可以应用到任务型多轮对话系统的实际业务场景中，使得自然语义理解的性能得到了大幅度的提升，简单易实现。

可以理解的是，在自然语言理解领域，意图识别和槽值填充是两个主要任务。本发明实施例提出了一种全新的双向的意图识别和槽值填充交叉相关的自然语言理解模型，将SF-ID网络融入到了编码-解码结构中，SF-ID网络可以分为SF子网络和ID子网络，SF在这里指的是Slot Filling(槽填充)，代表意图识别对槽填充的影响；ID在这里指的是IntentDetection(意图识别)，代表槽填充对意图识别的影响。据所知，这是首次建立了意图识别和槽值填充相互影响机制的模型。除此之外，本发明实施例还建立了一种全新的相互迭代的机制。并且在槽填任务之后增加了CRF层。最终网络同步输出意图识别和槽值提取的结果。其中，文本输入模块进一步用于统计目标文本中出现的所有词汇，并根据词汇建立词典，且将词汇映射成词典对应的编号。

下面将对双向的意图槽值交叉相关的任务型对话理解系统10进行进一步阐述。

进一步地，在本发明的一个实施例中，SF-ID网络模块500进一步包括：SF子网络模块和ID子网络模块。

其中，SF子网络模块，用于建立意图识别影响槽值提取的机制。ID子网络模块，用于建立槽值提取影响意图识别的机制，并将句子级别和词汇级别的信息融合，以预测标签序列，其中，句子级别的信息为意图识别的结果，词汇级别的信息为槽值提取的结果。

具体而言，如图2所示，编码-解码器结构以中间的虚线为分界线，系统可以分为编码器和解码器两个部分，编码器部分采用了双向LSTM网络。在解码器部分引入了SF-ID网络，提升了解码器的效果，解码器最终可以同步输出意图识别和槽值提取的输出结果。

如图3所示，SF-ID网络，SF-ID可以分为SF子网络和ID子网络，SF子网络和ID子网络的先后顺序是可以自定义的，因此，可以分为SlotFirst和IntentFirst两种模式。在实际中，SF子网络在前时实验效果更好，SF-ID网络内部是可以实现自循环的，也就是意图识别和槽值填充的影响是可以反复进行的。

下面介绍SlotFirst模式下SF-ID网络的工作模式，即先执行SF子网络，再执行ID子网络。IntentFirst模式与此相反，先执行ID子网络，再执行SF子网络。

下面将对SF子网络进行进一步介绍，具体包括：

基于槽值提取通常高度依赖于意图识别的事实，SF子网络建立了意图识别影响槽值提取的机制，图3红线部分代表SF子网络的计算和连接，通过引入意图识别的信息来提高槽值提取的精度。最终序列标签预测的表达式为：

其中，h_i表示双向lstm网络的隐藏层单元的输出。

表示槽填充中的上下文向量，每个单词都有对应的预测标签，对每个隐藏层单元，本发明实施例都会采用attention机制通过隐藏层输出h₁,…,h_T的加权和来计算上下文向量

为第j个隐藏层单元的的权值：

在这里表示的是学习到的权值，计算方式如下：

e_j,k＝W*σ(V₁*h_j+V₂*h_k) (4)

其中，σ在这里表示的是激励方程，在这里是用的是tanh函数。W、V1、V2在这里表示通过网络训练得到的权重矩阵。

公式1中的f为意图和槽值的关联系数，也就是图2中的SI_relation_factor，f的计算用到了意图和槽值的信息，代表了意图和槽值的关联关系，f的值越大，也就表明意图和槽值的关系越强,计算方式为式子(5),W在这里表示可以训练的系数。

在这里定义槽值增强向量r^S,槽值增强向量会传递到ID子网络，参与意图识别的计算：

上述实施例为SF子网络介绍，下面将对ID子网络进行进一步介绍。

ID子网络建立了槽值提取影响意图识别的机制，意图识别的结果可以认为是句子级别的信息，槽值提取的结果可以认为是词汇级别上的信息，将句子级别和词汇级别的信息融合来预测标签序列，可以在一定程度上提高标签预测的精度，这也是ID子网络的理论依据。ID子网络通过引入槽值提取的信息来提高意图识别的精度。最终意图识别的表达式为：

关于意图增强向量r_intent的计算，通过槽值的增强向量r_slot融合进了槽值的信息，和原有的意图的上下文向量c_intent结合,其中c^I的计算方式与式子2相同：

r_intent＝r_slot+c^I (8)

槽值增强向量r_slot是通过增强向量r^s与权重相乘得到的：

而权值α_i的计算用到了增强向量和双向lstm网络隐藏层单元的信息，其中W表示的映射参数,r_i表示第i个增强向量，

表示第j个双向lstm网络的隐藏层单元，V₁和V₂分别表示增强向量和双向lstm的隐藏层单元的权值。σ在这里表示的是激励方程，在公式中具体是用的是tanh函数。

由公式7可以得到最终解码器部分的意图识别向量d_intent是通过双向lstm网络的最后一个隐藏单元h_T和意图与意图的增强向量r_intent拼接得到的：

d_intent＝concat(h_T,r_intent) (12)

最终的d_intent会传给SF子网络，用于关联系数g的计算，如此意图识别和槽值填充可以形成相互迭代的循环机制，SF子网络中公式5将被替代为：

进一步地，在本发明的一个实施例中，本发明实施例的系统10还包括：迭代模块。其中，迭代模块，用于循环执行SF子网络模块和ID子网络模块。

具体而言，如图4所示，为迭代机制的示意图。SF子网络和ID子网络的相互作用是可以反复进行的，因为当经过一个SF-ID网络循环之后，槽值提取模块会得到新的输出，新的输出可以作为SF子网络新的输入，这样SF子网络和ID子网络都可以被迭代更新。

迭代机制的伪代码如下：

进一步地，在本发明的一个实施例中，本发明实施例的系统10还包括：CRF层。其中，CRF层用于从训练数据中获得约束性的规则，并根据约束性的规则对预测标签序列进行合法性约束。

具体而言，在槽值提取网络的最后加上CRF层，来保证标签预测序列的准确性，CRF层能从训练数据中获得约束性的规则，可以为最后预测的标签添加一些约束来保证预测的标签是合法的。在训练数据训练过程中，这些约束可以通过CRF层自动学习到。有了这些约束，标签序列预测中非法序列出现的概率将会大大降低。

下面将通过具体应用实例对双向的意图槽值交叉相关的任务型对话理解系统进行进一步阐述。

如图5所示，展示了任务型多轮对话系统的流程图，可以看到任务型多轮对话系统可以主要分为NLU(Natural Language Understanding，自然语言理解)、DM(DialogManagement，对话管理)、NLG(Natural Language Processing，自然语言生成)三个模块，其中对话管理又可以分为DST(Dialogue state tracking，对话状态跟踪)和对话策略学习(Policy Learning)两个部分，用户输入“我想看周冬雨主演的电影”，自然语言理解系统会识别出意图是看电影，并提取出演员是周冬雨这样的槽值信息。对话管理(DM)对对话信息进行存储和进一步加工，在自然语言生成(NLG)模块生成了对用户输入文本之后的回复之后，便可形成一轮交互，之后用户再根据多轮对话系统的回复输入文本，以此产生第二轮交互，这样反复就可以生成多轮对话。

如上图的多轮对话系统流程图所示，自然语言理解(NLU)模块是整个多轮对话的第一个部分，其识别精度直接影响着对话管理(DM)和自然语言生成(NLG)模块的性能，是整个多轮对话系统的基础，本申请提出的一种双向的意图槽值交叉相关的任务型对话理解方法对多轮对话系统的构建具有重要的意义。

自然语言理解模型可兼容，可以被扩展和替换，将来可以替换为性能更优的其它模型，可以应用于不同的多轮对话业务场景，目前已经在酒店预订领域应用。

进一步地，在本发明的一个示例中，如图6所示，展示了音乐场景下自然对用户输入文本进行语义解析的结果，这也是自然语言理解系统期望的目标输出，用户输入的文本为”给我放一首周杰伦的夜曲”，自然语言理解系统会输出每一个汉字的标签，根据这些标签信息，可以得到singer_name为周杰伦，song_name为夜曲的语义信息。系统还会识别出用户输入文本的意图，也就是这里的play_song。

下面将结合图7对双向的意图槽值交叉相关的任务型对话理解系统的流程图进行进一步阐述。

如图7所示，基于双向SF-ID机制的自然语言理解系统，具体包含以下几个步骤：

1、将需要进行自然语言理解的文本数据输入到文本输入模块，统计出现的所有词汇，建立词典，并将出现的词汇映射成其对应的编号；

2、将文本数据输入到词向量模块，将文本数据转换为词向量的形式，便于模型的处理；

3、将词向量输入到对话语义理解编码器模块，通过双向LSTM网络对用户的输入文本进行初步的语义解析；

4、将语义解析的结果输入到对话语义理解译码器模块，初步提取出表示意图和槽值的特征向量；

5、将意图和槽值的特征向量输入到SF-ID网络模块，通过意图和槽值相互作用的机制对意图和槽值的特征向量进行深层特征的提取；

6、将经过SF-ID网络模块处理之后的深层特征向量输入到Softmax分类器，得到意图识别和槽填充的原始结果；

7、将意图识别和槽填充的初步结果输入到对话理解信息模块，得到最终规范格式的输出。

综上，(1)本方案创新性的采用了一种意图识别和槽填充交叉作用的网络(SF-ID网络)，实验证明该网络提高了自然语言理解模型的性能和效果。与其它通过损失函数将槽填充与意图识别弱关联的自然语言理解系统相比，SF-ID网络建立了意图识别和槽填充之间的强联系，深入挖掘了意图识别和槽填充之间的语义关系。

(2)本方案采用了encoder-decoder(编码-解码器)结构用于自然语言理解任务，实现了意图和槽值提取的联系学习。

(3)本方案实现了SF-ID网络并且这个过程是可以反复进行的，即槽填充和意图识别的相互影响的作用反复迭代，在多次迭代之后实验效果得到了提升，这也证明了迭代机制的有效性。

(4)本方案将自然语言理解模块很好地嵌入到了任务型多轮对话系统中，并在实际的业务场景中取得了不错的效果(酒店预订)，将来迁移到不同的业务场景(如车票预订、航班预订、医疗挂号等)。

根据本发明实施例提出的双向的意图槽值交叉相关的任务型对话理解系统，创建了基于编码-解码器结构的意图和槽值提取联合建模模型，同步并行输出意图和槽值的识别结果，创建了一种全新的槽填充和意图识别相互迭代的机制，实验证明大幅度提高了模型的性能，自然语言理解模型可兼容不同模型，易扩展替换，可适用于不同的对话场景，从而可以应用到任务型多轮对话系统的实际业务场景中，且自然语义理解的性能得到了大幅度的提升，简单易实现。

其次参照附图描述根据本发明实施例提出的双向的意图槽值交叉相关的任务型对话理解方法。

图8是本发明一个实施例的双向的意图槽值交叉相关的任务型对话理解方法的流程图。

如图8所示，该双向的意图槽值交叉相关的任务型对话理解方法包括以下步骤：

在步骤S801中，输入目标文本。

在步骤S802中，将目标文本转换为词向量。

在步骤S803中，通过双向LSTM网络对词向量进行语义解析得到语义解析结果。

在步骤S804中，从语义解析结果中提取得到意图和槽值的特征向量。

在步骤S805中，通过意图和槽值相互作用的机制对意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量。

在步骤S806中，根据深层特征向量得到意图识别和槽值填充的初步结果。

在步骤S807中，根据意图识别和槽值填充的初步结果同步得到目标文本的意图识别和槽值提取的输出结果。

进一步地，在本发明的一个实施例中，通过意图和槽值相互作用的机制对意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量，进一步包括：建立意图识别影响槽值提取的机制；建立槽值提取影响意图识别的机制，并将句子级别和词汇级别的信息融合，以预测标签序列，其中，句子级别的信息为意图识别的结果，词汇级别的信息为槽值提取的结果。

进一步地，在本发明的一个实施例中，还包括：循环执行意图和槽值相互作用的机制。

进一步地，在本发明的一个实施例中，还包括：从训练数据中获得约束性的规则，并根据约束性的规则对预测标签序列进行合法性约束。

进一步地，在本发明的一个实施例中，输入目标文本之后，进一步包括：统计目标文本中出现的所有词汇，并根据词汇建立词典，且将词汇映射成词典对应的编号。

需要说明的是，前述对双向的意图槽值交叉相关的任务型对话理解系统实施例的解释说明也适用于该实施例的双向的意图槽值交叉相关的任务型对话理解方法，此处不再赘述。

根据本发明实施例提出的双向的意图槽值交叉相关的任务型对话理解方法，创建了双向SF-ID网络，实现了槽填充和意图识别相互作用相互影响的机制，创建了基于编码-解码器结构的意图和槽值提取联合建模模型，同步并行输出意图和槽值的识别结果，创建了一种全新的槽填充和意图识别相互迭代的机制，实验证明大幅度提高了模型的性能，自然语言理解模型可兼容不同模型，易扩展替换，可适用于不同的对话场景，从而可以应用到任务型多轮对话系统的实际业务场景中，且自然语义理解的性能得到了大幅度的提升，简单易实现。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种双向的意图槽值交叉相关的任务型对话理解系统，其特征在于，包括：

文本输入模块，用于输入目标文本；

词向量模块，用于将所述目标文本转换为词向量；

对话语义理解编码器模块，用于通过双向LSTM网络对所述词向量进行语义解析，以得到语义解析结果；

对话语义理解译码器模块，用于从所述语义解析结果中提取得到意图和槽值的特征向量；

SF-ID网络模块，用于通过意图和槽值相互作用的机制对所述意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量；所述SF-ID网络模块进一步包括：SF子网络模块，用于建立意图识别影响槽值提取的机制；ID子网络模块，用于建立槽值提取影响意图识别的机制，并将句子级别和词汇级别的信息融合，以预测标签序列，其中，句子级别的信息为意图识别的结果，词汇级别的信息为槽值提取的结果；具体地：

SF子网络建立了意图识别影响槽值提取的机制，通过引入意图识别的信息来提高槽值提取的精度，最终序列标签预测的表达式为：

其中，h_i表示双向lstm网络的隐藏层单元的输出；

表示槽填充中的上下文向量，每个单词都有对应的预测标签，对每个隐藏层单元，采用attention机制通过隐藏层输出h₁，...，h_T的加权和来计算上下文向量

为第j个隐藏层单元的权值：

表示的是学习到的权值，计算方式如下：

其中，σ在表示的是激励方程，为tanh函数，W、V1、V2表示通过网络训练得到的权重矩阵；f为意图和槽值的关联系数，f的值越大，意图和槽值的关系越强，计算方式为：

W在这里表示训练的系数；槽值增强向量r^s，槽值增强向量会传递到ID子网络，参与意图识别的计算：

ID子网络建立了槽值提取影响意图识别的机制，意图识别的结果是句子级别的信息，槽值提取的结果是词汇级别上的信息，将句子级别和词汇级别的信息融合来预测标签序列，提高标签预测的精度，ID子网络通过引入槽值提取的信息来提高意图识别的精度，最终意图识别的表达式为：

意图增强向量r_intent的计算，通过槽值的增强向量r_slot融合槽值的信息，和原有的意图的上下文向量c_intent结合，其中c^I的计算方式为：r_intent＝r_slot+c^I，槽值增强向量r_slot是通过增强向量r^s与权重相乘得到的：

权值α_i的计算用到了增强向量和双向lstm网络隐藏层单元的信息，其中W表示的映射参数，r_i表示第i个增强向量，

表示第j个双向lstm网络的隐藏层单元，V₁和V₂分别表示增强向量和双向lstm的隐藏层单元的权值；σ在表示的是激励方程，在公式中具体是tanh函数：

最终解码器部分的意图识别向量d_intent通过双向lstm网络的最后一个隐藏单元h_T和意图与意图的增强向量r_intent拼接得到的：d_intent＝concat(h_T，r_intent)，d_intent会传给SF子网络，用于关联系数g的计算，意图识别和槽值填充形成相互迭代的循环机制，SF子网络中公式

被替代为：

迭代模块，用于循环执行所述SF子网络模块和所述ID子网络模块；具体地：SF子网络和ID子网络的相互作用是反复进行的，当经过一个SF-ID网络循环之后，槽值提取模块会得到新的输出，新的输出可以作为SF子网络新的输入，以使得SF子网络和ID子网络均被迭代更新；

Softmax分类模块，用于根据所述深层特征向量得到意图识别和槽值填充的初步结果；以及

对话理解信息模块，用于根据所述意图识别和槽值填充的初步结果同步得到所述目标文本的意图识别和槽值提取的输出结果。

2.根据权利要求1所述的双向的意图槽值交叉相关的任务型对话理解系统，其特征在于，还包括：

CRF层，用于从训练数据中获得约束性的规则，并根据所述约束性的规则对所述预测标签序列进行合法性约束。

3.根据权利要求1所述的双向的意图槽值交叉相关的任务型对话理解系统，其特征在于，所述文本输入模块进一步用于统计所述目标文本中出现的所有词汇，并根据所述词汇建立词典，且将所述词汇映射成所述词典对应的编号。

4.一种双向的意图槽值交叉相关的任务型对话理解方法，其特征在于，包括以下步骤：

输入目标文本；

将所述目标文本转换为词向量；

通过双向LSTM网络对所述词向量进行语义解析得到语义解析结果；

从所述语义解析结果中提取得到意图和槽值的特征向量；

通过意图和槽值相互作用的机制对所述意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量；所述通过意图和槽值相互作用的机制对所述意图和槽值的特征向量进行深层特征的提取，以得到深层特征向量，进一步包括：建立意图识别影响槽值提取的机制；建立槽值提取影响意图识别的机制，并将句子级别和词汇级别的信息融合，以预测标签序列，其中，句子级别的信息为意图识别的结果，词汇级别的信息为槽值提取的结果；具体地：

SF子网络建立了意图识别影响槽值提取的机制，通过引入意图识别的信息来提高槽值提取的精度，最终序列标签预测的表达式为：

其中，h_i表示双向lstm网络的隐藏层单元的输出；

表示槽填充中的上下文向量，每个单词都有对应的预测标签，对每个隐藏层单元，采用attention机制通过隐藏层输出h₁，...，h_T的加权和来计算上下文向量

为第j个隐藏层单元的权值：

在这里表示的是学习到的权值，计算方式如下：

其中，σ在表示的是激励方程，为tanh函数，W、V1、V2在表示通过网络训练得到的权重矩阵；f为意图和槽值的关联系数，f的值越大，意图和槽值的关系越强，计算方式为：

W在这里表示训练的系数；槽值增强向量r^s，槽值增强向量会传递到ID子网络，参与意图识别的计算：

ID子网络建立了槽值提取影响意图识别的机制，意图识别的结果是句子级别的信息，槽值提取的结果是词汇级别上的信息，将句子级别和词汇级别的信息融合来预测标签序列，提高标签预测的精度，ID子网络通过引入槽值提取的信息来提高意图识别的精度，最终意图识别的表达式为：

意图增强向量r_intent的计算，通过槽值的增强向量r_slot融合槽值的信息，和原有的意图的上下文向量c_intent结合，其中c^I的计算方式为：r_intent＝r_slot+c^I，槽值增强向量r_slot是通过增强向量r^s与权重相乘得到的：

权值α_i的计算用到了增强向量和双向lstm网络隐藏层单元的信息，其中W表示的映射参数，r_i表示第i个增强向量，

表示第j个双向lstm网络的隐藏层单元，V₁和V₂分别表示增强向量和双向lstm的隐藏层单元的权值；σ在表示的是激励方程，在公式中具体是tanh函数：

最终解码器部分的意图识别向量d_intent通过双向lstm网络的最后一个隐藏单元h_T和意图与意图的增强向量r_intent拼接得到的：d_intent＝concat(h_T，r_intent)，d_intent会传给SF子网络，用于关联系数g的计算，意图识别和槽值填充形成相互迭代的循环机制，SF子网络中公式

被替代为：

循环执行所述意图和槽值相互作用的机制；具体地：SF子网络和ID子网络的相互作用是反复进行的，当经过一个SF-ID网络循环之后，槽值提取模块会得到新的输出，新的输出可以作为SF子网络新的输入，以使得SF子网络和ID子网络均被迭代更新；

根据所述深层特征向量得到意图识别和槽值填充的初步结果；以及

根据所述意图识别和槽值填充的初步结果同步得到所述目标文本的意图识别和槽值提取的输出结果。

5.根据权利要求4所述的双向的意图槽值交叉相关的任务型对话理解方法，其特征在于，还包括：

从训练数据中获得约束性的规则，并根据所述约束性的规则对所述预测标签序列进行合法性约束。

6.根据权利要求4所述的双向的意图槽值交叉相关的任务型对话理解方法，其特征在于，所述输入目标文本之后，进一步包括：

统计所述目标文本中出现的所有词汇，并根据所述词汇建立词典，且将所述词汇映射成所述词典对应的编号。

Images