CN110569331A - 一种基于上下文的关联性预测方法、装置及存储设备 - Google Patents

Abstract

本发明公开了一种基于上下文的关联性预测方法、装置及计算机存储设备。基于上下文的关联性预测方法包括：首先，获取当前轮查询语和上一轮查询语；然后，对当前轮查询语和上一轮查询语进行词向量转化，分别得到当前轮查询语词向量和上一轮查询语词向量；接下来，再分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到当前轮查询语句子表征向量和上一轮查询语句子表征向量；最后，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到当前轮查询语与上一轮查询语是否相关联的预测结果。

Description

一种基于上下文的关联性预测方法、装置及存储设备

技术领域

本发明涉及人工智能(Artificial Intelligence，AI)技术领域，尤其涉及一种基于上下文的关联性预测方法、装置及计算机存储设备。

背景技术

在现有的对话系统中，很难通过单个问题捕获用户的真实意图，通常都需要进行多轮对话，结合用户之前的查询语，才能更好地确定当前查询语的语境，得到当前查询语的确切语义，做出更准确的应答。相应地，对话系统中的自然语言理解模块也衍生出一个上下文自然语言理解模块，该模块就主要根据多轮对话中上一轮查询语和当前轮查询语的上下文关联性预测，捕获用户的真实意图，为对话管理模块做出更准确的决策提供支持。

目前的上下文自然语言理解模块，在判断多轮对话的上下文关联性预测中存在以下问题：1)用规则来实现上下文分类，人工成本较高；2)只考虑上文的域信息而忽略文本信息，即在进行基于上下文的关联性预测时，只考虑多轮对话中的上一轮查询语所属的域与当前轮查询语所属的域是否相关，而不考虑其他因素；3)仅限于查询语本身包含的内容，没有引入外部知识，泛化性不高。

发明内容

本发明实施例为了解决以上问题，创造性地提供一种基于上下文的关联性预测方法、装置及计算机存储设备。

根据本发明实施例第一方面，提供一种基于上下文的关联性预测方法，该方法包括：获取当前轮查询语和与当前轮查询语对应的上一轮查询语；对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

根据本发明一实施方式，对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量，包括：对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；对当前轮查询语词集和上一轮查询语词集分别进行词向量转换(wordembedding)，将词集转化为数值矩阵形式的当前轮查询语词向量和上一轮查询语词向量。

根据本发明一实施方式，分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量，包括：对当前轮查询语词向量和上一轮查询语词向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；对当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。

根据本发明一实施方式，对当前轮查询语词向量和上一轮查询语词向量进行卷积处理，包括：通过卷积神经网络模型CNN对当前轮查询语词向量和上一轮查询语词向量进行等步长卷积处理。

根据本发明一实施方式，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果，包括：对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；对联合表示向量进行二分类预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

根据本发明一实施方式，对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量，包括：确定上一轮查询语对应的域向量；将当前轮查询语句子表征向量、上一轮查询语句子表征向量及上一轮查询语对应的域向量进行拼接，得到联合表示向量。

根据本发明实施例第二方面，还提供一种基于上下文的关联性预测装置，该装置包括：获取模块，用于获取当前轮查询语和与当前轮查询语对应的上一轮查询语；查询语词向量转化模块，用于对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；句子表征向量转化模块，用于分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；关联性预测模块，用于根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

根据本发明一实施方式，查询语向量转化模块，包括：词典特征抽取单元，用于对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；词向量转换单元，用于对当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语向量和上一轮查询语向量。

根据本发明一实施方式，句子表征向量转化模块，包括：卷积处理单元，用于对当前轮查询语向量和上一轮查询语向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；最大池化单元，用于对当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。

根据本发明一实施方式，卷积处理单元还用于通过卷积神经网络模型对当前轮查询语向量和上一轮查询语向量进行等步长卷积处理。

根据本发明一实施方式，关联性预测模块包括：联合表示向量生成单元，用于对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；二分类预测单元，用于对联合表示向量进行二分类预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

根据本发明一实施方式，联合表示向量生成单元还包括：域向量确定子单元，用于确定上一轮查询语对应的域向量；向量拼接子单元，用于将当前轮查询语句子表征向量、上一轮查询语句子表征向量及上一轮查询语对应的域向量进行拼接，得到联合表示向量。

根据本发明实施例第三方面，又提供一种计算机存储设备，存储设备包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的语言生成方法。

本发明实施例基于上下文的关联性预测方法、装置及存储设备，首先获取当前轮查询语和上一轮查询语；然后，对前轮查询语和上一轮查询语进行词向量转化，分别得到当前轮查询语词向量和上一轮查询语词向量；接下来，再分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到当前轮查询语句子表征向量和上一轮查询语句子表征向量；最后，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到当前轮查询语与上一轮查询语是否相关联的预测结果。可以看出，本发明实施例基于上下文的关联性预测方法、装置及存储设备加入了对查询语进行词典特征抽取的过程，这样在进行关联性预测时就会在考虑域关联之外还考虑到了文本信息的语义；同时，词典特征抽取的过程还额外引入了词所属词典这一外部知识，增强了泛化性；此外，本发明实施例基于上下文的关联性预测方法、装置及存储设备在进行预测的过程中，使用了词向量转化、卷积神经网络计算和二分类模型等人工智能技术进行智能预测，无需人工干预，节约了劳动成本，还大大提高了预测的准确率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了对话系统组成模块的示意图；

图2示出了本发明实施例基于上下文的关联性预测方法的实现流程示意图；

图3示出了本发明实施例一应用通过卷积神经网络模型和二分类模型预测关联性的示意图；

图4示出了本发明实施例基于上下文的关联性预测装置的组成结构示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1示出了对话系统组成模块的示意图。参考图1，一个完整的对话系统包括：语音识别模块11、自然语言理解模块12、上下文自然语言理解模块13、对话管理模块14、语言生成模块15和合成模块16。其中，上下文自然语言理解模块13设置于自然语言理解模块12和对话管理模块14之间，该模块在自然语言理解模块12的基础之上，对前一轮查询语和本轮查询语的上下文是否关联做出预测，捕获用户的真实意图，为对话管理模块14做出更准确的决策提供支持。上下文自然语言理解模块13还包括：上下文分类子模块131和多个上下文意图子模块132。其中，上下文分类子模块131主要是通过建立上下文分类模型判断前一轮查询语和本轮查询语的上下文是否关联，而上下文意图子模块132则是结合上下文分类子模块131的判断结果和自然语言理解模块12理解出的语义，进一步预测出的多个、可能的用户意图。本发明实施例基于上下文的关联性预测方法主要应用于对话系统中上下文自然语言理解模块13中的上下文分类子模块131中。

图2示出了本发明实施例基于上下文的关联性预测方法的实现流程示意图。参考图2，本发明实施例基于上下文的关联性预测方法包括：操作210，获取当前轮查询语和与当前轮查询语对应的上一轮查询语；操作220，对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；操作230，分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；操作240，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

在操作210，这里的当前轮和上一轮查询语通常是已经经过语音识别模块11和自然语言理解模块12处理过，转换为文字信息的查询语。

在操作220，对查询语进行词向量转化时，首先需要对查询语进行词典特征抽取。具体地，通常主要抽取查询语中有助于理解用户意图的词，这些词通常是主语、谓语、宾语中的名词、动词等实词，也可以是副词或修饰词等虚词。这里的词，不仅仅局限于查询语中包含的词，还可以是与这些词密切相关的外部词，比如词所属的词典。这里抽取出的词还不能直接用于机器学习，往往需要进行词向量转换，即将词转换为机器可以识别的数值表示，得到查询语词向量。查询语词向量是本发明实施例基于上下文的关联性预测方法的重要数据输入，是整个方法的分析基础和最终决策的关键因素之一。与现有技术方案仅仅考虑上一轮查询语的域不同，这里提取的词是具有更多参考意义的文本信息，可以使后续的预测更准确，是对现有技术方案的一种有益扩充。

在操作230，确定对应查询语词向量的句子表征，生成句子表征向量时，可以使用任何适用的句子表征向量生成方法，包括但不限于使用机器学习方法中的各种语言模型或向量模型对查询语词向量训练得到查询语句子表征向量。

在操作240，对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测时，可以使用任何适用的预测方法，包括但不限于使用机器学习方法中的各种预测模型。

根据本发明一实施方式，对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量，包括：对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；对当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语词向量和上一轮查询语词向量。

这里的词典，并不限定于侠义的、生活中具体的词典。更多情况下，此处的词典指的是词语标注的一个特征，代表词所属的一个类别。比如，“失恋”所属的词典是“伤心事”，“歌”所在的词典是“歌曲”，“北京”所属的词典是“城市”等。

在进行词向量转换时，可以使用任意词向量转换方法，也可以是通过使用机器学习方法中的任意适用的词向量模型进行转换，比如One-hot表示法、词袋模型(Bag ofWords)、使用神经网络模型训练词向量的word2vec等等。

除了加入了查询语中包含的文本信息，这里还加入了词所属词典这一外部知识，增强了整个模型和预测方法的泛化性，进一步提高预测结果的准确性。

这里所提到的词向量转换也是上下文自然语言理解中的关键步骤，选用适当的转换方法和训练模型可以相应地提高预测效率和准确度。

根据本发明一实施方式，分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量，包括：对当前轮查询语词向量和上一轮查询语词向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；对当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。

这里的卷积处理对查询语词向量进行了进一步的局部特征提取，使得预测结果更为稳定。而最大池化处理则弥补了卷积处理只学习局部特征而没有顾及全局特征的缺陷。而且最大池化对领域内的特征值取最大值的特性，也使得卷积处理和池化处理后得到的查询语句子表征向量更有代表性，也为之后的预测的准确度提供了很好的支持。

根据本发明一实施方式，对当前轮查询语词向量和上一轮查询语词向量进行卷积处理，包括：通过卷积神经网络模型对当前轮查询语词向量和上一轮查询语词向量进行等步长卷积处理。使用卷积神经网络模型的卷积层进行等步长卷积处理，是近些年来用得比较多，效果也比较好的一种方式。卷积神经网络中的卷积层本质上是一个多层感知机，采用了稀疏连接、参数共享和等变表示的方式，既能学习查询语词向量的局部特征，也能在深层网络中展现全部特征，且共享权值的方式有效减少了需要学习的参数数量，提高了整个方法的鲁棒性和运算效率。

根据本发明一实施方式，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果，包括：对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；对联合表示向量进行二分类预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

其中，使用融合后的联合表征向量，使得表征更为集中和精炼。而二分类预测也是近年来比较成熟的预测模型，预测结果的准确度也较高。这里的二分类预测可以使用任意适用的二分类模型进行预测，例如归一化(softmax)模型、最大熵模型等。

根据本发明一实施方式，对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量，包括：确定上一轮查询语对应的域向量；将当前轮查询语句子表征向量、上一轮查询语句子表征向量及上一轮查询语对应的域向量进行拼接，得到联合表示向量。

这里，对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合的同时还加入了上一轮查询语对应的域向量，可以继承现有技术方案的优势，充分利用域信息的指导意义，进一步提高了关联性预测的效率和准确度。

图3示出了本发明实施例一应用通过卷积神经网络框架进行二分类预测的示意图。参考图3，在本发明实施例一应用上下文之间的关联性预测方法中，首先，对上一轮查询语和当前轮查询语进行词典特征抽取，分别得到的上一轮查询语词集31和当前轮查询语词集32使用了机器学习方法中的词向量转换模型301进行训练得到上一轮查询语词向量33和当前轮查询语词向量34；接下来，通过卷积神经网络模型302对上一轮查询语词向量33和当前轮查询语词向量34进行卷积处理和最大池化处理，得到上一轮查询语句子表征向量35和当前轮查询语句子表征向量36；然后，通过向量融合模型303将上一轮查询语域向量371和上一轮查询语句子表征向量35和当前轮查询语句子表征向量36进行融合，得到联合表示向量37；最后，通过归一化(softmax)模型得到二分类预测结果38。

其中，词向量转换模型301的输入为上一轮查询语词集31和当前轮查询语词集32，词向量转换模型301所进行的训练是词向量转换，输出为上一轮查询语词向量33和当前轮查询语词向量34。

上一轮查询语词集31中包括从前轮查询语抽取词典特征后得到的词311和词典312。其中，词311并不是单个的词，而是一个词的列表，例如(w10,w11,…,w1m)，词典312也不是单个的词典而是词典的列表，例如(v10,v12,…,v1n)，这些词典都是加入的外部知识是词311所属的词典。查询语词集31是词311和词典312的一个合集，如(w10,w11,…,w1m,v10,v12,…,v1n)。词向量转换模型所进行的训练词向量转换301，会对上一轮查询语词集31中的每一单个词或单个词典，比如w10或v10进行词向量转换，转换成多维的数值表示。假设这里的多维为d维，则w10可以转换为一个d维的数值向量，而相应的(w10,w11,…,w1m,v10,v12,…,v1n)会转换为一个(m+n)×d矩阵。这个矩阵就是上一轮查询语词向量33。以上描述和说明同样适用于当前轮查询语词集32、词321、词典322，以及如何经过词向量转换模型进行词向量转换301，在此不再赘述。

接下来，上一轮查询语词向量33和当前轮查询语词向量34又作为卷积神经网络模型302的输入层，经过隐藏层中的卷积层进行卷积处理得到上一轮查询语多维特征向量和当前轮查询语多维特征向量。假设对上述(m+n)×d矩阵的上一轮查询语词向量进行步长为k的等长卷积，卷积核的尺寸为k×d，卷积核的个数为c的卷积处理，就会得到c个m+n维特征向量。对当前轮查询语34进行同样的操作也可以得到一个类似的当前轮查询语多维特征向量。之后，卷积神经网络隐藏层中的池化层的会对上一轮查询语多维特征向量和当前轮查询语多维特征向量进行最大池化处理得到上一轮查询语句子表征向量35和当前轮查询语句子表征向量36。这里的最大池化处理会提取上述查询语多维特征向量中每个多维特征向量的最大值，组成新的向量。例如，上述的c个m+n维特征向量经过最大池化处理后就会得到一个c维的上一轮查询语句子表征向量35。用同样的方法可以得到当前轮查询语多维特征向量对应的c维当前轮查询语句子表征向量36。

然后，通过向量融合模型303将上一轮查询语域向量371和查询语句子表征向量35和当前轮查询语句子表征向量36进行融合，得到联合表示向量37。这里，本发明实施例的融合就是简单地对以上向量进行直接拼接。例如，假设上一轮查询语域向量371为z维，与之前提到的c维上一轮查询语句子表征向量35和c维当前轮查询语句子表征向量36拼接在一起就得到了2c+z维的联合表示向量37。

最后，通过归一化模型304对联合表示向量37进行二分类预测，得到一个而分类结果，从而预测出上一轮查询语是否与当前论查询语相关。

为了进一步验证本发明实施例应用下文之间的关联性预测方法确实比现有技术中的关联性预测方法准确率高，进行了以下实验。

实验设置：词向量转换维度为300，随机初始化；卷积神经网络的尺寸为3、4、5、6(按照自然语言处理惯例，这里尺寸为3的卷积核尺寸是3*300)，每种卷积核数目为70，共270个，步长为1；使用随机梯度下降算法(SGD)做优化，学习率为0.01；训练时采用早停(early stop)策略，最大迭代次数为1000轮，一般在140轮左右收敛；批尺寸(batchsize)，即一次训练所选取的样本数，为32；查询语长度固定为20，不足补0，超过截断。

实验数据：本发明实施例实验数据来自线上日志和回归测试数据。每条数据包含两轮查询语，对两论查询语是否相关进行标注，数据的统计特征如表1所示。

	训练数据	开发数据	测试数据
				训练前数量	28980	3680	4620
训练后数量	13145	1766	2572

表1

实验结果：现有技术中常用的上下文之间关联性预测方法与本发明实施例上下文之间关联性预测方法的准确度如表2所示。

表2

从表2可以看出本发明实施例上下文之间关联性预测方法的准确度较之其他现有技术准确度有大幅提升。

进一步地，基于如上文描述的基于上下文的关联性预测方法，本发明实施例还提供一基于上下文的关联性预测装置。如图4所示，该装置40包括：获取模块401，用于获取当前轮查询语和与当前轮查询语对应的上一轮查询语；查询语词向量转化模块402，用于对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；句子表征向量转化模块403，用于分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；关联性预测模块404，用于根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

根据本发明一实施方式，查询语向量转化模块402，包括：词典特征抽取单元，用于对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；词向量转换单元，用于对当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语向量和上一轮查询语向量。

根据本发明一实施方式，句子表征向量转化模块403，包括：卷积处理单元，用于对当前轮查询语向量和上一轮查询语向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；最大池化单元，用于对当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。

根据本发明一实施方式，卷积处理单元还用于通过卷积神经网络模型CNN对当前轮查询语向量和上一轮查询语向量进行等步长卷积处理。

根据本发明一实施方式，关联性预测模块404包括：联合表示向量生成单元，用于对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；二分类预测单元，用于对联合表示向量进行二分类预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

根据本发明一实施方式，联合表示向量生成单元还包括：域向量确定子单元，用于确定上一轮查询语对应的域向量；向量拼接子单元，用于将当前轮查询语句子表征向量、上一轮查询语句子表征向量及上一轮查询语对应的域向量进行拼接，得到联合表示向量。

同样，基于如上文描述的下文之间的关联性预测方法，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，当程序被处理器执行时，使得处理器至少执行如下的操作步骤：操作210，获取当前轮查询语和与当前轮查询语对应的上一轮查询语；操作220，对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；操作230，分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；操作240，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。

这里需要指出的是：以上对针对基于上下文的关联性预测装置实施例的描述和以上针对计算机可读存储介质实施例的描述，与前述图2所示的方法实施例的描述是类似的，具有同前述图2所示的方法实施例相似的有益效果，因此不做赘述。对于本发明对文之间的关联性预测装置实施例的描述和以上针对计算机可读存储介质实施例的未披露的技术细节，请参照本发明前述图2所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以利用硬件的形式实现，也可以利用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于上下文的关联性预测方法，其特征在于，所述方法包括：

获取当前轮查询语和与当前轮查询语对应的上一轮查询语；

对所述当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；

分别确定对应所述当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；

根据所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果。

2.根据权利要求1所述的方法，其特征在于，对所述当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量，包括：

对所述当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；

对所述当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语词向量和上一轮查询语词向量。

3.根据权利要求1所述的方法，其特征在于，分别确定对应所述当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量，包括：

对所述当前轮查询语词向量和上一轮查询语词向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；

对所述当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。

4.根据权利要求3所述的方法，其特征在于，所述对所述当前轮查询语词向量和上一轮查询语词向量进行卷积处理，包括：

通过卷积神经网络模型CNN对所述当前轮查询语词向量和上一轮查询语词向量进行等步长卷积处理。

5.根据权利要求1所述的方法，其特征在于，根据所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果，包括：

对所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；

对所述联合表示向量进行二分类预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果。

6.根据权利要求5所述的方法，其特征在于，对所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量，包括：

确定所述上一轮查询语对应的域向量；

将所述当前轮查询语句子表征向量、上一轮查询语句子表征向量及所述上一轮查询语对应的域向量进行拼接，得到联合表示向量。

7.一种基于上下文的关联性预测装置，其特征在于，所述装置包括：

获取模块，用于获取当前轮查询语和与当前轮查询语对应的上一轮查询语；

查询语词向量转化模块，用于对所述当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；

句子表征向量转化模块，用于分别确定对应所述当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；

关联性预测模块，用于根据所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果。

8.根据权利要求7所述的装置，其特征在于，所述查询语向量转化模块，包括：

词典特征抽取单元，用于对所述当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；

词向量转换单元，用于对所述当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语向量和上一轮查询语向量。

9.根据权利要求7所述的装置，其特征在于，所述句子表征向量转化模块，包括：

卷积处理单元，用于对所述当前轮查询语向量和上一轮查询语向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；

最大池化单元，用于对所述当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。

10.一种计算机存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1至6任一项所述的方法。