CN109033073B - 基于词汇依存三元组的文本蕴含识别方法及装置 - Google Patents

Abstract

本发明属于自然语言处理技术领域，具体提供了一种文本蕴含识别方法及装置。旨在解决现有技术需要对句子进行复杂的特征描述和特征提取的问题。本发明的文本蕴含识别方法包括对待识别文本蕴含句对的源句子和目标句子进行依存句法分析，并根据分析结果获取源句子依存三元组集合和目标句子依存三元组集合；对源句子依存三元组集合和目标句子依存三元组集合进行语义关系比较，得到比较结果；根据比较结果预测源句子和目标句子之间的语义蕴含关系。本发明的方法可以从整体角度提升句子之间的比较精度，并且提升句子的依存三元组之间的对齐精度，进而提高语义蕴含关系预测的准确率。本发明的装置同样具有上述有益效果。

Description

基于词汇依存三元组的文本蕴含识别方法及装置

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于词汇依存三元组的文本蕴含识别方法及装置。

背景技术

当前，文本蕴含识别的研究在自然语言领域受到广泛关注，已经从最开始的纯理论探讨转换为较大规模的理论研究和经验性平台建设.当前，文本蕴含识别的方法主要包括以下四种：

第一：分类方法。该方法将文本蕴含形式化为一个分类问题。根据已标注的训练实例，学习其中的特征并建立分类器，其中大部分分类器是基于SVM，而用于学习的特征主要为基于词汇重叠或者一阶逻辑的词汇-句法和语义特征。

第二：深层语义分析和推理。这种方法主要采用传统的逻辑推理,自然逻辑推理，本体推理或者语义特征等。

第三：转换方法。在该方法下，判断是否可以基于蕴含规则由文本片段T得到假设H。所用到的算法包括树编辑距离,保持语义等价性的转换和概率模型等。

第四：性能驱动。这种方法主要针对一些特定的语言形式，如词汇相似性或者矛盾性，设计正确性驱动的模块，利用投票机制结合这些模块并辅以召回率的处理机制。这种方法的关键仍然是蕴含规则的获取。

当前文本蕴含识别方法更倾向于求解句子的整体表示，然后对句子表示进行比较，或者从句子中抽取一个依存三元组与另一个依存三元组集合进行比较，现有技术的方法均无法有效地比较句对中的语义信息，均需要对句子进行复杂的特征描述和特征提取。

随着深度神经网络的兴起，利用神经网络的方法进行文本蕴含识别成为当前研究的热点和难点。特别是在2015年，斯坦福大学公开了包含570K句对的英文文本蕴含识别语料，在一定程度上解决了深度神经网络训练数据的瓶颈问题。这在很大程度上促进了神经网络方法在文本蕴含识别任务上的应用。最近两年在ACL等会议上出现了大量利用神经网络的方法改进文本蕴含识别在数据集SNLI上性能的模型。这对文本蕴含识别最终的应用都有着极大的促进作用。不同于传统的分类方法，采用神经网络的方法在模型的实现过程中不再需要对句子进行复杂的特征描述以及特征的抽取，通过学习得到文本T和假设H对应的词向量和句向量，然后利用深度神经网络模型学习得到当前句对的分类模型。

从2005年至今，文本蕴含研究的发展呈现出以下趋势：从传统的纯统计学方法及规则方法，逐渐过渡到利用统计方法和规则相结合的方法，对文本语言的分析也逐渐深入，逐步将一些语言学的信息加入到统计模型中去，逐步加深了对语义的关注，而不再是基于表面的句法及句子结构信息。特别是在深度神经网络中，将解决问题的焦点放在了句子的表示上，通过优化句子表示来尽可能最优的表述句子的语义，从而改进系统的性能。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术需要对句子进行复杂的特征描述和特征提取的问题，本发明的第一方面提供了一种基于词汇依存三元组的文本蕴含识别的方法，包括：

对待识别文本蕴含句对的源句子和目标句子进行依存句法分析，并根据分析结果获取源句子依存三元组集合和目标句子依存三元组集合；

对所述源句子依存三元组集合和所述目标句子依存三元组集合进行语义关系比较，得到比较结果；

根据比较结果预测所述源句子和目标句子之间的语义蕴含关系。

在上述方法的优选技术方案中，“对所述源句子依存三元组集合和所述目标句子依存三元组集合进行语义关系比较，得到比较结果”的步骤包括：

将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较，得到初步语义关系比较结果；

根据预设的自注意力模型以及所述初步语义关系比较结果，获取所述初步语义关系比较结果对应的两个依存三元组之间的关联权重参数；

根据所述关联权重参数对所述初步语义关系比较结果进行加权求和；

获取加权求和结果对应的每个特征向量在向量维度上的最大元素值，根据所述每个特征向量在向量维度上的最大元素值构建新的语义关系特征向量，得到所述比较结果；

其中，当所述第一依存三元组集合是源句子依存三元组集合时，所示第二依存三元组集合是目标句子依存三元组集合；当所述第一依存三元组集合是目标句子依存三元组集合时，所述第二依存三元组集合是源句子依存三元组集合。

在上述方法的优选技术方案中，“将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较”的步骤包括：

按照下式所示的方法将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较：

comp(v₁,v₂)＝G([v₁；v₂；v₁-v₂；v₁⊙v₂])

其中，v₁表示所述第一依存三元组集合中依存三元组的组成元素对应的向量，v₂表示所述第二依存三元组集合中依存三元组的组成元素对应的向量，“；”表示拼接操作，“-”和“⊙”分别表示减操作和点乘操作。

在上述方法的优选技术方案中，“根据预设的自注意力模型以及所述初步语义关系比较结果，获取所述初步语义关系比较结果对应的两个依存三元组之间的关联权重参数”的步骤包括：

根据所述自注意力模型以及所述初步语义关系比较结果并按照下式所示的方法获取所述初步语义关系比较结果对应的两个依存三元组之间的关联权重参数：

e_ij＝W_s2tanh(W_s1v_ij)

其中，所述e_ij表示所述第一依存三元组集合中第i个依存三元组与所述第二依存三元组集合中第j个依存三元组之间的关联权重参数，所述W_s1、W_s2均表示所述自注意力模型的权重矩阵并且W_s1∈R^d×d、W_s2∈R^d×1，R^d×d、R^d×1分别表示向量维度为d×d的实数向量和向量维度为d×1的实数向量，所述v_ij表示所述第i个依存三元组和第j个依存三元组之间的语义关系比较结果。

在上述方法的优选技术方案中，“根据所述关联权重参数对所述初步语义关系比较结果进行加权求和”的步骤包括：

根据所述关联权重参数并按照下式所示的方法对所述初步语义关系比较结果进行加权求和：

其中，所述l_h、l_p分别表示所述第一依存三元组集合中依存三元组的数量和所述第二依存三元组集合中依存三元组的数量，所述O_i,H表示所述第一依存三元组集合中第i个依存三元组与所述第二依存三元组集合之间的语义关系比较结果对应的特征向量，所述O_j,P表示所述第二依存三元组集合中第j个依存三元组与所述第一依存三元组集合之间的语义关系比较结果对应的特征向量，所述e_ik表示所述第一依存三元组集中第i个依存三元组与所述第二依存三元组集合中第k个依存三元组之间的关联权重参数，所述e_jk表示所述第二依存三元组集合中第j个依存三元组与所述第一依存三元组集合中第k个依存三元组之间的关联权重参数。

在上述方法的优选技术方案中，在“将所述源句子语义单元集合与所述目标句子的语义单元集合进行语义关系比较”的步骤之前，所述方法还包括：

按照下式所示的方法将对所述源句子依存三元组集合和所述目标句子依存三元组集合中每个依存三元组对应的特征向量进行优化：

rel＝W_r*rel_in+b_r

head＝W_w*head_in+b_w

dep＝W_w*dep_in+b_w

其中，(rel_in，head_in，dep_in)表示某个依存三元组对应的特征向量，且

所述

表示向量维度为d_r的实数向量，所述

表示向量维度为d_w的实数向量，(rel，head，dep)表示(rel_in，head_in，dep_in)优化后对应的特征向量，*表示特征向量之间的乘法操作，所述W_r、W_w、b_r和b_w分别是预设的权重矩阵并且

所述

表示表示向量维度为d_r×d_r的实数向量，所述

表示向量维度为d_w×d_w的实数向量。

在上述方法的优选技术方案中，“根据比较结果预测所述源句子和目标句子之间的语义蕴含关系”的步骤包括：

基于预设的多感知机模型并根据所述比较结果预测所述源句子和目标句子之间的语义蕴含关系。

在本发明的第二方面提供了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载以执行上述任一项所述的文本蕴含识别方法。

在本发明的第三方面提供了一种控制装置，包括处理器、存储设备；所述存储设备，适于存储多条程序；所述程序适于由处理器加载并执行上述任一项所述的文本蕴含识别方法。

与最接近的现有技术相比，本发明的技术方案至少具有以下有益效果：本发明通过对源句子依存三元组集合和目标句子依存三元组集合进行语义关系比较，并根据比较结果预测源句子和目标句子之间的语义蕴含关系，可以从整体角度提升句子之间的比较精度，并且提升句子的依存三元组之间的对齐精度，进而提高语义蕴含关系预测的准确率。

附图说明

图1为本发明一种实施例的基于词汇依存三元组的文本蕴含识别方法的主要步骤示意图；

图2为本发明一种实施例的源句子和目标句子的依存句法分析树的结构示意图；

图3为本发明一种实施例的源句子依存三元组集合和目标句子依存三元组集合进行语义关系比较的主要流程示意图；

图4为本发明一种实施例的源句子依存三元组集合中依存三元组向量和目标句子依存三元组集合中依存三元组向量进行比较的主要流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

参阅附图1，图1示例性的给出了本实施例中文本蕴含识别方法的主要步骤。如图1所示，本实施例中文本蕴含识别方法包括下述步骤：

步骤S101：分别对待识别文本蕴含句对的源句子和目标句子进行依存句法分析，得到源句子和目标句子对应的依存句法分析树；

文本蕴含是指一对文本之间的有向推理关系，其中，蕴含前件记为T(Text，文本)，蕴含后件记作H(Hypothesis，假设)，如果根据常识能够从T的语义推理出H的语义，那么称T蕴含H。

句法分析分为句法结构分析和依存关系分析，句法结构分析也就是短语分析，比如提取出句子中的名词短语、动词短语等；依存关系分析是指分析词与词之间的关系来描述语言结构的框架，依存关系是指词与词之间支配与被支配的关系。依存句法分析树是指用树结构表示句法分析结构。

为了说明的方便，本发明接下来均以下述例子进行说明：

假设文本蕴含句对的源句子为：

An older man sits with his orange juice at a small table in a coffeeshop while employees in bright colored shirts smile in the background.

假设文本蕴含句对的目标句子为：

An elderly man sitting in a small shop.

具体地，分别对源句子和目标句子进行依存句法分析，得到源句子和目标句子对应的依存句法分析树。在本发明实施例中，可以采用Stanford Parser依存句法分析工具对源句子和目标句子进行依存句法分析，得到源句子和目标句子对应的依存句法分析树，除此之外，还可以采用其他的开源依存句法分析工具，本发明在此不做限定。

参阅附图2，图2示例性地给出了本发明实施例中源句子和目标句子的依存句法分析树的结构。依存三元组用(relation，head，dependency)表示，图2中每条线段的两端表示存在依存关系的head和dependency，head和dependency表示句子中的词汇，线段上的标注表示依存关系relation。其中，root表示要处理的文本语句，nsubj为nominal subject，表示名词主语，nmod为noun compound modifier，表示复合名词修饰，advcl为adverbialclause modifier，表示状语从句修饰词，det为determiner，表示决定词，amod为adjectival modifier，表示形容词，compound表示复合词，vmod为verb modifier表示动词修饰，带标号的线段可以表示进行文本蕴含识别时较为重要的依存关系。

其中，较为重要的依存关系是在对源句子和目标句子之间的语义关系进行预测时人为判定的，例如在图2中，源句子的依存句法分析树的线段上带有数字标注对应的依存三元组，能够在目标句子的依存句法分析树中找到对应的依存三元组，则可以认为带有数字标注的依存关系是较为重要的。

步骤S102：根据源句子和目标句子的依存句法分析树，分别获取源句子依存三元组集合和目标句子依存三元组集合。

将源句子的依存句法分析树中所有的依存三元组组成源句子依存三元组集合，将目标句子的依存句法分析树中所有的依存三元组组成目标句子依存三元组集合。

步骤S103：分别将源句子依存三元组集合和目标句子依存三元组集合进行向量初始化，得到源句子依存三元组向量集合和目标句子依存三元组向量集合。

具体地，将源句子依存三元组集合和目标句子依存三元组集合中的每一个依存三元组均进行向量初始化，即将依存三元组(relation，head，dependency)中每一个元素均进行向量初始化，其中，head，dependency可以使用预先训练好的词向量进行向量初始化，relation可以使用高斯分布进行随机初始化，得到源句子依存三元组向量集合和目标句子依存三元组向量集合，可以将源句子依存三元组向量集合记为

将目标句子依存三元组向量集合记为

其中，p_i和h_j分别表示源句子依存三元组向量集合的依存三元组特征向量和目标句子依存三元组向量集合的依存三元组特征向量，p_i和h_j具体可以表示为(rel，head，dep)，head和dep分别表示句子中head和dependency对应的初始化向量，rel表示语义关系relation对应的初始化向量，m和n分别表示源句子依存三元组向量集合和目标句子依存三元组向量集合中依存三元组的数量。

步骤S104：对源句子依存三元组集合和目标句子依存三元组集合中每个依存三元组对应的特征向量进行优化。

在本发明实施例中，在文本蕴含识别过程中保持词向量不变，减少参数量，可以提高对各个模型的训练速度，但是这样会导致得到的语义蕴含关系的预测效果变差，为了提高语义蕴涵关系预测的性能的同时，不增加太多的参数，可以对源句子依存三元组集合和目标句子依存三元组集合中每个依存三元组对应的特征向量进行优化，其具体方法如下公式(1)-(3)所示：

rel＝W_r*rel_in+b_r (1)

head＝W_w*head_in+b_w (2)

dep＝W_w*dep_in+b_w (3)

其中，(eel_in，head_in，dep_in)表示某个依存三元组对应的特征向量，且

表示向量维度为d_r的实数向量，

表示向量维度为d_w的实数向量，(rel，head，dep)表示(rel_in，head_in，dep_in)优化后对应的特征向量，*表示特征向量之间的乘法操作，W_r、W_w、b_r和b_w分别是预设的权重矩阵并且

表示向量维度为d_r×d_r的实数向量，表示对关系向量rel进行更新的参数矩阵，从而可以得到一个更好的关系向量表示，

表示向量维度为d_w×d_w的实数向量，表示对词向量head和dep进行更新的参数矩阵，从而可以得到更好的词向量表示。

步骤S105：对源句子依存三元组集合和目标句子依存三元组集合进行语义关系比较，得到比较结果；

参阅附图3，图3示例性地给出了本发明实施例中源句子依存三元组集合和目标句子依存三元组集合进行语义关系比较的主要流程。图3中，源句子依存三元组集合的依存三元组p_i和目标句子依存三元组集合的依存三元组h_j从上到下的方块分别表示向量rel，向量head和向量dep。

具体比较方法可以为：

将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较，得到初步语义关系比较结果；

根据预设的自注意力模型以及初步语义关系比较结果，获取初步语义关系比较结果对应的两个依存三元组之间的关联权重参数；

根据关联权重参数对初步语义关系比较结果进行加权求和；

获取加权求和结果对应的每个特征向量在向量维度上的最大元素值，根据每个特征向量在向量维度上的最大元素值构建新的语义关系特征向量，得到比较结果；

其中，当第一依存三元组集合是源句子依存三元组集合时，第二依存三元组集合是目标句子依存三元组集合；当第一依存三元组集合是目标句子依存三元组集合时，第二依存三元组集合是源句子依存三元组集合。

参阅附图4，图4示例性地给出了本发明实施例中源句子依存三元组集合中依存三元组向量和目标句子依存三元组集合中依存三元组向量进行比较的主要流程。具体地，将两个向量集合中依存三元组的组成元素(rel_i，rel_j)，(head_i，head_j)，(dep_i，dep_j)，(head_i，dep_j)，(dep_i，head_j)分别进行比较，具体的方法如下公式(4)所示：

comp(v₁,v₂)＝G([v₁；v₂；v₁-v₂；v₁⊙v₂]) (4)

其中，v₁表示第一依存三元组集合中依存三元组的组成元素对应的向量，v₂表示第二依存三元组集合中依存三元组的组成元素对应的向量，“；”表示拼接操作，“-”和“⊙”分别表示减操作和点乘操作。

得到源句子依存三元组集合中每个依存三元组分别与目标句子依存三元组集合中每个依存三元组进行语义关系比较的比较结果后，将比较结果进行拼接，再通过多层感知机得到源句子和目标句子依存三元组向量集合中一组依存三元组向量的比较结果，向量v_ij。

得到语义关系比较结果后，可以通过预设的自注意力模型和语义关系比较结果获取两个依存三元组之间的关联权重参数，具体方法如公式(5)所示：

e_ij＝W_s2tanh(W_s1v_ij) (5)

其中，e_ij表示第一依存三元组集合中第i个依存三元组与第二依存三元组集合中第j个依存三元组之间的关联权重参数，W_s1、W_s2均表示自注意力模型的权重矩阵并且W_s1∈R^d×d、W_s2∈R^d×1，R^d×d、R^d×1分别表示向量维度为d×d的实数向量和向量维度为d×1的实数向量，v_ij表示第i个依存三元组和第j个依存三元组之间的语义关系比较结果。

得到关联权重参数后，可以根据关联权重参数对初步语义关系比较结果进行加权求和，具体方法如公式(6)和(7)所示：

其中，l_h、l_p分别表示第一依存三元组集合中依存三元组的数量和第二依存三元组集合中依存三元组的数量，O_i,H表示第一依存三元组集合中第i个依存三元组与第二依存三元组集合之间的语义关系比较结果对应的特征向量，O_j,P表示第二依存三元组集合中第j个依存三元组与第一依存三元组集合之间的语义关系比较结果对应的特征向量，e_ik表示第一依存三元组集中第i个依存三元组与第二依存三元组集合中第k个依存三元组之间的关联权重参数，e_jk表示第二依存三元组集合中第j个依存三元组与第一依存三元组集合中第k个依存三元组之间的关联权重参数。

得到加权求和的结果后，获取加权求和结果对应的每个特征向量在向量维度上的最大元素值，根据每个特征向量在向量维度上的最大元素值构建新的语义关系特征向量，得到比较结果。

步骤S106：根据比较结果预测源句子和目标句子之间的语义蕴涵关系。

基于预设的多感知机模型并根据比较结果预测源句子和目标句子之间的语义蕴含关系。具体地，将比较结果输入多感知机模型，多感知机模型输出一个3维的向量，输出的向量的维度对应着语义蕴涵关系的类别，从三个维度中选取向量维度上的最大元素值，该值对应的语义蕴涵关系类别即为预测的源句子和目标句子之间的语义蕴涵关系。

附表1给出了本发明在斯坦福的公开数据集SNLI上与当前最优模型的比较结果，该数据包含50多万的句对，本发明在该数据集上已经达到最优的效果，与人工进行文本蕴含预测的效果(human performance)也相差不大。这充分说明利用本发明的方法进行文本蕴含识别的有效性和优越性。

附表1本发明与当前最优的文本蕴含识别系统在SNLI上的比较结果

进一步地，基于上述方法实施例，本发明还提供了一种存储装置，其中存储有多条程序，程序适于由处理器加载以上述方法实施例所述的文本蕴含识别方法。

再进一步地，基于上述方法实施例，本发明还提供了一种控制装置，该控制装置可以包括处理器、存储设备；存储设备可以适于存储多条程序并且这些程序可以适于由处理器加载以执行上述方法实施例所述的文本蕴含识别方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明装置实施例的具体工作过程以及相关说明，可以参考前述方法实施例的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于词汇依存三元组的文本蕴含识别方法，其特征在于包括：

对待识别文本蕴含句对的源句子和目标句子进行依存句法分析，并根据分析结果获取源句子依存三元组集合和目标句子依存三元组集合；

对所述源句子依存三元组集合和所述目标句子依存三元组集合进行语义关系比较，得到比较结果；

根据比较结果预测所述源句子和目标句子之间的语义蕴含关系；

其中，所述“对所述源句子依存三元组集合和所述目标句子依存三元组集合进行语义关系比较，得到比较结果”的步骤包括：

将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较，得到初步语义关系比较结果；

根据预设的自注意力模型以及所述初步语义关系比较结果，获取所述初步语义关系比较结果对应的两个依存三元组之间的关联权重参数；

根据所述关联权重参数对所述初步语义关系比较结果进行加权求和；

获取加权求和结果对应的每个特征向量在向量维度上的最大元素值，根据所述每个特征向量在向量维度上的最大元素值构建新的语义关系特征向量，得到所述比较结果；

其中，当所述第一依存三元组集合是源句子依存三元组集合时，所述第二依存三元组集合是目标句子依存三元组集合；当所述第一依存三元组集合是目标句子依存三元组集合时，所述第二依存三元组集合是源句子依存三元组集合。

2.根据权利要求1所述的文本蕴含识别方法，其特征在于，“将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较”的步骤包括：

按照下式所示的方法将第一依存三元组集合中每个依存三元组分别与第二依存三元组集合中每个依存三元组进行语义关系比较：

comp(v₁，v₂)＝G([v₁；v₂；v₁-v₂；v₁⊙v₂])

其中，v₁表示所述第一依存三元组集合中依存三元组的组成元素对应的向量，v₂表示所述第二依存三元组集合中依存三元组的组成元素对应的向量，“；”表示拼接操作，“-”和“⊙”分别表示减操作和点乘操作。

3.根据权利要求2所述的文本蕴含识别方法，其特征在于，“根据预设的自注意力模型以及所述初步语义关系比较结果，获取所述初步语义关系比较结果对应的两个依存三元组之间的关联权重参数”的步骤包括：

根据所述自注意力模型以及所述初步语义关系比较结果并按照下式所示的方法获取所述初步语义关系比较结果对应的两个依存三元组之间的关联权重参数：

e_ij＝W_s2tanh(W_s1v_ij)

其中，所述e_ij表示所述第一依存三元组集合中第i个依存三元组与所述第二依存三元组集合中第j个依存三元组之间的关联权重参数，所述W_s1、W_s2均表示所述自注意力模型的权重矩阵并且W_s1∈R^d×d、W_s2∈R^d×1，R^d×d、R^d×1分别表示向量维度为d×d的实数向量和向量维度为d×1的实数向量，所述v_ij表示所述第i个依存三元组和第j个依存三元组之间的语义关系比较结果。

4.根据权利要求3所述的文本蕴含识别方法，其特征在于，“根据所述关联权重参数对所述初步语义关系比较结果进行加权求和”的步骤包括：

根据所述关联权重参数并按照下式所示的方法对所述初步语义关系比较结果进行加权求和：

其中，所述l_h、l_p分别表示所述第一依存三元组集合中依存三元组的数量和所述第二依存三元组集合中依存三元组的数量，所述O_i，H表示所述第一依存三元组集合中第i个依存三元组与所述第二依存三元组集合之间的语义关系比较结果对应的特征向量，所述O_j，P表示所述第二依存三元组集合中第j个依存三元组与所述第一依存三元组集合之间的语义关系比较结果对应的特征向量，所述e_ik表示所述第一依存三元组集中第i个依存三元组与所述第二依存三元组集合中第k个依存三元组之间的关联权重参数，所述e_jk表示所述第二依存三元组集合中第j个依存三元组与所述第一依存三元组集合中第k个依存三元组之间的关联权重参数。

5.根据权利要求1-4中任一项所述的文本蕴含识别方法，其特征在于，在“将所述源句子语义单元集合与所述目标句子的语义单元集合进行语义关系比较”的步骤之前，所述方法还包括：

按照下式所示的方法对所述源句子依存三元组集合和所述目标句子依存三元组集合中每个依存三元组对应的特征向量进行优化：

rel＝W_r*rel_in+b_r

head＝W_w*head_in+b_w

dep＝W_w*dep_in+b_w

其中，(rel_in，head_in，dep_in)表示某个依存三元组对应的特征向量，且

所述

表示向量维度为d_r的实数向量，所述

表示向量维度为d_w的实数向量，(rel，head，dep)表示(rel_in，head_in，dep_in)优化后对应的特征向量，*表示特征向量之间的乘法操作，所述W_r、W_w、b_r和b_w分别是预设的权重矩阵并且

所述

表示向量维度为d_r×d_r的实数向量，所述

表示向量维度为d_w×d_w的实数向量。

6.根据权利要求5所述的文本蕴含识别方法，其特征在于，“根据比较结果预测所述源句子和目标句子之间的语义蕴含关系”的步骤包括：

基于预设的多感知机模型并根据所述比较结果预测所述源句子和目标句子之间的语义蕴含关系。

7.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载以执行权利要求1-6中任一项所述的文本蕴含识别方法。

8.一种控制装置，包括处理器、存储设备；所述存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行权利要求1-6中任一项所述的文本蕴含识别方法。

Images