CN111651973A - 一种基于句法感知的文本匹配方法 - Google Patents

Abstract

本发明公开一种基于句法感知的文本匹配方法。本发明通过采用双向LSTM得到两个句子的上下文表示词向量，采用多通道图卷积网络对上下文表示词向量进行处理得到两个句子的句法信息感知词向量，利用门控函数对上下文表示词向量和句法信息感知表示词向量进行动态选择得到两个句子的语义表示词向量，丰富了语义信息，充实了文本表示；通过基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，提高了两个句子匹配的准确度。

Description

一种基于句法感知的文本匹配方法

技术领域

本发明属于自然语言理解技术领域，具体涉及一种基于句法感知的文本匹配方法。

背景技术

自然语言文本匹配一般用于识别两个文本/句子之间的关系。关系的类型由特定的任务决定。文本匹配所面临的挑战主要来源于词语的多样性和自然语言的结构性两方面。一方面，词语的多样性来源于自然语言中存在的同义词和多义词问题，不同的词语可以表示同一语义，一个词语在不同的语境下表示不同的语义。另一方面，自然语言的结构性来源于自然语言是以层次化的方式进行组织的，词语可以构成短语，短语连接起来形成句子，其中蕴含了语言的句法结构信息。

随着深度学习和神经网络的发展，文本匹配技术的研究逐渐从传统文本匹配技术向基于深度学习的文本匹配技术转移。基于深度学习的文本匹配技术中利用上下文词向量的计算可以更好地解决词语的多样性问题。但是基于深度学习的文本匹配技术仍不能很好地解决语言的结构性这一挑战。有学者提出利用tree-LSTM对句法结构进行建模的方法在文本匹配任务中引入句法信息。与普通的LSTM不同，tree-LSTM的输入是二叉的句法树结构，每个单元对应句法树上的每一个父节点，每一次计算，上一个时刻的左子树的信息和右子树的信息都会传递到父接点上。对输入的两个句子，每个句子会形成一个向量序列，代表着句法树中的每个节点。进行编码后，再利用这两个序列进行匹配整合操作，最后进行分类计算。tree-LSTM每一个节点的计算依赖于上一个或几个节点的输出，这样会导致计算的开销增加，无法在输入上进行并行计算。

在文本匹配任务中引入句法信息的现有技术，一般均是利用基于循环神经网络的编码单元对句法结构进行建模，导致模型无法进行并行计算；而且没有考虑句法信息不准确所带来的错误累积问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提出一种基于句法感知的文本匹配方法。

为实现上述目的，本发明采用如下技术方案：

一种基于句法感知的文本匹配方法，包括以下步骤：

步骤1，将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；

步骤2，将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；

步骤3，分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；

步骤4，分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；

步骤5，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。

与现有技术相比，本发明具有以下有益效果：

本发明通过采用双向LSTM得到两个句子的上下文表示词向量，采用多通道图卷积网络对上下文表示词向量进行处理得到两个句子的句法信息感知词向量，利用门控函数对上下文表示词向量和句法信息感知表示词向量进行动态选择得到两个句子的语义表示词向量，丰富了语义信息，充实了文本表示；通过基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，提高了两个句子匹配的准确度。

附图说明

图1为本发明实施例一种基于句法感知的文本匹配方法的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明实施例一种基于句法感知的文本匹配方法，流程图如图1所示，所述方法包括以下步骤：

S101、将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；

S102、将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；

S103、分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；

S104、分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；

S105、基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。

本实施例主要是对输入的两个句子进行匹配，输出它们的关系标签。关系标签的内容可以是相似、不相似，也可以是蕴含、无关和矛盾。采取的技术方案是：针对输入的两个句子，首先将句子中的词表示为词向量，并利用编码器技术获得每个词的上下文表示；然后通过多通道图卷积网络对句法结构信息进行编码；接着，对每个词的上下文表示和句法结构信息进行动态选择得到两个句子的语义表示；最后，基于所有的编码信息对两个句子进行匹配，并进行关系标签的预测。

在本实施例中，步骤S101主要用于将输入的两个句子中的词表示成词向量。可通过查询预先训练好的词向量表，获取输入句子中每个单词的词向量表示，分别得到两个句子的词向量序列。

在本实施例中，步骤S102主要用于获得两个句子的上下文表示词向量序列。由于仅仅通过步骤S101得到的静态词向量表示文本。缺乏对文本语境的语义信息，因此还通过上下文编码获取每个词在当前上下文的表示。本实施例采用两个双向的LSTM模型分别计算两个输入句子的上下文表示。

在本实施例中，步骤S103主要用于利用图卷积网络获得句子的句法信息感知表示词向量。图卷积网络的输入是图结构数据G＝(V,E)。其中，V是顶点集合，本实施例中每个顶点代表一个词向量；任意两个顶点之间的连线称为边，本实施例中每个边表示所连接的两个词向量之间的句法关系(通过句法分析得到)，称为句法边，E是句法边集合。对词向量集合、句法边集合、上下文表示词向量集合进行句法图卷积运算，得到句法信息感知表示词向量。

在本实施例中，步骤S104主要用于获得两个句子的语义表示词向量。本实施例的语义表示词向量是上下文表示词向量和句法信息感知表示词向量的融合。为了更灵活地使用句法信息，本实施例将原始的上下文表示词向量和经过句法图卷积处理后的句法信息感知表示词向量，通过门控方式进行动态选择，这样可以避免强制模型必须利用句法信息参与计算。

在本实施例中，步骤S105主要用于对两个句子进行匹配，输出表示两个句子关系的标签。前面在将句子表示为词向量的基础上，又得到了上下文表示词向量、句法信息感知表示词向量以及二者融合而成的语义表示词向量。这些处理的目的都是为了获得尽可能丰富的语义信息，充实文本表示，提高文本匹配的准确度。由于语义表示词向量是上下文表示词向量和句法信息感知表示词向量的融合，因此，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，便考虑了前面获得的所有语义信息。

作为一种可选实施例，所述S104得到的两个句子P、Q的语义表示词向量的计算公式如下：

式中，σ()为门控函数，W₁、W₂、W₃、W₄为映射矩阵；

为句子P的第i个语义表示词向量，

为句子P的第i个句法信息感知表示词向量，

为句子P的第i个上下文表示词向量，i＝1,2,…,M，M为句子P中词的个数；

为句子Q的第j个句法信息感知表示词向量，

为句子Q的第j个上下文表示词向量，j＝1,2,…,N，N为句子Q中词的个数。

本实施例给出了对句法信息感知表示词向量和上下文表示词向量进行动态选择的一种技术方案。以句子P为例，根据公式(1)，当一句话的句法分析结果质量较好时，门控函数输出值

较小；再根据公式(2)，上下文表示词向量的加权系数

较小，句法信息感知表示词向量的加权系数

较大，模型更多地选择句法信息获得文本的语义表示；同理，当句法分析存在噪声时，

的值增加，上下文表示词向量的加权系数

增加，能动态地选择上下文词向量，可以避免强制模型必须利用句法信息参与计算。

作为一种可选实施例，所述S105具体包括：

计算句子P的第i个语义表示词向量

与句子Q的第j个语义表示词向量

的余弦相似度：

计算句子P中第i个单词对句子Q的关注度：

计算句子P中第i个单词对句子Q的最大关注度：

计算句子Q中第j个单词对句子P的关注度：

计算句子Q中第j个单词对句子P的最大关注度：

将

拼接后输入双向LSTM，得到P^a1、P^a2：

将

拼接后输入双向LSTM，得到Q^a3、Q^a4：

式(10)～(13)中，

和

表示进行双向LSTM运算，“；”表示拼接运算，

为权重矩阵，

为偏置向量；

将P^a1、P^a2、Q^a3、Q^a4拼接后经全连接层和softmax层作为分类器，计算各个关系标签的概率值，输出概率值最大的关系标签。

本实施例给出了对两个句子进行匹配输出关系标签的一种方法。本实施例的核心是捕获两个句子之间的关联信息，通过拼接所有关联信息计算各个关系标签的概率值，概率值最大的关系标签即为两个句子的匹配结果。

作为一种可选实施例，所述关系标签的内容为蕴含、无关和矛盾。

在本实施例中，关系标签的内容为蕴含、无关和矛盾。文本蕴含定义为一对文本之间的有向推理关系。如果Q的语义能够由P的语义推理得出，那么称P蕴含Q；如果可以根据P的语义推理得出Q为假，那么P、Q构成了矛盾关系；如果根据P的语义不能判定命题Q的真假，那么P、Q所构成的关系称为无关。

为了验证本发明的有效性，下面给出一组实验数据。实验采用SNLI和multiNLI数据集。输入文本来源于多个领域，例如：小说，信件等。任务目标是根据给定的前提判断假设是否合理，即由前提是否可以推理出假设，关系分为三种：蕴含、中立和矛盾。分别采用本发明所述方法和现有的基于匹配-整合框架的BiMPM模型进行实验。BiMPM模型在SNLI和multiNLI数据集上的匹配准确度分别为86.9％、77.0％，本发明所述方法在SNLI和multiNLI数据集上的准确度分别为87.4％、77.8％。实验表明，本发明所述方法在两个数据集上的匹配准确度，均高于现有的BiMPM模型。

上述仅对本发明中的几种具体实施例加以说明，但并不能作为本发明的保护范围，凡是依据本发明中的设计精神所做出的等效变化或修饰或等比例放大或缩小等，均应认为落入本发明的保护范围。

Claims (4)

1.一种基于句法感知的文本匹配方法，其特征在于，包括以下步骤：

步骤1，将输入的两个句子中的词均表示成词向量，分别得到两个句子的词向量序列；

步骤2，将两个词向量序列分别输入两个双向LSTM，得到两个句子的上下文表示词向量序列；

步骤3，分别对两个句子的词向量构成的顶点集合、通过句法分析得到的连接两个顶点的句法边集合、上下文表示词向量构成的集合进行句法图卷积运算，得到两个句子的句法信息感知表示词向量；

步骤4，分别对两个句子的上下文表示词向量和句法信息感知表示词向量通过门控函数进行动态选择，得到两个句子的语义表示词向量；

步骤5，基于句法信息感知表示词向量和语义表示词向量对两个句子进行匹配，输出概率最高的表示两个句子关系的标签。

2.根据权利要求1所述的基于句法感知的文本匹配方法，其特征在于，所述步骤4得到的两个句子P、Q的语义表示词向量的计算公式如下：

式中，σ()为门控函数，W₁、W₂、W₃、W₄为映射矩阵；

为句子P的第i个语义表示词向量，

为句子P的第i个句法信息感知表示词向量，

为句子P的第i个语义表示词向量，i＝1,2,…,M，M为句子P中词的个数；

为句子Q的第j个句法信息感知表示词向量，

为句子Q的第j个语义表示词向量，j＝1,2,…,N，N为句子Q中词的个数。

3.根据权利要求2所述的基于句法感知的文本匹配方法，其特征在于，所述步骤5具体包括：

计算句子P的第i个语义表示词向量

与句子Q的第j个语义表示词向量

的余弦相似度：

计算句子P中第i个单词对句子Q的关注度：

计算句子P中第i个单词对句子Q的最大关注度：

计算句子Q中第j个单词对句子P的关注度：

计算句子Q中第j个单词对句子P的最大关注度：

将

拼接后输入双向LSTM，得到P^a1、P^a2：

将

拼接后输入双向LSTM，得到Q^a3、Q^a4：

式(10)～(13)中，

和

表示进行双向LSTM运算，“；”表示拼接运算，W₁ ^a、

为权重矩阵，

为偏置向量；

将P^a1、P^a2、Q^a3、Q^a4拼接后经全连接层和softmax层作为分类器，计算各个关系标签的概率值，输出概率值最大的关系标签。

4.根据权利要求3所述的基于句法感知的文本匹配方法，其特征在于，所述关系标签包括蕴含、无关和矛盾。

Images