CN111651974A

CN111651974A - 一种隐式篇章关系分析方法和系统

Info

Publication number: CN111651974A
Application number: CN202010578483.9A
Authority: CN
Inventors: 鉴萍; 张映雪
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2020-06-23
Filing date: 2020-06-23
Publication date: 2020-09-11
Anticipated expiration: 2040-06-23
Also published as: CN111651974B

Abstract

本发明提出了一种基于语义‑句法双通路图卷积网络的隐式篇章关系分析方法，属于自然语言处理应用技术领域。包括以下步骤：首先对语料进行分词。构建词表等预处理，然后利用GloVe初始化词向量。将初始化后的两个论元分别输入Bi‑LSTM编码，获取其融合了上下文信息的词表示。Bi‑LSTM输出用于后续初始化双通路图卷积网络中图节点的表示。双通路图卷积网络包含两个GCN网络，分别从交互结构图和句法结构图中抽取相应的特征，将两个通路得到的不同的特征拼接，用于分类。采用Adam算法更新模型中的参数至收敛，使用性能最优的参数完成隐式篇章关系的分析。

Description

一种隐式篇章关系分析方法和系统

技术领域

本发明涉及一种隐式篇章关系分析方法和系统，属于自然语言处理应用技术领域。

背景技术

篇章关系分析是自然语言处理中的一项重要任务，旨在对多句子文本中的句际关系进行识别与归类。有效识别并应用篇章关系可提升多种下游自然语言处理任务的效果，例如机器翻译，文本摘要等。篇章关系根据句间是否存在篇章连接词(如“但是”，“所以”)可分为显式和隐式，其中，没有连接词的隐式篇章关系识别为主要难点。由于缺乏连接词的指示，隐式篇章关系只能通过理解文本中的深层语义来识别句间的逻辑关系。然而，当前的深度模型在深层语义挖掘方面普遍存在以下两个短板：

(i)对句际间的交互语义建模不足。两个论元之间的交互语义往往能体现出两句话的逻辑关系。请看例子“论元一：石油价格又上涨了。论元二：十一月的时候石油价格小幅下滑过呀”，该例子中，尽管没有“但是”这种连接词的指引，词对(上涨，下滑)也可直接指示两个论元之间的对比关系。由此看来，捕捉两个论元间的交互语义有望发挥重要作用。近年在篇章关系领域的研究在语义交互方向向前迈进了一步，Chen等人设计了一种门控关联网络，使用关联矩阵实现单词对之间的语义交互。Lan等人在其多任务模型中引入注意力机制建模交互语义增强模型。尽管这些方法已经证明了对语义交互进行建模的明显好处，但到目前为止，它们还是以序列模型在非结构化的级别上捕获交互语义，而序列模型在建模长距离，非连续且层次化的依赖方面力有未逮。

(ii)对句子的句法结构信息利用不足。确定文本结构是确定文本深层含义的必要步骤，句法分析是语言理解的重要一环。基于RNN，CNN等深度网络的隐式篇章关系分析方法可抽取深度的语义表示，但无法建模句子的句法结构信息。

发明内容

本发明的目的是为解决以往在隐式篇章关系分析中存在的以下两个问题：1)针对现有方法疏于建模句对间的交互语义的问题。2)针对普通神经网络的方法没有考虑句子原有的句法结构信息的问题。本发明提出分别构建交互结构图和句法结构图，使用双通路的图卷积网络同时抽取语义交互特征和句法结构特征，提升隐式篇章关系分析的效果。

为实现上述目的，本发明所采用的技术方案如下：

本发明技术方案的思想是：首先构建交互结构图和句法结构图。交互结构图拟合论元之间的语义交互，以论元的词为节点，在来自不同论元的词节点之间连边，边的权重代表这两个连接的节点之间语义关联的强度。句法结构图由处理语料库(例如，PDTB 2.0)中的句法树而得。其次，通过双向LSTM将论元中的每个词编码为其上下文相关的表示，以初始化图的节点。接着，通过双通路图卷积网络从构建的交互结构图和句法结构图中提取更深层的交互特征和句法结构特征。最后，通过“拼接-池化”操作将交互式特征和句法结构特征汇总并降维，输入到多层感知机分类器中。

根据本发明的一个方面，提出一种基于篇章结构图卷积网络的隐式篇章关系分析方法，包括以下步骤：S1，输入文章；S2，通过分类器识别篇章关系。

进一步的，所述分类器的构建方法包括：

步骤1、获取语料库中的样本，并对所述样本预处理获得所述样本的分词和篇章关系类别；

步骤2、将样本的分词转化为词向量；

步骤3、将用所述词向量表示的样本输入Bi-LSTM编码器，获取其融合了上下文信息的词向量和样本向量；

步骤4、构建双通路图卷积网络，获得用于分类的样本特征向量；

步骤5、将所述样本特征向量作为输入，篇章关系类别作为输出，训练分类器。

进一步的，所述步骤2中，利用大规模语料库训练的GloVe词向量初始化样本的分词，将每个分词映射为低维向量。

进一步的，在所述步骤4中，包括：

S41、构建语义交互结构图；

S42、构建句法结构图；

S43、利用GCN网络获得用于分类的样本特征向量。

进一步的，所述步骤S41中构建语义交互结构图的方法包括：

S411、图的节点为论元中的单词；

S412、在来自不同论元的节点之间设置边，来自同一个论元的节点之间没有边；

S413、采用双线性层计算边的权重。

进一步的，在所述步骤S42中，边的权重为1。

进一步的，在所述步骤S43中包括：

S431、利用第一GCN网络从语义交互结构图中抽取样本的交互特征；

S432、利用第二GCN网络从句法结构图中抽取样本的句法特征；

S433、将步骤S431和S432抽取的特征合并，形成用于分类的样本特征向量。

进一步的，在所述步骤5中，训练的目标函数为交叉熵损失函数，采用Adam梯度更新算法更新模型中的参数。

根据本发明的另一方面，提出一种隐式篇章关系分析系统，包括分类器构建模块和篇章关系分析模块，其中，篇章关系分析模块用于接收篇章，将所述篇章输入分类器，并将分类器的输出结果呈现给用户。

进一步的，分类器构建模块包括：样本获取单元、预处理单元、上下文融合词向量生成单元、交互结构图构建单元、句法结构图构建单元、样本特征获取单元和训练单元；其中，

样本获取单元，用于获取语料库中的样本或形成样本以及样本中的关系类别；

预处理单元，用于对样本进行预处理以获得样本的分词、词向量和篇章关系类别，

上下文融合词向量生成单元，用于将所述词向量输入Bi-LSTM编码器，生成融合了上下文信息的词向量和样本向量；

交互结构图构建单元，用于构建语义交互结构图；

句法结构图构建单元，用于句法结构图；

样本特征获取单元，用于生成用于分类的样本特征向量；

训练单元，用于将样本特征向量作为输入、篇章关系类别作为输出，训练分类器。

有益效果

本发明为了解决现有技术对论元间的交互语义和论元本身的句法结构信息建模不充分的问题，提出构建交互结构图和句法结构图，并设计一种双通路的图卷积神经网络抽取深度交互语义和深度句法结构特征，实现了句内语义信息、句间交互语义、句法结构信息的融合，有效提升了隐式篇章关系识别的效果。以该方法训练出的篇章关系识别模型效果突出，能使用户快速而准确地获得隐式篇章关系的分析结果。

附图说明

图1为根据本发明一个实施例的隐式篇章关系分析方法的流程图；

图2为根据本发明一个实施例的语义交互图的示意图；

图3为根据本发明一个实施例的依存句法树的示例图；

图4为根据本发明一个实施例的隐式篇章关系分析系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。

根据本发明的一个方面，提出一种隐式篇章关系分析方法，包括以下步骤：S1，输入文章；S2，通过分类器识别篇章关系。其中，分类器的构建方法如图1所示，包括：

步骤1、获取语料库中的样本，并对样本预处理获得样本的分词和篇章关系类别；步骤2、将样本的分词转化为词向量；步骤3、将用词向量表示的样本输入Bi-LSTM编码器，获取其融合了上下文信息的词向量和样本向量；步骤4、构建双通路图卷积网络，获得用于分类的样本特征向量；步骤5、将样本特征向量作为输入，篇章关系类别作为输出，训练分类器。

在步骤1中，下面以PDTB 2.0作为语料库为例进行说明，其中的数字并不是对本发明的限制。PDTB 2.0语料库包含16224个待分类样本。每个样本包含两个论元，以及人工标注的两个论元之间的篇章关系类别。篇章关系类别如Temporal，Comparison，Contingency以及Expansion。以下是PDTB中的样本示例：

论元一：Heating oil prices also rose

论元二：:November gasoline slipped slightly.

这两个论元的关系标注为“Comparison”。

然后对PDTB 2.0语料库里的各个样本分词，构建词表。统计每个单词的出现频数，并按照频数排序，取频数最高的前20000个单词存储为词典，对于其他单词统一标记为<unk>。“<unk>”相当于给未知单词的标记，对应一个向量。后面遇到词典里没有的词，就标记为“<unk>”，然后用“<unk>”对应的向量去表示它。

在步骤2中，词向量初始化。以arg₁表示论元一，arg₂表示论元二。经由步骤1的分词后，

和

这里，

代表论元一的m个词。

代表论元二的n个词。可以利用大规模语料库训练的GloVe词向量初始化这些词，将论元中每个单词映射为向量空间的低维向量；GloVe这种分布式词表示的核心意义在于含义相似或相关的词在语义空间中的距离也相近，同时，与one-hot的词表示相比，其携带了单词本身的语义。可以将每个单词映射为300维的向量x，以避免向量过于庞大。

词向量初始化后，

和

这里

为初始化的词向量。

在步骤3中，首先构建双向LSTM层，实现步骤如下：

将两个论元分别输入Bi-LSTM编码器，获取其融合了上下文信息的词表示。令x_t表示一个序列第t个单词的嵌入表示。在时刻t，单向LSTM计算h_t如下：

h_t＝o_t×tanh(c_t), (3)

其中，i_t,f_t,o_t分别表示输入门、记忆门和输出门，T_A,b表示在网络参数A和b之下的非线性变换，c_t和c_t-1分别表示当前时刻和上一时刻的状态变量，

为候选状态变量，h_t和h_t-1分别表示当前时刻和上一时刻的隐藏变量。经过足够次数的迭代以后，h_t中将包含单词x_t所所在的上文信息。σ，tanh是激活函数。Bi-LSTM是前向LSTM和后向LSTM的组合。因此，它可以捕获论元正向和逆向两个方向的上下文语义。Bi-LSTM在每个步骤中生成两个向量：

和

在步骤t，我们以它们的拼接

作为此序列的第t个单词的最终表示，从而获得具有上下文含义的论元向量和样本向量。

在步骤4中构建递归神经网络，图神经网络可以使节点获取来自其邻域的任意深度的信息。实现步骤如下：

(1)构建语义交互结构图。经过步骤3中BiLSTM的编码，样本中两个论元的表示形式已更新为

和

具体而言，语义交互结构图G＝(V，E)，其中V和E分别代表图节点和边的集合。如图2所示，图的节点对应arg₁和arg₂中各个位置的单词。交互结构图专注于拟合建模论元之间的交互语义结构。为了突出论元之间的交互，仅在来自不同论元的节点之间设置边，来自同一个论元的节点之间没有边。边的权重大小表示语义的相关程度。权重越大，相关性越强。本专利采用双线性层计算交互结构图中边的权重：

其中W,b为可训练的参数矩阵.w_ij则是论元一的第i个节点和论元二的第j个节点之间边的权重

(2)构建句法结构图

针对每一论元构建依存句法树。依存句法如图3所示。本发明直接将句法树表示为图的形式，忽略边的类型，边的权重均为1。在这一步中计算并存储句法结构图的邻接矩阵和度矩阵。

(3)构建双通路图卷积网络

得到交互结构图和句法结构图后，本发明构建第一和第二GCN网络分别从交互结构图和句法结构图中抽取相应的特征，形成双通路图卷积网络。以交互结构图为例，给定图G＝(V，E)，及邻接矩阵A，在图G添加节点的自连接后，邻接矩阵变为

其中I_N是单位矩阵。G的度矩阵表示为D，

每个节点被初始化为BiLSTM对应位置的输出，再通过图卷积层来抽取结构化的特征：

这里，X为图中节点表示的拼接，该节点表示由BiLSTM的输出初始化。σ为激活函数。W是权重矩阵，X^I为两个论元之间的交互特征。按照相同的方式，通过句法结构图和第二GCN网络可获得论元一的句法特征

和论元二的句法特征

取平均后得到样本最终的句法特征X^S：

将两个通路得到的交互特征和句法特征拼接，得到最终用于分类的特征向量X^C。在步骤5中，构建双层感知机分类器，其实现步骤如下：

(1)得到特征X^C后，将其输入多层感知机(这里可以为2层)进行分类，得到预测的类别概率

(2)对于语料中标注的篇章关系类别，编码成one-hot的表示l，然后计算损失函数：

其中arg₁,

表示论元1和论元2，C表示要分类的类别数，

和l分别表示预测标签和真实标签，l_j和

分别表示在第j个类别下的真实标签值和预测概率值。

(3)对于损失函数，使用Adam更新算法更新模型中的参数，迭代至收敛，模型构建完成。

在一个实施例中，在PDTB 2.0数据集上，本发明提出的双通路图卷积方法相比普通的方法(如“BiLSTM”，以及带有注意力机制的BiLSTM系统“BiLSTM+Attention”)效果有明显的提升,以下是针对四个类别的“一对多”二分类上的效果对比(评价指标为F1值)：

模型	Comparison	Contingency	Temporal	Expansion
					BiLSTM	37.14	52.96	69.72	34.78
BiLSTM+Attention	39.25	54.21	70.48	37.06
					本发明	43.29	55.17	72.03	41.98

根据本发明的另一方面，提出一种隐式篇章关系分析系统，如图4所示，包括分类器构建模块和篇章关系分析模块，其中，篇章关系分析模块用于接收篇章，将所述篇章输入分类器，并将分类器的输出结果呈现给用户。

分类器构建模块包括：样本获取单元、预处理单元、上下文融合词向量生成单元、交互结构图构建单元、句法结构图构建单元、样本特征获取单元和训练单元；其中，

交互结构图构建单元，用于构建语义交互结构图；

句法结构图构建单元，用于句法结构图；

样本特征获取单元，用于生成用于分类的样本特征向量；

在样本获取单元中，获取语料库中的待分类样本以及人工标注的样本中论元之间的篇章关系类别。

在预处理单元中，对各个样本分词，构建词表，然后对词向量初始化，具体方法如上文所述。

在上下文融合词向量生成单元中，构建双向LSTM层，获得具有上下文含义的论元向量和样本向量，具体方法如上文所述。

在交互结构图构建单元中，图的节点对应论元中各个位置的单词，在来自不同论元的节点之间设置边，来自同一个论元的节点之间没有边。边的权重大小表示语义的相关程度。具体方法如上文所述。

在句法结构图构建单元中，针对每一论元构建依存句法树。具体如上文所述。

在样本特征获取单元中，构建第一和第二GCN网络分别从交互结构图和句法结构图中抽取相应的特征并拼接成为最终用于分类的特征向量X^C。具体的方法如上文所述。

在训练单元中，将特征X^C作为输入，将语料中标注的篇章关系类别编码成one-hot的表示l，然后计算损失函数。还可以使用Adam更新算法更新模型中的参数，迭代至收敛，从而构建出分类器。

本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims

1.一种隐式篇章关系分析方法，其特征在于，包括以下步骤：

S1，输入文章；

S2，通过分类器识别篇章关系。

2.根据权利要求1所述的方法，其特征在于，所述分类器的构建方法包括：

步骤2、将样本的分词转化为词向量；

3.根据权利要求2所述的方法，其特征在于，所述步骤2中，利用大规模语料库训练的GloVe词向量初始化样本的分词，将每个分词映射为低维向量。

4.根据权利要求2所述的方法，其特征在于，在所述步骤4中，包括：

S41、构建语义交互结构图；

S42、构建句法结构图；

S43、利用GCN网络获得用于分类的样本特征向量。

5.根据权利要求4所述的方法，其特征在于，所述步骤S41中构建语义交互结构图的方法包括：

S411、图的节点为论元中的单词；

S413、采用双线性层计算边的权重。

6.根据权利要求4所述的方法，其特征在于，在所述步骤S42中，边的权重为1。

7.根据权利要求4所述的方法，其特征在于，在所述步骤S43中包括：

S432、利用第二GCN网络从句法结构图中抽取样本的句法特征；

8.根据权利要求2所述的方法，其特征在于，在所述步骤5中，训练的目标函数为交叉熵损失函数，采用Adam梯度更新算法更新模型中的参数。

9.一种隐式篇章关系分析系统，其特征在于，所述系统包括分类器构建模块和篇章关系分析模块，其中，篇章关系分析模块用于接收篇章，将所述篇章输入分类器，并将分类器的输出结果呈现给用户。

10.根据权利要求9所述的系统，其特征在于，分类器构建模块包括：样本获取单元、预处理单元、上下文融合词向量生成单元、交互结构图构建单元、句法结构图构建单元、样本特征获取单元和训练单元；其中，

所述样本获取单元，用于获取语料库中的样本或形成样本以及样本中的关系类别；

所述预处理单元，用于对样本进行预处理以获得样本的分词、词向量和篇章关系类别，

所述上下文融合词向量生成单元，用于将所述词向量输入Bi-LSTM编码器，生成融合了上下文信息的词向量和样本向量；

所述交互结构图构建单元，用于构建语义交互结构图；

所述句法结构图构建单元，用于句法结构图；

样本特征获取单元，用于生成用于分类的样本特征向量；

所述训练单元，用于将样本特征向量作为输入、篇章关系类别作为输出，训练分类器。