CN115146618B - 一种基于对比表示学习的复杂因果关系抽取方法 - Google Patents

Abstract

本发明公开了一种基于对比表示学习的复杂因果关系抽取方法，首先，为了将隐式因果关系转化成显式因果关系，从大规模数据集中寻找具有显式因果关系连接词的样例集合初始化记忆动量，这些样例以<原因，结果，因果连接词>三元组的形式组织；接着，获取训练数据集中的文本包含的因果论元集合，将这些因果论元与记忆动量中的因果论元三元组进行匹配，选取相似度最高的因果关系连接词，作为数据增强的因果关系连接词构造正样例；互换正样例中原因和结果的位置，构造负样例。最后，采用对比学习框架，以双向长短期记忆网络和Transformer作为主干网络，学习文本中包含的因果关系。本发明能解决复杂因果关系抽取困难的问题，大幅提高模型的抽取性能。

Description

一种基于对比表示学习的复杂因果关系抽取方法

技术领域

本发明属于自然语言处理技术领域，具体涉及一种复杂因果关系抽取方法。

背景技术

因果关系是一种由现象A导致现象B发生的单向关系。从大规模文本中检测因果关系是自然语言处理知识发现中的重要任务。因果关系抽取在公共健康、社会科学和科学发现等领域都有了很多应用。根据文本中包含的因果论元的数目可以将因果关系分为简单因果关系和复杂因果关系。简单因果关系指文本中包含一个原因论元和一个结果论元。复杂因果关系是指包含多个原因论元或者多个结果论元，其不仅因果论元数目多，论元之间还存在复杂的交互关系。由于复杂因果关系中论元多样，且交互关系错综复杂，以及论元长度参差不一等因素，使得复杂因果关系抽取面临巨大困难，因此目前对因果关系的研究主要集中在简单因果关系抽取上。

已有技术中，对简单因果关系的研究已经涌现了大量的工作，例如基于模板以及人为定义规则的模式匹配方法，这类方法缺乏泛化性且需要大量的语言学专家定义规则。基于机器学习的方法严重依赖高水平的句法特征，如依存树和命名实体，这些特征的定义需要消耗大量的人力物力算力。深度模型近些年来在因果关系抽取中大受欢迎，但是将深度学习应用于复杂因果关系抽取的工作却屈指可数。例如，Dasgupta等人采用对文本进行分割的方式将复杂因果转化为简单因果关系，但是，对句子进行分割会很难捕捉到分句之间的因果关系。同时Christopoulou等人使用基于关系推理的深度学习来识别句子中的多对关系，但是他们处理的关系复杂多样，对因果关系抽取指导意义不大。Li等人采用Tag2Triplet的方法来检测文本中的复杂因果关系，但是其只是对短句子的因果关系起作用，无法用于复杂因果的处理。

发明内容

为了克服现有技术的不足，本发明提供了一种基于对比表示学习的复杂因果关系抽取方法，首先，为了将隐式因果关系转化成显式因果关系，从大规模数据集中寻找具有显式因果关系连接词的样例集合初始化记忆动量，这些样例以<原因，结果，因果连接词>三元组的形式组织；接着，获取训练数据集中的文本包含的因果论元集合，将这些因果论元与记忆动量中的因果论元三元组进行匹配，选取相似度最高的因果关系连接词，作为数据增强的因果关系连接词构造正样例；互换正样例中原因和结果的位置，构造负样例。最后，采用对比学习框架，以双向长短期记忆网络和Transformer作为主干网络，学习文本中包含的因果关系。本发明能解决复杂因果关系抽取困难的问题，大幅提高模型的抽取性能。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：记忆动量初始化；

记忆动量用于因果关系连接词的选取，在训练模型之前，首先在数据集中寻找具有因果关系连接词的样例集合，将其表示成的因果三元组，将提取出来的样例集合以字典的形式存储；其中，x_ci和x_ei分别表示记忆动量D中第i个因果三元组的原因和结果，ω_i表示对应的因果连接词，m表示D中因果关系三元组的数量；

步骤2：使用记忆动量进行数据增强，来构造正样例；

对文本中的每一对因果论元R＝(x_c，x_e)，其中x_c和x_e分别表示文本中每一对因果论元的原因和结果，进行向量表示，并进行拼接得到X_R＝Concat(x_c，x_e)，其中x_c和x_e分别是x_c和x_e的向量表示；将文本中的因果论元X_R与记忆动量中的每一对因果论元X_i＝Concat(x_ci，x_ei)进行相似度匹配，其中x_ci和x_ei分别是x_ci和x_ei的向量表示；计算X_R和X_i的相似度，获取相似度最高的因果关系连接词，与文本中的因果论元构造正样例X_pos＝<x_c,ω_p,x_e>，ω_p表示相似度最大的因果连接词；计算公式如下：

式中，S_i表示X_R和X_i的余弦相似度，index(·)表示取下标的函数，p表示相似度最大的下标；

步骤3：通过方向逆反构造负样例；

将正样例的原因和结果互换位置获取负样例，负样例的形式为X_neg＝<x_e,ω_p,x_c>；

步骤4：构造完正负样例后，将数据集中的原始文本和正负样例分别输入到对比表示学习框架的两个编码器中，对两个编码器的输出进行余弦相似度衡量，如果相似度大于0.5，则输出标签表示输入的样例是原始文本中的一对因果关系；否则/>表示输入的样例不是原始文本中的一对因果关系；所述对比表示学习框架由深度学习模型构成；

深度学习模型采用两层结构：双向长短期记忆网络和Transformer；

对深度学习模型进行建模：

L＝(1-λ)·L₁+λ·L₂

其中L₁是对比损失，L₂是平均绝对误差，L是本发明的最终建模模型，表示向量/>和向量/>之间的欧氏距离，向量/>和向量/>分别表示模型中两个编码器的输出，t>0是定义的半径阈值，如果两个样例匹配，Y＝1；否则Y＝0；λ表示两个损失函数之间的权重，n表示数据集的大小，y_i表示样本的真实标签，/>表示模型预测的标签。

本发明的有益效果如下：

本发明面向自然语言处理信息抽取领域中，复杂因果关系抽取的问题，解决复杂因果关系中论元类型复杂多样、论元方向错综复杂以及现有抽取方法准确率低，泛化能力弱的问题。其将记忆动量进行数据增强，并利用双向长短期记忆网络和Transformer对文本内容进行学习，联合对比表示学习框架对文本中包含的因果关系进行抽取，解决复杂因果关系抽取困难的问题，大幅提高模型的抽取性能。

附图说明

图1为本发明基于对比表示学习的复杂因果关系抽取方法的示意框架图。

图2为本发明基于记忆动量的正负样本构造方法的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明主要面向文本中的复杂因果关系研究——一种文本中普遍存在的关系类型，解决复杂因果关系中论元数量繁多、论元关系复杂多样以及论元之间的方向性模糊的问题。提出了一种基于对比表示学习的复杂因果关系抽取方法，采用数据增强的方式将隐式因果关系转化为显式因果关系，通过记忆动量构造对比表示学习需要的正负样本，并融合双向长短期记忆网络和Transformer对文本中的关系进行提取，采用对比表示学习对文本中的因果关系进行判断。通过本方法，在复杂因果关系抽取引入数据增强技术，模型的抽取性能得到了有效提升，也大幅度提升了复杂因果关系的方向性识别准确率，首次使用对比表示学习进行因果关系抽取。

如图1所示，一种基于对比表示学习的复杂因果关系抽取方法，包括如下步骤：

步骤1：记忆动量初始化；

记忆动量用于因果关系连接词的选取，在训练模型之前，首先在数据集中寻找具有因果关系连接词的样例集合，将其表示成的因果三元组，将提取出来的样例集合以字典的形式存储；其中，x_ci和x_ei分别表示记忆动量D中第i个因果三元组的原因和结果，ω_i表示对应的因果连接词，m表示D中因果关系三元组的数量；

步骤2：使用记忆动量进行数据增强，来构造正样例；

对文本中的每一对因果论元R＝(x_c，x_e)，其中x_c和x_e分别表示文本中每一对因果论元的原因和结果，进行向量表示，并进行拼接得到X_R＝Concat(x_c，x_e)，其中x_c和x_e分别是x_c和x_e的向量表示；将文本中的因果论元X_R与记忆动量中的每一对因果论元X_i＝Concat(x_ci，x_ei)进行相似度匹配，其中x_ci和x_ei分别是x_ci和x_ei的向量表示；计算X_R和X_i的相似度，获取相似度最高的因果关系连接词，与文本中的因果论元构造正样例X_pos＝<x_c,ω_p,x_e>，ω_p表示相似度最大的因果连接词；计算公式如下：

式中，S_i表示X_R和X_i的余弦相似度，index(·)表示取下标的函数，p表示相似度最大的下标；

步骤3：通过方向逆反构造负样例；

如图2所示，将正样例的原因和结果互换位置获取负样例，负样例的形式为X_neg＝<x_e,ω_p,x_c>；

步骤4：构造完正负样例后，将数据集中的原始文本和正负样例分别输入到对比表示学习框架的两个编码器中，对两个编码器的输出进行余弦相似度衡量，如果相似度大于0.5，则输出标签表示输入的样例是原始文本中的一对因果关系；否则/>表示输入的样例不是原始文本中的一对因果关系；所述对比表示学习框架由深度学习模型构成；

深度学习模型采用两层结构：双向长短期记忆网络和Transformer；

对深度学习模型进行建模：

L＝(1-λ)·L₁+λ·L₂

其中L₁是对比损失，L₂是平均绝对误差，L是本发明的最终建模模型，表示向量/>和向量/>之间的欧氏距离，向量/>和向量/>分别表示模型中两个编码器的输出，t>0是定义的半径阈值，如果两个样例匹配，Y＝1；否则Y＝0；λ表示两个损失函数之间的权重，n表示数据集的大小，y_i表示样本的真实标签，/>表示模型预测的标签。

本发明为一种基于对比表示学习的复杂因果关系抽取方法，首先初始化记忆动量，其次通过记忆动量选取最合适的因果关系连接词，对训练数据中的隐式因果关系进行数据增强；最终基于对比表示学习框架，以双向长短期记忆网络和Transformer作为主干网络学习文本中的因果关系。

Claims (1)

1.一种基于对比表示学习的复杂因果关系抽取方法，其特征在于，包括如下步骤：

步骤1：记忆动量初始化；

记忆动量用于因果关系连接词的选取，在训练模型之前，首先在数据集中寻找具有因果关系连接词的样例集合，将其表示成的因果三元组，将提取出来的样例集合以字典的形式存储；其中，x_ci和x_ei分别表示记忆动量D中第i个因果三元组的原因和结果，ω_i表示对应的因果连接词，m表示D中因果关系三元组的数量；

步骤2：使用记忆动量进行数据增强，来构造正样例；

对文本中的每一对因果论元R＝(x_c，x_e)，其中x_c和x_e分别表示文本中每一对因果论元的原因和结果，进行向量表示，并进行拼接得到X_R＝Concat(x_c，x_e)，其中x_c和x_e分别是x_c和x_e的向量表示；将文本中的因果论元X_R与记忆动量中的每一对因果论元X_i＝Concat(x_ci，x_ei)进行相似度匹配，其中x_ci和x_ei分别是x_ci和x_ei的向量表示；计算X_R和X_i的相似度，获取相似度最高的因果关系连接词，与文本中的因果论元构造正样例X_pos＝<x_c,ω_p,x_e>，ω_p表示相似度最大的因果连接词；计算公式如下：

式中，S_i表示X_R和X_i的余弦相似度，index(·)表示取下标的函数，p表示相似度最大的下标；

步骤3：通过方向逆反构造负样例；

将正样例的原因和结果互换位置获取负样例，负样例的形式为X_neg＝<x_e,ω_p,x_c>；

步骤4：构造完正负样例后，将数据集中的原始文本和正负样例分别输入到对比表示学习框架的两个编码器中，对两个编码器的输出进行余弦相似度衡量，如果相似度大于0.5，则输出标签表示输入的样例是原始文本中的一对因果关系；否则/>表示输入的样例不是原始文本中的一对因果关系；所述对比表示学习框架由深度学习模型构成；

深度学习模型采用两层结构：双向长短期记忆网络和Transformer；

对深度学习模型进行建模：

L＝(1-λ)·L₁+λ·L₂

其中L₁是对比损失，L₂是平均绝对误差，L是本发明的最终建模模型，表示向量/>和向量/>之间的欧氏距离，向量/>和向量/>分别表示模型中两个编码器的输出，t>0是定义的半径阈值，如果两个样例匹配，Y＝1；否则Y＝0；λ表示两个损失函数之间的权重，n表示数据集的大小，y_i表示样本的真实标签，/>表示模型预测的标签。