CN115146618A - 一种基于对比表示学习的复杂因果关系抽取方法 - Google Patents

一种基于对比表示学习的复杂因果关系抽取方法 Download PDF

Info

Publication number
CN115146618A
CN115146618A CN202210797477.1A CN202210797477A CN115146618A CN 115146618 A CN115146618 A CN 115146618A CN 202210797477 A CN202210797477 A CN 202210797477A CN 115146618 A CN115146618 A CN 115146618A
Authority
CN
China
Prior art keywords
causal
representing
sample
text
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210797477.1A
Other languages
English (en)
Other versions
CN115146618B (zh
Inventor
梁韵基
刘磊
胡航语
郑贺源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210797477.1A priority Critical patent/CN115146618B/zh
Publication of CN115146618A publication Critical patent/CN115146618A/zh
Application granted granted Critical
Publication of CN115146618B publication Critical patent/CN115146618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于对比表示学习的复杂因果关系抽取方法，首先，为了将隐式因果关系转化成显式因果关系，从大规模数据集中寻找具有显式因果关系连接词的样例集合初始化记忆动量，这些样例以<原因，结果，因果连接词>三元组的形式组织；接着，获取训练数据集中的文本包含的因果论元集合，将这些因果论元与记忆动量中的因果论元三元组进行匹配，选取相似度最高的因果关系连接词，作为数据增强的因果关系连接词构造正样例；互换正样例中原因和结果的位置，构造负样例。最后，采用对比学习框架，以双向长短期记忆网络和Transformer作为主干网络，学习文本中包含的因果关系。本发明能解决复杂因果关系抽取困难的问题，大幅提高模型的抽取性能。

Description

一种基于对比表示学习的复杂因果关系抽取方法
技术领域
本发明属于自然语言处理技术领域，具体涉及一种复杂因果关系抽取方法。
背景技术
因果关系是一种由现象A导致现象B发生的单向关系。从大规模文本中检测因果关系是自然语言处理知识发现中的重要任务。因果关系抽取在公共健康、社会科学和科学发现等领域都有了很多应用。根据文本中包含的因果论元的数目可以将因果关系分为简单因果关系和复杂因果关系。简单因果关系指文本中包含一个原因论元和一个结果论元。复杂因果关系是指包含多个原因论元或者多个结果论元，其不仅因果论元数目多，论元之间还存在复杂的交互关系。由于复杂因果关系中论元多样，且交互关系错综复杂，以及论元长度参差不一等因素，使得复杂因果关系抽取面临巨大困难，因此目前对因果关系的研究主要集中在简单因果关系抽取上。
已有技术中，对简单因果关系的研究已经涌现了大量的工作，例如基于模板以及人为定义规则的模式匹配方法，这类方法缺乏泛化性且需要大量的语言学专家定义规则。基于机器学习的方法严重依赖高水平的句法特征，如依存树和命名实体，这些特征的定义需要消耗大量的人力物力算力。深度模型近些年来在因果关系抽取中大受欢迎，但是将深度学习应用于复杂因果关系抽取的工作却屈指可数。例如，Dasgupta等人采用对文本进行分割的方式将复杂因果转化为简单因果关系，但是，对句子进行分割会很难捕捉到分句之间的因果关系。同时Christopoulou等人使用基于关系推理的深度学习来识别句子中的多对关系，但是他们处理的关系复杂多样，对因果关系抽取指导意义不大。Li等人采用Tag2Triplet的方法来检测文本中的复杂因果关系，但是其只是对短句子的因果关系起作用，无法用于复杂因果的处理。
发明内容
为了克服现有技术的不足，本发明提供了一种基于对比表示学习的复杂因果关系抽取方法，首先，为了将隐式因果关系转化成显式因果关系，从大规模数据集中寻找具有显式因果关系连接词的样例集合初始化记忆动量，这些样例以<原因，结果，因果连接词>三元组的形式组织；接着，获取训练数据集中的文本包含的因果论元集合，将这些因果论元与记忆动量中的因果论元三元组进行匹配，选取相似度最高的因果关系连接词，作为数据增强的因果关系连接词构造正样例；互换正样例中原因和结果的位置，构造负样例。最后，采用对比学习框架，以双向长短期记忆网络和Transformer作为主干网络，学习文本中包含的因果关系。本发明能解决复杂因果关系抽取困难的问题，大幅提高模型的抽取性能。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：记忆动量初始化；
记忆动量用于因果关系连接词的选取，在训练模型之前，首先在数据集中寻找具有因果关系连接词的样例集合，将其表示成
Figure BDA0003736259330000021
的因果三元组，将提取出来的样例集合以字典的形式存储；其中，xci和xei分别表示记忆动量D中第i个因果三元组的原因和结果，ωi表示对应的因果连接词，m表示D中因果关系三元组的数量；
步骤2：使用记忆动量进行数据增强，来构造正样例；
对文本中的每一对因果论元R＝(xc，xe)，其中xc和xe分别表示文本中每一对因果论元的原因和结果，进行向量表示，并进行拼接得到XR＝Concat(xc，xe)，其中xc和xe分别是xc和xe的向量表示；将文本中的因果论元XR与记忆动量中的每一对因果论元Xi＝Concat(xci，xei)进行相似度匹配，其中xci和xei分别是xci和xei的向量表示；计算XR和Xi的相似度，获取相似度最高的因果关系连接词，与文本中的因果论元构造正样例Xpos＝<xc,ωp,xe>，ωp表示相似度最大的因果连接词；计算公式如下：
Figure BDA0003736259330000022
Figure BDA0003736259330000023
式中，Si表示XR和Xi的余弦相似度，index(·)表示取下标的函数，p表示相似度最大的下标；
步骤3：通过方向逆反构造负样例；
将正样例的原因和结果互换位置获取负样例，负样例的形式为Xneg＝<xe,ωp,xc>；
步骤4：构造完正负样例后，将数据集中的原始文本和正负样例分别输入到对比表示学习框架的两个编码器中，对两个编码器的输出进行余弦相似度衡量，如果相似度大于0.5，则输出标签
Figure BDA0003736259330000031
表示输入的样例是原始文本中的一对因果关系；否则
Figure BDA0003736259330000032
表示输入的样例不是原始文本中的一对因果关系；所述对比表示学习框架由深度学习模型构成；
深度学习模型采用两层结构：双向长短期记忆网络和Transformer；
对深度学习模型进行建模：
Figure BDA0003736259330000033
Figure BDA0003736259330000034
L＝(1-λ)·L1+λ·L2
其中L1是对比损失，L2是平均绝对误差，L是本发明的最终建模模型，
Figure BDA0003736259330000035
表示向量
Figure BDA0003736259330000036
和向量
Figure BDA0003736259330000037
之间的欧氏距离，向量
Figure BDA0003736259330000038
和向量
Figure BDA0003736259330000039
分别表示模型中两个编码器的输出，t>0是定义的半径阈值，如果两个样例匹配，Y＝1；否则Y＝0；λ表示两个损失函数之间的权重，n表示数据集的大小，yi表示样本的真实标签，
Figure BDA00037362593300000310
表示模型预测的标签。
本发明的有益效果如下：
本发明面向自然语言处理信息抽取领域中，复杂因果关系抽取的问题，解决复杂因果关系中论元类型复杂多样、论元方向错综复杂以及现有抽取方法准确率低，泛化能力弱的问题。其将记忆动量进行数据增强，并利用双向长短期记忆网络和Transformer对文本内容进行学习，联合对比表示学习框架对文本中包含的因果关系进行抽取，解决复杂因果关系抽取困难的问题，大幅提高模型的抽取性能。
附图说明
图1为本发明基于对比表示学习的复杂因果关系抽取方法的示意框架图。
图2为本发明基于记忆动量的正负样本构造方法的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明主要面向文本中的复杂因果关系研究——一种文本中普遍存在的关系类型，解决复杂因果关系中论元数量繁多、论元关系复杂多样以及论元之间的方向性模糊的问题。提出了一种基于对比表示学习的复杂因果关系抽取方法，采用数据增强的方式将隐式因果关系转化为显式因果关系，通过记忆动量构造对比表示学习需要的正负样本，并融合双向长短期记忆网络和Transformer对文本中的关系进行提取，采用对比表示学习对文本中的因果关系进行判断。通过本方法，在复杂因果关系抽取引入数据增强技术，模型的抽取性能得到了有效提升，也大幅度提升了复杂因果关系的方向性识别准确率，首次使用对比表示学习进行因果关系抽取。
如图1所示，一种基于对比表示学习的复杂因果关系抽取方法，包括如下步骤：
步骤1：记忆动量初始化；
记忆动量用于因果关系连接词的选取，在训练模型之前，首先在数据集中寻找具有因果关系连接词的样例集合，将其表示成
Figure BDA0003736259330000041
的因果三元组，将提取出来的样例集合以字典的形式存储；其中，xci和xei分别表示记忆动量D中第i个因果三元组的原因和结果，ωi表示对应的因果连接词，m表示D中因果关系三元组的数量；
步骤2：使用记忆动量进行数据增强，来构造正样例；
对文本中的每一对因果论元R＝(xc，xe)，其中xc和xe分别表示文本中每一对因果论元的原因和结果，进行向量表示，并进行拼接得到XR＝Concat(xc，xe)，其中xc和xe分别是xc和xe的向量表示；将文本中的因果论元XR与记忆动量中的每一对因果论元Xi＝Concat(xci，xei)进行相似度匹配，其中xci和xei分别是xci和xei的向量表示；计算XR和Xi的相似度，获取相似度最高的因果关系连接词，与文本中的因果论元构造正样例Xpos＝<xc,ωp,xe>，ωp表示相似度最大的因果连接词；计算公式如下：
Figure BDA0003736259330000042
Figure BDA0003736259330000043
式中，Si表示XR和Xi的余弦相似度，index(·)表示取下标的函数，p表示相似度最大的下标；
步骤3：通过方向逆反构造负样例；
如图2所示，将正样例的原因和结果互换位置获取负样例，负样例的形式为Xneg＝<xe,ωp,xc>；
步骤4：构造完正负样例后，将数据集中的原始文本和正负样例分别输入到对比表示学习框架的两个编码器中，对两个编码器的输出进行余弦相似度衡量，如果相似度大于0.5，则输出标签
Figure BDA0003736259330000051
表示输入的样例是原始文本中的一对因果关系；否则
Figure BDA0003736259330000052
表示输入的样例不是原始文本中的一对因果关系；所述对比表示学习框架由深度学习模型构成；
深度学习模型采用两层结构：双向长短期记忆网络和Transformer；
对深度学习模型进行建模：
Figure BDA0003736259330000053
Figure BDA0003736259330000054
L＝(1-λ)·L1+λ·L2
其中L1是对比损失，L2是平均绝对误差，L是本发明的最终建模模型，
Figure BDA0003736259330000055
表示向量
Figure BDA0003736259330000056
和向量
Figure BDA0003736259330000057
之间的欧氏距离，向量
Figure BDA0003736259330000058
和向量
Figure BDA0003736259330000059
分别表示模型中两个编码器的输出，t>0是定义的半径阈值，如果两个样例匹配，Y＝1；否则Y＝0；λ表示两个损失函数之间的权重，n表示数据集的大小，yi表示样本的真实标签，
Figure BDA00037362593300000510
表示模型预测的标签。
本发明为一种基于对比表示学习的复杂因果关系抽取方法，首先初始化记忆动量，其次通过记忆动量选取最合适的因果关系连接词，对训练数据中的隐式因果关系进行数据增强；最终基于对比表示学习框架，以双向长短期记忆网络和Transformer作为主干网络学习文本中的因果关系。

Claims (1)

1.一种基于对比表示学习的复杂因果关系抽取方法，其特征在于，包括如下步骤：
步骤1：记忆动量初始化；
记忆动量用于因果关系连接词的选取，在训练模型之前，首先在数据集中寻找具有因果关系连接词的样例集合，将其表示成
Figure FDA0003736259320000011
的因果三元组，将提取出来的样例集合以字典的形式存储；其中，xci和xei分别表示记忆动量D中第i个因果三元组的原因和结果，ωi表示对应的因果连接词，m表示D中因果关系三元组的数量；
步骤2：使用记忆动量进行数据增强，来构造正样例；
对文本中的每一对因果论元R＝(xc，xe)，其中xc和xe分别表示文本中每一对因果论元的原因和结果，进行向量表示，并进行拼接得到XR＝Concat(xc，xe)，其中xc和xe分别是xc和xe的向量表示；将文本中的因果论元XR与记忆动量中的每一对因果论元Xi＝Concat(xci，xei)进行相似度匹配，其中xci和xei分别是xci和xei的向量表示；计算XR和Xi的相似度，获取相似度最高的因果关系连接词，与文本中的因果论元构造正样例Xpos＝<xc,ωp,xe>，ωp表示相似度最大的因果连接词；计算公式如下：
Figure FDA0003736259320000012
Figure FDA0003736259320000013
式中，Si表示XR和Xi的余弦相似度，index(·)表示取下标的函数，p表示相似度最大的下标；
步骤3：通过方向逆反构造负样例；
将正样例的原因和结果互换位置获取负样例，负样例的形式为Xneg＝<xe,ωp,xc>；
步骤4：构造完正负样例后，将数据集中的原始文本和正负样例分别输入到对比表示学习框架的两个编码器中，对两个编码器的输出进行余弦相似度衡量，如果相似度大于0.5，则输出标签
Figure FDA0003736259320000014
表示输入的样例是原始文本中的一对因果关系；否则
Figure FDA0003736259320000015
表示输入的样例不是原始文本中的一对因果关系；所述对比表示学习框架由深度学习模型构成；
深度学习模型采用两层结构：双向长短期记忆网络和Transformer；
对深度学习模型进行建模：
Figure FDA0003736259320000021
Figure FDA0003736259320000022
L＝(1-λ)·L1+λ·L2
其中L1是对比损失，L2是平均绝对误差，L是本发明的最终建模模型，
Figure FDA0003736259320000023
表示向量
Figure FDA0003736259320000024
和向量
Figure FDA0003736259320000025
之间的欧氏距离，向量
Figure FDA0003736259320000026
和向量
Figure FDA0003736259320000027
分别表示模型中两个编码器的输出，t>0是定义的半径阈值，如果两个样例匹配，Y＝1；否则Y＝0；λ表示两个损失函数之间的权重，n表示数据集的大小，yi表示样本的真实标签，
Figure FDA0003736259320000028
表示模型预测的标签。
CN202210797477.1A 2022-07-08 2022-07-08 一种基于对比表示学习的复杂因果关系抽取方法 Active CN115146618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210797477.1A CN115146618B (zh) 2022-07-08 2022-07-08 一种基于对比表示学习的复杂因果关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210797477.1A CN115146618B (zh) 2022-07-08 2022-07-08 一种基于对比表示学习的复杂因果关系抽取方法

Publications (2)

Publication Number Publication Date
CN115146618A true CN115146618A (zh) 2022-10-04
CN115146618B CN115146618B (zh) 2024-03-05

Family

ID=83412945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210797477.1A Active CN115146618B (zh) 2022-07-08 2022-07-08 一种基于对比表示学习的复杂因果关系抽取方法

Country Status (1)

Country Link
CN (1) CN115146618B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044177A (ko) * 2018-10-05 2020-04-29 동아대학교 산학협력단 학습 데이터 확장을 통한 딥러닝 기반 인과관계 추출을 위한 장치 및 방법
US10878505B1 (en) * 2020-07-31 2020-12-29 Agblox, Inc. Curated sentiment analysis in multi-layer, machine learning-based forecasting model using customized, commodity-specific neural networks
CN114492460A (zh) * 2022-04-08 2022-05-13 东南大学 基于衍生提示学习的事件因果关系抽取方法
CN114548117A (zh) * 2022-02-23 2022-05-27 安徽理工大学 一种基于bert语义增强的因果关系抽取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044177A (ko) * 2018-10-05 2020-04-29 동아대학교 산학협력단 학습 데이터 확장을 통한 딥러닝 기반 인과관계 추출을 위한 장치 및 방법
US10878505B1 (en) * 2020-07-31 2020-12-29 Agblox, Inc. Curated sentiment analysis in multi-layer, machine learning-based forecasting model using customized, commodity-specific neural networks
CN114548117A (zh) * 2022-02-23 2022-05-27 安徽理工大学 一种基于bert语义增强的因果关系抽取方法
CN114492460A (zh) * 2022-04-08 2022-05-13 东南大学 基于衍生提示学习的事件因果关系抽取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张淑霞;龚炳江;: "面向煤矿领域的文本关系抽取关键技术研究", 电脑知识与技术, no. 22, 5 August 2020 (2020-08-05) *
陶永才;吴文乐;海朝阳;石磊;卫琳;: "一种结合LSTM和集成算法的文本校对模型", 小型微型计算机系统, no. 05, 15 May 2020 (2020-05-15) *

Also Published As

Publication number Publication date
CN115146618B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
WO2022022163A1 (zh) 文本分类模型的训练方法、装置、设备及存储介质
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN111563149A (zh) 一种用于中文知识图谱问答系统的实体链接方法
CN113051929A (zh) 一种基于细粒度语义信息增强的实体关系抽取的方法
CN116204674B (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
CN116661805B (zh) 代码表示的生成方法和装置、存储介质及电子设备
CN111858878A (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN114841151B (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
CN113723083A (zh) 基于bert模型的带权消极监督文本情感分析方法
CN115408488A (zh) 用于小说场景文本的分割方法及系统
CN112434514A (zh) 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备
CN110969023A (zh) 文本相似度的确定方法及装置
CN115879546A (zh) 一种复合神经网络心理医学知识图谱构建方法及系统
CN112784601B (zh) 关键信息提取方法、装置、电子设备和存储介质
CN115828931B (zh) 面向段落级文本的中英文语义相似度计算方法
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN114881038B (zh) 基于跨度和注意力机制的中文实体与关系抽取方法及装置
CN116662924A (zh) 基于双通道与注意力机制的方面级多模态情感分析方法
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN115146618B (zh) 一种基于对比表示学习的复杂因果关系抽取方法
CN115221284A (zh) 文本相似度的计算方法、装置、电子设备及存储介质
Pogorilyy et al. Assessment of Text Coherence by Constructing the Graph of Semantic, Lexical, and Grammatical Consistancy of Phrases of Sentences
CN115240712A (zh) 一种基于多模态的情感分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant