CN114880434A - 基于知识图信息引导的篇章级事件角色识别方法 - Google Patents

基于知识图信息引导的篇章级事件角色识别方法 Download PDF

Info

Publication number
CN114880434A
CN114880434A CN202210570151.5A CN202210570151A CN114880434A CN 114880434 A CN114880434 A CN 114880434A CN 202210570151 A CN202210570151 A CN 202210570151A CN 114880434 A CN114880434 A CN 114880434A
Authority
CN
China
Prior art keywords
text
information
knowledge graph
representation
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210570151.5A
Other languages
English (en)
Inventor
余正涛
陈龙
黄于欣
线岩团
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202210570151.5A priority Critical patent/CN114880434A/zh
Publication of CN114880434A publication Critical patent/CN114880434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3346Query execution using probabilistic model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及基于知识图信息引导的篇章级事件角色识别方法,属自然语言处理领域。本发明先在编码模块使用Transformer编码端捕获文档的语义信息,使用双向循环神经网络捕获文档中句子级的语义信息。再根据篇章中句子三元组关系,并通过聚类的方式构建跨句子元组元素的依赖关系,获取知识图信息,利用图卷积模块增强模型对文本语义的理解。最后利用融合推理模块实现对文本的事件角色信息的识别。本发明事件角色识别需要识别出文本的事件角色信息,目前针对篇章事件角色识别中跨越句子限制,捕获长序列文本的长距离特征提取过程信息丢失问题,使用文本构建的知识图信息解决文本长距离特征提取过程中信息丢失问题,加深对文本语义的理解。

Description

基于知识图信息引导的篇章级事件角色识别方法
技术领域
本发明涉及基于知识图信息引导的篇章级事件角色识别方法,属于自然语言处理技术领域。
背景技术
中文新闻文本事件角色识别旨在采用序列标注的模式识别新闻文本中的事件角色信息。文档的事件角色信息是对文档的主体信息的表达,有助于快速理解文本内容。现有的事件角色抽取模型大都集中在句子层面,而文档级事件角色抽取与从独立句子中抽取事件不同,文档级事件抽取模型对序列特征提取有特殊的要求。跨越句子限制,捕捉长序列中的长距离文本特征提取文本信息丢失仍然是文档事件角色识别任务的最大难点。当前的特征提取过程中,模型只关注上下文的语义信息,而忽略了文本关键信息及其信息之间的关联关系对文本语义信息的影响,导致模型对文本的语义理解仍然不够准确和深入。本发明通过构建文本知识图解决长序列特征提取过程中文本信息丢失问题具有重要意义。
发明内容
本发明提供了基于知识图信息引导的篇章级事件角色识别方法,以用于解决目前篇章级事件角色识别中长序列长距离依赖问题。
本发明的技术方案是:基于知识图信息引导的篇章级事件角色识别方法,所述基于知识图信息引导的篇章级事件角色识别方法的具体步骤如下:
Step1、抽取文本句子中的三元组信息,并基于实体、高频词、关键词等信息对三元组元素进行聚类,以此构建三元组元素之间的关联关系,形成文档的知识图信息;
Step2、将文本通过预训练Bert和预训练词向量两种不同的方式进行向量化表示作为编码器的输入;
Step3、通过Transformer编码端对文档进行编码;
Step4、通过Bi-LSTM网络对文本句子级进行编码;
Step5、使用图卷积模块将文本的向量表示与知识图信息进行联合学习,得到融合知识图信息的向量表示;
Step6、最后通过融合推理模块中的选通融合机制实现不同粒度文本信息的融合,然后利用CRF层进行事件角色信息识别推理,以完成事件的角色信息的识别。
作为本发明的优选方案,所述步骤Step1的具体步骤为:
Step1.1、使用斯坦福工具对文本的句子抽取其三元组信息,将每个三元组中的元素,构建相互依赖关系;
Step1.2、基于句子的三元组的元素,通过判断句子三元组元素是否为文档高频词、关键词和实体信息等,以此进行聚类。将同一类型下的元素构建相互之间的关系,并结合三元组内部之间的图结构,构建文本全局的图结构,以此形成对文档语义信息的知识图信息;
作为本发明的优选方案,所述步骤Step2的具体步骤:
Step2.1、首先,根据预训练词向量表将文本转换成向量表示,分别得到文本的字符嵌入Xc:
Xc=Embedding(Tc) (1)
其中,Tc={c1,c2,c3……cn}表示文本的每个字符。
Figure BDA0003659895330000021
表示字符向量表示集合。
文本数据经过Bert词表分词后得到输入序列D={d1,d2,d3……dm},通过Bert预训练模型得最后输出的隐状态向量表示Xb:
Xb=Bert(D) (2)
其中,
Figure BDA0003659895330000022
表示文本的Bert表征集合。
Step2.2、在预训练词向量文本表示和预训练模型Bert文本表示之间使用交叉注意力网络。由预训练的向量表得到文本的字符级向量表示
Figure BDA0003659895330000023
和经过Bert模型得到
Figure BDA0003659895330000024
表征。为了丰富文本字符嵌入表示的语义信息,通过交叉注意力机制,将Xb的表征融入到Xc中,进而得到文本中第j个字符表征x′j
Figure BDA0003659895330000025
Figure BDA0003659895330000026
Figure BDA0003659895330000027
其中,X′e={x′1,x′2,x′3……x′n}表示经过表征模块得到的文本表征集合。注意力权重αj.i是通过相应的匹配分数mj.i上计算Softmax函数获得的。然后基于特征向量
Figure BDA0003659895330000028
Figure BDA0003659895330000029
的双线性乘积来计算获得其中的匹配分数。
此优选方案设计是本发明的重要组成部分,主要为本发明提供向量编码的过程,使用编码器对文本进行向量化表示,在此基础上,通过交叉注意力机网络使传统词预训练词向量的文本表示和预训练Bert的文本表示进行有效融合。
作为本发明的优选方案,所述步骤Step3的具体步骤为:通过Transform编码端对文本进行特征提取。嵌入表征融合模块所得到文本表示X′e={x′1,x′2,x′3……x′n},当X′e进入Transformer编码端后先经过自注意力机制的计算,使得模型能够学习到文本内部语义之间的关联关系,进而得到
Figure BDA0003659895330000031
计算过程如式6–式7所示:
Query=Value=Key=X′e (6)
Figure BDA0003659895330000032
经过自注意力机制所得到的
Figure BDA0003659895330000033
实现了文本内部关联信息之间的动态融合,
Figure BDA0003659895330000034
经过前馈网络得到Transformer编码端的第一层的输出H1,然后通过多层编码层得到Transformer编码端最终输出Ht
Figure BDA0003659895330000035
ht=Attention(Ht-1,Ht-1,Ht-1),t>1 (9)
Ht=FNN(ht),t>1 (10)
作为本发明的优选方案,所述步骤Step4的具体步骤为:通过BI-LSTM编码器对文本的句子级文本进行特征提取。由预训练的向量表得到文本的句子级文本向量表示
Figure BDA0003659895330000036
通过句子层面的文本特征提取,使得模型通过句子级语境编码学习到细粒度的语义信息,进而获得句子粒度的文本表示
Figure BDA0003659895330000037
Figure BDA0003659895330000038
其中,
Figure BDA0003659895330000039
表示文本第一句的向量表示,
Figure BDA00036598953300000310
段落中每个标记的句子级表示。
所述Step5包括:
通过图卷积网络对文本知识图信息进行特征提取;
通过交叉注意力网络实现知识图信息的特征与文本特征的深层次融合。
作为本发明的优选方案,所述步骤Step5的具体步骤为:
Step5.1、在构建的知识图的基础上,我们以三元组中的元素的字符创建节点。对于三元组内部元素的字符之间都添加了边,对于通过聚类构建在一起的跨句子三元组元素字符之间添加了边,这样就形成了图ζ=(γ,ε),其中γ=v1,v2,v3……vn(|γ|=n)和ε分别是节点集和边集。每个vi是表示三元组中字符vi的节点,每个边(vi,vj)∈ε是字符vi和字符vj的关系。为了使节点之间信息能够流动,我们将节点之间的关系等价为节点之间信息的正向流动、反向流动和自循环流动,所以最终得到类型标签为K(vi,vj):
Figure BDA0003659895330000041
Step5.2、文本特征表示Ht作为图卷积网络的输入,来初始化网络第一层的节点表示
Figure BDA0003659895330000042
在句法图卷积网络模块的第k层,可以通过以下方法计算节点v∈γ的图卷积向量
Figure BDA0003659895330000043
Figure BDA0003659895330000044
其中k(u,v)表示边(u,v)的类型标签构建的邻接矩阵;
Figure BDA0003659895330000045
Figure BDA0003659895330000046
分别是某个指向类型标签k(u,v)的权值矩阵和偏差;N(v)是v的邻域集,包括v(由于自循环);f是非线性激活函数。
Step5.3、由Transform编码端得到文本隐状态向量
Figure BDA0003659895330000047
再通过交叉注意力网络,将图卷积模块所得的知识图特征表示融入文本表示中,以此得到文本新的表示文档级表示H′={h′1,h′2…h′n}。
此优选方案设计可以将文本中关键信息得到有效的聚合,图卷积模块被设计用来捕获文本关键信息之间的关联关系,通过文本三元组元素之间的关系可以增强信息跨句子之间的依赖关系,以此提高模型对文本语义深层次理解。
作为本发明的优选方案,所述步骤Step6的具体步骤为:
Step6.1、通过门控机制的选通量
Figure BDA0003659895330000048
控制句子级
Figure BDA0003659895330000049
和文档级表示
Figure BDA00036598953300000410
(n:文档级表示的向量中第n句话的第i个表示)两种粒度的文本表示的融合:
Figure BDA00036598953300000411
Figure BDA00036598953300000412
其中⊙表示元素乘积。
Step6.2、通过条件随机场联合建模标记决策。将
Figure BDA00036598953300000413
通过一个线性层后得P′,其中P′i,j表示第i个字符的标签j的得分。设输入序列为X={x1,x2,x3…,xm,},标签序列为Y={y1,y2,y3…,ym},标签预测的分数为:
Figure BDA00036598953300000414
Figure BDA0003659895330000051
其中,Q是转移分数矩阵,Qi,j表示从标签i转移到标签j的分数。对所有可能的标签序列的得分应用Softmax函数,从而得到给定输入x的条件下标签序列y的概率P(x/y)。在模型训练过程中,将正标签序列的对数概率最大化。在解码的过程中,模型通过预测得分最高的输出序列,将其作为事件角色识别序列。
此优选方案设计对文本构建的知识图进行建模,有助于更好的理解文本语义信息,提高识别事件角色性能。本发明的有益效果是:
1、本发明的基于知识图信息引导的篇章级事件角色识别方法,利用文本三元组构建的知识图信息,通过图卷积网络提取文本知识图特征并将其融入文本的特征表示中,增强对文本语义理解;
2、本发明的基于知识图信息引导的篇章级事件角色识别方法,通过选通融合网络实现对不同粒度文本信息进行有效的融合,实现文本语义的有效的利用。
附图说明
图1为本发明提出的基于知识图信息引导的篇章级事件角色识别方法流程图;
图2为本发明提出的基于知识图信息引导的篇章级事件角色识别方法模型图;
图3为本发明提出的基于知识图信息引导的篇章级事件角色识别方法的知识图构建。
具体实施方式
实施例1:如图1-图3所示,本发明的基于知识图信息引导的篇章级事件角色识别方法,所述方法包括:
Step1、抽取文本句子中的三元组信息,并基于实体、高频词、关键词等信息对三元组元素进行聚类,以此构建三元组元素之间的关联关系,形成文档的知识图信息。
Step2、将文本通过预训练Bert和预训练词向量两种不同的方式进行向量化表示作为编码器的输入。
Step3、通过Transformer编码端对文档进行编码。
Step4、通过Bi-LSTM网络对文本句子级进行编码。
Step5、使用图卷积模块将文本的向量表示与知识图信息进行联合学习,得到融合知识图信息的向量表示。
Step6、最后通过融合推理模块中的选通融合机制实现不同粒度文本信息的融合,然后利用CRF层进行事件角色信息识别推理,以完成事件的角色信息的识别。
作为本发明的优选方案,所述步骤Step1的具体步骤为:
例句:
[S1]5月6日,某集团旗下某城基地第2批28吨鸡肉产品运往某国。
[S2]3月17日,某城基地首次出口某国24吨鸡肉,这是集团积极融入绿色某带某路,成功打入某盟十国鸡肉市场。
[S3]今年预计对某国出口5000吨鸡肉产品,明后年有望进军某盟十国市场!
Step1.1、使用斯坦福工具对文本的句子抽取其三元组信息,将每个三元组中的元素,构建相互依赖关系;
Step1.2、基于句子的三元组的元素,通过判断句子三元组元素是否为文档高频词、关键词和实体信息等,以此进行聚类。将同一类型下的元素构建相互之间的关系,并结合三元组内部之间的图结构,构建文本全局的图结构,以此形成对文档语义信息的知识图信息;
作为本发明的优选方案,所述步骤Step2的具体步骤:
Step2.1、首先,根据预训练词向量表将文本转换成向量表示,分别得到文本的字符嵌入Xc:
Xc=Embedding(Tc) (1)
其中,Tc={c1,c2,c3……cn}表示文本的每个字符。
Figure BDA0003659895330000061
表示字符向量表示集合。
文本数据经过Bert词表分词后得到输入序列D={d1,d2,d3……dm},通过Bert预训练模型得最后输出的隐状态向量表示Xb:
Xb=Bert(D) (2)
其中,
Figure BDA0003659895330000062
表示文本的Bert表征集合。
Step2.2、在预训练词向量文本表示和预训练模型Bert文本表示之间使用交叉注意力网络。由预训练的向量表得到文本的字符级向量表示
Figure BDA0003659895330000063
和经过Bert模型得到
Figure BDA0003659895330000064
表征。为了丰富文本字符嵌入表示的语义信息,通过交叉注意力机制,将Xb的表征融入到Xc中,进而得到文本中第j个字符表征x′j
Figure BDA0003659895330000065
Figure BDA0003659895330000071
Figure BDA0003659895330000072
其中,X′e={x′1,x′2,x′3……x′n}表示经过表征模块得到的文本表征集合。注意力权重αj.i是通过相应的匹配分数mj.i上计算Softmax函数获得的。然后基于特征向量
Figure BDA0003659895330000073
Figure BDA0003659895330000074
的双线性乘积来计算获得其中的匹配分数。
此优选方案设计是本发明的重要组成部分,主要为本发明提供向量编码的过程,使用编码器对文本进行向量化表示,在此基础上,通过交叉注意力机网络使传统词预训练词向量的文本表示和预训练Bert的文本表示进行有效融合。
作为本发明的优选方案,所述步骤Step3的具体步骤为:通过Transform编码端对文本进行特征提取。嵌入表征融合模块所得到文本表示X′e={x′1,x′2,x′3……x′n},当X′e进入Transformer编码端后先经过自注意力机制的计算,使得模型能够学习到文本内部语义之间的关联关系,进而得到
Figure BDA0003659895330000075
计算过程如式6–式7所示:
Query=Value=Key=Xe (6)
Figure BDA0003659895330000076
经过自注意力机制所得到的
Figure BDA0003659895330000077
实现了文本内部关联信息之间的动态融合,
Figure BDA0003659895330000078
经过前馈网络得到Transformer编码端的第一层的输出H1,然后通过多层编码层得到Transformer编码端最终输出Ht
Figure BDA0003659895330000079
ht=Attention(Ht-1,Ht-1,Ht-1),t>1 (9)
Ht=FNN(ht),t>1 (10)
作为本发明的优选方案,所述步骤Step4的具体步骤为:通过BI-LSTM编码器对文本的句子级文本进行特征提取。由预训练的向量表得到文本的句子级文本向量表示
Figure BDA00036598953300000710
通过句子层面的文本特征提取,使得模型通过句子级语境编码学习到细粒度的语义信息,进而获得句子粒度的文本表示
Figure BDA00036598953300000711
Figure BDA00036598953300000712
其中,
Figure BDA00036598953300000713
表示文本第一句的向量表示,
Figure BDA00036598953300000714
段落中每个标记的句子级表示。
作为本发明的优选方案,所述步骤Step5的具体步骤为:
Step5.1、在构建的知识图的基础上,我们以三元组中的元素的字符创建节点。对于三元组内部元素的字符之间都添加了边,对于通过聚类构建在一起的跨句子三元组元素字符之间添加了边,这样就形成了图ζ=(γ,ε),其中γ=v1,v2,v3……vn(|γ|=n)和ε分别是节点集和边集。每个vi是表示三元组中字符vi的节点,每个边(vi,vj)∈ε是字符vi和字符vj的关系。为了使节点之间信息能够流动,我们将节点之间的关系等价为节点之间信息的正向流动、反向流动和自循环流动,所以最终得到类型标签为K(vi,vj):
Figure BDA0003659895330000081
Step5.2、文本特征表示Ht作为图卷积网络的输入,来初始化网络第一层的节点表示
Figure BDA0003659895330000082
在句法图卷积网络模块的第k层,可以通过以下方法计算节点v∈γ的图卷积向量
Figure BDA0003659895330000083
Figure BDA0003659895330000084
其中k(u,v)表示边(u,v)的类型标签构建的邻接矩阵;
Figure BDA0003659895330000085
Figure BDA0003659895330000086
分别是某个指向类型标签k(u,v)的权值矩阵和偏差;N(v)是v的邻域集,包括v(由于自循环);f是非线性激活函数。
Step5.3、由Transform编码端得到文本隐状态向量
Figure BDA0003659895330000087
再通过交叉注意力网络,将图卷积模块所得的知识图特征表示融入文本表示中,以此得到文本新的表示文档级表示H′={h′1,h′2…h′n}。
此优选方案设计可以将文本中关键信息得到有效的聚合,图卷积模块被设计用来捕获文本关键信息之间的关联关系,通过文本三元组元素之间的关系可以增强信息跨句子之间的依赖关系。
作为本发明的优选方案,所述步骤Step6的具体步骤为:
Step6.1、通过门控机制的选通量
Figure BDA0003659895330000088
控制句子级
Figure BDA0003659895330000089
和文档级表示
Figure BDA00036598953300000810
(n:文档级表示的向量中第n句话的第i个表示)两种粒度的文本表示的融合:
Figure BDA00036598953300000811
Figure BDA00036598953300000812
其中⊙表示元素乘积。
Step6.2、通过条件随机场联合建模标记决策。将
Figure BDA00036598953300000813
通过一个线性层后得P′,其中P′i,j表示第i个字符的标签j的得分。设输入序列为X={x1,x2,x3…,xm,},标签序列为Y={y1,y2,y3…,ym},标签预测的分数为:
Figure BDA0003659895330000091
Figure BDA0003659895330000092
其中,Q是转移分数矩阵,Qi,j表示从标签i转移到标签j的分数。对所有可能的标签序列的得分应用Softmax函数,从而得到给定输入x的条件下标签序列y的概率P(x/y)。在模型训练过程中,将正标签序列的对数概率.最大化。在解码的过程中,模型通过预测得分最高的输出序列,将其作为事件角色识别序列。
Step7、结合本文模型分别做了参数对比试验和消融实验,证明模型设置的合理性与高效性,又将该模型与现有模型进行对比,证明本方法在事件角色识别上具有较好效果。
实验从“Head Noun Match”和“Exact Match”这两个方面来对实验结果进行评估;“Head Noun Match”是比较抽取的内容是否在标签内容的范围。“Exact Match”是比较抽取的内容是否完全与在标签内容一致。本文的结果报告为所有事件角色的宏观平均值的精确度(P)、回忆(R)和F-measure(F-1)分数。
Precision(P):正确预测的事件在总预测事件中所占的比例。
Recall(R):正确预测的事件在真实事件中所占的比例。
F-1:
Figure BDA0003659895330000093
为了验证图卷积的层数对模型性能的影响,本章分别设置了1层、2层、3层和4层进行实验,最终找到对知识图信息特征提取最优层数,其实验结果如表1所示:
表1图卷积层数实验结果
Figure BDA0003659895330000094
图卷积层数实验如表1所示,随着卷积层数的增加,模型的性能逐渐提成,当图卷积的层数达到3层时间,此时模型性能最优。对比1层和2层图卷积的结果,可以分析出,图卷积模块层数较浅时,对知识图信息的运用不够充分,模型对文本的理解也不够深入。当层数为4层时,模型性能出现了下降,由于此时模型层数过深,对文本特征出现了过拟合趋势,从而影响了模型在测试集的性能。因此,在后续的实验中,模型均采用3层图卷积。
验证本文方法对事件角色识别的效果,共选择四个基线方法进行试验。表2显示文档级事件抽取模型的对比实验结果,表3显示每种事件角色的结果。通过实验可知,本章模型的F1值均超过其它基线模型。
GLACIER:该方法是由一个句子事件分类器和一组角色填充识别器组成。最后通过基于规范化句子和短语概率的乘积实现事件信息提取。
TIER:该方法是将文档分为三个阶段:叙事文档分类、事件句识别和名词短语分析,通过这三个阶段确定事件角色信息。
Cohesion Extract:该方法是采用自底向上的思想,首先在文档中主动识别候选角色填充词,然后用句分类器细化候选集,以此确定事件信息位置。
Multi-Granularity Reader:该方法是通过动态地聚合不同粒度(如句子和段落)的表征所获取的信息,使模型多层次文档上下文的语义信息,以此实现事件角色抽取。
表2对比实验结果
Figure BDA0003659895330000101
(1)与传统的端到端的模型相比,本文模型在知识图信息的辅助下,在“Head NounMatch”和“Exact Match”这两个方面,本文模型的性能明显优于现有的模型性能。
(2)对比“GLACIER”、“TIER”和“Cohesion Extract”这些长文本输入模型,“Multi-Granularity Reader”通过动态使用句子信息使得模型能够关注较为广泛的语境,并表现出了较好的效果。本文通过聚合多粒度信息(句子,段落和知识图结构)使神经网络模型对文本的理解更加深入,模型表现出了更好的性能。通过关注局部语境和更广泛语境对事件检测的任务起到了很重要的作用。
(3)通过对比R值,本文模型在在“Head Noun Match”和“Exact Match”这两个方面的值明显高于其他的模型,说明本文模型在图信息的辅助下,模型对于正样本的定位是非常的准确,最终使模型的综合性能有了较大的提升。所有这些表明,通过知识图信息的辅助,使得模型能够对文本的理解更加深入。
为验证本文模型中结构化知识图信息以及Transformer结构化编码的有效性,如表3所示特(表说明“(-)”表示未使用该网络结构):
表3消融实验结果
Figure BDA0003659895330000111
消融实验结果如表3所示,本文模型的P、R、F1值均超过其他基线模型。当模型未使用Transform编码结构和未融入知识图信息时,模型P、R、F1均有所下降,因此可以证明Transform编码结构和知识图信息的融入,可以更好的辅助模型对文本语义的理解,这对模型的性能提升是非常重要的,也是模型中必不可少的一部分。同时对比Transform编码结构,由于传统Bi-LSTM编码器没有对文本进行深层次的特征提取,模型性能也有所下降,说明Transform编码结构对于模型提升也有帮助。当模型未使用图卷积模块对知识图信息的理解时,模型的P、R、F1均在下降,因此可以证明模型在知识图信息的帮助下可以有效的对句子深层次的特征进行提取和融入,可以更好的辅助模型对事件信息的准确识别。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述基于知识图信息引导的篇章级事件角色识别方法的具体步骤如下:
Step1、抽取文本句子中的三元组信息,并基于实体、高频词、关键词信息对三元组元素进行聚类,以此构建三元组元素之间的关联关系,形成文档的知识图信息;
Step2、将文本通过预训练Bert和预训练词向量两种不同的方式进行向量化表示作为编码器的输入;
Step3、通过Transformer编码端对文档进行编码;
Step4、通过Bi-LSTM网络对文本句子级进行编码;
Step5、使用图卷积模块将文本的向量表示与知识图信息进行联合学习,得到融合知识图信息的向量表示;
Step6、最后通过融合推理模块中的选通融合机制实现不同粒度文本信息的融合,然后利用CRF层进行事件角色信息识别推理,以完成事件的角色信息的识别。
2.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step1的具体步骤为:
Step1.1、使用斯坦福工具对文本的句子抽取其三元组信息,将每个三元组中的元素,构建相互依赖关系;
Step1.2、抽取文本的高频词、关键词和实体词,并判断不同句子三元组元素是否属于某一类型下,以此对三元组元素进行聚类,构建跨句三元组之间的关联关系,以此形成文本知识图。
3.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step2的具体步骤为:
Step2.1、首先使用预训练词向量和预训练Bert模型分别对文本向量化表示;
Step2.2、然后通过交叉注意力网络将获得的预训练词向量表示和预训练Bert模型的向量表示进行联合会学习,得到融合预训练Bert模型的文本向量表示。
4.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:在所述Step3中,使用Transformer编码端对文本向量进行特征编码,得到文本的特征表示。
5.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:在所述Step4中,使用BI-LSTM编码器对文本中每个句子进行特征编码,得到文本的句子级特征表示。
6.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step5包括:
通过图卷积网络对文本知识图信息进行特征提取;
通过交叉注意力网络实现知识图信息的特征与文本特征的深层次融合。
7.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step5的具体步骤如下:
Step5.1、在构建的知识图的基础上,以三元组中的元素的字符创建节点;对于三元组内部元素的字符之间都添加了边,对于通过聚类构建在一起的跨句子三元组元素字符之间添加了边,这样就形成了图ζ=(γ,ε),其中γ=v1,v2,v3……vn(|γ|=n)和ε分别是节点集和边集;每个vi是表示三元组中字符vi的节点,每个边(vi,vj)∈ε是字符vi和字符vj的关系;为了使节点之间信息能够流动,将节点之间的关系等价为节点之间信息的正向流动、反向流动和自循环流动,所以最终得到类型标签为K(vi,vj):
Figure FDA0003659895320000021
Step5.2、文本特征表示Ht作为图卷积网络的输入,来初始化网络第一层的节点表示
Figure FDA0003659895320000022
在句法图卷积网络模块的第k层,通过以下方法计算节点v∈γ的图卷积向量
Figure FDA0003659895320000023
Figure FDA0003659895320000024
其中k(u,v)表示边(u,v)的类型标签构建的邻接矩阵;
Figure FDA0003659895320000025
Figure FDA0003659895320000026
分别是某个指向类型标签k(u,v)的权值矩阵和偏差;N(v)是v的邻域集,包括v;f是非线性激活函数;
Step5.3、由Transform编码端得到文本隐状态向量
Figure FDA0003659895320000027
再通过交叉注意力网络,将图卷积模块所得的知识图特征表示融入文本表示中,以此得到文本新的表示文档级表示H′={h′1,h′2…h′n}。
8.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step6的具体步骤为:
Step6.1、通过选通融合网络,将文本句子级特征信息与文本特征信息进行选通融合,通过不同粒度的文本信息,使模型对文本语义理解更加全面;
Step6.2、通过CRF网络对文本进行识别标注,实现对事件角色信息的有效识别。
CN202210570151.5A 2022-05-24 2022-05-24 基于知识图信息引导的篇章级事件角色识别方法 Pending CN114880434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210570151.5A CN114880434A (zh) 2022-05-24 2022-05-24 基于知识图信息引导的篇章级事件角色识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210570151.5A CN114880434A (zh) 2022-05-24 2022-05-24 基于知识图信息引导的篇章级事件角色识别方法

Publications (1)

Publication Number Publication Date
CN114880434A true CN114880434A (zh) 2022-08-09

Family

ID=82678156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210570151.5A Pending CN114880434A (zh) 2022-05-24 2022-05-24 基于知识图信息引导的篇章级事件角色识别方法

Country Status (1)

Country Link
CN (1) CN114880434A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456176A (zh) * 2022-10-10 2022-12-09 延边大学 一种基于知识增强的文本匹配方法及系统
CN115860002A (zh) * 2022-12-27 2023-03-28 中国人民解放军国防科技大学 一种基于事件抽取的作战任务生成方法及系统
CN116719910A (zh) * 2023-08-08 2023-09-08 山东正云信息科技有限公司 一种基于人工智能技术的文本查询方法及系统
CN116757159A (zh) * 2023-08-15 2023-09-15 昆明理工大学 一种端到端的多任务联合篇章级事件抽取方法及系统
CN116882502A (zh) * 2023-09-07 2023-10-13 山东山大鸥玛软件股份有限公司 融合结构化知识和文本语义的专业文本推断方法和系统
CN117079222A (zh) * 2023-10-17 2023-11-17 广州乐庚信息科技有限公司 一种基于课堂音视频智能分析的教案生成方法和系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456176A (zh) * 2022-10-10 2022-12-09 延边大学 一种基于知识增强的文本匹配方法及系统
CN115456176B (zh) * 2022-10-10 2023-07-21 延边大学 一种基于知识增强的文本匹配方法及系统
CN115860002A (zh) * 2022-12-27 2023-03-28 中国人民解放军国防科技大学 一种基于事件抽取的作战任务生成方法及系统
CN115860002B (zh) * 2022-12-27 2024-04-05 中国人民解放军国防科技大学 一种基于事件抽取的作战任务生成方法及系统
CN116719910A (zh) * 2023-08-08 2023-09-08 山东正云信息科技有限公司 一种基于人工智能技术的文本查询方法及系统
CN116757159A (zh) * 2023-08-15 2023-09-15 昆明理工大学 一种端到端的多任务联合篇章级事件抽取方法及系统
CN116757159B (zh) * 2023-08-15 2023-10-13 昆明理工大学 一种端到端的多任务联合篇章级事件抽取方法及系统
CN116882502A (zh) * 2023-09-07 2023-10-13 山东山大鸥玛软件股份有限公司 融合结构化知识和文本语义的专业文本推断方法和系统
CN116882502B (zh) * 2023-09-07 2023-11-28 山东山大鸥玛软件股份有限公司 融合结构化知识和文本语义的专业文本推断方法和系统
CN117079222A (zh) * 2023-10-17 2023-11-17 广州乐庚信息科技有限公司 一种基于课堂音视频智能分析的教案生成方法和系统
CN117079222B (zh) * 2023-10-17 2024-01-26 广州乐庚信息科技有限公司 一种基于课堂音视频智能分析的教案生成方法和系统

Similar Documents

Publication Publication Date Title
CN114880434A (zh) 基于知识图信息引导的篇章级事件角色识别方法
CN111738004B (zh) 一种命名实体识别模型的训练方法及命名实体识别的方法
CN111382575A (zh) 一种基于联合标注和实体语义信息的事件抽取方法
CN112231472B (zh) 融入领域术语词典的司法舆情敏感信息识别方法
CN112926324B (zh) 融合词典与对抗迁移的越南语事件实体识别方法
CN112101027A (zh) 基于阅读理解的中文命名实体识别方法
CN112183064B (zh) 基于多任务联合学习的文本情绪原因识别系统
CN115292463B (zh) 一种基于信息抽取的联合多意图检测和重叠槽填充的方法
CN113505200A (zh) 一种结合文档关键信息的句子级中文事件检测的方法
CN113360582B (zh) 基于bert模型融合多元实体信息的关系分类方法及系统
CN115310448A (zh) 一种基于bert和字词向量结合的中文命名实体识别方法
CN115238690A (zh) 一种基于bert的军事领域复合命名实体识别方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN112163089A (zh) 一种融合命名实体识别的军事高技术文本分类方法及系统
CN115545033A (zh) 融合词汇类别表征的中文领域文本命名实体识别方法
CN114912453A (zh) 基于增强序列特征的中文法律文书命名实体识别方法
CN114723013A (zh) 一种多粒度知识增强的语义匹配方法
CN114491062A (zh) 一种融合知识图谱和主题模型的短文本分类方法
CN113254575A (zh) 一种基于多步证据推理的机器阅读理解方法与系统
CN112287687A (zh) 基于案件属性感知的案件倾向性抽取式摘要方法
CN114970537B (zh) 基于多层标注策略的跨境民族文化实体关系抽取方法及装置
CN112989839A (zh) 一种基于关键词特征嵌入语言模型的意图识别方法及系统
CN113139050B (zh) 基于命名实体识别附加标签和先验知识的文本摘要生成方法
CN114358006A (zh) 基于知识图谱的文本内容摘要生成方法
CN115358227A (zh) 一种基于短语增强的开放域关系联合抽取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination