CN114880434A - 基于知识图信息引导的篇章级事件角色识别方法 - Google Patents
基于知识图信息引导的篇章级事件角色识别方法 Download PDFInfo
- Publication number
- CN114880434A CN114880434A CN202210570151.5A CN202210570151A CN114880434A CN 114880434 A CN114880434 A CN 114880434A CN 202210570151 A CN202210570151 A CN 202210570151A CN 114880434 A CN114880434 A CN 114880434A
- Authority
- CN
- China
- Prior art keywords
- text
- information
- knowledge graph
- representation
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 18
- 235000019580 granularity Nutrition 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 16
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 230000002457 bidirectional effect Effects 0.000 abstract 1
- 125000004122 cyclic group Chemical group 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 235000013330 chicken meat Nutrition 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 241000287828 Gallus gallus Species 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及基于知识图信息引导的篇章级事件角色识别方法,属自然语言处理领域。本发明先在编码模块使用Transformer编码端捕获文档的语义信息,使用双向循环神经网络捕获文档中句子级的语义信息。再根据篇章中句子三元组关系,并通过聚类的方式构建跨句子元组元素的依赖关系,获取知识图信息,利用图卷积模块增强模型对文本语义的理解。最后利用融合推理模块实现对文本的事件角色信息的识别。本发明事件角色识别需要识别出文本的事件角色信息,目前针对篇章事件角色识别中跨越句子限制,捕获长序列文本的长距离特征提取过程信息丢失问题,使用文本构建的知识图信息解决文本长距离特征提取过程中信息丢失问题,加深对文本语义的理解。
Description
技术领域
本发明涉及基于知识图信息引导的篇章级事件角色识别方法,属于自然语言处理技术领域。
背景技术
中文新闻文本事件角色识别旨在采用序列标注的模式识别新闻文本中的事件角色信息。文档的事件角色信息是对文档的主体信息的表达,有助于快速理解文本内容。现有的事件角色抽取模型大都集中在句子层面,而文档级事件角色抽取与从独立句子中抽取事件不同,文档级事件抽取模型对序列特征提取有特殊的要求。跨越句子限制,捕捉长序列中的长距离文本特征提取文本信息丢失仍然是文档事件角色识别任务的最大难点。当前的特征提取过程中,模型只关注上下文的语义信息,而忽略了文本关键信息及其信息之间的关联关系对文本语义信息的影响,导致模型对文本的语义理解仍然不够准确和深入。本发明通过构建文本知识图解决长序列特征提取过程中文本信息丢失问题具有重要意义。
发明内容
本发明提供了基于知识图信息引导的篇章级事件角色识别方法,以用于解决目前篇章级事件角色识别中长序列长距离依赖问题。
本发明的技术方案是:基于知识图信息引导的篇章级事件角色识别方法,所述基于知识图信息引导的篇章级事件角色识别方法的具体步骤如下:
Step1、抽取文本句子中的三元组信息,并基于实体、高频词、关键词等信息对三元组元素进行聚类,以此构建三元组元素之间的关联关系,形成文档的知识图信息;
Step2、将文本通过预训练Bert和预训练词向量两种不同的方式进行向量化表示作为编码器的输入;
Step3、通过Transformer编码端对文档进行编码;
Step4、通过Bi-LSTM网络对文本句子级进行编码;
Step5、使用图卷积模块将文本的向量表示与知识图信息进行联合学习,得到融合知识图信息的向量表示;
Step6、最后通过融合推理模块中的选通融合机制实现不同粒度文本信息的融合,然后利用CRF层进行事件角色信息识别推理,以完成事件的角色信息的识别。
作为本发明的优选方案,所述步骤Step1的具体步骤为:
Step1.1、使用斯坦福工具对文本的句子抽取其三元组信息,将每个三元组中的元素,构建相互依赖关系;
Step1.2、基于句子的三元组的元素,通过判断句子三元组元素是否为文档高频词、关键词和实体信息等,以此进行聚类。将同一类型下的元素构建相互之间的关系,并结合三元组内部之间的图结构,构建文本全局的图结构,以此形成对文档语义信息的知识图信息;
作为本发明的优选方案,所述步骤Step2的具体步骤:
Step2.1、首先,根据预训练词向量表将文本转换成向量表示,分别得到文本的字符嵌入Xc:
Xc=Embedding(Tc) (1)
文本数据经过Bert词表分词后得到输入序列D={d1,d2,d3……dm},通过Bert预训练模型得最后输出的隐状态向量表示Xb:
Xb=Bert(D) (2)
Step2.2、在预训练词向量文本表示和预训练模型Bert文本表示之间使用交叉注意力网络。由预训练的向量表得到文本的字符级向量表示和经过Bert模型得到表征。为了丰富文本字符嵌入表示的语义信息,通过交叉注意力机制,将Xb的表征融入到Xc中,进而得到文本中第j个字符表征x′j:
其中,X′e={x′1,x′2,x′3……x′n}表示经过表征模块得到的文本表征集合。注意力权重αj.i是通过相应的匹配分数mj.i上计算Softmax函数获得的。然后基于特征向量和的双线性乘积来计算获得其中的匹配分数。
此优选方案设计是本发明的重要组成部分,主要为本发明提供向量编码的过程,使用编码器对文本进行向量化表示,在此基础上,通过交叉注意力机网络使传统词预训练词向量的文本表示和预训练Bert的文本表示进行有效融合。
作为本发明的优选方案,所述步骤Step3的具体步骤为:通过Transform编码端对文本进行特征提取。嵌入表征融合模块所得到文本表示X′e={x′1,x′2,x′3……x′n},当X′e进入Transformer编码端后先经过自注意力机制的计算,使得模型能够学习到文本内部语义之间的关联关系,进而得到计算过程如式6–式7所示:
Query=Value=Key=X′e (6)
ht=Attention(Ht-1,Ht-1,Ht-1),t>1 (9)
Ht=FNN(ht),t>1 (10)
作为本发明的优选方案,所述步骤Step4的具体步骤为:通过BI-LSTM编码器对文本的句子级文本进行特征提取。由预训练的向量表得到文本的句子级文本向量表示通过句子层面的文本特征提取,使得模型通过句子级语境编码学习到细粒度的语义信息,进而获得句子粒度的文本表示
所述Step5包括:
通过图卷积网络对文本知识图信息进行特征提取;
通过交叉注意力网络实现知识图信息的特征与文本特征的深层次融合。
作为本发明的优选方案,所述步骤Step5的具体步骤为:
Step5.1、在构建的知识图的基础上,我们以三元组中的元素的字符创建节点。对于三元组内部元素的字符之间都添加了边,对于通过聚类构建在一起的跨句子三元组元素字符之间添加了边,这样就形成了图ζ=(γ,ε),其中γ=v1,v2,v3……vn(|γ|=n)和ε分别是节点集和边集。每个vi是表示三元组中字符vi的节点,每个边(vi,vj)∈ε是字符vi和字符vj的关系。为了使节点之间信息能够流动,我们将节点之间的关系等价为节点之间信息的正向流动、反向流动和自循环流动,所以最终得到类型标签为K(vi,vj):
此优选方案设计可以将文本中关键信息得到有效的聚合,图卷积模块被设计用来捕获文本关键信息之间的关联关系,通过文本三元组元素之间的关系可以增强信息跨句子之间的依赖关系,以此提高模型对文本语义深层次理解。
作为本发明的优选方案,所述步骤Step6的具体步骤为:
其中⊙表示元素乘积。
Step6.2、通过条件随机场联合建模标记决策。将通过一个线性层后得P′,其中P′i,j表示第i个字符的标签j的得分。设输入序列为X={x1,x2,x3…,xm,},标签序列为Y={y1,y2,y3…,ym},标签预测的分数为:
其中,Q是转移分数矩阵,Qi,j表示从标签i转移到标签j的分数。对所有可能的标签序列的得分应用Softmax函数,从而得到给定输入x的条件下标签序列y的概率P(x/y)。在模型训练过程中,将正标签序列的对数概率最大化。在解码的过程中,模型通过预测得分最高的输出序列,将其作为事件角色识别序列。
此优选方案设计对文本构建的知识图进行建模,有助于更好的理解文本语义信息,提高识别事件角色性能。本发明的有益效果是:
1、本发明的基于知识图信息引导的篇章级事件角色识别方法,利用文本三元组构建的知识图信息,通过图卷积网络提取文本知识图特征并将其融入文本的特征表示中,增强对文本语义理解;
2、本发明的基于知识图信息引导的篇章级事件角色识别方法,通过选通融合网络实现对不同粒度文本信息进行有效的融合,实现文本语义的有效的利用。
附图说明
图1为本发明提出的基于知识图信息引导的篇章级事件角色识别方法流程图;
图2为本发明提出的基于知识图信息引导的篇章级事件角色识别方法模型图;
图3为本发明提出的基于知识图信息引导的篇章级事件角色识别方法的知识图构建。
具体实施方式
实施例1:如图1-图3所示,本发明的基于知识图信息引导的篇章级事件角色识别方法,所述方法包括:
Step1、抽取文本句子中的三元组信息,并基于实体、高频词、关键词等信息对三元组元素进行聚类,以此构建三元组元素之间的关联关系,形成文档的知识图信息。
Step2、将文本通过预训练Bert和预训练词向量两种不同的方式进行向量化表示作为编码器的输入。
Step3、通过Transformer编码端对文档进行编码。
Step4、通过Bi-LSTM网络对文本句子级进行编码。
Step5、使用图卷积模块将文本的向量表示与知识图信息进行联合学习,得到融合知识图信息的向量表示。
Step6、最后通过融合推理模块中的选通融合机制实现不同粒度文本信息的融合,然后利用CRF层进行事件角色信息识别推理,以完成事件的角色信息的识别。
作为本发明的优选方案,所述步骤Step1的具体步骤为:
例句:
[S1]5月6日,某集团旗下某城基地第2批28吨鸡肉产品运往某国。
[S2]3月17日,某城基地首次出口某国24吨鸡肉,这是集团积极融入绿色某带某路,成功打入某盟十国鸡肉市场。
[S3]今年预计对某国出口5000吨鸡肉产品,明后年有望进军某盟十国市场!
…
Step1.1、使用斯坦福工具对文本的句子抽取其三元组信息,将每个三元组中的元素,构建相互依赖关系;
Step1.2、基于句子的三元组的元素,通过判断句子三元组元素是否为文档高频词、关键词和实体信息等,以此进行聚类。将同一类型下的元素构建相互之间的关系,并结合三元组内部之间的图结构,构建文本全局的图结构,以此形成对文档语义信息的知识图信息;
作为本发明的优选方案,所述步骤Step2的具体步骤:
Step2.1、首先,根据预训练词向量表将文本转换成向量表示,分别得到文本的字符嵌入Xc:
Xc=Embedding(Tc) (1)
文本数据经过Bert词表分词后得到输入序列D={d1,d2,d3……dm},通过Bert预训练模型得最后输出的隐状态向量表示Xb:
Xb=Bert(D) (2)
Step2.2、在预训练词向量文本表示和预训练模型Bert文本表示之间使用交叉注意力网络。由预训练的向量表得到文本的字符级向量表示和经过Bert模型得到表征。为了丰富文本字符嵌入表示的语义信息,通过交叉注意力机制,将Xb的表征融入到Xc中,进而得到文本中第j个字符表征x′j:
其中,X′e={x′1,x′2,x′3……x′n}表示经过表征模块得到的文本表征集合。注意力权重αj.i是通过相应的匹配分数mj.i上计算Softmax函数获得的。然后基于特征向量和的双线性乘积来计算获得其中的匹配分数。
此优选方案设计是本发明的重要组成部分,主要为本发明提供向量编码的过程,使用编码器对文本进行向量化表示,在此基础上,通过交叉注意力机网络使传统词预训练词向量的文本表示和预训练Bert的文本表示进行有效融合。
作为本发明的优选方案,所述步骤Step3的具体步骤为:通过Transform编码端对文本进行特征提取。嵌入表征融合模块所得到文本表示X′e={x′1,x′2,x′3……x′n},当X′e进入Transformer编码端后先经过自注意力机制的计算,使得模型能够学习到文本内部语义之间的关联关系,进而得到计算过程如式6–式7所示:
Query=Value=Key=Xe (6)
ht=Attention(Ht-1,Ht-1,Ht-1),t>1 (9)
Ht=FNN(ht),t>1 (10)
作为本发明的优选方案,所述步骤Step4的具体步骤为:通过BI-LSTM编码器对文本的句子级文本进行特征提取。由预训练的向量表得到文本的句子级文本向量表示通过句子层面的文本特征提取,使得模型通过句子级语境编码学习到细粒度的语义信息,进而获得句子粒度的文本表示
作为本发明的优选方案,所述步骤Step5的具体步骤为:
Step5.1、在构建的知识图的基础上,我们以三元组中的元素的字符创建节点。对于三元组内部元素的字符之间都添加了边,对于通过聚类构建在一起的跨句子三元组元素字符之间添加了边,这样就形成了图ζ=(γ,ε),其中γ=v1,v2,v3……vn(|γ|=n)和ε分别是节点集和边集。每个vi是表示三元组中字符vi的节点,每个边(vi,vj)∈ε是字符vi和字符vj的关系。为了使节点之间信息能够流动,我们将节点之间的关系等价为节点之间信息的正向流动、反向流动和自循环流动,所以最终得到类型标签为K(vi,vj):
此优选方案设计可以将文本中关键信息得到有效的聚合,图卷积模块被设计用来捕获文本关键信息之间的关联关系,通过文本三元组元素之间的关系可以增强信息跨句子之间的依赖关系。
作为本发明的优选方案,所述步骤Step6的具体步骤为:
其中⊙表示元素乘积。
Step6.2、通过条件随机场联合建模标记决策。将通过一个线性层后得P′,其中P′i,j表示第i个字符的标签j的得分。设输入序列为X={x1,x2,x3…,xm,},标签序列为Y={y1,y2,y3…,ym},标签预测的分数为:
其中,Q是转移分数矩阵,Qi,j表示从标签i转移到标签j的分数。对所有可能的标签序列的得分应用Softmax函数,从而得到给定输入x的条件下标签序列y的概率P(x/y)。在模型训练过程中,将正标签序列的对数概率.最大化。在解码的过程中,模型通过预测得分最高的输出序列,将其作为事件角色识别序列。
Step7、结合本文模型分别做了参数对比试验和消融实验,证明模型设置的合理性与高效性,又将该模型与现有模型进行对比,证明本方法在事件角色识别上具有较好效果。
实验从“Head Noun Match”和“Exact Match”这两个方面来对实验结果进行评估;“Head Noun Match”是比较抽取的内容是否在标签内容的范围。“Exact Match”是比较抽取的内容是否完全与在标签内容一致。本文的结果报告为所有事件角色的宏观平均值的精确度(P)、回忆(R)和F-measure(F-1)分数。
Precision(P):正确预测的事件在总预测事件中所占的比例。
Recall(R):正确预测的事件在真实事件中所占的比例。
为了验证图卷积的层数对模型性能的影响,本章分别设置了1层、2层、3层和4层进行实验,最终找到对知识图信息特征提取最优层数,其实验结果如表1所示:
表1图卷积层数实验结果
图卷积层数实验如表1所示,随着卷积层数的增加,模型的性能逐渐提成,当图卷积的层数达到3层时间,此时模型性能最优。对比1层和2层图卷积的结果,可以分析出,图卷积模块层数较浅时,对知识图信息的运用不够充分,模型对文本的理解也不够深入。当层数为4层时,模型性能出现了下降,由于此时模型层数过深,对文本特征出现了过拟合趋势,从而影响了模型在测试集的性能。因此,在后续的实验中,模型均采用3层图卷积。
验证本文方法对事件角色识别的效果,共选择四个基线方法进行试验。表2显示文档级事件抽取模型的对比实验结果,表3显示每种事件角色的结果。通过实验可知,本章模型的F1值均超过其它基线模型。
GLACIER:该方法是由一个句子事件分类器和一组角色填充识别器组成。最后通过基于规范化句子和短语概率的乘积实现事件信息提取。
TIER:该方法是将文档分为三个阶段:叙事文档分类、事件句识别和名词短语分析,通过这三个阶段确定事件角色信息。
Cohesion Extract:该方法是采用自底向上的思想,首先在文档中主动识别候选角色填充词,然后用句分类器细化候选集,以此确定事件信息位置。
Multi-Granularity Reader:该方法是通过动态地聚合不同粒度(如句子和段落)的表征所获取的信息,使模型多层次文档上下文的语义信息,以此实现事件角色抽取。
表2对比实验结果
(1)与传统的端到端的模型相比,本文模型在知识图信息的辅助下,在“Head NounMatch”和“Exact Match”这两个方面,本文模型的性能明显优于现有的模型性能。
(2)对比“GLACIER”、“TIER”和“Cohesion Extract”这些长文本输入模型,“Multi-Granularity Reader”通过动态使用句子信息使得模型能够关注较为广泛的语境,并表现出了较好的效果。本文通过聚合多粒度信息(句子,段落和知识图结构)使神经网络模型对文本的理解更加深入,模型表现出了更好的性能。通过关注局部语境和更广泛语境对事件检测的任务起到了很重要的作用。
(3)通过对比R值,本文模型在在“Head Noun Match”和“Exact Match”这两个方面的值明显高于其他的模型,说明本文模型在图信息的辅助下,模型对于正样本的定位是非常的准确,最终使模型的综合性能有了较大的提升。所有这些表明,通过知识图信息的辅助,使得模型能够对文本的理解更加深入。
为验证本文模型中结构化知识图信息以及Transformer结构化编码的有效性,如表3所示特(表说明“(-)”表示未使用该网络结构):
表3消融实验结果
消融实验结果如表3所示,本文模型的P、R、F1值均超过其他基线模型。当模型未使用Transform编码结构和未融入知识图信息时,模型P、R、F1均有所下降,因此可以证明Transform编码结构和知识图信息的融入,可以更好的辅助模型对文本语义的理解,这对模型的性能提升是非常重要的,也是模型中必不可少的一部分。同时对比Transform编码结构,由于传统Bi-LSTM编码器没有对文本进行深层次的特征提取,模型性能也有所下降,说明Transform编码结构对于模型提升也有帮助。当模型未使用图卷积模块对知识图信息的理解时,模型的P、R、F1均在下降,因此可以证明模型在知识图信息的帮助下可以有效的对句子深层次的特征进行提取和融入,可以更好的辅助模型对事件信息的准确识别。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述基于知识图信息引导的篇章级事件角色识别方法的具体步骤如下:
Step1、抽取文本句子中的三元组信息,并基于实体、高频词、关键词信息对三元组元素进行聚类,以此构建三元组元素之间的关联关系,形成文档的知识图信息;
Step2、将文本通过预训练Bert和预训练词向量两种不同的方式进行向量化表示作为编码器的输入;
Step3、通过Transformer编码端对文档进行编码;
Step4、通过Bi-LSTM网络对文本句子级进行编码;
Step5、使用图卷积模块将文本的向量表示与知识图信息进行联合学习,得到融合知识图信息的向量表示;
Step6、最后通过融合推理模块中的选通融合机制实现不同粒度文本信息的融合,然后利用CRF层进行事件角色信息识别推理,以完成事件的角色信息的识别。
2.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step1的具体步骤为:
Step1.1、使用斯坦福工具对文本的句子抽取其三元组信息,将每个三元组中的元素,构建相互依赖关系;
Step1.2、抽取文本的高频词、关键词和实体词,并判断不同句子三元组元素是否属于某一类型下,以此对三元组元素进行聚类,构建跨句三元组之间的关联关系,以此形成文本知识图。
3.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step2的具体步骤为:
Step2.1、首先使用预训练词向量和预训练Bert模型分别对文本向量化表示;
Step2.2、然后通过交叉注意力网络将获得的预训练词向量表示和预训练Bert模型的向量表示进行联合会学习,得到融合预训练Bert模型的文本向量表示。
4.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:在所述Step3中,使用Transformer编码端对文本向量进行特征编码,得到文本的特征表示。
5.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:在所述Step4中,使用BI-LSTM编码器对文本中每个句子进行特征编码,得到文本的句子级特征表示。
6.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step5包括:
通过图卷积网络对文本知识图信息进行特征提取;
通过交叉注意力网络实现知识图信息的特征与文本特征的深层次融合。
7.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step5的具体步骤如下:
Step5.1、在构建的知识图的基础上,以三元组中的元素的字符创建节点;对于三元组内部元素的字符之间都添加了边,对于通过聚类构建在一起的跨句子三元组元素字符之间添加了边,这样就形成了图ζ=(γ,ε),其中γ=v1,v2,v3……vn(|γ|=n)和ε分别是节点集和边集;每个vi是表示三元组中字符vi的节点,每个边(vi,vj)∈ε是字符vi和字符vj的关系;为了使节点之间信息能够流动,将节点之间的关系等价为节点之间信息的正向流动、反向流动和自循环流动,所以最终得到类型标签为K(vi,vj):
8.根据权利要求1所述基于知识图信息引导的篇章级事件角色识别方法,其特征在于:所述Step6的具体步骤为:
Step6.1、通过选通融合网络,将文本句子级特征信息与文本特征信息进行选通融合,通过不同粒度的文本信息,使模型对文本语义理解更加全面;
Step6.2、通过CRF网络对文本进行识别标注,实现对事件角色信息的有效识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210570151.5A CN114880434A (zh) | 2022-05-24 | 2022-05-24 | 基于知识图信息引导的篇章级事件角色识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210570151.5A CN114880434A (zh) | 2022-05-24 | 2022-05-24 | 基于知识图信息引导的篇章级事件角色识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114880434A true CN114880434A (zh) | 2022-08-09 |
Family
ID=82678156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210570151.5A Pending CN114880434A (zh) | 2022-05-24 | 2022-05-24 | 基于知识图信息引导的篇章级事件角色识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114880434A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456176A (zh) * | 2022-10-10 | 2022-12-09 | 延边大学 | 一种基于知识增强的文本匹配方法及系统 |
CN115860002A (zh) * | 2022-12-27 | 2023-03-28 | 中国人民解放军国防科技大学 | 一种基于事件抽取的作战任务生成方法及系统 |
CN116719910A (zh) * | 2023-08-08 | 2023-09-08 | 山东正云信息科技有限公司 | 一种基于人工智能技术的文本查询方法及系统 |
CN116757159A (zh) * | 2023-08-15 | 2023-09-15 | 昆明理工大学 | 一种端到端的多任务联合篇章级事件抽取方法及系统 |
CN116882502A (zh) * | 2023-09-07 | 2023-10-13 | 山东山大鸥玛软件股份有限公司 | 融合结构化知识和文本语义的专业文本推断方法和系统 |
CN117079222A (zh) * | 2023-10-17 | 2023-11-17 | 广州乐庚信息科技有限公司 | 一种基于课堂音视频智能分析的教案生成方法和系统 |
-
2022
- 2022-05-24 CN CN202210570151.5A patent/CN114880434A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456176A (zh) * | 2022-10-10 | 2022-12-09 | 延边大学 | 一种基于知识增强的文本匹配方法及系统 |
CN115456176B (zh) * | 2022-10-10 | 2023-07-21 | 延边大学 | 一种基于知识增强的文本匹配方法及系统 |
CN115860002A (zh) * | 2022-12-27 | 2023-03-28 | 中国人民解放军国防科技大学 | 一种基于事件抽取的作战任务生成方法及系统 |
CN115860002B (zh) * | 2022-12-27 | 2024-04-05 | 中国人民解放军国防科技大学 | 一种基于事件抽取的作战任务生成方法及系统 |
CN116719910A (zh) * | 2023-08-08 | 2023-09-08 | 山东正云信息科技有限公司 | 一种基于人工智能技术的文本查询方法及系统 |
CN116757159A (zh) * | 2023-08-15 | 2023-09-15 | 昆明理工大学 | 一种端到端的多任务联合篇章级事件抽取方法及系统 |
CN116757159B (zh) * | 2023-08-15 | 2023-10-13 | 昆明理工大学 | 一种端到端的多任务联合篇章级事件抽取方法及系统 |
CN116882502A (zh) * | 2023-09-07 | 2023-10-13 | 山东山大鸥玛软件股份有限公司 | 融合结构化知识和文本语义的专业文本推断方法和系统 |
CN116882502B (zh) * | 2023-09-07 | 2023-11-28 | 山东山大鸥玛软件股份有限公司 | 融合结构化知识和文本语义的专业文本推断方法和系统 |
CN117079222A (zh) * | 2023-10-17 | 2023-11-17 | 广州乐庚信息科技有限公司 | 一种基于课堂音视频智能分析的教案生成方法和系统 |
CN117079222B (zh) * | 2023-10-17 | 2024-01-26 | 广州乐庚信息科技有限公司 | 一种基于课堂音视频智能分析的教案生成方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114880434A (zh) | 基于知识图信息引导的篇章级事件角色识别方法 | |
CN111738004B (zh) | 一种命名实体识别模型的训练方法及命名实体识别的方法 | |
CN111382575A (zh) | 一种基于联合标注和实体语义信息的事件抽取方法 | |
CN112231472B (zh) | 融入领域术语词典的司法舆情敏感信息识别方法 | |
CN112926324B (zh) | 融合词典与对抗迁移的越南语事件实体识别方法 | |
CN112101027A (zh) | 基于阅读理解的中文命名实体识别方法 | |
CN112183064B (zh) | 基于多任务联合学习的文本情绪原因识别系统 | |
CN115292463B (zh) | 一种基于信息抽取的联合多意图检测和重叠槽填充的方法 | |
CN113505200A (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
CN113360582B (zh) | 基于bert模型融合多元实体信息的关系分类方法及系统 | |
CN115310448A (zh) | 一种基于bert和字词向量结合的中文命名实体识别方法 | |
CN115238690A (zh) | 一种基于bert的军事领域复合命名实体识别方法 | |
CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
CN112163089A (zh) | 一种融合命名实体识别的军事高技术文本分类方法及系统 | |
CN115545033A (zh) | 融合词汇类别表征的中文领域文本命名实体识别方法 | |
CN114912453A (zh) | 基于增强序列特征的中文法律文书命名实体识别方法 | |
CN114723013A (zh) | 一种多粒度知识增强的语义匹配方法 | |
CN114491062A (zh) | 一种融合知识图谱和主题模型的短文本分类方法 | |
CN113254575A (zh) | 一种基于多步证据推理的机器阅读理解方法与系统 | |
CN112287687A (zh) | 基于案件属性感知的案件倾向性抽取式摘要方法 | |
CN114970537B (zh) | 基于多层标注策略的跨境民族文化实体关系抽取方法及装置 | |
CN112989839A (zh) | 一种基于关键词特征嵌入语言模型的意图识别方法及系统 | |
CN113139050B (zh) | 基于命名实体识别附加标签和先验知识的文本摘要生成方法 | |
CN114358006A (zh) | 基于知识图谱的文本内容摘要生成方法 | |
CN115358227A (zh) | 一种基于短语增强的开放域关系联合抽取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |