CN114444473B - 基于多通道层次图注意力网络的开放事件抽取方法与系统 - Google Patents

基于多通道层次图注意力网络的开放事件抽取方法与系统 Download PDF

Info

Publication number
CN114444473B
CN114444473B CN202210375116.8A CN202210375116A CN114444473B CN 114444473 B CN114444473 B CN 114444473B CN 202210375116 A CN202210375116 A CN 202210375116A CN 114444473 B CN114444473 B CN 114444473B
Authority
CN
China
Prior art keywords
node
attention network
graph attention
representation
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210375116.8A
Other languages
English (en)
Other versions
CN114444473A (zh
Inventor
万齐智
万常选
胡蓉
刘德喜
刘喜平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202210375116.8A priority Critical patent/CN114444473B/zh
Publication of CN114444473A publication Critical patent/CN114444473A/zh
Application granted granted Critical
Publication of CN114444473B publication Critical patent/CN114444473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于多通道层次图注意力网络的开放事件抽取方法与系统，该方法包括：获取给定文档，根据给定文档建立得到文档句法依存树；基于文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图；基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络；构建得到三通道图注意力网络；将给定文档中的词语，输入至三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取。本发明可有效增强图结构的特征编码能力。

Description

基于多通道层次图注意力网络的开放事件抽取方法与系统
技术领域
本发明涉及信息抽取技术领域，特别涉及一种基于多通道层次图注意力网络的开放事件抽取方法与系统。
背景技术
事件抽取作为信息抽取的关键基础任务，旨在从浩瀚的文本数据中抽取有价值的事件信息。毫无疑义的，事件抽取具有较大意义，可以帮助投资决策、风险分析、人们交谈方式的理解、案件推送以及辅助决策等。
目前，现有的针对开放事件抽取的研究工作中，有部分是采用远程监督和对抗技术检测不限定类型的事件；还有一部分是采用模式匹配的方法抽取三元组事件。
然而，上述的研究存在较大的局限性，事件检测只需要识别事件的触发词，不讨论事件论元的抽取；模式匹配的方法通常准确率高，其召回率一般较低，即只能适用于部分语料和场景。基于此，有必要开发出一种普遍适用的开放事件抽取策略，以帮助很多下游应用。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种基于多通道层次图注意力网络的开放事件抽取方法与系统，以解决上述的技术问题。
本发明实施例提出一种基于多通道层次图注意力网络的开放事件抽取方法，其中，所述方法包括如下步骤：
步骤一、获取给定文档，根据所述给定文档建立得到文档句法依存树；
步骤二、基于所述文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图；
步骤三、基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造所述原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络，其中所述结点类型包括自身结点、父结点、兄弟结点、子结点以及孙结点，嵌入结点类型并进行层级调整表示在所述原始图注意力网络中添加结点类型的权重以及添加结点层级的权重；
步骤四、基于所述层次图注意力网络，编码得到词语语义特征、句法依存关系类型特征以及词性特征，并根据所述词语语义特征、所述句法依存关系类型特征以及所述词性特征构建得到三通道图注意力网络，其中所述三通道图注意力网络包括词语语义图注意力网络、句法依存关系图注意力网络以及词语词性图注意力网络；
步骤五、将所述给定文档中的词语，输入至所述三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取，其中四分类包括主语、谓语、宾语及非主谓宾短语。
本发明提出一种基于多通道层次图注意力网络的开放事件抽取方法，基于句法依存树，设计双向依存图，能够有效增强图结构的特征编码能力；针对原始图注意力网络，通过嵌入结点类型并进行层级调整，以构建得到层次图注意力网络，使得结点特征在汇聚时能够捕获具有层级信息和结点类型信息的图结构；本发明单独地编码词语语义、依存关系类型和词性信息，使得每个通道既可以重点关注本身的主要特征，又可及时混入其它通道的特征进行补充。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，在所述步骤一中，所述文档句法依存树的构建方法包括如下步骤：
采用句法依存分析工具对所述给定文档进行分句以得到多个语句；
依次对所述给定文档中的每个语句进行句法结构解析，以得到语句的句法依存树；
将所有语句对应的句法依存树按照语句顺序进行排列，以建立得到所述文档句法依存树；
其中，所述给定文档
Figure 375568DEST_PATH_IMAGE001
表示为
Figure 791506DEST_PATH_IMAGE002
，在所述给定文档
Figure 527381DEST_PATH_IMAGE001
中，第
Figure 336068DEST_PATH_IMAGE003
个语句
Figure 473788DEST_PATH_IMAGE004
的词语
Figure 60627DEST_PATH_IMAGE005
表示为：
Figure 549377DEST_PATH_IMAGE006
其中，
Figure 20810DEST_PATH_IMAGE007
表示给定文档
Figure 389868DEST_PATH_IMAGE001
中的语句数量，
Figure 22974DEST_PATH_IMAGE008
表示语句长度，
Figure 123654DEST_PATH_IMAGE009
表示语句中的第
Figure 133199DEST_PATH_IMAGE010
个词语，每个词语对应语句中一个结点。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，在所述步骤三中，在所述原始图注意力网络中，结点
Figure 855298DEST_PATH_IMAGE010
与结点
Figure 190465DEST_PATH_IMAGE011
之间的原始图注意力系数
Figure 122649DEST_PATH_IMAGE012
表示为：
Figure 60518DEST_PATH_IMAGE013
其中，W为变换矩阵，
Figure 761757DEST_PATH_IMAGE014
为结点i的嵌入表示，
Figure 641726DEST_PATH_IMAGE015
为结点j的嵌入表示，
Figure 61206DEST_PATH_IMAGE016
为共享注意力机制；
采用softmax归一化公式对原始图注意力系数
Figure 537187DEST_PATH_IMAGE012
进行标准化可得：
Figure 358513DEST_PATH_IMAGE017
其中，
Figure 645269DEST_PATH_IMAGE018
表示原始图注意力系数
Figure 817624DEST_PATH_IMAGE012
标准化后的结果，
Figure 972662DEST_PATH_IMAGE019
表示结点i与结点
Figure 773127DEST_PATH_IMAGE001
之间的原始图注意力系数，
Figure 620998DEST_PATH_IMAGE020
表示与结点i直接相连的结点集合；
原始图中结点i基于多头注意力机制的嵌入表示
Figure 391901DEST_PATH_IMAGE021
的公式为：
Figure 85051DEST_PATH_IMAGE022
其中，K为多头注意力的头数，
Figure 146547DEST_PATH_IMAGE023
为非线性函数，
Figure 758794DEST_PATH_IMAGE024
为结点i和结点j的第k头注意力系数，
Figure 640163DEST_PATH_IMAGE025
表示第k头注意力的变换矩阵。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，在所述步骤三中，在所述层次图注意力网络中，结点
Figure 277949DEST_PATH_IMAGE010
与结点
Figure 928373DEST_PATH_IMAGE011
之间的层次图注意力系数
Figure 977100DEST_PATH_IMAGE026
表示为：
Figure 345765DEST_PATH_IMAGE027
其中，
Figure 380717DEST_PATH_IMAGE028
表示结点j汇聚至结点i时的类型，
Figure 525128DEST_PATH_IMAGE029
表示结点
Figure 885702DEST_PATH_IMAGE001
汇聚至结点i时的类型，
Figure 600717DEST_PATH_IMAGE030
的取值范围为(0，1]，
Figure 439360DEST_PATH_IMAGE031
表示对共享注意力机制
Figure 939743DEST_PATH_IMAGE016
进行参数化，
Figure 205639DEST_PATH_IMAGE032
表示激活函数，
Figure 548896DEST_PATH_IMAGE033
表示结点
Figure 50284DEST_PATH_IMAGE034
的嵌入表示；
层次图中结点i基于多头注意力机制的嵌入表示
Figure 795386DEST_PATH_IMAGE035
的公式为：
Figure 433234DEST_PATH_IMAGE036
其中，
Figure 998207DEST_PATH_IMAGE037
，
Figure 303287DEST_PATH_IMAGE038
表示结点j的层级，
Figure 902895DEST_PATH_IMAGE039
为标准化后的层级值，
Figure 510594DEST_PATH_IMAGE040
。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，在所述步骤四中，输出所述词语语义特征的计算公式表示为：
Figure 703809DEST_PATH_IMAGE041
其中，
Figure 687946DEST_PATH_IMAGE042
表示结点i在第l层的词语语义特征，
Figure 1116DEST_PATH_IMAGE043
表示结点i和结点j在第l-1层的第k头注意力系数，
Figure 779716DEST_PATH_IMAGE044
为第l-1层的第k头注意力的变换矩阵，
Figure 584861DEST_PATH_IMAGE045
表示结点j在第l-1层的嵌入表示。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，在所述步骤四中，输出所述句法依存关系类型特征的计算公式表示为：
Figure 481010DEST_PATH_IMAGE046
Figure 789632DEST_PATH_IMAGE047
Figure 129346DEST_PATH_IMAGE048
其中，
Figure 156208DEST_PATH_IMAGE049
为结点i的句法依存关系类型在第l层的嵌入表示，即所述句法依存关系类型特征，M同样为多头注意力的头数，
Figure 91934DEST_PATH_IMAGE050
表示结点i和结点j之间依存关系类型在第l-1层的第m头注意力系数，
Figure 255062DEST_PATH_IMAGE051
为第l-1层的第m头注意力的变换矩阵，
Figure 906623DEST_PATH_IMAGE052
表示结点j在第l-1层的词语语义嵌入表示，
Figure 279836DEST_PATH_IMAGE053
为结点i和结点j在第l-1层第m头的边的权重，即
Figure 143887DEST_PATH_IMAGE054
标准化之前的值，
Figure 803932DEST_PATH_IMAGE055
为结点i和结点d在第l-1层第m头的边的权重，relu(·)为激活函数，
Figure 95236DEST_PATH_IMAGE056
为结点i和结点j之间的句法依存关系类型在第l-1层的嵌入表示，
Figure 221324DEST_PATH_IMAGE057
和
Figure 889065DEST_PATH_IMAGE058
分别为第m头的2个不同的变换矩阵，
Figure 902152DEST_PATH_IMAGE059
和
Figure 629936DEST_PATH_IMAGE060
分别为第m头2个不同的偏置项。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，在得到了所述词语语义特征、句法依存关系类型特征以及词性特征之后，所述方法还包括：
将结点i的最后一层的输出特征进行拼接，以得到三通道图注意力网络的最终结点特征；
Figure 853107DEST_PATH_IMAGE061
其中，
Figure 183594DEST_PATH_IMAGE062
表示三通道图注意力网络的最终结点特征，
Figure 441400DEST_PATH_IMAGE063
表示结点i在第l层的词语语义的嵌入表示，
Figure 713988DEST_PATH_IMAGE064
表示结点i在第l层的句法依存关系类型的嵌入表示，
Figure 424455DEST_PATH_IMAGE065
表示结点i在第l层的词性的嵌入表示。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，所述方法还包括：
对于三通道图注意力网络输出的每个结点的嵌入表示，将每个结点的嵌入表示输入至全连接网络，采用softmax函数计算结点的嵌入表示在所有事件元素标签上的概率：
Figure 433999DEST_PATH_IMAGE066
其中，
Figure 670945DEST_PATH_IMAGE067
为结点的嵌入表示在所有事件元素标签上的概率，
Figure 474953DEST_PATH_IMAGE068
为权重矩阵，
Figure 548083DEST_PATH_IMAGE069
为结点i在L层的最终嵌入表示，
Figure 361318DEST_PATH_IMAGE070
表示偏置项，
Figure 452771DEST_PATH_IMAGE071
表示结点i在参数
Figure 693259DEST_PATH_IMAGE072
下的最终标签输出；
根据结点的嵌入表示在所有事件元素标签上的概率，采用带权重的交叉熵损失函数作为目标函数
Figure 378318DEST_PATH_IMAGE073
，目标函数
Figure 106496DEST_PATH_IMAGE073
对应的公式为：
Figure 927822DEST_PATH_IMAGE074
其中，
Figure 729425DEST_PATH_IMAGE075
为语句数量，
Figure 636201DEST_PATH_IMAGE076
为第s个语句中结点的个数，
Figure 401026DEST_PATH_IMAGE077
为
Figure 608016DEST_PATH_IMAGE078
类别的权重；
Figure 190307DEST_PATH_IMAGE079
其中，Med(·)表示取中值操作，
Figure 709013DEST_PATH_IMAGE080
为语料中属于第r个标签类别的词语数量，
Figure 667742DEST_PATH_IMAGE081
表示第r个标签的类别，
Figure 571982DEST_PATH_IMAGE082
表示语料中第n个标签类别的词语数量。
所述基于多通道层次图注意力网络的开放事件抽取方法，其中，所述方法还包括：
采用精确率、召回率、Micro-F1值以及Macro-Avg-F1值作为评价指标，以评价开放时间的抽取效果；
Figure 325174DEST_PATH_IMAGE083
其中，Precision表示精确率，Recall表示召回率，F1表示Micro-F1值，Avg-F1表示Macro-Avg-F1值，TP表示被预测为正且真实值为正的样本数，FP表示被预测为正但真实值为负的样本数，FN为被预测为负但真实值为正的样本数，
Figure 331176DEST_PATH_IMAGE084
分别表示主语、谓语、宾语和其它的F1值分数。
本发明提出一种基于多通道层次图注意力网络的开放事件抽取系统，其中，所述系统包括：
第一处理模块，用于获取给定文档，根据所述给定文档建立得到文档句法依存树；
第二处理模块，用于基于所述文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图；
第三处理模块，用于基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造所述原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络，其中所述结点类型包括自身结点、父结点、兄弟结点、子结点以及孙结点，嵌入结点类型并进行层级调整表示在所述原始图注意力网络中添加结点类型的权重以及添加结点层级的权重；
第四处理模块，用于基于所述层次图注意力网络，编码得到词语语义特征、句法依存关系类型特征以及词性特征，并根据所述词语语义特征、所述句法依存关系类型特征以及所述词性特征构建得到三通道图注意力网络，其中所述三通道图注意力网络包括词语语义图注意力网络、句法依存关系图注意力网络以及词语词性图注意力网络；
事件抽取模块，用于将所述给定文档中的词语，输入至所述三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取，其中四分类包括主语、谓语、宾语及非主谓宾短语。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的基于多通道层次图注意力网络的开放事件抽取方法的流程图；
图2为本发明提出的基于多通道层次图注意力网络的开放事件抽取方法的流程框架图；
图3为本发明提出的基于多通道层次图注意力网络的开放事件抽取系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1与图2，本发明提出一种基于多通道层次图注意力网络的开放事件抽取方法，其中，所述方法包括如下步骤：
S101、获取给定文档，根据所述给定文档建立得到文档句法依存树。
在本步骤中，文档句法依存树的构建方法包括如下步骤：
S1011、采用句法依存分析工具对所述给定文档进行分句以得到多个语句。
S1012、依次对所述给定文档中的每个语句进行句法结构解析，以得到语句的句法依存树。
S1013、将所有语句对应的句法依存树按照语句顺序进行排列，以建立得到所述文档句法依存树。
其中，给定文档
Figure 93596DEST_PATH_IMAGE001
表示为
Figure 744020DEST_PATH_IMAGE002
，在给定文档
Figure 277901DEST_PATH_IMAGE001
中，第
Figure 912144DEST_PATH_IMAGE003
个语句
Figure 71730DEST_PATH_IMAGE004
的词语
Figure 842240DEST_PATH_IMAGE005
表示为：
Figure 48487DEST_PATH_IMAGE006
其中，
Figure 170027DEST_PATH_IMAGE007
表示给定文档
Figure 8670DEST_PATH_IMAGE001
中的语句数量，
Figure 492741DEST_PATH_IMAGE008
表示语句长度，
Figure 758637DEST_PATH_IMAGE009
表示语句中的第
Figure 977260DEST_PATH_IMAGE010
个词语，其中每个词语对应语句中一个结点。
在本发明中，通过Bi-LSTM层对上述的各词语进行编码拼接。具体的，利用一个前向LSTM编码w 1至w i 的上下文信息
Figure 619594DEST_PATH_IMAGE085
，然后再采用一个后向LSTM编码
Figure 223750DEST_PATH_IMAGE086
至w i 的上下文
Figure 660548DEST_PATH_IMAGE087
。最后，将
Figure 491101DEST_PATH_IMAGE088
和
Figure 45448DEST_PATH_IMAGE089
进行拼接作为词语w i 经过Bi-LSTM后的特征表示，记为
Figure 645056DEST_PATH_IMAGE090
。其中，||表示拼接操作。
S102、基于所述文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图。
其中，调整依存结构的过程包括：
扫描文档句法依存树中所有并列关系的依存结构；
针对每个依存结构，获取相应的结点（即父结点pNode以及子结点cNode），并将父结点pNode以及子结点cNode的依存关系调整为兄弟关联关系；
为父结点pNode以及子结点cNode建立依存关联，形成文档句法依存图。
关联缺省成分的方法包括如下步骤：
扫描文档句法依存图，获取结点列表；
针对每个结点Node，利用成分缺省判断和补全策略，建立由缺省的成分结点指向结点Node的连边。
添加序列顺序的方法包括如下步骤：
扫描文档句法依存图；
针对每个结点Node，获取其对应的子结点cNode；
针对每个子结点cNode，根据结点Node和子结点cNode对应词语在原始语句中的顺序，为结点Node和子结点cNode建立前向边或后向边。
其中，子结点cNode出现在结点Node之前，则建立由结点Node指向子结点cNode的前向边，代表前向序列结构，否则建立后向边。
关联祖先结点和后代结点的方法包括如下步骤：
扫描文档句法依存图；
针对每个结点Node，获取其对应的后代结点desNodes；
针对每个后代结点desNode，建立后代结点desNode与Node的双向边。
S103、基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造所述原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络。
其中，所述结点类型包括自身结点、父结点、兄弟结点、子结点以及孙结点，嵌入结点类型并进行层级调整表示在所述原始图注意力网络中添加结点类型的权重以及添加结点层级的权重。
在本步骤中，在原始图注意力网络中，结点
Figure 377389DEST_PATH_IMAGE010
与结点
Figure 429658DEST_PATH_IMAGE011
之间的原始图注意力系数
Figure 23582DEST_PATH_IMAGE012
表示为：
Figure 743276DEST_PATH_IMAGE013
其中，W为变换矩阵，
Figure 521876DEST_PATH_IMAGE014
为结点i的嵌入表示，
Figure 186076DEST_PATH_IMAGE015
为结点j的嵌入表示，
Figure 708324DEST_PATH_IMAGE016
为共享注意力机制。
进一步的，采用softmax归一化公式对原始图注意力系数
Figure 647637DEST_PATH_IMAGE012
进行标准化可得：
Figure 597139DEST_PATH_IMAGE017
其中，
Figure 483055DEST_PATH_IMAGE018
表示原始图注意力系数
Figure 74574DEST_PATH_IMAGE012
标准化后的结果，
Figure 237702DEST_PATH_IMAGE019
表示结点i与结点
Figure 233471DEST_PATH_IMAGE001
之间的原始图注意力系数，
Figure 747629DEST_PATH_IMAGE020
表示与结点i直接相连的结点集合。
原始图中结点i基于多头注意力机制的嵌入表示
Figure 736313DEST_PATH_IMAGE021
的公式为：
Figure 19527DEST_PATH_IMAGE022
其中，K为多头注意力的头数，
Figure 950312DEST_PATH_IMAGE023
为非线性函数，
Figure 686186DEST_PATH_IMAGE024
为结点i和结点j的第k头注意力系数，
Figure 619507DEST_PATH_IMAGE025
表示第k头注意力的变换矩阵。
进一步的，在层次图注意力网络中，结点
Figure 616282DEST_PATH_IMAGE010
与结点
Figure 344067DEST_PATH_IMAGE011
之间的层次图注意力系数
Figure 442604DEST_PATH_IMAGE026
表示为：
Figure 914037DEST_PATH_IMAGE027
其中，
Figure 30897DEST_PATH_IMAGE028
表示结点j汇聚至结点i时的类型，
Figure 929583DEST_PATH_IMAGE029
表示结点
Figure 751302DEST_PATH_IMAGE001
汇聚至结点i时的类型，
Figure 26425DEST_PATH_IMAGE030
的取值范围为(0，1]，
Figure 138738DEST_PATH_IMAGE031
表示对共享注意力机制
Figure 67380DEST_PATH_IMAGE016
进行参数化，
Figure 265143DEST_PATH_IMAGE032
表示激活函数，
Figure 953744DEST_PATH_IMAGE033
表示结点
Figure 920563DEST_PATH_IMAGE034
的嵌入表示。
层次图中结点i基于多头注意力机制的嵌入表示
Figure 20106DEST_PATH_IMAGE035
的公式为：
Figure 970745DEST_PATH_IMAGE036
其中，
Figure 322092DEST_PATH_IMAGE037
，
Figure 782898DEST_PATH_IMAGE038
表示结点j的层级，
Figure 194287DEST_PATH_IMAGE039
为标准化后的层级值，
Figure 225697DEST_PATH_IMAGE040
。
S104、基于所述层次图注意力网络，编码得到词语语义特征、句法依存关系类型特征以及词性特征，并根据所述词语语义特征、所述句法依存关系类型特征以及所述词性特征构建得到三通道图注意力网络。
其中，上述的三通道图注意力网络包括词语语义图注意力网络、句法依存关系图注意力网络以及词语词性图注意力网络。
在步骤S104中，输出词语语义特征的计算公式表示为：
Figure 115156DEST_PATH_IMAGE041
其中，
Figure 322146DEST_PATH_IMAGE042
表示结点i在第l层的词语语义特征，
Figure 514224DEST_PATH_IMAGE043
表示结点i和结点j在第l-1层的第k头注意力系数，
Figure 908297DEST_PATH_IMAGE044
为第l-1层的第k头注意力的变换矩阵，
Figure 991659DEST_PATH_IMAGE045
表示结点j在第l-1层的嵌入表示。
输出所述句法依存关系类型特征的计算公式表示为：
Figure 787577DEST_PATH_IMAGE046
Figure 806348DEST_PATH_IMAGE047
Figure 64548DEST_PATH_IMAGE048
其中，
Figure 295809DEST_PATH_IMAGE049
为结点i的句法依存关系类型在第l层的嵌入表示，即所述句法依存关系类型特征，M同样为多头注意力的头数，
Figure 70867DEST_PATH_IMAGE050
表示结点i和结点j之间依存关系类型在第l-1层的第m头注意力系数，
Figure 260540DEST_PATH_IMAGE051
为第l-1层的第m头注意力的变换矩阵，
Figure 504571DEST_PATH_IMAGE052
表示结点j在第l-1层的词语语义嵌入表示，
Figure 539523DEST_PATH_IMAGE053
为结点i和结点j在第l-1层第m头的边的权重，即
Figure 169087DEST_PATH_IMAGE054
标准化之前的值，
Figure 529661DEST_PATH_IMAGE055
为结点i和结点d在第l-1层第m头的边的权重，relu(·)为激活函数，
Figure 385622DEST_PATH_IMAGE056
为结点i和结点j之间的句法依存关系类型在第l-1层的嵌入表示，
Figure 332587DEST_PATH_IMAGE057
和
Figure 223183DEST_PATH_IMAGE058
分别为第m头的2个不同的变换矩阵，
Figure 613713DEST_PATH_IMAGE059
和
Figure 691390DEST_PATH_IMAGE060
分别为第m头2个不同的偏置项。
作为补充说明的，对于上述输出句法依存关系类型特征的计算公式，同样可输出词性特征，只需将上述的角标dep更改为pos，故在此不再重复呈现上述公式。
进一步的，在得到了词语语义特征、句法依存关系类型特征以及词性特征之后，所述方法还包括：
将结点i的最后一层的输出特征进行拼接，以得到三通道图注意力网络的最终结点特征；
Figure 599303DEST_PATH_IMAGE061
其中，
Figure 954192DEST_PATH_IMAGE062
表示三通道图注意力网络的最终结点特征，
Figure 390990DEST_PATH_IMAGE063
表示结点i在第l层的词语语义的嵌入表示，
Figure 80597DEST_PATH_IMAGE064
表示结点i在第l层的句法依存关系类型的嵌入表示，
Figure 261043DEST_PATH_IMAGE065
表示结点i在第l层的词性的嵌入表示。
S105、将所述给定文档中的词语，输入至所述三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取。
其中，四分类包括主语、谓语、宾语及非主谓宾短语。对于分类判断的操作，在分类层中，对于三通道图注意力网络输出的每个结点的嵌入表示，将每个结点的嵌入表示输入至全连接网络，采用softmax函数计算结点的嵌入表示在所有事件元素标签上的概率：
Figure 237482DEST_PATH_IMAGE066
其中，
Figure 845181DEST_PATH_IMAGE067
为结点的嵌入表示在所有事件元素标签上的概率，
Figure 22085DEST_PATH_IMAGE068
为权重矩阵，
Figure 6221DEST_PATH_IMAGE069
为结点i在L层的最终嵌入表示，
Figure 460336DEST_PATH_IMAGE070
表示偏置项，
Figure 114303DEST_PATH_IMAGE071
表示结点i在参数
Figure 919448DEST_PATH_IMAGE072
下的最终标签输出；
根据结点的嵌入表示在所有事件元素标签上的概率，采用带权重的交叉熵损失函数作为目标函数
Figure 566330DEST_PATH_IMAGE073
，目标函数
Figure 874951DEST_PATH_IMAGE073
对应的公式为：
Figure 198354DEST_PATH_IMAGE074
其中，
Figure 225216DEST_PATH_IMAGE075
为语句数量，
Figure 551155DEST_PATH_IMAGE076
为第s个语句中结点的个数，
Figure 838917DEST_PATH_IMAGE077
为
Figure 959320DEST_PATH_IMAGE078
类别的权重；
Figure 614423DEST_PATH_IMAGE079
其中，Med(·)表示取中值操作，
Figure 478474DEST_PATH_IMAGE080
为语料中属于第r个标签类别的词语数量，
Figure 620742DEST_PATH_IMAGE081
表示第r个标签的类别，
Figure 443205DEST_PATH_IMAGE082
表示语料中第n个标签类别的词语数量。
为了考察事件缺省成分的补全抽取效果，采用精确率、召回率、Micro-F1值以及Macro-Avg-F1值作为评价指标，以评价开放时间的抽取效果；
Figure 179080DEST_PATH_IMAGE083
其中，Precision表示精确率，Recall表示召回率，F1表示Micro-F1值，Avg-F1表示Macro-Avg-F1值，TP表示被预测为正且真实值为正的样本数，FP表示被预测为正但真实值为负的样本数，FN为被预测为负但真实值为正的样本数，
Figure 969792DEST_PATH_IMAGE084
分别表示主语、谓语、宾语和其它的F1值分数。
本发明提出一种基于多通道层次图注意力网络的开放事件抽取方法，基于句法依存树，设计双向依存图，能够有效增强图结构的特征编码能力；针对原始图注意力网络，通过嵌入结点类型并进行层级调整，以构建得到层次图注意力网络，使得结点特征在汇聚时能够捕获具有层级信息和结点类型信息的图结构；本发明单独地编码词语语义、依存关系类型和词性信息，使得每个通道既可以重点关注本身的主要特征，又可及时混入其它通道的特征进行补充。
请参阅图3，本发明提出一种基于多通道层次图注意力网络的开放事件抽取系统，其中，所述系统包括：
第一处理模块，用于获取给定文档，根据所述给定文档建立得到文档句法依存树；
第二处理模块，用于基于所述文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图；
第三处理模块，用于基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造所述原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络，其中所述结点类型包括自身结点、父结点、兄弟结点、子结点以及孙结点，嵌入结点类型并进行层级调整表示在所述原始图注意力网络中添加结点类型的权重以及添加结点层级的权重；
第四处理模块，用于基于所述层次图注意力网络，编码得到词语语义特征、句法依存关系类型特征以及词性特征，并根据所述词语语义特征、所述句法依存关系类型特征以及所述词性特征构建得到三通道图注意力网络，其中所述三通道图注意力网络包括词语语义图注意力网络、句法依存关系图注意力网络以及词语词性图注意力网络；
事件抽取模块，用于将所述给定文档中的词语，输入至所述三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取，其中四分类包括主语、谓语、宾语及非主谓宾短语。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，所述方法包括如下步骤：
步骤一、获取给定文档，根据所述给定文档建立得到文档句法依存树；
步骤二、基于所述文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图；
步骤三、基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造所述原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络，其中所述结点类型包括自身结点、父结点、兄弟结点、子结点以及孙结点，嵌入结点类型并进行层级调整表示在所述原始图注意力网络中添加结点类型的权重以及添加结点层级的权重；
步骤四、基于所述层次图注意力网络，编码得到词语语义特征、句法依存关系类型特征以及词性特征，并根据所述词语语义特征、所述句法依存关系类型特征以及所述词性特征构建得到三通道图注意力网络，其中所述三通道图注意力网络包括词语语义图注意力网络、句法依存关系图注意力网络以及词语词性图注意力网络；
步骤五、将所述给定文档中的词语，输入至所述三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取，其中四分类包括主语、谓语、宾语及非主谓宾短语。
2.根据权利要求1所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，在所述步骤一中，所述文档句法依存树的构建方法包括如下步骤：
采用句法依存分析工具对所述给定文档进行分句以得到多个语句；
依次对所述给定文档中的每个语句进行句法结构解析，以得到语句的句法依存树；
将所有语句对应的句法依存树按照语句顺序进行排列，以建立得到所述文档句法依存树；
其中，所述给定文档
Figure 727824DEST_PATH_IMAGE001
表示为
Figure 335523DEST_PATH_IMAGE002
，在所述给定文档
Figure 243917DEST_PATH_IMAGE001
中，第
Figure 87108DEST_PATH_IMAGE003
个语句
Figure 541223DEST_PATH_IMAGE004
的词语
Figure 444457DEST_PATH_IMAGE005
表示为：
Figure 984023DEST_PATH_IMAGE006
其中，
Figure 630905DEST_PATH_IMAGE007
表示给定文档
Figure 939526DEST_PATH_IMAGE001
中的语句数量，
Figure 748083DEST_PATH_IMAGE008
表示语句长度，
Figure 509365DEST_PATH_IMAGE009
表示语句中的第
Figure 959938DEST_PATH_IMAGE010
个词语，每个词语对应语句中一个结点。
3.根据权利要求2所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，在所述步骤三中，在所述原始图注意力网络中，结点i与结点j之间的原始图注意力系数
Figure 982121DEST_PATH_IMAGE011
表示为：
Figure 102523DEST_PATH_IMAGE012
其中，W为变换矩阵，
Figure 741315DEST_PATH_IMAGE013
为结点i的嵌入表示，
Figure 605366DEST_PATH_IMAGE014
为结点j的嵌入表示，
Figure 484985DEST_PATH_IMAGE015
为共享注意力机制；
采用softmax归一化公式对原始图注意力系数
Figure 41868DEST_PATH_IMAGE011
进行标准化可得：
Figure 902377DEST_PATH_IMAGE016
其中，
Figure 163594DEST_PATH_IMAGE017
表示原始图注意力系数
Figure 301314DEST_PATH_IMAGE011
标准化后的结果，
Figure 153732DEST_PATH_IMAGE018
表示结点i与结点
Figure 111324DEST_PATH_IMAGE001
之间的原始图注意力系数，
Figure 707391DEST_PATH_IMAGE019
表示与结点i直接相连的结点集合；
原始图中结点i基于多头注意力机制的嵌入表示
Figure 699617DEST_PATH_IMAGE020
的公式为：
Figure 457358DEST_PATH_IMAGE021
其中，K为多头注意力的头数，
Figure 167825DEST_PATH_IMAGE022
为非线性函数，
Figure 302003DEST_PATH_IMAGE023
为结点i和结点j的第k头注意力系数，
Figure 148736DEST_PATH_IMAGE024
表示第k头注意力的变换矩阵。
4.根据权利要求3所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，在所述步骤三中，在所述层次图注意力网络中，结点
Figure 342957DEST_PATH_IMAGE010
与结点
Figure 275141DEST_PATH_IMAGE025
之间的层次图注意力系数
Figure 944501DEST_PATH_IMAGE026
表示为：
Figure 911320DEST_PATH_IMAGE027
其中，
Figure 10863DEST_PATH_IMAGE028
表示结点j汇聚至结点i时的类型，
Figure 695922DEST_PATH_IMAGE029
表示结点
Figure 171903DEST_PATH_IMAGE001
汇聚至结点i时的类型，
Figure 993229DEST_PATH_IMAGE030
的取值范围为(0，1]，
Figure 263673DEST_PATH_IMAGE031
表示对共享注意力机制
Figure 170449DEST_PATH_IMAGE015
进行参数化，
Figure 450121DEST_PATH_IMAGE032
表示激活函数，
Figure 125953DEST_PATH_IMAGE033
表示结点
Figure 832878DEST_PATH_IMAGE034
的嵌入表示；
层次图中结点i基于多头注意力机制的嵌入表示
Figure 226950DEST_PATH_IMAGE035
的公式为：
Figure 44733DEST_PATH_IMAGE036
其中，
Figure 840651DEST_PATH_IMAGE037
，
Figure 718477DEST_PATH_IMAGE038
表示结点j的层级，
Figure 334266DEST_PATH_IMAGE039
为标准化后的层级值，
Figure 693091DEST_PATH_IMAGE040
。
5.根据权利要求4所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，在所述步骤四中，输出所述词语语义特征的计算公式表示为：
Figure 468149DEST_PATH_IMAGE041
其中，
Figure 657822DEST_PATH_IMAGE042
表示结点i在第l层的词语语义特征，
Figure 26486DEST_PATH_IMAGE043
表示结点i和结点j在第l-1层的第k头注意力系数，
Figure 186072DEST_PATH_IMAGE044
为第l-1层的第k头注意力的变换矩阵，
Figure 550057DEST_PATH_IMAGE045
表示结点j在第l-1层的嵌入表示。
6.根据权利要求5所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，在所述步骤四中，输出所述句法依存关系类型特征的计算公式表示为：
Figure 645052DEST_PATH_IMAGE046
Figure 360067DEST_PATH_IMAGE047
Figure 198710DEST_PATH_IMAGE048
其中，
Figure 948360DEST_PATH_IMAGE049
为结点i的句法依存关系类型在第l层的嵌入表示，即所述句法依存关系类型特征，M同样为多头注意力的头数，
Figure 214257DEST_PATH_IMAGE050
，
Figure 416568DEST_PATH_IMAGE051
表示结点i和结点j之间依存关系类型在第l-1层的第m头注意力系数，
Figure 793323DEST_PATH_IMAGE052
为第l-1层的第m头注意力的变换矩阵，
Figure 397479DEST_PATH_IMAGE053
表示结点j在第l-1层的词语语义嵌入表示，
Figure 834277DEST_PATH_IMAGE054
为结点i和结点j在第l-1层第m头的边的权重，即
Figure 544392DEST_PATH_IMAGE055
标准化之前的值，
Figure 459258DEST_PATH_IMAGE056
为结点i和结点d在第l-1层第m头的边的权重，relu(·)为激活函数，
Figure 449080DEST_PATH_IMAGE057
为结点i和结点j之间的句法依存关系类型在第l-1层的嵌入表示，
Figure 56779DEST_PATH_IMAGE058
和
Figure 968103DEST_PATH_IMAGE059
分别为第m头的2个不同的变换矩阵，
Figure 686660DEST_PATH_IMAGE060
和
Figure 265409DEST_PATH_IMAGE061
分别为第m头2个不同的偏置项。
7.根据权利要求6所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，在得到了所述词语语义特征、句法依存关系类型特征以及词性特征之后，所述方法还包括：
将结点i的最后一层的输出特征进行拼接，以得到三通道图注意力网络的最终结点特征；
Figure 44009DEST_PATH_IMAGE062
其中，
Figure 442630DEST_PATH_IMAGE063
表示三通道图注意力网络的最终结点特征，
Figure 964878DEST_PATH_IMAGE064
表示结点i在第l层的词语语义的嵌入表示，
Figure 398133DEST_PATH_IMAGE065
表示结点i在第l层的句法依存关系类型的嵌入表示，
Figure 347635DEST_PATH_IMAGE066
表示结点i在第l层的词性的嵌入表示。
8.根据权利要求7所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，所述方法还包括：
对于三通道图注意力网络输出的每个结点的嵌入表示，将每个结点的嵌入表示输入至全连接网络，采用softmax函数计算结点的嵌入表示在所有事件元素标签上的概率：
Figure 499130DEST_PATH_IMAGE067
其中，
Figure 559490DEST_PATH_IMAGE068
为结点的嵌入表示在所有事件元素标签上的概率，
Figure 112831DEST_PATH_IMAGE069
为权重矩阵，
Figure 233234DEST_PATH_IMAGE070
为结点i在L层的最终嵌入表示，
Figure 609376DEST_PATH_IMAGE071
表示偏置项，
Figure 473427DEST_PATH_IMAGE072
表示结点i在参数
Figure 881275DEST_PATH_IMAGE073
下的最终标签输出；
根据结点的嵌入表示在所有事件元素标签上的概率，采用带权重的交叉熵损失函数作为目标函数
Figure 172579DEST_PATH_IMAGE074
，目标函数
Figure 33087DEST_PATH_IMAGE074
对应的公式为：
Figure 559884DEST_PATH_IMAGE075
其中，
Figure 697604DEST_PATH_IMAGE076
为语句数量，
Figure 284443DEST_PATH_IMAGE077
为第s个语句中结点的个数，
Figure 507614DEST_PATH_IMAGE078
为
Figure 103680DEST_PATH_IMAGE079
类别的权重；
Figure 95907DEST_PATH_IMAGE080
其中，Med(·)表示取中值操作，
Figure 853648DEST_PATH_IMAGE081
为语料中属于第r个标签类别的词语数量，
Figure 564115DEST_PATH_IMAGE082
表示第r个标签的类别，
Figure 698293DEST_PATH_IMAGE083
表示语料中第n个标签类别的词语数量。
9.根据权利要求8所述的基于多通道层次图注意力网络的开放事件抽取方法，其特征在于，所述方法还包括：
采用精确率、召回率、Micro-F1值以及Macro-Avg-F1值作为评价指标，以评价开放事件的抽取效果；
Figure 545026DEST_PATH_IMAGE084
其中，Precision表示精确率，Recall表示召回率，F1表示Micro-F1值，Avg-F1表示Macro-Avg-F1值，TP表示被预测为正且真实值为正的样本数，FP表示被预测为正但真实值为负的样本数，FN为被预测为负但真实值为正的样本数，
Figure 470738DEST_PATH_IMAGE085
分别表示主语、谓语、宾语和其它的F1值分数。
10.一种基于多通道层次图注意力网络的开放事件抽取系统，其特征在于，所述系统包括：
第一处理模块，用于获取给定文档，根据所述给定文档建立得到文档句法依存树；
第二处理模块，用于基于所述文档句法依存树，依次按照调整依存结构、关联缺省成分、添加序列顺序以及关联祖先结点与后代结点的步骤，以构建得到双向依存图；
第三处理模块，用于基于原始图注意力网络，嵌入结点类型并进行层级调整，以改造所述原始图注意力网络的特征汇聚过程，进而构建得到层次图注意力网络，其中所述结点类型包括自身结点、父结点、兄弟结点、子结点以及孙结点，嵌入结点类型并进行层级调整表示在所述原始图注意力网络中添加结点类型的权重以及添加结点层级的权重；
第四处理模块，用于基于所述层次图注意力网络，编码得到词语语义特征、句法依存关系类型特征以及词性特征，并根据所述词语语义特征、所述句法依存关系类型特征以及所述词性特征构建得到三通道图注意力网络，其中所述三通道图注意力网络包括词语语义图注意力网络、句法依存关系图注意力网络以及词语词性图注意力网络；
事件抽取模块，用于将所述给定文档中的词语，输入至所述三通道图注意力网络更新嵌入表示，并通过全连接网络进行四分类判断，以实现开放事件的抽取，其中四分类包括主语、谓语、宾语及非主谓宾短语。
CN202210375116.8A 2022-04-11 2022-04-11 基于多通道层次图注意力网络的开放事件抽取方法与系统 Active CN114444473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210375116.8A CN114444473B (zh) 2022-04-11 2022-04-11 基于多通道层次图注意力网络的开放事件抽取方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210375116.8A CN114444473B (zh) 2022-04-11 2022-04-11 基于多通道层次图注意力网络的开放事件抽取方法与系统

Publications (2)

Publication Number Publication Date
CN114444473A CN114444473A (zh) 2022-05-06
CN114444473B true CN114444473B (zh) 2022-06-21

Family

ID=81360558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375116.8A Active CN114444473B (zh) 2022-04-11 2022-04-11 基于多通道层次图注意力网络的开放事件抽取方法与系统

Country Status (1)

Country Link
CN (1) CN114444473B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303996B (zh) * 2023-05-25 2023-08-04 江西财经大学 基于多焦点图神经网络的主题事件抽取方法
CN116629237B (zh) * 2023-07-25 2023-10-10 江西财经大学 基于逐步集成多层注意力的事件表示学习方法及系统
CN116719974B (zh) * 2023-08-11 2023-10-31 江西财经大学 基于依存关系结构增强的事件检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8762131B1 (en) * 2009-06-17 2014-06-24 Softwin Srl Romania Systems and methods for managing a complex lexicon comprising multiword expressions and multiword inflection templates
CN112507077A (zh) * 2020-12-15 2021-03-16 杭州电子科技大学 基于关系图注意力神经网络的事件时序关系识别方法
CN112560432A (zh) * 2020-12-11 2021-03-26 中南大学 基于图注意力网络的文本情感分析方法
CN113157859A (zh) * 2021-04-06 2021-07-23 北京理工大学 一种基于上位概念信息的事件检测方法
CN113255320A (zh) * 2021-05-13 2021-08-13 北京熙紫智数科技有限公司 基于句法树和图注意力机制的实体关系抽取方法及装置
CN113705196A (zh) * 2021-08-02 2021-11-26 清华大学 基于图神经网络的中文开放信息抽取方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481418B2 (en) * 2020-01-02 2022-10-25 International Business Machines Corporation Natural question generation via reinforcement learning based graph-to-sequence model
CN111897908B (zh) * 2020-05-12 2023-05-02 中国科学院计算技术研究所 融合依存信息和预训练语言模型的事件抽取方法及系统
US11640295B2 (en) * 2020-06-26 2023-05-02 Intel Corporation System to analyze and enhance software based on graph attention networks
US11868730B2 (en) * 2020-09-23 2024-01-09 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN112580328A (zh) * 2020-12-11 2021-03-30 上海明略人工智能(集团)有限公司 事件信息的抽取方法及装置、存储介质、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8762131B1 (en) * 2009-06-17 2014-06-24 Softwin Srl Romania Systems and methods for managing a complex lexicon comprising multiword expressions and multiword inflection templates
CN112560432A (zh) * 2020-12-11 2021-03-26 中南大学 基于图注意力网络的文本情感分析方法
CN112507077A (zh) * 2020-12-15 2021-03-16 杭州电子科技大学 基于关系图注意力神经网络的事件时序关系识别方法
CN113157859A (zh) * 2021-04-06 2021-07-23 北京理工大学 一种基于上位概念信息的事件检测方法
CN113255320A (zh) * 2021-05-13 2021-08-13 北京熙紫智数科技有限公司 基于句法树和图注意力机制的实体关系抽取方法及装置
CN113705196A (zh) * 2021-08-02 2021-11-26 清华大学 基于图神经网络的中文开放信息抽取方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Group event recommendation based on graph multi-head attention network combining explicit and implicit information;Guoqiong Liao et al.;《Information Processing and Management》;20211111;全文 *
基于句法语义依存分析的中文金融事件抽取;万齐智 等;《计算机学报》;20210331;第44卷(第3期);全文 *
基于图神经网络的联合实体关系抽取;苗琳 等;《计算机应用研究》;20220228;第39卷(第2期);全文 *
增强语义表示的中文金融评价要素抽取;陈启 等;《小型微型计算机系统》;20211019;全文 *

Also Published As

Publication number Publication date
CN114444473A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN114444473B (zh) 基于多通道层次图注意力网络的开放事件抽取方法与系统
CN111581396B (zh) 一种基于多维特征融合与依存句法的事件图谱构建系统及方法
CN108519890B (zh) 一种基于自注意力机制的鲁棒性代码摘要生成方法
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
US20040024598A1 (en) Thematic segmentation of speech
CN106372187B (zh) 一种面向大数据的跨语言检索方法
CN113065358B (zh) 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
CN111160035A (zh) 文本语料的处理方法和装置
CN113157859B (zh) 一种基于上位概念信息的事件检测方法
CN111274817A (zh) 一种基于自然语言处理技术的智能化软件成本度量方法
CN112765952A (zh) 一种图卷积注意力机制下的条件概率联合事件抽取方法
CN113378547B (zh) 一种基于gcn的汉语复句隐式关系分析方法及装置
CN112446215B (zh) 一种实体关系联合抽取方法
CN112749549B (zh) 一种基于增量学习和多模型融合的中文实体关系抽取方法
Gao et al. Automatic image annotation through multi-topic text categorization
CN111753058A (zh) 一种文本观点挖掘方法及系统
CN116542256B (zh) 一种融合对话上下文信息的自然语言理解方法与装置
CN111435375A (zh) 一种基于FastText的威胁情报自动化标注方法
Jia et al. Hybrid neural tagging model for open relation extraction
CN114647730A (zh) 一种融合图注意力和图卷积网络的事件检测方法
CN114492796A (zh) 一种基于语法树的多任务学习手语翻译方法
CN117036833A (zh) 一种视频分类方法、装置、设备和计算机可读存储介质
CN112764762A (zh) 一种将规范文本自动转为可计算逻辑规则的方法及系统
CN117390189A (zh) 基于前置分类器的中立文本生成方法
CN113449517B (zh) 基于bert门控多窗口注意力网络模型的实体关系抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant