CN111581396B - 一种基于多维特征融合与依存句法的事件图谱构建系统及方法 - Google Patents

Abstract

本发明公开了一种基于多维特征融合与依存句法的事件图谱构建系统及方法，通过利用多维特征融合的事件抽取、事件修正与对齐、基于增强结构化事件的关系抽取、基于依存句法与图注意力网络的因果关系抽取、事件图谱生成模块的联合学习，实现了基于多维特征融合与依存句法的事件图谱构建方法。本发明通过增强的结构化事件的五元组信息、四个维度的事件间关系构建事件图谱，克服了现有技术中事件表示简单且依赖NLP工具、事件关系单一、未同时考虑事件与事件间关系对事件图谱构建的影响的缺陷。本发明提出的事件图谱构建方法，依据下游任务不同，可以将四种维度的事件间关系任意组合，学习事件图谱的结构特性与潜在的知识联系，从而辅助下游应用。

Description

一种基于多维特征融合与依存句法的事件图谱构建系统及 方法

【技术领域】

本发明属于电子信息技术领域，涉及一种基于多维特征融合与依存句法的事件图谱构建系统及方法。

【背景技术】

大数据时代的知识图谱技术将海量信息以结构化的“实体-关系-实体”三元组进行连接与存储，从而将网络中海量的非结构化与半结构化信息有效的组织起来，并构成了知识语义网络，在司法、金融、突发事件等相关领域的取得了突出的应用效果，成为目前人工智能应用的重要方向之一。但随着业务需求的增长，传统的知识图谱所描述的实体及实体间的关系对已无法满足不同的智能化系统对知识推理与服务的需求。一方面，知识图谱在知识表示上，所描述的知识大多为相对确定的静态知识，无法适应知识的快速变化而导致已有知识的失效；另一方面，在基于知识图谱的知识推理应用上，“实体-关系-实体”的组织结构可回答“什么是什么的问题”，却不能回答“什么事”，“为什么”，“接下来是什么”等具有逻辑与时序性的复杂问题，同时也无法对一些事件的演化规律进行推理与预测。例如，在面对着网络中的大量突发事件处理应用中，利用传统的知识图谱已无法追踪预测突发事件、判断其影响力来辅助突发事件的决策；特别是在司法领域的应用上，检察官在实际办案过程中也往往需要人工梳理分析案件中不同事件间的人物关系、空间关系、时序关系等，从而判断案件中存在的可疑点或矛盾点，或利用以往案例库信息，来寻找不同案件间的局部关联性，并从中发现更细粒度的事件线索来辅助案件分析与决策。因此，如何将构建一个有效的事件图谱来辅助不同业务的具体应用，则是人工智能应用领域中一个亟需解决的问题。

目前事件图谱构建方法主要存在以下四个方面的问题：

一是事件表示简单，定义不统一，且抽取依赖NLP工具，会造成误差传播问题。事件作为构建事件图谱的元节点，其表示形式的合理性与准确性对事件图谱构建起着关键性的作用；

二是事件间关系单一，多数研究仅针对因果关系或者时序关系进行研究。而事件关系则是事件图谱构建的重中之重，在事件预测与推理、智能问答、故事线生成等应用上，事件多维度的关系会从不同侧面反映出事物发展的规律与模式。但现有研究往往还忽略了空间关系、深层次的语义关系的重要性；

三是未同时考虑事件与事件间关系对事件图谱构建的影响，而现有研究往往仅从结构化元事件的抽取性能或事件间关系的抽取性能上来考虑事件图谱的构建质量，这种评价方式并不完善；

四是由于文本的多源性以及表述的独特性，多个文本或单个文本内部可能存在共指事件，从而导致事件图谱较为冗余。

【发明内容】

本发明的目的在于解决现有技术中的问题，提供一种基于多维特征融合与依存句法的事件图谱构建系统及方法，该方法通过利用多维特征融合的事件抽取、事件修正与对齐、基于增强结构化事件的关系抽取、基于依存句法与图注意力网络的因果关系抽取、事件图谱生成模块的联合学习，实现了基于多维特征融合与依存句法的事件图谱构建方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于多维特征融合与依存句法的事件图谱构建系统，包括：

多维特征融合的事件抽取模块，用于采用预训练语言模型BERT学习文本向量表示，与事件元素的实体类型倾向性特征、词性倾向性特征相融合，同时使用多尺度卷积神经网络与双向长短期记忆网络捕捉不同长度事件元素的多尺度局部突出特征与上下文语境特征，最终采用CRF获取最佳序列标注；

事件修正与对齐模块，用于采用事件修正将事件的时间与地点元素标准化，通过判断事件关键信息是否缺失过滤掉不完备事件，并利用语义相似度计算方法将共指事件对齐，从而获得增强的结构化事件；

基于增强结构化事件的关系抽取模块，用于利用事件修正与对齐模块来获取并增强结构化事件中的时间与地点元素，通过时序关系、空间关系的定义，抽取事件间的时序关系与空间关系；然后利用增强的结构化事件进行相似度计算，再通过设置阈值表示判断两事件是否语义相关，从而抽取语义关系；

基于依存句法与图注意力网络的因果关系抽取模块，用于将图注意力网络引入因果关系抽取中，通过Bi-GRU获取文本的上下文语境表示，与基于句法依存关系的图注意力网络联合对文本数据的图结构及因与果之间的依赖关系进行建模，并通过CRF获取原因事件与结果事件的标注结果；

事件图谱生成模块，用于将增强的结构化事件与多维事件关系处理成Neo4j支持的存储形式，通过Neo4j的Import模块导入Neo4j，生成事件图谱。

本发明还公开了一种基于多维特征融合与依存句法的事件图谱构建方法，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将新闻文本数据利用jieba分词工具将句子分解为单词序列，并给出新闻文本中所对应的事件标签、事件元素的时间、地点、参与者、对象、触发词的标签、因事件、果事件以及其他事件标签；

步骤1：对于事件图谱构建中事件抽取任务定义如下：假设每一篇新闻报道R由n个事件构成，即R＝{e₁,e₂,…,e_n}，对于每个事件e，其事件定义为e＝def{P,O,T,L,D}；其中，P表示事件的主体或客体，代表人；O表示事件的主体或客体，代表物；T表示事件的发生时间；L表示事件的发生地点，上述元素统称为事件元素，并且事件可形式化地表示为<时间、地点、参与者、对象、触发词>的五元组；事件的抽取任务则是从非结构化文本中识别事件五元组，并将事件元素角色分类；因果关系抽取任务是识别新闻中的事件的类型M，M∈{cause,effect,other}，分别表示因事件、果事件、其他事件；

阶段1：多维特征融合的联合事件抽取

步骤2：采用BERT编码层的后四层输出的拼接向量作为输入句子的向量表示；

B_i＝concat(b_i,…,b_L) (1)

其中，b_i预训练语言模型BERT第i层编码层的输出，L为BERT编码层的层数；

步骤3：将其与BERT输出特征相融合作为文本的嵌入表示，词性与实体类型采用Pyltp进行标注，并将其特征编码，则文本嵌入表示为：

其中，Pos_i表示词性倾向特征，Entity_i表示实体类型特征；

步骤4：获取到文本嵌入表示后，采用BiLSTM获取文本的上下文语境表示，此时的隐藏层状态

表示为：

步骤5：将文本嵌入

表示输入至Multi-CNN中，利用尺度分别为1、3、5的卷积核获取不同尺度的感受野，通过多尺度的卷积核编码不同长度事件元素的多尺度局部突出特征，卷积操作如下：

c_ij＝f(w_j·x_i:i+h-1+b_j) (4)

其中，j,b∈R，w_j表示第j个滤波器，b表示偏置项，f表示一个非线性函数，h表示卷积核大小；

步骤6：将文本嵌入

尺度为1、3、5卷积核的Multi-CNN的输出向量C₁,C₃,C₅、BiLSTM的隐藏层状态

拼接为最后的多维度特征向量O：

通过一个全连接层将特征O映射到样本空间，并添加Dropout层防止模型训练过程中出现过拟合现象；

步骤7：将全连接层输出输入到CRF中，获取最佳序列标注；即给定一个句子S＝(x₁,x₂,...,x_n)，其预测结果为Y＝(y₁,y₂,...,y_n)，其评分函数如下：

其中，H是分数转换的矩阵，

表示从第i个标签到第i+1个标签的转换分数，P是是全连接层的输出矩阵，

表示第i个词的标签类别是y_i的得分；

步骤8：利用softmax将预测得分映射到相应类别的概率；

其中，Y'表示所有可能的标记序列；在训练过程中采用负的对数概率作为损失函数

如下：

阶段2：事件修正与对齐

步骤9：采用结构化事件中存在的上下文事件时间或新闻报道时间，来对事件发生时间进行补充修正；同时，采用Python中的cpca模块作为外部知识对空间信息进行修正；

步骤10：对缺少关键信息的所有不完备的事件直接进行过滤；

步骤11：在事件对齐过程中，采用语义相似度计算将事件对齐；采用word2vec训练词向量将事件元素表示成文本空间向量，将相似度计算简化成向量空间的向量计算，通过向量的夹角余弦距离度量两事件的语义相似度；若a_1i＝(x₁₁,x₁₂,...,x_1n)，a_2i＝(x₂₁,x₂₂,...,x_2n)分别表示事件event₁和事件event₂的事件元素，事件元素的余弦相似度计算与归一化如下：

阶段3：基于增强结构化事件的关系抽取

步骤12：采用增强的结构化事件作为输入；其中，时序关系是指事件A和事件B之间存在时间上的先后顺序，即事件A发生在事件B之后或之前，或在没有时间信息时在原文中的序列关系；若多个事件之间的时间元素不为空时，则判断事件发生时间的先后顺序，将其作为事件间的时序关系，若事件时间元素为空时，则将此事件与上下文事件的序列关系作为时序关系；

步骤13：采用增强的结构化事件作为输入；其中，空间关系是指事件A的发生地点与事件B的发生地点所在省份或市区相同的关系；若事件event1、event2仅有省级信息，且两事件在地点元素上具有相同的省级信息，则认为其空间相关；类似地，若一事件包括市级信息，则从市级上分析与其空间相关的事件，若相同，则认为其空间相关；

步骤14：采用增强的结构化事件作为输入；其中，语义关系是指事件A的事件元素与事件B的事件元素之间存在相似关系，当相似度越高时，认为两事件潜在的语义关系越密切；采用步骤11中的语义相似度计算方法，其两事件间相似度大小作为两事件语义相似程度；

阶段4：基于依存句法与图注意力网络的因果关系抽取

步骤15：采用新闻文本作为输入；其中，因果关系指事件A的发生引起事件B的发生，其中事件A称为原因事件，事件B成为结果事件；利用图注意力网络与传统的Bi-GRU+CRF相结合的方法抽取因果关系；首先，采用Word2vec训练词向量，将文本转化为输入特征向量；同时，利用句法依存分析工具StanfordCoreNLP将句子处理成依存句法结构形式，并采用有向图邻接矩阵存储形式进行存储；

步骤16：将输入特征向量输入双向GRU，获取单词的隐藏层状态

步骤17：将Bi-GRU层输出的上下文特征向量

和句法依存分析得到的邻接矩阵输入GAT层进行图注意力计算；对于句法依存树中每个顶点词，计算与其句法依存关系相邻顶点词的注意力因子e_ij，然后将注意力因子进行归一化得到注意力系数α_ij，通过注意力系数α_ij对特征进行加权求和，得到每个顶点在GAT层的输出特征

步骤18：采用了多头注意力把互相独立的注意力向量进行拼接，得到单层GAT的输出特征向量

步骤19：将GAT网络堆叠为n层，在最后一层GAT网络的输出上取前n层GAT网络输出的平均值；通过GAT网络建模图形数据，并通过注意力机制将注意力放在原因事件词和结果事件词上，为其分配权重；

步骤20：将GAT层的输出特征向量输入CRF层，即给定一个句子X＝(x₁,x₂,...,x_n)，事件因果关系预测结果为Y＝(y₁,y₂,...,y_n)，采用下式对其事件类型进行评分：

其中，H是分数转换的矩阵，

表示从第i个标签到第i+1个标签的转换分数，P是GAT层的输出矩阵，其大小为N×K，N是词的数量，K是标签类别；然后利用softmax将预测得分映射到相应因果关系类别的概率：

其中，Y′代表所有可能的标记序列；采用负的对数概率作为损失函数

步骤21：采用增强的结构化事件将因果关系中事件结构化，并将共指事件对齐；

阶段5：事件图谱生成

步骤22：为阶段2获取的每一个事件分配一个唯一的id，并将增强的结构化事件以csv格式存储，同时将事件时序、空间、语义、因果关系通过<事件id，关系类型，事件id>三元组以csv格式存储；

步骤23：将事件节点集及事件间关系集的csv文件通过Neo4j的import模块批量导入Neo4j数据库中，在导入过程中将事件作为节点，事件元素五元组作为事件节点的属性，分别为：时间、地点、参与者、对象、触发词；事件间关系作为边，边的类型有：时序关系、空间关系、语义关系、因果关系；依据需求构建单维事件图谱或多维事件图谱，将时序关系与因果关系相结合构建两维事件图谱。

所述步骤11中，在事件event₁和事件event₂的相似度计算过程中，仅选取两事件间均不为空的事件元素来衡量两事件间的语义相似度，其计算如下：

事件间相似度越接近于1，则两个事件的相似度越高，且这两事件越可能是共指事件，故若事件语义相似度大于设置阈值μ时，则认为两事件共指，则过滤掉其中事件元素较少的事件。

与现有技术相比，本发明具有以下有益效果：

本发明通过增强的结构化事件的五元组信息、四个维度的事件间关系构建事件图谱，克服了现有技术中事件表示简单且依赖NLP工具、事件关系单一、未同时考虑事件与事件间关系对事件图谱构建的影响的缺陷。

进一步的，本发明统一将事件表示成<时间、地点、参与者、对象、触发词>的五元组信息，将事件发生的时间和地点作为事件元素之一，事件知识可以随着时间和空间的变化而改变。此外，在抽取过程中将事件元素的实体类型倾向性与词性倾向性特征纳入考虑，通过上下文语境特征与多尺度特征的融合的方法提高了事件抽取的性能，增强了事件图谱的中事件表示的合理性与准确性；

进一步的，本发明利用事件上下文信息以及外部知识对事件元素进行修正与标准化，提高了事件图谱的完备性，利用语义相似度计算将共指事件对齐，降低了事件图谱的冗余性；

进一步的，本发明充分利用结构化的事件信息抽取时序关系、空间关系及语义关系，增加了事件关系的维度，可以从不同侧面反映事物发展规律与模式，辅助提高事件预测与推理、智能问答、故事线生成等应用性能；

进一步的，本发明将因果关系抽取任务形式化为序列标注任务从而可抽取多因多果式、一因多果式、多因一果式的因果关系，将图注意力网络引入因果关系抽取模型中，对图数据结构进行半监督学习，并通过依存句法的邻接矩阵表示与Bi-GRU隐藏层输出进行图注意力计算，将独立的词特征通过依赖关系和GAT网络为邻接节点分配不同大小的注意力权重，进而聚焦于比较重要的词特征以及因果之间潜在的依赖关系，从而提高因果关系抽取的性能。

进一步的，本发明提出的事件图谱构建方法，依据下游任务不同，可以将四种维度的事件间关系任意组合，学习事件图谱的结构特性与潜在的知识联系，从而辅助下游应用。

【附图说明】

图1为本发明的整体逻辑架构图；

图2为本发明中使用的句法依存分析；

图3本发明中涉及到的句法依存的有向图矩阵；

图4为本发明中涉及的两维时序因果图谱；

图5为本发明中涉及的单维因果图谱。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明基于多维特征融合与依存句法的事件图谱构建系统，通过利用多维特征融合的事件抽取、事件修正与对齐、基于增强结构化事件的关系抽取、基于依存句法与图注意力网络的因果关系抽取、事件图谱生成模块的联合学习，实现了基于多维特征融合与依存句法的事件图谱构建方法。本发明主要涉及五个模块：

模块1.多维特征融合的事件抽取模块：由于现有模型多为流水线模式存在级联误差、传统语言表示模型无法一词多义进行建模、以及未考虑到事件元素的倾向性特征等问题，故将其转化为序列标注任务来联合抽取事件触发词及事件元素，并采用预训练语言模型BERT学习文本向量表示，与事件元素的实体类型倾向性特征、词性倾向性特征相融合，建模更为丰富的特征，同时使用多尺度卷积神经网络与双向长短期记忆网络捕捉不同长度事件元素的多尺度局部突出特征与上下文语境特征，最终采用CRF获取最佳序列标注。

模块2.事件修正与对齐模块：为了提高事件图谱的构建质量及其可解释性，故采用事件修正将事件的时间与地点元素标准化，通过判断事件关键信息是否缺失过滤掉不完备事件，并利用语义相似度计算方法将共指事件对齐，从而获得增强的结构化事件。

模块3.基于增强结构化事件的关系抽取模块：为了解决现有事件图谱构建中存在事件关系单一的问题，本发明首先利用事件修正与对齐模块来获取并增强结构化事件中的时间与地点元素，通过时序关系、空间关系的定义，抽取事件间的时序关系与空间关系；然后利用增强的结构化事件进行相似度计算，再通过设置阈值表示判断两事件是否语义相关，从而抽取语义关系；

模块4.基于依存句法与图注意力网络的因果关系抽取模块：为了识别隐式因果关系及多因多果式因果关系，本发明将图注意力网络引入因果关系抽取中，通过Bi-GRU获取文本的上下文语境表示，与基于句法依存关系的图注意力网络联合对文本数据的图结构及因与果之间的依赖关系进行建模，并通过CRF获取原因事件与结果事件的标注结果。

模块5.事件图谱生成模块：将增强的结构化事件与多维事件关系处理成Neo4j支持的存储形式，通过Neo4j的Import模块导入Neo4j，生成事件图谱。

本发明明基于多维特征融合与依存句法的事件图谱构建方法，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将新闻文本数据利用jieba分词工具将句子分解为单词序列，并给出新闻文本中所对应的事件标签、事件元素的时间、地点、参与者、对象、触发词的标签、因事件、果事件、其他事件标签；

步骤1：对于事件图谱构建中事件抽取任务定义如下：假设每一篇新闻报道R由n个事件构成，即R＝{e₁,e₂,...,e_n}，对于每个事件e，其事件定义为e＝def{P,O,T,L,D}，其中，参与者P表示事件的主体或客体，通常为人；对象O也表示事件的主体或客体，通常为物；时间T表示事件的发生时间；地点L表示事件的发生地点，上述元素统称为事件元素，并且事件可形式化地表示为<时间、地点、参与者、对象、触发词>的五元组。因此，事件的抽取任务则是从非结构化文本中识别事件五元组，并将事件元素角色分类；而因果关系抽取任务则是识别新闻中的事件的类型M，M∈{cause,effect,other}，分别表示因事件、果事件、其他事件。

阶段1：多维特征融合的联合事件抽取

步骤2：句子编码层主要为了解决传统语言表示模型无法对一词多义建模的问题，采用BERT编码层的后四层输出的拼接向量作为输入句子的向量表示。

B_i＝concat(b_i,...,b_L) (1)

其中，b_i预训练语言模型BERT第i层编码层的输出，L为BERT编码层的层数。

步骤3：由于事件元素信息具有明显的词性倾向性与实体类型倾向性，故将其与BERT输出特征相融合作为文本的嵌入表示，其中词性与实体类型采用Pyltp进行标注，并将其特征编码，则文本嵌入可表示为：

其中，Pos_i表示词性倾向特征，Entity_i表示实体类型特征；

步骤4：获取到文本嵌入表示后，采用BiLSTM获取文本的上下文语境表示，此时的隐藏层状态

表示为：

步骤5：多尺度特征获取，将文本嵌入

表示输入至Multi-CNN中，利用尺度分别为1、3、5的卷积核获取不同尺度的感受野，通过多尺度的卷积核编码不同长度事件元素的多尺度局部突出特征，卷积操作如下：

c_ij＝f(w_j·x_i:i+h-1+b_j) (4)

其中，j,b∈R，w_j表示第j个滤波器，b表示偏置项，f表示一个非线性函数，h表示卷积核大小。

步骤6：为了削弱BiLSTM、Multi-CNN带来的误差，借鉴残差网络的思想，将文本嵌入

尺度为1、3、5卷积核的Multi-CNN的输出向量C₁,C₃,C₅、BiLSTM的隐藏层状态

拼接为最后的多维度特征向量O。

通过一个全连接层将特征O映射到样本空间，并添加Dropout层防止模型训练过程中出现过拟合现象。

步骤7：将全连接层输出输入到CRF中，获取最佳序列标注。即给定一个句子S＝(x₁,x₂,…,x_n)，其预测结果为Y＝(y₁,y₂,…,y_n)，其评分函数如下：

其中，H是分数转换的矩阵，

表示从第i个标签到第i+1个标签的转换分数，P是全连接层的输出矩阵，

表示第i个词的标签类别是y_i的得分；

步骤8：利用softmax将预测得分映射到相应类别的概率。

Y'表示所有可能的标记序列；在训练过程中采用负的对数概率作为损失函数

如下：

在模型的训练过程中，应尽可能使损失降到最低。

阶段2：事件修正与对齐

步骤9：事件修正，由于新闻表述的独特性导致事件抽取后的时间和地点元素信息不完善且非标准化，但时序关系与空间关系抽取的性能又与这两个元素质量息息相关，因此，采用结构化事件中存在的上下文事件时间或新闻报道时间，来对事件发生时间进行补充修正，并将其统一转化为形如“20200303”的形式。同时，采用Python中的cpca模块作为外部知识对空间信息，如省、市、区等不同地名信息进行修正。

步骤10：针对不完备事件进行过滤，具有完备信息的事件中至少包括一个参与者或对象(主体或客体之一)与触发词，根据这一判断规则，对缺少关键信息的所有不完备的事件直接进行过滤。

步骤11：在事件对齐过程中，由于同一事件的不同描述会导致文本中存在大量的共指事件，并会造成事件图谱冗余或冲突，故采用语义相似度计算将事件对齐。采用word2vec训练词向量将事件元素表示成文本空间向量，将相似度计算简化成向量空间的向量计算，通过向量的夹角余弦距离度量两事件的语义相似度。若a_1i＝(x₁₁,x₁₂,…,x_1n)，a_2i＝(x₂₁,x₂₂,…,x_2n)分别表示事件event₁和事件event₂的事件元素，事件元素的余弦相似度计算与归一化如下：

在新闻事件的表述过程中，表示事件发生的关键事件元素经过过滤与补全后，都不能为空，因此，在事件event₁和事件event₂的相似度计算过程中，仅选取两事件间均不为空的事件元素来衡量两事件间的语义相似度，其计算如下：

事件间相似度越接近于1，则两个事件的相似度越高，且这两事件越可能是共指事件，故若事件语义相似度大于设置阈值μ时，则认为两事件共指，则过滤掉其中事件元素较少的事件。

阶段3：基于增强结构化事件的关系抽取

步骤12：采用增强的结构化事件作为输入，其中，时序关系是指事件A和事件B之间存在时间上的先后顺序，即事件A发生在事件B之后或之前，或在没有时间信息时在原文中的序列关系。若多个事件之间的时间元素不为空时，则判断事件发生时间的先后顺序，将其作为事件间的时序关系，若事件时间元素为空时，则将此事件与上下文事件的序列关系作为时序关系。

步骤13：采用增强的结构化事件作为输入，其中，空间关系是指事件A的发生地点与事件B的发生地点所在省份或市区相同的关系。若事件event1、event2仅有省级信息，且两事件在地点元素上具有相同的省级信息，则认为其空间相关。类似地，若一事件包括市级信息，则从市级上分析与其空间相关的事件，若相同，则认为其空间相关。

步骤14：采用增强的结构化事件作为输入，其中，语义关系是指事件A的事件元素与事件B的事件元素之间存在相似关系，当相似度越高时，认为两事件潜在的语义关系越密切。采用步骤11中的语义相似度计算方法，其两事件间相似度大小作为两事件语义相似程度。

阶段4：基于依存句法与图注意力网络的因果关系抽取

步骤15：采用新闻文本作为输入，其中，因果关系指事件A的发生引起事件B的发生，其中事件A称为原因事件，事件B成为结果事件。利用图注意力网络与传统的Bi-GRU+CRF相结合的方法抽取因果关系。首先，采用Word2vec训练词向量，将文本转化为输入特征向量。同时，利用句法依存分析工具StanfordCoreNLP将句子处理成依存句法结构形式，如图2所示。并采用有向图邻接矩阵存储形式进行存储，如图3。

步骤16：将输入特征向量输入双向GRU，获取单词的隐藏层状态

步骤17：将Bi-GRU层输出的上下文特征向量

和句法依存分析得到的邻接矩阵输入GAT层进行图注意力计算。对于句法依存树中每个顶点词，计算与其句法依存关系相邻顶点词的注意力因子e_ij，然后将注意力因子进行归一化得到注意力系数α_ij，通过注意力系数α_ij对特征进行加权求和，得到每个顶点在GAT层的输出特征

步骤18：为了使GAT的学习训练过程更加稳定，采用了多头注意力把互相独立的注意力向量进行拼接，得到单层GAT的输出特征向量

步骤19：将GAT网络堆叠为n层，在最后一层GAT网络的输出上取前n层GAT网络输出的平均值。通过GAT网络建模图形数据，并通过注意力机制将注意力更多地放在原因事件词和结果事件词上，为其分配更大的权重。

步骤20：将GAT层的输出特征向量输入CRF层,即给定一个句子X＝(x₁,x₂,...,x_n)，事件因果关系预测结果为Y＝(y₁,y₂,...,y_n)，采用下式对其事件类型进行评分：

其中，H是分数转换的矩阵，

表示从第i个标签到第i+1个标签的转换分数，P是GAT层的输出矩阵，其大小为N×K，N是词的数量，K是标签类别，然后利用softmax将预测得分映射到相应因果关系类别的概率：

其中，Y′代表所有可能的标记序列。采用负的对数概率作为损失函数

如下所示：

步骤21：由于因果关系是在新闻文本上抽取的，事件为非结构化的文本，故采用增强的结构化事件将因果关系中事件结构化，并将共指事件对齐。

阶段5：事件图谱生成

步骤22：为阶段2获取的每一个事件分配一个唯一的id，并将增强的结构化事件以csv格式存储，同时将事件时序、空间、语义、因果关系通过<事件id，关系类型，事件id>三元组以csv格式存储。

步骤23：将事件节点集及事件间关系集的csv文件通过Neo4j的import模块批量导入Neo4j数据库中，在导入过程中将事件作为节点，事件元素五元组作为事件节点的属性，分别为：时间、地点、参与者、对象、触发词。事件间关系作为边，边的类型有：时序关系、空间关系、语义关系、因果关系。在应用过程中，可依据需求构建单维事件图谱或多维事件图谱，将时序关系与因果关系相结合构建两维事件图谱的示例如图4，单维因果关系如图5。

本发明适用于事件图谱构建任务，能够准确、高效地从文本中自动检测事件元素以及因果关系，并利用事件元素进行时序关系、空间关系、语义关系的抽取工作，从而实现事件图谱的构建，并可依据需求来构建多维度事件图谱。

下面通过几个实施例对本发明做进一步详细的说明：

实施例1：

2008年5月12日14时28分左右，汶川县发生了7.8级地震。

经模块一事件抽取后，得到结构化事件<时间：2008年5月12日14时28分,地点：汶川县,触发词：地震>，可得到事件的时间元素、地点元素、触发词，而时间和地点元素是事件间时序关系抽取与空间关系抽取的基础。由于新闻表达的独特性，时间和地点元素可能不全或不统一，通过事件修正将时间序列化、地点经省市区标准化，便于时序关系、空间关系的抽取，在本实施例中经事件修正后得到增强的结构化事件<时间：20080512，地点：四川省阿坝藏族羌族自治州汶川县，触发词：地震>。

实施例2：

2008年5月12日四川汶川县发生地震后，对云南昭通等地造成一定的影响，部分房屋已出现倒损。

经模块一事件抽取后得到事件，event1<时间：12日,地点：四川汶川县,触发词：地震>，event2<地点：云南昭通等地,对象：部分房屋,触发词：倒损>。

经模块二事件修正后得到事件event1<时间：20080512，地点：四川省阿坝藏族羌族自治州汶川县，触发词：地震>，event2<地点：云南省昭通市等地，对象：部分房屋，触发词：倒损>。通过事件对齐可将实施例1中的事件与实施例2中的event1进行对齐。

经模块三后可抽取时序关系，<event1,时序关系(TR),event2>。

通过模块四后可抽取一阶隐式因果关系，<event1,因果关系(CR),event2>。

通过上述模块获取的增强结构化事件以及事件间多维关系，可构建事件图谱。如图4和图5。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (3)

1.一种基于多维特征融合与依存句法的事件图谱构建系统，其特征在于，包括：

多维特征融合的事件抽取模块，用于采用预训练语言模型BERT学习文本向量表示，与事件元素的实体类型倾向性特征、词性倾向性特征相融合，同时使用多尺度卷积神经网络与双向长短期记忆网络捕捉不同长度事件元素的多尺度局部突出特征与上下文语境特征，最终采用CRF获取最佳序列标注；

事件修正与对齐模块，用于采用事件修正将事件的时间与地点元素标准化，通过判断事件关键信息是否缺失过滤掉不完备事件，并利用语义相似度计算方法将共指事件对齐，从而获得增强的结构化事件；

基于增强结构化事件的关系抽取模块，用于利用事件修正与对齐模块来获取并增强结构化事件中的时间与地点元素，通过时序关系、空间关系的定义，抽取事件间的时序关系与空间关系；然后利用增强的结构化事件进行相似度计算，再通过设置阈值表示判断两事件是否语义相关，从而抽取语义关系；

基于依存句法与图注意力网络的因果关系抽取模块，用于将图注意力网络引入因果关系抽取中，通过Bi-GRU获取文本的上下文语境表示，与基于句法依存关系的图注意力网络联合对文本数据的图结构及因与果之间的依赖关系进行建模，并通过CRF获取原因事件与结果事件的标注结果；

事件图谱生成模块，用于将增强的结构化事件与多维事件关系处理成Neo4j支持的存储形式，通过Neo4j的Import模块导入Neo4j，生成事件图谱。

2.一种基于多维特征融合与依存句法的事件图谱构建方法，其特征在于，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将新闻文本数据利用jieba分词工具将句子分解为单词序列，并给出新闻文本中所对应的事件标签、事件元素的时间、地点、参与者、对象、触发词的标签、因事件、果事件以及其他事件标签；

步骤1：对于事件图谱构建中事件抽取任务定义如下：假设每一篇新闻报道R由n个事件构成，即R＝{e₁,e₂,...,e_n}，对于每个事件e，其事件定义为e＝def{P,O,T,L,D}；其中，P表示事件的主体或客体，代表人；O表示事件的主体或客体，代表物；T表示事件的发生时间；L表示事件的发生地点，上述元素统称为事件元素，并且事件可形式化地表示为<时间、地点、参与者、对象、触发词>的五元组；事件的抽取任务则是从非结构化文本中识别事件五元组，并将事件元素角色分类；因果关系抽取任务是识别新闻中的事件的类型M，M∈{cause,effect,other}，分别表示因事件、果事件、其他事件；

阶段1：多维特征融合的联合事件抽取

步骤2：采用BERT编码层的后四层输出的拼接向量作为输入句子的向量表示；

B_i＝concat(b_i,...,b_L) (1)

其中，b_i预训练语言模型BERT第i层编码层的输出，L为BERT编码层的层数；

步骤3：将其与BERT输出特征相融合作为文本的嵌入表示，词性与实体类型采用Pyltp进行标注，并将其特征编码，则文本嵌入表示为：

其中，Pos_i表示词性倾向特征，Entity_i表示实体类型特征；

步骤4：获取到文本嵌入表示后，采用BiLSTM获取文本的上下文语境表示，此时的隐藏层状态

表示为：

步骤5：将文本嵌入

表示输入至Multi-CNN中，利用尺度分别为1、3、5的卷积核获取不同尺度的感受野，通过多尺度的卷积核编码不同长度事件元素的多尺度局部突出特征，卷积操作如下：

c_ij＝f(w_j·x_i:i+h-1+b_j) (4)

其中，j,b∈R，w_j表示第j个滤波器，b表示偏置项，f表示一个非线性函数，h表示卷积核大小；

步骤6：将文本嵌入

尺度为1、3、5卷积核的Multi-CNN的输出向量C₁,C₃,C₅、BiLSTM的隐藏层状态

拼接为最后的多维度特征向量O：

通过一个全连接层将特征O映射到样本空间，并添加Dropout层防止模型训练过程中出现过拟合现象；

步骤7：将全连接层输出输入到CRF中，获取最佳序列标注；即给定一个句子S＝(x₁,x₂,…,x_n)，其预测结果为Y＝(y₁,y₂,…,y_n)，其评分函数如下：

其中，H是分数转换的矩阵，

表示从第i个标签到第i+1个标签的转换分数，P是是全连接层的输出矩阵，

表示第i个词的标签类别是y_i的得分；

步骤8：利用softmax将预测得分映射到相应类别的概率；

其中，Y'表示所有可能的标记序列；在训练过程中采用负的对数概率作为损失函数

如下：

阶段2：事件修正与对齐

步骤9：采用结构化事件中存在的上下文事件时间或新闻报道时间，来对事件发生时间进行补充修正；同时，采用Python中的cpca模块作为外部知识对空间信息进行修正；

步骤10：对缺少关键信息的所有不完备的事件直接进行过滤；

步骤11：在事件对齐过程中，采用语义相似度计算将事件对齐；采用word2vec训练词向量将事件元素表示成文本空间向量，将相似度计算简化成向量空间的向量计算，通过向量的夹角余弦距离度量两事件的语义相似度；若a_1i＝(x₁₁,x₁₂,…,x_1n)，a_2i＝(x₂₁,x₂₂,…,x_2n)分别表示事件event₁和事件event₂的事件元素，事件元素的余弦相似度计算与归一化如下：

阶段3：基于增强结构化事件的关系抽取

步骤12：采用增强的结构化事件作为输入；其中，时序关系是指事件A和事件B之间存在时间上的先后顺序，即事件A发生在事件B之后或之前，或在没有时间信息时在原文中的序列关系；若多个事件之间的时间元素不为空时，则判断事件发生时间的先后顺序，将其作为事件间的时序关系，若事件时间元素为空时，则将此事件与上下文事件的序列关系作为时序关系；

步骤13：采用增强的结构化事件作为输入；其中，空间关系是指事件A的发生地点与事件B的发生地点所在省份或市区相同的关系；若事件event1、event2仅有省级信息，且两事件在地点元素上具有相同的省级信息，则认为其空间相关；类似地，若一事件包括市级信息，则从市级上分析与其空间相关的事件，若相同，则认为其空间相关；

步骤14：采用增强的结构化事件作为输入；其中，语义关系是指事件A的事件元素与事件B的事件元素之间存在相似关系，当相似度越高时，认为两事件潜在的语义关系越密切；采用步骤11中的语义相似度计算方法，其两事件间相似度大小作为两事件语义相似程度；

阶段4：基于依存句法与图注意力网络的因果关系抽取

步骤15：采用新闻文本作为输入；其中，因果关系指事件A的发生引起事件B的发生，其中事件A称为原因事件，事件B成为结果事件；利用图注意力网络与传统的Bi-GRU+CRF相结合的方法抽取因果关系；首先，采用Word2vec训练词向量，将文本转化为输入特征向量；同时，利用句法依存分析工具StanfordCoreNLP将句子处理成依存句法结构形式，并采用有向图邻接矩阵存储形式进行存储；

步骤16：将输入特征向量输入双向GRU，获取单词的隐藏层状态

步骤17：将Bi-GRU层输出的上下文特征向量

和句法依存分析得到的邻接矩阵输入GAT层进行图注意力计算；对于句法依存树中每个顶点词，计算与其句法依存关系相邻顶点词的注意力因子e_ij，然后将注意力因子进行归一化得到注意力系数α_ij，通过注意力系数α_ij对特征进行加权求和，得到每个顶点在GAT层的输出特征

步骤18：采用了多头注意力把互相独立的注意力向量进行拼接，得到单层GAT的输出特征向量

步骤19：将GAT网络堆叠为n层，在最后一层GAT网络的输出上取前n层GAT网络输出的平均值；通过GAT网络建模图形数据，并通过注意力机制将注意力放在原因事件词和结果事件词上，为其分配权重；

步骤20：将GAT层的输出特征向量输入CRF层，即给定一个句子X＝(x₁,x₂,…,x_n)，事件因果关系预测结果为Y＝(y₁,y₂,…,y_n)，采用下式对其事件类型进行评分：

其中，H是分数转换的矩阵，

表示从第i个标签到第i+1个标签的转换分数，P是GAT层的输出矩阵，其大小为N×K，N是词的数量，K是标签类别；然后利用softmax将预测得分映射到相应因果关系类别的概率：

其中，Y′代表所有可能的标记序列；采用负的对数概率作为损失函数

步骤21：采用增强的结构化事件将因果关系中事件结构化，并将共指事件对齐；

阶段5：事件图谱生成

步骤22：为阶段2获取的每一个事件分配一个唯一的id，并将增强的结构化事件以csv格式存储，同时将事件时序、空间、语义、因果关系通过<事件id，关系类型，事件id>三元组以csv格式存储；

步骤23：将事件节点集及事件间关系集的csv文件通过Neo4j的import模块批量导入Neo4j数据库中，在导入过程中将事件作为节点，事件元素五元组作为事件节点的属性，分别为：时间、地点、参与者、对象、触发词；事件间关系作为边，边的类型有：时序关系、空间关系、语义关系、因果关系；依据需求构建单维事件图谱或多维事件图谱，将时序关系与因果关系相结合构建两维事件图谱。

3.根据权利要求2所述的基于多维特征融合与依存句法的事件图谱构建方法，其特征在于，所述步骤11中，在事件event₁和事件event₂的相似度计算过程中，仅选取两事件间均不为空的事件元素来衡量两事件间的语义相似度，其计算如下：

事件间相似度越接近于1，则两个事件的相似度越高，且这两事件越可能是共指事件，故若事件语义相似度大于设置阈值μ时，则认为两事件共指，则过滤掉其中事件元素较少的事件。

Images