CN113761337A - 基于事件隐式要素与显式联系的事件预测方法和装置 - Google Patents

Abstract

本发明提供一种基于事件隐式要素与显式联系的事件预测方法和装置，其中，方法包括：获取事件文本中的多个事件的事件要素；提取跨事件的事件要素之间的第一关系特征，所述第一关系特征用于表征跨事件的事件要素之间的语义联系特征；基于所述第一关系特征进行事件预测。在对事件进行预测时，加入跨事件的事件要素之间的第一关系特征，可以记录跨事件的事件要素之间的隐式联系，并且通过不同事件中的事件要素语义联系特征让不同的事件之间产生了联系，挖掘出了事件元组更深层次且更具有预测性的语义信息，不仅可以提升了事件预测的准确性，而且广泛适用于基于事件要素进行事件预测的方法中，通用性强。

Description

基于事件隐式要素与显式联系的事件预测方法和装置

技术领域

本发明是涉及人工智能技术领域，尤其涉及一种基于事件隐式要素与显式联系的事件预测方法和装置。

背景技术

事件是一种非常有价值的常识知识，可以被视为记录现实世界中静态事物进行动态活动的载体。挖掘这种事件知识对我们认识人类行为和社会发展变化规律有着非常重要的意义。事件可以提供非常丰富的客观知识并应用于许多的自然语言处理任务。脚本事件预测则是研究事件发展规律和模式的一个重要任务,可以用于预测诸如通用事件、突发事件等不同类型的事件。该任务需要从事件文本中提取事件要素(如主语、动词、宾语、宾补)并形成事件元组，以便于形式化地记录事件文本中最重要的信息。然后通过给定的一系列的上下文事件，从候选事件集中选取一个最符合逻辑的事件，作为预测在上下文事件之后即将发生的后续事件。

学习事件要素间的交互关系时，现有方法中事件元组表示法大多采用Granroth-Wilding和predicate-GR。该工作将事件表示为四元组，包括主语、动词、宾语及宾语补足语或介词实体，并且在谓语之中包含了与其他要素之间的依赖关系。现有技术中的方法仅关注当前事件内部的事件要素间的依赖关系，然而，由于事件之间可以组合成各式各样的事件结构，如强调两个事件之间相关性的事件对，表征事件发展过程的事件链，如果对于事件的理解和预测仅仅关注当前事件内部的事件要素间的关系导致事件预测准确率低。

发明内容

为了解决现有技术中事件预测的准确率低的问题。

本发明提供一种基于事件隐式要素与显式联系的事件预测方法，包括：获取事件文本中的多个事件的事件要素；基于自注意力机制提取跨事件的事件要素之间的第一关系特征，第一关系特征包括跨事件的事件要素之间的语义联系特征；基于第一关系特征进行事件预测。

可选地，基于自注意力机制提取跨事件的事件要素之间的第一关系特征包括：按照事件时序对事件和/或事件要素进行拼接；基于掩模机制在拼接后的结果中计算当前事件要素相对于前驱事件中的事件要素的注意力权重；根据所述注意力权重确定所述第一关系特征。

可选地，在计算跨事件的事件要素之间的注意力权重之前包括：获取事件要素的多个语义空间；基于事件要素的语义空间计算事件要素在不同语义空间中语义特征。

可选地，事件文本包括上下文事件集合和候选事件集合；基于第一关系特征进行事件预测包括：基于第一关系特征计算上下文事件向量和候选事件向量；计算上下文事件向量和候选事件向量的相关性值；根据相关性值选取候选事件作为事件预测结果。

可选地，基于第一关系特征计算多个事件的事件向量上下文事件向量和候选事件向量包括：整合事件要素得到包含第一关系特征的整合事件向量；基于整合事件向量提取事件图和/或事件链中的事件之间的第二关系特征，事件图和/或事件链由多个事件构建而成，第二关系特征包括事件之间演化关系特征；基于第二关系特征计算上下文事件向量和候选事件向量，上下文事件向量和候选事件向量包含第一关系特征和第二关系特征。

可选地，基于整合事件向量提取事件图和/或事件链中的事件之间的第二关系特征包括：获取事件图的邻接矩阵，事件图包括事件节点和用于表征事件图结构的邻接矩阵；将邻接矩阵和整合事件向量输入训练好的图卷积网络中，得到第二关系特征，整合事件向量用于作为事件图的事件节点的节点特征。

可选地，根据邻接矩阵和整合事件向量得到第二关系特征之前包括：利用拉普拉斯矩阵得到事件节点间的相关性权重；根据相关性权重按照图卷积网络的层数将事件节点的节点特征和与事件节点连接的邻居事件节点的节点特征进行聚合，得到包含邻居事件节点的节点特征的事件节点。

根据第二方面，本发明实施例提供了一种基于事件隐式要素与显式联系的事件预测装置，包括：获取模块，用于获取事件文本中的多个事件的事件要素；提取模块，用于提取跨事件的事件要素之间的第一关系特征，第一关系特征用于表征跨事件的事件要素之间的语义联系特征；预测模块，用于基于第一关系特征进行事件预测。

根据第三方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述第一方面任意一项描述的事件预测方法。

根据第四方面，本发明实施例提供了一种电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行第一方面任意一项描述的事件预测方法。

在对事件进行预测时，加入跨事件的事件要素之间的第一关系特征，对于事件预测如通用事件、突发事件等不同类型的事件的预测时，可以不进可以形式化的记录事件文本中的重要信息，还可以记录跨事件的事件要素之间的隐式联系，并且通过不同事件中的事件要素语义联系特征让不同的事件之间产生了联系，挖掘出了事件元组更深层次且更具有预测性的语义信息，不仅可以提升了事件预测的准确性，而且广泛适用于基于事件要素进行事件预测的方法中，通用性强，由于增加了不同事件中的事件要素语义联系特征，使得参与事件预测的特征增多，进而可以加快事件预测模型的收敛速度，缩短训练时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的事件之间的关系特征示意图；

图2示出了本申请施例提供的事件预测方法的示意图；

图3示出了本申请实施例提供的第一关系特征的学习方法的示意图；

图4示出了本申请实施例提供的另一事件预测方法的示意图；

图5示出了本申请实施例提供的事件表示方法的示意图；

图6示出了本申请实施例提供的另一事件预测方法的示意图；

图7示出了本申请实施例提供的预测效果示意图；

图8示出了本申请实施例提供的事件预测装置的示意图；

图9示出了本申请实施例提供的电子设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

正如背景技术所述，由于现有技术中的方法仅关注当前事件内部的事件要素间的依赖关系，而忽视了不同事件之间的交互关系，然而，由于事件之间可以组合成各式各样的事件结构，如强调两个事件之间相关性的事件对，表征事件发展过程的事件链，如果对于事件的理解和预测仅仅关注当前事件内部的事件要素间的关系导致事件预测准确率低。另外，发明人发现存在一些现有技术也关注了事件之间的交互关系，例如，基于LSTM提取事件链的时序特征，并利用多个注意力机制分别提取事件级与事件链级的注意力特征，以学习事件之间与事件链片段之间的交互关系。然而，该方法对事件预测的准确率同样较低，发明人经研究发现，上述方法重点聚焦于事件之间的显式联系特征，该显示联系特征具体为在事件链中事件之间有着明确的连接关系，及事件发生的时序联系特征。但是，忽视了另一种更本质的事件信息，即事件要素之间的隐式联系，即在跨多个事件的事件要素之间同样存在着一种隐含的联系，这种联系是不可见的，是蕴含在语义当中的，且存在非常具有预测性的信息。示例性的，可以参考图1所示，箭头a代表了事件链当中事件间的显式联系即事件发生的时序联系特征，箭头b和c则代表了跨事件的要素间的隐式联系。箭头b所指的两个“bob”均为在餐厅就餐场景下的bob，而不是买车的bob，这有助于选取具有相同场景的事件；同样的，虽然两个“pay”事件具有很高的词汇重叠率，但因为两个付款中蕴含了不同的场景信息(买票一般不发生在餐厅当中)，这也有助于排除不同场景的事件。因此，发明人发现若忽视隐式要素联系不利于理解事件的本质特性，同时，缺失这种联系将不利于在事件链或事件图中提取事件间的关系特征。

基于此，本发明实施例提出了一种事件预测方法，如图2所示，该方法可以基于预训练的事件预测模型进行，具体该方法可以包括如下步骤：

S10.获取事件文本中的多个事件的事件要素。作为示例性的实施例，所称事件文本可以为事件的数据来源，例如，语料库，语料库包括有多个事件信息，这些事件信息的形式为事件文本。在事件文本中，包含了许多描述性的、重复的、弱相关的信息，掩盖了事件最重要的事件要素。故为了提炼事件文本，首先要确定事件的形式化表示方法，用以提取事件要素。在本实施例中，可以采用事件四元组的事件要素表示方法，例如一个事件文本“Arestaurant waiter gives the bob in front of him a menu”可以提炼为“give(waiter,bob,menu)”，其中，四个事件要素分别为动词、主语、宾语、宾补。

采用上述四元组表示方法得到的事件要素的表现形式仍是词汇文本，为了将文本转化成为预测模型可以识别并计算的向量形式，在本实施例中可以利用DeepWalk和Word2Vec等词向量工具预训练事件要素的向量表示，其中，可以采用DeepWalk用于学习事件中动词的向量表示，而其他三个要素的向量可以采用Word2Vec学习。

S20.基于自注意力机制提取跨事件的事件要素之间的第一关系特征，第一关系特征用于表征跨事件的事件要素之间的语义联系特征。在上述实施例中，从事件文本中提取的事件要素表达了某一事件内部的各个事件要素之间的依赖关系，而不同事件间的事件要素蕴含着丰富的内在联系，这种联系不同于单个事件中的事件要素间存在的直接联系，是无形的，需要根据上下文事件语义进行学习的，利用跨事件要素之间的隐式联系串联起了不同事件间的事件要素。在本实施例中，所称的第一关系特征可以用于表征跨事件的事件要素之间的隐式联系，即可以用于表征跨事件的事件要素之间的语义联系特征，在本实施例中，可以基于事件要素的语义学习不同事件之间的第一关系特征，例如，不同事件中的事件要素在语义上具有相关性，则可学习不同事件的事件要素之间的相关性作为第一关系特征。最终得到的事件要素中的至少部分是包含第一关系特征。示例性的，可以通过将事件要素及其包含的第一关系特征进行向量表示，以便后续方便对于事件的预测。

S30.基于第一关系特征进行事件预测。作为示例性的实施例，在对事件进行预测时，加入跨事件的事件要素之间的第一关系特征，对于事件预测如通用事件、突发事件等不同类型的事件的预测时，可以不进可以形式化的记录事件文本中的重要信息，还可以记录跨事件的事件要素之间的隐式联系，并且通过不同事件中的事件要素语义联系特征让不同的事件之间产生了联系，挖掘出了事件元组更深层次且更具有预测性的语义信息，不仅可以提升了事件预测的准确性，而且广泛适用于基于事件要素进行事件预测的方法中，通用性强，由于增加了不同事件中的事件要素语义联系特征，使得参与事件预测的特征增多，进而可以加快事件预测模型的收敛速度，缩短训练时间。

作为示例性的实施例，对于提取跨事件的事件要素之间的第一关系特征可以基于各个事件要素语义上的联系，得到各个事件要素之间的注意力权重，并以此分析它们之间的相关性。例如，可以采用自注意力机制学习事件要素之间的第一关系特征具体的，可以参见图3所示，可以包括如下步骤：

S21.按照事件时序对事件和/或事件要素进行拼接、作为示例性的实施例，可以将预处理阶段的事件文本向量按照事件的时序，即事件发展顺序进行拼接。

S22.基于掩模机制在拼接后的结果中计算当前事件要素相对于前驱事件中的事件要素的注意力权重。作为示例性的实施例，所有事件按顺序拼接，然后在拼接后的结果上计算注意力权重。可以采用自注意力机制计算跨事件的事件要素之间的注意力权重，通过理解各个事件中各个事件要素在当前事件中的语义信息，并注意与当前事件要素存在语义联系的其他要素的特征，进而得到事件要素的注意力权重。考虑到事件间的时序性，当前事件难以受到后续事件的影响，本实施例在自注意力机制中引入掩模机制，通过屏蔽当前事件要素之后的词汇使其仅关注前驱事件中的事件要素示。例性的，如图3所示，当前事件要素“leave”会将大部分注意力放在“restaurant”与其主语“bob”之上，这说明“leave”记录了事件链的情景信息“restaurant”和主角“bob”。此外，“leave”之后的词汇被词掩模机制覆盖，不进行权重的计算。具体计算过程如下：

Q,K,V＝X[W^Q,W^K,W^V]

其中，Softmax与d_k分别为激活函数与K矩阵行向量维度，Q,K,V矩阵由事件要素特征矩阵X与预测模型参数矩阵W得到的，用于计算事件要素间注意力权重。α则代表了事件要素百分比权重。

S23.根据所述注意力权重确定所述第一关系特征。作为示例性的实施例，在基于上述公式计算出事件要素之间的百分比权重之后，可以基于该权重的数值得到事件要素之间的相关性，权重与第一相关性值成正比，权重值越高，两个事件要素之间的相关性越大。跨事件的事件要素之间的第一相关性值可以用于表征第一关系特征。在学习到第一关系特征之后，相关事件要素则包含了与其他事件中的事件要素之间的第一关系特征，即存在了隐式联系，使得两个事件要素之间具有跟深层次的语义上的联系，进而是的事件之间具有了更深层次的语义上的联系，进而提升了对于事件预测的准确性。

在表征事件要素的词汇中，存在着一词多义的现象，词汇的多义性会影响候选事件的选取。例如，“apple”若为某一事件要素，在“eat apple”的情景中，“apple”的语义为水果；而在“play apple”的情景中，“apple”的语义可能为iPhone手机。事件要素的多义性体现在方方面面，在当前步骤中，事件要素被表示为词向量，那么事件要素的多义性则体现在词向量具有不同的语义空间。为了适应事件要素的多义性，捕捉事件要素在不同语义空间中语义特征防止由于事件要素的多义性对事件预测结果的印象，在可选地实施例中，还在自注意力机制中加入多头机制，以捕获事件要素在不同语义空间中语义特征。具体的，获取事件要素的多个语义空间。示例性的，可以对事件要素进行词向量表示，词向量具有不同的语义空间，基于词向量的语义空间得到事件要素的语义空间。之后，基于事件要素的语义空间计算事件要素在不同语义空间中语义特征。下面示例性示出了具体的计算过程：

X^H＝Concat(α₁,α₂,…,α_h)W^O,i＝1,...,h

多头自注意力机制中的每个头α_i对应一个语义空间，其计算方式与单头自注意力机制相同，在本实施例中不在赘述。最终的事件要素特征矩阵X^H通过将各个头拼接并由预测模型参数矩阵W^O转化得到。经实验证明，头数为4时，预测准确率达到最大值。最后，经过多头自注意力机制的计算，所有事件要素均包含了事件要素之间的多语义隐式联系。

作为示例性的实施例，下面将示例性的示出基于第一关系特征的对于事件预测的实施例，具体的，事件文本可以包括上下文事件集合和候选事件集合。在本实施例中，所称的上下文事件集合可以包括多个已经发生的事件，候选事件集可以包括一个正确的后续事件和多个随机抽取的错误事件，对于事件的预测可以基于对上下文事件的理解在候选事件集中选取正确的后续事件。具体的可以参见图4所示，可以包括如下步骤：

S31.基于第一关系特征计算上下文事件向量和候选事件向量，在本实施例中，可以参考上述实施例中对于学习第一关系特征的描述，在得到第一关系特征之后，对上下文事件和候选事件进行向量表示，在进行上下文事件表示时，加入第一关系特征赋予上下文事件向量和候选事件向量与第一关系特征对应的语义空间和语义特征。在本实施例中，在提取到事件要素后，学习事件要素之间的第一关系特征，并将事件要素表征为具有与第一关系特征对应的语义特征的词向量，再基于预设事件属性，例如，事件四元组特征，将事件要素整合为完整的事件向量，进而得到包含第一关系特征的上下文向量和候选事件向量。S32.计算上下文事件向量和候选事件向量的相关性值。作为示例性的实施例，不同的上下文事件会对候选事件的选取产生不同的影响，例如，上下文事件包括“order(bob,food)，eat(bob,food)”，候选事件为“leave(bob,restaurant)”。因为发生点餐事件后，一般均会发生吃饭事件而不是离开餐厅的事件，故上下文的“order”事件对候选事件的影响较小。而吃饭的事件发生后很可能紧接着离开餐厅的事件，故上下文的“eat”事件对候选事件的影响较大。由于不同上下文事件对候选事件的影响力不同，在本实施例中，可以采用注意力机制自适应地学习上下文事件对候选事件的注意力权重。具体计算过程如下：

其中，分数u_i由上下文事件向量

与候选事件向量

加权就和获得，并用以通过softmax操作计算注意力权重α_i。最终，将注意力权重α_i与上下文事件向量

加权求和整合为一个完整的上下文事件向量

该向量包含了自适应学得的具有不同权重的上下文事件信息。在本实施例中，可以采用欧几里得距离作为得分函数Φ，如下所示：

得到的相关性分数输入到多分类合页损失函数当中计算注意力机制的损失，并利用RMSProp优化器优化预测模型参数。损失函数如下，其中s_y为标签，margin为超参数，Θ为预测模型的所有参数：

其中，Si为

的结果。n为事件链个数。λ为L2衰减系数，目的是为了防止模型在训练时发生过拟合。

S33.根据相关性值选取候选事件作为事件预测结果。分别计算各个上下文事件和候选事件集合中的各个候选事件的相关性值，选取相关性最高的候选事件作为事件预测结果。

现有技术中也关注了事件之间的交互关系，例如，基于LSTM提取事件链的时序特征，并利用多个注意力机制分别提取事件级与事件链级的注意力特征，以学习事件之间与事件链片段之间的交互关系方法重点聚焦于事件之间的显式联系特征，该显式联系特征具体为在事件链中事件之间有着明确的连接关系，及事件发生的时序联系特征。然而现有技术的方法所关注的事件之间的交互关系的重点在于时序联系特征，然而，事件之间的关系特征并非只有时序联系特征，事件之间可以组合成各式各样的事件结构，如强调两个事件之间相关性的事件对，表征事件发展过程的事件链，以及描述更复杂演化关系的事件图。而事件图比事件链更为复杂的事件演化关系。上述方法学习事件之间的时序特征，用于表征事件图随时间变化的演化过程。即使是在事件图的工作中，其所采用的方法同样学习的是图的时序特征。而事件图所展现的特征并不局限于时序特征，还有更加复杂的演化关系，而事件图的拓扑结构则表征了这种更丰富的事件演化关系，这是当前的方法所没有关注的。为了进一步提升脚本事件预测的准确率，本申请的实施例在学习跨事件的事件要素之间的第一关系特征，并在事件预测时，加入第一关系特征进行预测的同时也结合事件之间的演化关系特征，使得预测结果更准确，具体的，参见图5所示，可以包括如下步骤：

S41.整合事件要素得到包含第一关系特征的整合事件向量。作为示例性的实施例，在学习跨事件的事件要素之间的第一关系特征之后，得到包含第一关系特征的事件要素向量，而事件要素向量的粒度仍为事件要素级别，无法表征完整事件的特征，且无法应用于后续的事件特征提取，因此，需要对事件要素进行整合得到完整的事件向量，通过将四个事件要素向量拼接的方式实现向量粒度从事件要素级到事件级的转变。最终，事件整合层输出完整的事件表示e_j作为整合事件向量，用于学习事件间的显式联系。具体计算过程如下：

其中，四个x_j向量分别代表动词、主语、宾语、宾补或介词实体的向量表示。W^E为预测模型的参数，tanh为激活函数。

S42.基于整合事件向量提取事件图和/或事件链中的事件之间的第二关系特征，事件图和/或事件链由多个事件构建而成，第二关系特征用于表征事件之间连接关系特征。作为示例性的实施例，对构建事件链和事件图进行详细描述：

对于事件链，首先获取到事件文本中的事件要素，具体可以参见上述实施例中步骤S10对于获取事件文本中的多个事件的事件要素的描述。在事件文本中获取的事件要素描述了事件的内在特征，记录的是单个事件的属性信息及其各个事件要素之间的交互关系，而对于多个事件，同样存在着强烈的交互关系。事件是按照时间顺序发展的，一系列的事件则形成了事件链。事件链最大的特点是其符合现实世界中事件的发展规律，记录了事件之间的时序特征。在本实施例中，事件链由多个事件元组组成，构建依据则为事件文本中事件发生的顺序。例如：“give(waiter,bob,menu)到order(bob,food)”。

对于事件图，事件链是一种线性的事件结构，除首尾事件以外，每个事件只与其前后两个事件相连。这虽然体现了事件的时序特性，却无法表征更为复杂的事件联系。例如，一条事件链中事件按照“enter(bob,restaurant)→sit down(bob)→leave(bob,reataurant)”ea序发展，但在另一条事件链“enter(bob,restaurant)→leave(bob,reataurant)”ebob进入餐厅后立马离开了餐厅。可以看到renter”ntleave”eave立马离开了餐厅。可以看到rant)尾事件以外，每个事件只与其前后两个事件相连。这虽然体现了事件的时序特性，却无法表征更为复杂的事件联在本实施例中根据事件链构造出事件图。具体的实现方式可以为：对于每条事件链，都会从所有事件链中检索，若其他事件链中包含了该条事件链中所没有的事件联系，则将这种联系添加进来。在本实施例中，第二关系特征可以用于表征事件之间的时序关系特征，也可以用于表征事件之间的演化关系特征。

下面以事件图为例，对第二关系特征的提取进行说明：

在得到事件图后，在本实施例中，所称的该事件图为从事件文本中提取的事件要素构建得到，因此，该事件要素可以为已经包含第一关系特征的事件要素，也可以为不包含第一关系特征的事件要素，在本实施例中，可以以不包含第一特征的事件要素构建的事件图为例，提取事件图的邻接矩阵，该邻接矩阵用于表征事件之间的连接关系，将包含第一特征关系的整合事件向量作为事件图的事件节点的节点特征，由于整合事件向量和事件图均来自同一事件文本，事件图的中事件预整合事件向量可以一一对应。将邻接矩阵和整合事件向量输入训练好的图卷积网络中，得到第二关系特征。其中图卷积网络事先基于邻接矩阵和事件节点特征训练得到。

为了得到更具预测性的事件特征，作为可选地实施例，还可以利用拉普拉斯矩阵实现事件图节点在空间上聚合，使得事件节点均包含邻居事件节点的节点信息，可以学得更为准确的事件节点信息，有助于得到更具预测性的事件特征。具体的，利用拉普拉斯矩阵得到事件节点间的相关性权重；根据相关性权重按照图卷积网络的层数将事件节点的节点特征和与事件节点连接的邻居事件节点的节点特征进行聚合，得到包含邻居事件节点的节点特征的事件节点。

具体计算过程如下：

以及如下公式，使出了邻接矩阵和拉普拉斯矩阵：

其中，邻接矩阵A表示事件节点间的连接关系,并通过

操作自加单位矩阵I形成自环，使得之后的计算包含事件节点本身的信息。

为

的度矩阵。拉普拉斯矩阵

表征事件节点间的相关性权重。矩阵E表征了事件节点的文本特征，w为预测模型参数，σ为常数系数。图卷积网络的层数l代表了聚合邻居节点的阶数，例如，第一层实现了一阶邻居的聚合，那么每个事件节点均得到了周围与其直接相连的事件邻居的节点特征；第二层在第一层的基础上继续聚合二阶邻居，因为当前每个事件节点均已包含一阶邻居的信息，那么继续聚合则得到了其二阶事件邻居的节点特征。高层的计算方式以此类推。经实验所得，聚合一阶邻居的预测结果要优于聚合高阶邻居的结果，这说明在事件演化过程中，直接相连的事件对于当前事件的影响更大。

S43.基于第二关系特征计算上下文事件向量和候选事件向量。作为示例性的实施例，在得到第二关系特征之后，对事件图中的上下文事件进行向量表示，同时对候选事件集合中的候选事件进行向量表示，在进行向量表示时，在事件图的事件节点上的加入第二关系特征，并将第二关系特征进行词向量表示，最终得到的事件向量表示中加入了第二关系特征，进而得到包含第一关系特征的上下文向量和候选事件向量。

作为示例性的实施例，还可以以事件链为例，对第二关系特征的提取进行说明：

在事件链中，第二关系特征可以事件链中的时序关系特征，所称的该事件链为从事件文本中提取的事件要素构建得到，因此，该事件要素可以为已经包含第一关系特征的事件要素，也可以为不包含第一关系特征的事件要素，作为示例性的实施例，可以基于包含第一关系特征的事件要素构建事件链，并基于LSTM学习事件链的时序特征，在对事件预测时，在计算上下文事件向量和候选事件向量的相关性值时，可以采用自注意力机制自适应地学习上下文事件对候选事件的注意力权重，并且，在计算相关性值时，可以采用利用全连接网络计算具体的相关性值。

作为示例性的实施例，第二关系特征还可以为事件链中的时序关系特征和事件图的演化关系特征，可以融合上述实施例中对于事件图中的事件之间的演化关系特征和事件链中时序关系特征的提取，构建第二关系特征，再基于第一特征关系和/或第二关系特征对事件进行预测。

下面，将详细对基于第一关系特征和第二特征关系的组合对事件进行预测的原理说明：

参见图6所示，在事件文本中提取事件要素，具体的可以参见上述实施例中对于步骤S10的描述，事件元素提取完成之后，可以提取跨事件的事件要素之间的第一关系特征和事件之间的第二关系特征，对于第一关系特征，可以通过步骤S20以及步骤S21-S23的方法提取第一关系特征，在基于步骤S41整合具有第一关系特征的事件要素向量得到整合事件向量。至此，整合事件向量中包含了第一关系特征。

对于第二关系特征，可以基于事件元素构建事件链，具体可以参见上述实施例中对于事件链构建的描述，继而，基于事件链构建事件图，具体可以参见上述实施例中对于事件图构建的描述。将整合事件向量作为事件图的事件节点特征，利用事件图的邻接矩阵表征事件之间的连接关系，将整合事件向量和邻接矩阵输入图卷积网络，学习第二关系特征，具体参见上述实施例中对于步骤S42的描述。最终得到上下文事件向量和候选事件向量，利用注意力机制自适应地学习上下文事件对候选事件的注意力权重。并基于注意力权重计算上下文事件向量与候选事件向量之间的相关性值，用以选取后续事件，具体参见步骤S32和步骤S33的描述。

下面将以现有技术与本发明实施例中的技术方案的预测效果进行对比。

现有的脚本事件预测方法主要分为两大类：单模型与多模型融合。单模型仅针对事件链或者事件图，多模型融合通过融合单模型学习多种事件结构之间的交互关系。

(1)对于与单模型比较的本实施例的技术方案的准确率为56.64％。现有方法例如采用SAM-Net事件链模型进行预测，准确率为54.48％，本实施例的技术方案提升了2.16％；采用SGNN事件图模型进行预测，准确率为52.37％，本实施例的技术方案提升了4.27％；对于引入外部数据的模型SGNN+Int+Senti引入外部数据的模型进行预测，准确率为53.88％，本实施例的技术方案提升了2.76％。无论是事件链模型、事件图模型，还是引入外部数据的模型，准确率均低于本申请实施例中的技术方案。

(2)多模型融合比较

现有多模型融合方法聚焦于两个方面，一为事件对模型、事件链模型、事件图模型的简单融合；二为在简单融合的基础上引入外部常识知识，如意图与情感。

简单融合的方案选取了事件对模型EventComp、事件链模型PairLSTM、事件图模型SGNN。本发明中实施例的技术方案的准确率为55.38％，优于所有的单模型方法(大于SAM-Net的54.48％)。

引入外部常识知识的方案在简单融合的基础上引入意图(Int)与情感(Senti)，其准确率为56.03％，较简单融合仅提升了0.65％。

本发明中事件间显式结构联系与时序联系同时作为第二关系特征，其预测准确率效果便达到了60.76％，较简单融合提升了5.38％，较引入外部知识的融合提升了4.73％。

对于模型训练的收敛速度，训练时间的对比：

挖掘隐式要素联系(第一关系特征)的方法通用性强，可以适用于很多现有的方法中，比如事件链方法PairLSTM，事件图方法SGNN。如下图7所示，其中第一关系特征为图7中的Arg Self-Att，其中，为本模型、本申请中采用的基于时序特征的预测模型及两个现有方法在加入自注意力机制前后模型的收敛情况。

为表示方便，本实施例中的预测模型记为ERIE，本申请中采用的基于时序特征的预测模型记为ERIE-LSTM，事件链方法PairLSTM，事件图方法SGNN。如图可见，再加入自注意力机制学习隐式要素联系之后，本申请预测模型记为ERIE-Arg Self-Att，本申请中采用的基于时序特征的预测模型记为ERIE-LSTM-Arg Self-Att，事件链方法PairLSTM-Arg Self-Att，事件图方法SGNN-Arg Self-Att，其中，虚线1代表的收敛时间要远小于虚线2(除PairLSTM)；且各个模型在加入隐式要素联系之后，最初的收敛速度均有所提升。可见，学习跨事件的事件要素之间的第一关系特征，并加入第一关系特征对预测模型的训练时间和收敛速度均有较大的提升。因此，在事件预测时，考虑第一关系特征不仅可以提高预测精度，还可以较大的提升训练效率和收敛速度。

本发明实施例提供了一种基于事件隐式要素与显式联系的事件预测装置，如图8所示，该装置可以包括：

获取模块10，用于获取事件文本中的多个事件的事件要素；提取模块20，用于提取跨事件的事件要素之间的第一关系特征，所述第一关系特征用于表征跨事件的事件要素之间的语义联系特征；预测模块30，用于基于所述第一关系特征进行事件预测。

本发明实施例提供了一种电子设备，如图9所示，该电子设备包括一个或多个处理器91以及存储器92，图9中以一个处理器91为例。

该控制器还可以包括：输入装置93和输出装置94。

处理器91、存储器92、输入装置93和输出装置94可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器91可以为中央处理器(CentralProcessingUnit，CPU)。处理器91还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器92作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的控制方法对应的程序指令/模块。处理器91通过运行存储在存储器92中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的事件预测方法。

存储器92可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置93可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置94可包括显示屏等显示设备。

一个或者多个模块存储在存储器92中，当被一个或者多个处理器81执行时，执行如图2-5任意一项所示的方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于事件隐式要素与显式联系的事件预测方法，其特征在于，包括：

获取事件文本中的多个事件的事件要素；

基于自注意力机制提取跨事件的事件要素之间的第一关系特征，所述第一关系特征包括跨事件的事件要素之间的语义联系特征；

基于所述第一关系特征进行事件预测。

2.如权利要求1所述的事件预测方法，其特征在于，提取跨事件的事件要素之间的第一关系特征包括：

按照事件时序对事件和/或事件要素进行拼接；

基于掩模机制在拼接后的结果中计算当前事件要素相对于前驱事件中的事件要素的注意力权重；

根据所述注意力权重确定所述第一关系特征。

3.如权利要求2所述的事件预测方法，其特征在于，在计算跨事件的事件要素之间的注意力权重之前包括：

获取所述事件要素的多个语义空间；

基于事件要素的语义空间计算事件要素在不同语义空间中语义特征。

4.如权利要求1所述的事件预测方法，其特征在于，所述事件文本包括上下文事件集合和候选事件集合；

基于所述第一关系特征进行事件预测包括：

基于所述第一关系特征计算上下文事件向量和候选事件向量；

计算所述上下文事件向量和候选事件向量的相关性值；

根据所述相关性值选取候选事件作为事件预测结果。

5.如权利要求4所述的事件预测方法，其特征在于，基于所述第一关系特征计算多个事件的事件向量上下文事件向量和候选事件向量包括：

整合所述事件要素得到包含所述第一关系特征的整合事件向量；

基于所述整合事件向量提取事件图和/或事件链中的事件之间的第二关系特征，所述事件图和/或事件链由多个事件构建而成，所述第二关系特征包括事件之间演化关系特征；

基于所述第二关系特征计算所述上下文事件向量和候选事件向量，所述上下文事件向量和所述候选事件向量包含所述第一关系特征和所述第二关系特征。

6.如权利要求5所述的事件预测方法，其特征在于，基于整合事件向量提取事件图和/或事件链中的事件之间的第二关系特征包括：

获取事件图的邻接矩阵，所述事件图包括事件节点和用于表征事件图结构的邻接矩阵；

将所述邻接矩阵和所述整合事件向量输入训练好的图卷积网络中，得到所述第二关系特征，所述整合事件向量用于作为事件图的事件节点的节点特征。

7.如权利要求6所述的事件预测方法，其特征在于，根据所述邻接矩阵和所述整合事件向量得到所述第二关系特征之前包括：

利用拉普拉斯矩阵得到事件节点间的相关性权重；

根据所述相关性权重按照图卷积网络的层数将事件节点的节点特征和与所述事件节点连接的邻居事件节点的节点特征进行聚合，得到包含邻居事件节点的节点特征的事件节点。

8.一种基于事件隐式要素与显式联系的事件预测装置，其特征在于，包括：

获取模块，用于获取事件文本中的多个事件的事件要素；

提取模块，用于提取跨事件的事件要素之间的第一关系特征，所述第一关系特征用于表征跨事件的事件要素之间的语义联系特征；

预测模块，用于基于所述第一关系特征进行事件预测。

9.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行所述权利要求1-7任意一项基于事件隐式要素与显式联系的事件预测方法。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任意一项所述的基于事件隐式要素与显式联系的事件预测方法。

Images