CN117076608A - 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 - Google Patents
一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 Download PDFInfo
- Publication number
- CN117076608A CN117076608A CN202311078433.4A CN202311078433A CN117076608A CN 117076608 A CN117076608 A CN 117076608A CN 202311078433 A CN202311078433 A CN 202311078433A CN 117076608 A CN117076608 A CN 117076608A
- Authority
- CN
- China
- Prior art keywords
- event
- knowledge
- script
- span
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000010354 integration Effects 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000007418 data mining Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置，属于信息检索与数据挖掘领域。本发明首先输入两个相关的脚本文档并且检索出其中的事件；接着，将每个文档中检索出的事件按照事件组成进行重新排序，得到最优事件脚本知识并进行整合。在整合阶段，将整合后的最优事件脚本知识输入进BERT，从而为文本添加标记；接着将相同标记的文本进行枚举连接，构造文本跨度；之后，基于当前构建的跨度得到最佳猜测，生成事件图结构。最后，将事件图输入到缩放神经网络中得到预测得分，选择得分最高的候选事件作为预测事件。本发明提出的基于文本动态跨度的整合外部事件知识的脚本预测学习在《纽约时报》语料库中的预测后续事件的精度较高。
Description
技术领域
本发明涉及一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置，属于信息检索与数据挖掘技术领域。
背景技术
理解文本中描述的事件对许多人工智能任务来说至关重要，脚本事件预测正是其中一个具有挑战性的任务。脚本的概念由Schank等人提出的，用来理解自然语言文本。其中一个典型的案例是描述一个人去电影院的场景，“顾客进入电影院”“顾客买电影票”“顾客进入影厅”和“顾客观看电影”等一系列活动相继发生，这种结构化的表示方式称之为脚本。脚本事件预测是对这种结构化事件的演化推理。脚本事件预测(script eventprediction)的概念，其定义为通过给定场景中已经发生的一系列上下文事件，预测接下来最有可能发生的事件；另外，Chambers等人还提出了一种新的结构化事件表示方法，称为叙事事件链。叙事事件链是以一个共同的主角为中心的部分有序的事件集，其中参与者和事件的结构化序列被称为脚本。脚本事件预测的处理通常是从非结构化文本中提取出与事件相关的信息后，将信息以结构化的形式展现，再利用文本来推断出事件之间的关系，预测未来可能发生的事件。
脚本事件预测中包含了事件表征、事件表示学习以及事件预测三个部分。事件通由动词和名词、谓词等要素组成，动词描述主角的动作，名词短语则描述相关的实体，谓词用来补充名词与动词之间的关系。事件的组成要素包括动作或事件的参与者、事件发生的时间或地点等，可以通过自然语言处理(natural language process，NLP)工具从事件的文本中提取。为了表现文本中的各种不同的语义信息，因此需要将信息结构化，一般采用向量的形式。在事件表示学习里，可以采用神经网络、语义增强等方法。而事件预测作为脚本事件预测核心的任务，其方法多种多样。早期的预测的方法一般是基于统计学习，虽然它给出了相关的概率，但是其忽略了很多事件之间的信息。随着深度学习的发展，基于深度学习的脚本事件预测方法更加细致，其可以划分为基于事件对、事件链、事件图和结合型的集中大类方法。
尽管目前脚本事件预测的研究不断推进，但是却很少有人将外部知识与本体知识进行整合来进行事件预测。传统的脚本事件预测只关注本体知识，而忽略了外部知识整合，使得后续进行事件预测的精度达不到预期效果的问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供了一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置。本方法利用本体知识与外部知识的标签进行关联连接，同时利用文本的动态跨度来补全脚本事件中因为上下文跨度过大而忽略的信息，进而达到知识整合的目的，利用整合后的脚本事件进行预测，提高了预测精度。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法，包括以下步骤：
获取两个文档；
整合所述两个文档，得到整合后的文档；
基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构；
基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件。
进一步的，整合所述两个文档，得到整合后的文档，包括：
分别通过利用信息检索工具检索出所述两个文档中的相关事件。其中，一个事件是由主语、谓语、宾语以及介词宾语组成；
将每个文档中检索出的相关事件按照事件组成进行重新排序，得到两个最优事件脚本知识；
对于所述两个最优脚本知识进行整合，得到整合后的事件知识。
进一步的，分别通过利用信息检索工具检索出所述两个文档中的相关事件。其中，一个事件是由主语、谓语、宾语以及介词宾语组成，包括：
获取语料库中的两篇文档，使用The C&C工具与OpenNLP检索工具对两个文档中的事件进行检索。其中，The C&C工具用于词性标注和依赖关系解析，OpenNLP用于短语结构解析和共指解析。
将检索出的事件按照“主谓宾”的自然语言形式进行转换，形成的事件是一个三元组，即<es,ev,eo>,es代表主语，ev代表谓语，eo代表宾语。
进一步的，将每个文档中检索出的相关事件按照事件组成进行重新排序，得到两个最优事件脚本知识，包括：
将转换后的事件输入到BERT中，使事件获得了标记和序列。其中，BERT是一个预训练的语言表征模型；
获得标记和序列后，将事件按照序列排序并划分，得到新的三元组，即<h,r,t>。其中，h为头事件，t为尾事件，r为事件之间的关系。
进一步的，对于所述两个最优脚本知识进行整合，包括：
基于得到的新的三元组，去掉头部事件h和关系r进行整合。整合的过程是将外部事件知识与本体事件知识进行整理融合。整合的机制为：
其中，ti为第i个尾事件，k是外部知识三元组的个数，ai是所有三元组的归一化权值,c是外部知识的上下文表示。
进一步的，整合过程利用工具RoBERTa进行。
进一步的，基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构，包括：
对于将整合后的事件知识输入进BERT，通过BERT处理后，每一段文本都会被添加标记，进行多标签分类，得到带有标记的两个最优事件脚本知识；
对于得到的带有标记的两个最优事件脚本知识中相同标记的文本进行枚举连接，并且构造文本跨度；
基于构建的文本跨度，基于当前构建的对文档中跨度之间存在的关系的最佳猜测，动态生成一个事件图结构；
进一步的，对于得到的带有标记的两个最优事件脚本知识中相同标记的文本进行枚举连接，并且构造文本跨度，包括：
将经过处理后事件脚本知识进行相同文本标记的枚举连接。在枚举连接中，将通过连接上一步骤处理后事件脚本知识的相同标记，以及根据先验知识学习到的跨度宽度嵌入，进行枚举操作并构造文本的跨度。
进一步的，基于构建的文本跨度，基于当前构建的对文档中跨度之间存在的关系的最佳猜测，动态生成一个事件图结构，包括：
根据构建的文本跨度，基于模型当前对文档中跨间关系的最佳猜测，动态生成一个图结构。最佳猜测更新公式为：
其中，为任务x下跨度i和跨度j之间相似性的度量，/>为每一个跨度的表示。/>是根据图传播的三个变体，通过整合图中相邻节点的跨度表示来更新。
三个变体是指共指传播、关系传播、事件传播。在共指传播中，图中一个跨度的邻域是它可能的共指先行项。在关系传播中，邻居是句子中的相关实体。在事件传播中，有事件触发器节点和事件参数节点；触发器节点将消息传递给其可能的参数，而参数将消息传递回其可能的触发器。
通过这三个传播，构成事件图。
进一步的，基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件，包括：
将得到的事件图结构输入到放缩神经网络中，从而得到最终的预测得分，选择得分最高的候选事件作为预测的下一个事件。
其中，预测相关性分数的公式为：
其中，sij为第i个事件与第j个候选事件之间的相似性得分，αij为第i个事件与第j个候选事件之间权重，uij为注意力机制的公式，Wh、Wc、bu为参数，为相似度公式。
进一步的，放缩神经网络的构建方法包括：
放缩神经网络包括三个部分：
第一部分是表示层，用于学习初始事件表示。
第二部分是门控图神经网络，用于对事件之间的交互进行建模，并更新初始事件表示。
第三部分计算上下文与候选事件的关联度，根据关联度选择正确的后续事件。
放缩神经网络的输入为事件图结构，最终输出为候选事件和上下文事件之间的相关性分数；
第二方面，本发明提供一种基于文本动态跨度的整合外部事件知识的脚本事件预测装置，包括：
输入模块：用于获取两个文档；
整合模块：用于整合所述两个文档，得到整合后的文档；
事件图模块：用于基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构；
预测模块：用于基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件。
与现有技术相比，本发明所达到的有益效果：
1、本方法利用本体知识与外部知识的标签进行关联连接，同时利用文本的动态跨度来补全脚本事件中因为上下文跨度过大而忽略的信息，进而达到知识整合的目的，利用整合后的脚本事件进行预测，提高了预测精度。
2、本申请的方法将外部知识整合可以有效提高预测精度，同时也可以加强挖掘事件之间更深层次的交互性。
3、本发明针对脚本事件预测算法的改进，基于文本动态跨度的整合外部事件知识的脚本事件预测，能够整合外部知识并且考虑整合后信息上下文跨度过大的问题。该方法首先从两个脚本事件文档中进行信息检索提取所需的事件与事件信息，然后对检索后的信息进行排序并进行整合步骤，最后进行预测。此方法有效提高了预测的精确度。相对于传统脚本事件预测算法，能够将外部知识进行整合，并且对整合后的文本也能考虑上下文的跨度问题，从而进一步提高了预测精度。本方法整合外部事件知识进行较为精准的脚本事件预测。
附图说明
图1是基于文本动态跨度的整合外部事件知识的脚本事件预测的流程图；
图2是基于文本动态跨度的整合外部事件知识的脚本事件预测中实验数据预处理的流程图；
图3是基于文本动态跨度的整合外部事件知识的脚本事件预测的模型图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
本实施案例采用基于文本动态跨度的整合外部事件知识的脚本事件预测进行改进，进而提高算法预测精度。如图1所示，本方法包含如下步骤：
Step1、实验数据集预处理与外部知识整合：从《纽约时报》语料库中选择我们的数据集。数据集包含两篇关于同一事件的不同方面的报道，其中含有主角、事件、时间、地点等。接着对两个数据集进行整合，其中一个数据集视为本体，另外一个作为外部数据集；
Step2、构建文本动态跨度模型：训练基于文本动态跨度的模型，使外部知识可以与本体知识进行顺利结合，并形成事件图结构；
Step3、构建后续事件预测模型：在Step2的基础上，训练放缩图神经网络模型，使可以对事件图进行预测后续事件，从而得到预测后续事件的准确度，并评估后续事件选择的合理性。
作为本发明的优选方案，所述Step1包括：
Step1.1、参考NLP任务中常用的数据集，首先从相关网站上爬取《纽约时报》语料库中的两篇文档，接着使用The C&C工具与OpenNLP检索工具对两个文档中的事件进行检索。其中，The C&C工具用于词性标注和依赖关系解析，OpenNLP用于短语结构解析和共指解析。
Step1.2、将检索出的事件首先按照“主谓宾”的自然语言形式进行转换，即事件是一个三元组，即<es,ev,eo>,es代表主语，ev代表谓语，eo代表宾语。接着，将转换后的事件输入到BERT中，这样使事件获得了标记和序列。其中，BERT是一个预训练的语言表征模型，其全称是Bidirectional Encoder Representation from Transformers。获得标记和序列后，我们将事件按照序列排序并划分，得到新的三元组，即<h,r,t>。其中，h为头事件，t为尾事件，r为事件之间的关系。
Step3、将Step1.2中得到的新的三元组，我们只利用三元组中的尾部事件t，去掉头部事件h和关系r进行整合。整合过程利用已有工具RoBERTa进行。其中RoBERTa模型是BERT的改进版，能够处理更大的模型与数据。整合的过程是将外部事件知识与本体事件知识进行整理融合。整合的机制为：
其中，ti为第i个尾事件，k是外部知识三元组的个数，ai是所有三元组的归一化权值,c是外部知识的上下文表示。
作为本发明的优选方案，所述Step2包括：
Step2.1、将整合后的事件知识输入进文本动态跨度模型中的BERT，通过BERT处理后，整合后的事件知识会获得标。，每一段文本都会被添加不同的标记，从而达到多标签分类的目的，便于后续构造文本跨度。
Step2.2、将经过上一步骤处理后事件脚本知识进行相同文本标记的枚举连接。在枚举连接中，将通过连接上一步骤处理后事件脚本知识的相同标记，以及根据先验知识学习到的跨度宽度嵌入，进行枚举操作并构造文本的跨度。这一步骤是为了避免文本前后跨度过大而导致事件脚本知识的忽略。
Step2.3、根据上一步骤构建的文本跨度，基于模型当前对文档中跨间关系的最佳猜测，动态生成一个图结构。最佳猜测更新公式为：
其中，为任务x下跨度i和跨度j之间相似性的度量，/>为每一个跨度的表示。/>是根据图传播的三个变体，通过整合图中相邻节点的跨度表示来更新。三个变体是指共指传播、关系传播、事件传播。在共指传播中，图中一个跨度的邻域是它可能的共指先行项。在关系传播中，邻居是句子中的相关实体。在事件传播中，有事件触发器节点和事件参数节点；触发器节点将消息传递给其可能的参数，而参数将消息传递回其可能的触发器。通过这三个传播，可以构成事件图。
作为本发明的优选方案，所述Step3包括：
Step3.1、构建放缩神经网络。放缩神经网络是由三个部分组成。第一部分是表示层，用于学习初始事件表示。第二部分是门控图神经网络，用于对事件之间的交互进行建模，并更新初始事件表示。第三部分计算上下文与候选事件的关联度，根据关联度选择正确的后续事件。放缩神经网络的输入为事件图结构，最终输出为候选事件和上下文事件之间的相关性分数。
Step3.2、将上一步骤中得到的事件图结构输入到放缩神经网络中，从而得到最终的预测得分，选择得分最高的候选事件作为预测的下一个事件。
其中，预测相关性分数的公式为：
其中，sij为第i个事件与第j个候选事件之间的相似性得分，αij为第i个事件与第j个候选事件之间权重，uij为注意力机制的公式，Wh、Wc、bu为参数，为相似度公式。
整体来说，本实施案例采用基于文本动态跨度的整合外部事件知识的脚本事件预测进行改进，进而提高算法预测精度。如图1所示，本方法包含如下步骤：
步骤1，输入两个文档，分别通过利用信息检索工具检索出两个文件中的相关事件。其中，一个事件是由主语、谓语、宾语等组成，即<ei,a,vj>。
步骤2，将每个文档中检索出的相关事件按照事件组成进行重新排序，得到最优事件脚本事件知识；
步骤3，将两个最优脚本事件知识输入进BERT中，输出是BERT会为其添加不同的[CLS]标记，从而借助BERT进行多标签分类。
步骤4，对两个文本中相同标记的句子进行枚举连接，即寻找相同标记，进行重新结合事件的三元组，同时会考虑到实体、关系和事件三种跨度与传播效果。进而依据学习到的跨度宽度嵌入来构建文本跨度。
步骤5，根据步骤4，基于模型当前对文档中跨度之间存在的关系的最佳猜测，动态生成一个事件图。其中，动态更新公式为：其中，/>为任务x下的i与j的跨度，/>为每个图的跨度表示。通过迭代更新得到最终的图跨度表示/>从而构建了最终的事件图。
步骤6，为了进行较为精准的事件预测，拟采用缩放神经网络来进行处理。将生成的整合后的事件图输入到缩放神经网络中。通过缩放神经网络的表示层，得到初始的事件表示，然后经过GGNN得到更新后的最终事件表示。最后进行事件相关性的得分计算，得到得分最高的候选事件，从而成功预测下一事件。
步骤3)所述利用外部事件知识进行整合，补充了原文档中缺失或者不全面的内容。
步骤6)利用文本跨度进行构造文本跨度图，解决了文本跨度大时忽略部分信息的问题，能够细致补全生成事件图的内容。
本发明针对脚本事件预测算法的改进，基于文本动态跨度的整合外部事件知识的脚本事件预测，能够整合外部知识并且考虑整合后信息上下文跨度过大的问题。该方法首先从两个脚本事件文档中进行信息检索提取所需的事件与事件信息，然后对检索后的信息进行排序并进行整合步骤，最后进行预测。此方法有效提高了预测的精确度。相对于传统脚本事件预测算法，能够将外部知识进行整合，并且对整合后的文本也能考虑上下文的跨度问题，从而进一步提高了预测精度。本方法整合外部事件知识进行较为精准的脚本事件预测。
实施例二：
本实施例提供一种基于文本动态跨度的整合外部事件知识的脚本事件预测装置，包括：
输入模块：用于获取两个文档；
整合模块：用于整合所述两个文档，得到整合后的文档；
事件图模块：用于基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构；
预测模块：用于基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件。
本实施例的装置可用于实现实施例一所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，包括以下步骤：
获取两个文档；
整合所述两个文档，得到整合后的文档；
基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构；
基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件。
2.根据权利要求1所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，整合所述两个文档，得到整合后的文档，包括：
分别通过利用信息检索工具检索出所述两个文档中的相关事件；其中，一个事件是由主语、谓语、宾语以及介词宾语组成；
将每个文档中检索出的相关事件按照事件组成进行重新排序，得到两个最优事件脚本知识；
对于所述两个最优脚本知识进行整合，得到整合后的事件知识。
3.根据权利要求2所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，分别通过利用信息检索工具检索出所述两个文档中的相关事件；其中，一个事件是由主语、谓语、宾语以及介词宾语组成，包括：
获取语料库中的两篇文档，使用The C&C工具与OpenNLP检索工具对两个文档中的事件进行检索；其中，The C&C工具用于词性标注和依赖关系解析，OpenNLP用于短语结构解析和共指解析；
将检索出的事件按照“主谓宾”的自然语言形式进行转换，形成的事件是一个三元组，即<es,ev,eo>,es代表主语，ev代表谓语，eo代表宾语。
4.根据权利要求2所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，将每个文档中检索出的相关事件按照事件组成进行重新排序，得到两个最优事件脚本知识，包括：
将转换后的事件输入到BERT中，使事件获得了标记和序列；其中，BERT是一个预训练的语言表征模型；
获得标记和序列后，将事件按照序列排序并划分，得到新的三元组，即<h,r,t>；其中，h为头事件，t为尾事件，r为事件之间的关系。
5.根据权利要求4所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，对于所述两个最优脚本知识进行整合，包括：
基于得到的新的三元组，去掉头部事件h和关系r进行整合；整合的过程是将外部事件知识与本体事件知识进行整理融合；整合的机制为：
其中，ti为第i个尾事件，k是外部知识三元组的个数，ai是所有三元组的归一化权值,c是外部知识的上下文表示。
6.根据权利要求1所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构，包括：
对于将整合后的事件知识输入进BERT，通过BERT处理后，每一段文本都会被添加标记，进行多标签分类，得到带有标记的两个最优事件脚本知识；
对于得到的带有标记的两个最优事件脚本知识中相同标记的文本进行枚举连接，并且构造文本跨度；
基于构建的文本跨度，基于当前构建的对文档中跨度之间存在的关系的最佳猜测，动态生成一个事件图结构。
7.根据权利要求6所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，对于得到的带有标记的两个最优事件脚本知识中相同标记的文本进行枚举连接，并且构造文本跨度，包括：
将经过处理后事件脚本知识进行相同文本标记的枚举连接；在枚举连接中，将通过连接上一步骤处理后事件脚本知识的相同标记，以及根据先验知识学习到的跨度宽度嵌入，进行枚举操作并构造文本的跨度。
8.根据权利要求6所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，基于构建的文本跨度，基于当前构建的对文档中跨度之间存在的关系的最佳猜测，动态生成一个事件图结构，包括：
根据构建的文本跨度，基于模型当前对文档中跨间关系的最佳猜测，动态生成一个图结构；最佳猜测更新公式为：
其中，为任务x下跨度i和跨度j之间相似性的度量，/>为每一个跨度的表示；/>是根据图传播的三个变体，通过整合图中相邻节点的跨度表示来更新；
三个变体是指共指传播、关系传播、事件传播；在共指传播中，图中一个跨度的邻域是它可能的共指先行项；在关系传播中，邻居是句子中的相关实体；在事件传播中，有事件触发器节点和事件参数节点；触发器节点将消息传递给其可能的参数，而参数将消息传递回其可能的触发器；通过这三个传播，构成事件图。
9.根据权利要求6所述的基于文本动态跨度的整合外部事件知识的脚本事件预测方法，其特征在于，基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件，包括：
将得到的事件图结构输入到放缩神经网络中，从而得到最终的预测得分，选择得分最高的候选事件作为预测的下一个事件；
其中，预测相关性分数的公式为：
其中，sij为第i个事件与第j个候选事件之间的相似性得分，αij为第i个事件与第j个候选事件之间权重，uij为注意力机制的公式，Wh、Wc、bu为参数，为相似度公式；
放缩神经网络的构建方法包括：
放缩神经网络包括三个部分：
第一部分是表示层，用于学习初始事件表示；
第二部分是门控图神经网络，用于对事件之间的交互进行建模，并更新初始事件表示；
第三部分计算上下文与候选事件的关联度，根据关联度选择正确的后续事件；
放缩神经网络的输入为事件图结构，最终输出为候选事件和上下文事件之间的相关性分数。
10.一种基于文本动态跨度的整合外部事件知识的脚本事件预测装置，其特征在于，包括：
输入模块：用于获取两个文档；
整合模块：用于整合所述两个文档，得到整合后的文档；
事件图模块：用于基于整合后的文档，训练基于文本动态跨度的模型，使外部知识可以与本体知识进行结合，并生成事件图结构；
预测模块：用于基于生成的整合后的事件图结构进行下一事件预测，得到预测的下一事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311078433.4A CN117076608A (zh) | 2023-08-25 | 2023-08-25 | 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311078433.4A CN117076608A (zh) | 2023-08-25 | 2023-08-25 | 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076608A true CN117076608A (zh) | 2023-11-17 |
Family
ID=88711267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311078433.4A Pending CN117076608A (zh) | 2023-08-25 | 2023-08-25 | 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076608A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117350386A (zh) * | 2023-12-04 | 2024-01-05 | 南京信息工程大学 | 一种事件溯因推理方法及系统 |
-
2023
- 2023-08-25 CN CN202311078433.4A patent/CN117076608A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117350386A (zh) * | 2023-12-04 | 2024-01-05 | 南京信息工程大学 | 一种事件溯因推理方法及系统 |
| CN117350386B (zh) * | 2023-12-04 | 2024-03-19 | 南京信息工程大学 | 一种事件溯因推理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753566B (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
| CN113011533B (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| Jin et al. | Annotation order matters: Recurrent image annotator for arbitrary length image tagging | |
| CN107798140B (zh) | 一种对话系统构建方法、语义受控应答方法及装置 | |
| CN111611361A (zh) | 抽取式机器智能阅读理解问答系统 | |
| Zhang et al. | Keywords extraction with deep neural network model | |
| CN111401077A (zh) | 语言模型的处理方法、装置和计算机设备 | |
| Zhao et al. | ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN | |
| Tripathy et al. | Comprehensive analysis of embeddings and pre-training in NLP | |
| CN112328800A (zh) | 自动生成编程规范问题答案的系统及方法 | |
| US20240111956A1 (en) | Nested named entity recognition method based on part-of-speech awareness, device and storage medium therefor | |
| CN114358201A (zh) | 基于文本的情感分类方法和装置、计算机设备、存储介质 | |
| CN117076608A (zh) | 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 | |
| CN114298055B (zh) | 基于多级语义匹配的检索方法、装置、计算机设备和存储介质 | |
| CN116561570A (zh) | 一种多模态模型的训练方法、装置、设备及可读存储介质 | |
| CN110889505A (zh) | 一种图文序列匹配的跨媒体综合推理方法和系统 | |
| Seilsepour et al. | Self-supervised sentiment classification based on semantic similarity measures and contextual embedding using metaheuristic optimizer | |
| CN110377753B (zh) | 基于关系触发词与gru模型的关系抽取方法及装置 | |
| Tu | Named entity recognition and emotional viewpoint monitoring in online news using artificial intelligence | |
| CN116403231A (zh) | 基于双视图对比学习与图剪枝的多跳阅读理解方法及系统 | |
| KR20220145318A (ko) | 페러프레이저 모델을 이용한 질의 응답 검색 방법 및 검색 장치 | |
| Shirzad et al. | Deep Learning approach for text, image, and GIF multimodal sentiment analysis | |
| Alharahseheh et al. | A survey on textual entailment: Benchmarks, approaches and applications | |
| El-Gayar | Automatic Generation of Image Caption Based on Semantic Relation using Deep Visual Attention Prediction | |
| Liang et al. | Named Entity Recognition Method Based on BERT-whitening and Dynamic Fusion Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |