CN115423106A - 一种基于多模态事件知识图谱的溯因推理方法 - Google Patents

一种基于多模态事件知识图谱的溯因推理方法 Download PDF

Info

Publication number
CN115423106A
CN115423106A CN202211374352.4A CN202211374352A CN115423106A CN 115423106 A CN115423106 A CN 115423106A CN 202211374352 A CN202211374352 A CN 202211374352A CN 115423106 A CN115423106 A CN 115423106A
Authority
CN
China
Prior art keywords
event
model
image
traceability
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211374352.4A
Other languages
English (en)
Inventor
荣欢
骆维瀚
马廷淮
孙圣杰
于信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211374352.4A priority Critical patent/CN115423106A/zh
Publication of CN115423106A publication Critical patent/CN115423106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于多模态事件知识图谱的溯因推理方法，有机混合了事件知识图谱和多模态知识图谱的本体层和事实层，使事实知识可以通过多模态事件知识图谱的形式存储和使用，丰富了现行的知识组织和使用形式；同时对ege‑RoBERTa模型进行拓宽，增加了额外知识接口以及卷积自编码器训练通道，使其可以支持多模态事件信息作为额外知识辅助推理，得到更好的推理结果。

Description

一种基于多模态事件知识图谱的溯因推理方法
技术领域
本发明属于知识图谱和溯因推理技术领域，具体涉及一种基于多模态事件知识图谱的溯因推理方法，适用于处理基于知识库和不完整观察的溯因推理。
背景技术
对于知识图谱的构建和应用，早期多为使用关系三元组和属性三元组的形式存储和应用事实信息，知识图谱以复杂的图结构展现，提供了高效的计算和推理能力，在智能问答、决策支持等诸多应用方面表现出优异的性能。但由于世界的信息多数以事件为组织形式，以静态实体为核心的知识图谱不能很好的适应和存储相关的动态事件信息，所以以事件为中心的动态描述信息的事件知识图谱逐渐进入一些研究人员的视野，而多模态事件知识图谱的构建主要分为三个方面：事件知识图谱本体构建、事件信息抽取以及多模态对齐。
在事件知识图谱本体构建方面，使用SEM简单事件模型框架作为事件知识图谱的本体层框架，并在开发的事件知识图谱构建管道模型的基础上运用事件之间的时序关系构建了以事件为中心的时序知识图谱。有研究人员提出了一个跨模态事件提取系统，整合了99万个概念事件和644种关系类型，并结合设计的schema来组织从信息源中抽取出的多模态事件信息，最终构建以事件为中心的多模态事件知识图谱。
在事件信息抽取方面，提出抽取建议网络，以字符模式执行事件检测学习每个字符的混合标志，从而从字符和单词中捕获结构和语义信息，实现对中文文本的事件抽取。研究人员提出了一种端到端模型Doc2EDAG，通过模型生成基于实体的有向无环图，从而实现文档级的中文金融事件抽取。还有研究人员将文本CAMR的方法将文本转化为AMR图实现对文本的事件提取，同时将图片通过使用基于注意力机制和目标机制将图像转换为星型图的方法实现了对图像事件的抽取。
在多模态对齐方面，提出一种多模态事件表示学习框架，通过将文本和图像嵌入异构空间的方法实现图像和文本的对齐。有研究人员提出一种基于多模态神经网络的图像中文摘要生成方法，通过构建有卷积神经网络构成的编码器和由多模态摘要生成网络构成的解码层对图像输出中文摘要，实现多模态对齐。
而对于溯因推理领域而言，溯因推理的本质是根据所给的不完整观察推断出导致事件结果的最可能原因。首次提出溯因推理任务，并并总结了当时在溯因推理任务中表现最好的七个语言发生器构建。研究人员提出了一种基于变分自动编码器的模型ege-RoBERTa，利用一个潜在变量从事件图中获取必要的常识知识，用于指导主动推理任务。
发明内容
解决的技术问题：本发明基于多模态事件知识图谱的溯因推理方法，通过组合事件知识图谱和多模态知识图谱的方法实现多模态事件知识图谱的构建，在多模态事件知识图谱构建完成后，将其作为后续溯因推理的事实依据。
技术方案：
一种基于多模态事件知识图谱的溯因推理方法，所述溯因推理方法包括以下步骤：
S1，对现有的SEM简单事件框架进行扩充，采用GAF算法对扩充后的SEM简单事件框架进行注释，作为多模态事件知识图谱的本体层框架；
S2，建立多媒体新闻数据集，采用跨模态事件抽取模型对多媒体新闻数据中的文本和图像进行事实抽取，抽取其中的事件、论元元素，并将文本数据和图像数据中的事件和论元嵌入同一向量空间对齐；
S3，将抽取和对齐后的事件知识通过GAF对齐注释框架填入多模态事件知识图谱的事实层，构建出多模态事件知识图谱作为后续溯因推理的知识库；
S4，根据溯因任务所给的事件不完整观察，通过数据库搜索的方法从多模态事件知识图谱中找出对应的可疑成因事件和额外知识事件，以及可疑成因事件和额外知识事件对应的事件图片序列；
S5，采用有序图像注意模型对搜索出的图片序列进行文本化处理，输出对应的文本序列；
S6，对ege-RoBERTa溯因模型进行扩充，加入额外事件信息；增加卷积自编码器通道，结合卷积自编码器通道和扩充后的ege-RoBERTa溯因模型，构建溯因推理模型，溯因推理模型拥有读取图片序列中可用信息以及额外信息的能力；
S7，将步骤S4的文本序列和步骤S5的事件图像序列输入至溯因推理模型中，对扩充后的ege-RoBERTa溯因模型和卷积自编码器通道的溯因结果进行加权混合，对可疑成因事件进行评分预测，最终得到每种可能成因事件的概率，输出最有可能的不完整观察事件的成因。
进一步地，步骤S1中，对现有的SEM简单事件框架进行扩充，采用GAF算法对扩充后的SEM简单事件框架进行注释，作为多模态事件知识图谱的本体层框架的过程包括以下子步骤：
S11，构建SEM简单事件模型，SEM简单事件模型包括四个核心类：代表发生了什么事的sem:Event，代表参与者的sem:Actor，代表地点的sem:Place，代表何时的sem:Time；每个核心类都有一个相关的类型sem:Type，其中包含指示实例类型的资源；
S12，在SEM简单事件模型上添加imo:image核心类用来存储图片，再构建imo:imageEvent、imo:imageActor、imo:imagePlace三个子类，三者归属于sem:imageType，并通过属性与sem:Event，sem:Actor，sem:Place核心类链接；
S13，对于imo:image核心类的内部结构，图像的视觉描述符和相似性关系形成核心，嵌入imo图片本体，将图像的视觉描述符和相似性关系表示成资源描述框架。
进一步地，步骤S2中，建立多媒体新闻数据集，采用跨模态事件抽取模型对多媒体新闻数据中的文本和图像进行事实抽取，抽取其中的事件、论元元素，并将文本数据和图像数据中的事件和论元嵌入同一向量空间对齐的过程包括以下子步骤：
S21，采用CAMR分析程序对输入的文本情报信息源进行处理，生成相应的AMR图；
S22，经过Bi-LSTM编码词序，得到每个句子的token的表示，每个句子的token的表示包括预训练的GloVe词编码、词性标注、命名实体识别和位置编码；按照公式（1）和公式（2）对文本情报信息源中的事件和论元进行抽取：
Figure 100002_DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE004
式中，
Figure 100002_DEST_PATH_IMAGE006
表示在
Figure 100002_DEST_PATH_IMAGE008
条件下
Figure 100002_DEST_PATH_IMAGE010
成立的概率，
Figure 100002_DEST_PATH_IMAGE012
表示在
Figure 100002_DEST_PATH_IMAGE014
条件下
Figure 100002_DEST_PATH_IMAGE016
成立的概率；
Figure 100002_DEST_PATH_IMAGE018
为动词，
Figure 100002_DEST_PATH_IMAGE020
为实体，
Figure 100002_DEST_PATH_IMAGE022
为事件类型，
Figure 100002_DEST_PATH_IMAGE024
为论元角色，
Figure 100002_DEST_PATH_IMAGE026
和
Figure 100002_DEST_PATH_IMAGE028
、
Figure 100002_DEST_PATH_IMAGE030
和
Figure 100002_DEST_PATH_IMAGE032
分别表示模型在事件和论元条件下的神经层权重参数，
Figure 100002_DEST_PATH_IMAGE034
和
Figure 100002_DEST_PATH_IMAGE036
、
Figure 100002_DEST_PATH_IMAGE038
和
Figure 100002_DEST_PATH_IMAGE040
分别表示模型在事件和论元条件下的神经层偏移参数，
Figure 100002_DEST_PATH_IMAGE042
是模型GCN层中的公共空间表示，
Figure 100002_DEST_PATH_IMAGE044
是平均实体
Figure 100002_DEST_PATH_IMAGE046
的令牌后获得的嵌入表示；
S23，将每个图片表示为行为图，中心节点被标记为动词
Figure 100002_DEST_PATH_IMAGE048
；邻居节点使论元被标记为
Figure 100002_DEST_PATH_IMAGE050
，其中
Figure 100002_DEST_PATH_IMAGE052
为名词，从WordNet词法集得到，表明实体的类型；
Figure 100002_DEST_PATH_IMAGE054
表明实体在事件中扮演的角色；使用基于目标图的方法，按照公式（3）和公式（4）对图片情报信息源中的事件和论元进行抽取：
Figure 100002_DEST_PATH_IMAGE056
Figure 100002_DEST_PATH_IMAGE058
；
式中，
Figure 100002_DEST_PATH_IMAGE060
表示在图片
Figure 100002_DEST_PATH_IMAGE062
条件下动词
Figure 100002_DEST_PATH_IMAGE064
成立的概率，
Figure 100002_DEST_PATH_IMAGE066
表示在图片
Figure 100002_DEST_PATH_IMAGE068
条件下名词
Figure 100002_DEST_PATH_IMAGE070
成立的概率，
Figure 100002_DEST_PATH_IMAGE072
表示图片
Figure 100002_DEST_PATH_IMAGE074
的编码表示，
Figure 100002_DEST_PATH_IMAGE076
表示对
Figure 100002_DEST_PATH_IMAGE078
成立的似然估计，
Figure 100002_DEST_PATH_IMAGE080
表示对
Figure 100002_DEST_PATH_IMAGE082
成立的似然估计，
Figure 100002_DEST_PATH_IMAGE084
和
Figure 100002_DEST_PATH_IMAGE086
分别表示动词
Figure 100002_DEST_PATH_IMAGE088
和名词
Figure 100002_DEST_PATH_IMAGE090
的编码表示；
S24，通过GCN将AMR图和图片行为图嵌入到公共空间中，计算相似性<s,m>，匹配每个句子s和最接近的图像m，通过加权平均，将句子s中每个单词的特征与图像m中的对齐表示进行聚合，由公式（5）计算得出文本和图片的对齐结果：
Figure 100002_DEST_PATH_IMAGE092
式中，
Figure 100002_DEST_PATH_IMAGE094
，
Figure 100002_DEST_PATH_IMAGE096
表示单词特征向量，
Figure 100002_DEST_PATH_IMAGE098
表示图片特征向量，
Figure 100002_DEST_PATH_IMAGE100
表示对单词特征向量和图片特征向量加权平均化后的结果向量。
进一步地，步骤S4中，根据溯因任务所给的事件不完整观察，通过数据库搜索的方法从多模态事件知识图谱中找出对应的可疑成因事件和额外知识事件，以及可疑成因事件和额外知识事件对应的事件图片序列的过程包括：
输入事件的不完整观察事件数据集
Figure 100002_DEST_PATH_IMAGE102
，其中
Figure 100002_DEST_PATH_IMAGE104
分别表示前置事件数据和结果事件数据；根据
Figure 100002_DEST_PATH_IMAGE106
通过数据库查找方法在构建的多模态事件知识图谱中进行关联查找，得到与不完整观察
Figure 605522DEST_PATH_IMAGE106
可能的事件诱因
Figure 100002_DEST_PATH_IMAGE108
，其中
Figure 100002_DEST_PATH_IMAGE110
表示可能的第
Figure 100002_DEST_PATH_IMAGE112
个事件成因的文本表示，以及相关事实
Figure 100002_DEST_PATH_IMAGE114
及其图像序列
Figure 100002_DEST_PATH_IMAGE116
，其中
Figure 100002_DEST_PATH_IMAGE118
分别表示，
Figure 100002_DEST_PATH_IMAGE120
表示与事实相关的五张图片。
进一步地，步骤S5中，采用有序图像注意模型对搜索出的图片序列进行文本化处理，输出对应的文本序列的过程包括以下步骤：
基于注意的图像序列文本生成模型将查找到的图片序列
Figure 100002_DEST_PATH_IMAGE122
叙述生成的相关文本
Figure 100002_DEST_PATH_IMAGE124
作为模型的额外常识，其中
Figure 100002_DEST_PATH_IMAGE126
表示基于图片图片序列
Figure 100002_DEST_PATH_IMAGE128
生成的五个文本，最终生成文本序列
Figure 100002_DEST_PATH_IMAGE130
。
进一步地，步骤S7中，将步骤S4的文本序列和步骤S5的事件图像序列输入至溯因推理模型中，对扩充后的ege-RoBERTa溯因模型和卷积自编码器通道的溯因结果进行加权混合，对可疑成因事件进行评分预测，最终得到每种可能成因事件的概率，输出最有可能的不完整观察事件的成因的过程包括以下步骤：
S61，基于文本序列
Figure 100002_DEST_PATH_IMAGE132
构建事件图
Figure 100002_DEST_PATH_IMAGE134
，其中
Figure 100002_DEST_PATH_IMAGE136
是节点集，R是边集，每个节点
Figure 100002_DEST_PATH_IMAGE138
对应一个事件，
Figure 100002_DEST_PATH_IMAGE140
，
Figure 100002_DEST_PATH_IMAGE142
是表示有向边
Figure 100002_DEST_PATH_IMAGE144
，
Figure 100002_DEST_PATH_IMAGE146
，有向边权重
Figure 100002_DEST_PATH_IMAGE148
表示
Figure 100002_DEST_PATH_IMAGE150
是
Figure 100002_DEST_PATH_IMAGE152
的后续事件的概率；
Figure 100002_DEST_PATH_IMAGE154
的事件图由邻接矩阵
Figure 100002_DEST_PATH_IMAGE156
表示，初始化矩阵A如公式(6)所示：
Figure 100002_DEST_PATH_IMAGE158
式中，
Figure 100002_DEST_PATH_IMAGE160
表示矩阵第i行第j列元素的值，有向边权重
Figure 100002_DEST_PATH_IMAGE162
表示
Figure 100002_DEST_PATH_IMAGE164
是
Figure 100002_DEST_PATH_IMAGE166
的后续事件的概率；
S62，引入潜变量z，让潜变量z在训练过程从事件图中学习知识；使用三个神经网络来描述条件分布
Figure 100002_DEST_PATH_IMAGE168
，包括：先验网络
Figure 100002_DEST_PATH_IMAGE170
、识别网络
Figure 100002_DEST_PATH_IMAGE172
和神经似然度
Figure 100002_DEST_PATH_IMAGE174
，其中
Figure 100002_DEST_PATH_IMAGE176
和
Figure 100002_DEST_PATH_IMAGE178
表示网络的参数，最终输出事件
Figure 100002_DEST_PATH_IMAGE180
是不完整观察
Figure 100002_DEST_PATH_IMAGE182
的成因的概率
Figure 100002_DEST_PATH_IMAGE184
，其中
Figure 100002_DEST_PATH_IMAGE186
表示根据不完整观察
Figure 100002_DEST_PATH_IMAGE188
事件
Figure 100002_DEST_PATH_IMAGE190
成立的概率；
ege-RoBERTa溯因模型训练的loss函数
Figure 100002_DEST_PATH_IMAGE192
如下：
Figure 100002_DEST_PATH_IMAGE194
；
其中，
Figure 100002_DEST_PATH_IMAGE196
表示识别网络
Figure 100002_DEST_PATH_IMAGE198
在
Figure 100002_DEST_PATH_IMAGE200
和A条件下的对z的数学期望，A表示步骤S61中的事件图邻接矩阵，Y1表示ege-RoBERTa溯因模型的溯因结果，X表示事件序列
Figure 100002_DEST_PATH_IMAGE202
，X0表示先验事件序列
Figure 100002_DEST_PATH_IMAGE204
；
S63，将事件图像序列
Figure 100002_DEST_PATH_IMAGE206
作为数据源放入卷积自编码器中进行预训练，得到训练后的卷积自编码器，使用预训练后的卷积自编码器对事件hn是不完整观察
Figure 100002_DEST_PATH_IMAGE208
的成因的概率Y2进行预测，输出hn是不完整观察
Figure 100002_DEST_PATH_IMAGE210
的成因的概率
Figure 100002_DEST_PATH_IMAGE212
，其中
Figure 100002_DEST_PATH_IMAGE214
表示根据不完整观察
Figure 100002_DEST_PATH_IMAGE216
事件
Figure 100002_DEST_PATH_IMAGE218
成立的概率；
S64，使用
Figure 100002_DEST_PATH_IMAGE220
自适应加强算法，计算扩充后的ege-RoBERTa溯因模型
Figure 100002_DEST_PATH_IMAGE222
和卷积自编码器
Figure 100002_DEST_PATH_IMAGE224
之间的混合权重。
进一步地，步骤S64中，使用
Figure 100002_DEST_PATH_IMAGE226
自适应加强算法，计算扩充后的ege-RoBERTa溯因模型
Figure 100002_DEST_PATH_IMAGE228
和卷积自编码器模型
Figure 100002_DEST_PATH_IMAGE230
之间的混合权重的过程包括以下步骤：
S641，计算第
Figure 100002_DEST_PATH_IMAGE232
个溯因推理器
Figure 100002_DEST_PATH_IMAGE234
在训练中的加权误差率
Figure 100002_DEST_PATH_IMAGE236
，公式如下：
Figure 100002_DEST_PATH_IMAGE238
；
式中，a表示溯因推理器的总数量，
Figure 100002_DEST_PATH_IMAGE240
表示训练器对第i条数据的输入，
Figure 100002_DEST_PATH_IMAGE242
表示事实结果，
Figure 100002_DEST_PATH_IMAGE244
表示第k个分类器对第i个数据的权重，
Figure 100002_DEST_PATH_IMAGE246
表示对预测结果与事实结果是否相同的判断，相同为I的值为1，反之为0；
通过加权误差率
Figure 100002_DEST_PATH_IMAGE248
计算第
Figure 100002_DEST_PATH_IMAGE250
个分类器
Figure 100002_DEST_PATH_IMAGE252
的权重系数
Figure 100002_DEST_PATH_IMAGE254
，公式如下：
Figure 100002_DEST_PATH_IMAGE256
；
其中，溯因推理模型个数
Figure 100002_DEST_PATH_IMAGE258
，
Figure 100002_DEST_PATH_IMAGE260
的取值集合为
Figure 100002_DEST_PATH_IMAGE262
，计算的两个模型的混合权重
Figure 100002_DEST_PATH_IMAGE264
，得到扩充ege-RoBERTa溯因模型
Figure 100002_DEST_PATH_IMAGE266
和卷积自编码器模型
Figure 100002_DEST_PATH_IMAGE268
各自的混合权重
Figure 100002_DEST_PATH_IMAGE270
和
Figure 100002_DEST_PATH_IMAGE272
；
S642，对两个已经训练完成的分类器
Figure 100002_DEST_PATH_IMAGE274
进行集成混合，混合公式如下：
Figure 100002_DEST_PATH_IMAGE276
；
式（10）中，
Figure 100002_DEST_PATH_IMAGE278
和
Figure 100002_DEST_PATH_IMAGE280
表示两个模型的溯因预测结果，最终混合结果为
Figure 100002_DEST_PATH_IMAGE282
，其中，
Figure 100002_DEST_PATH_IMAGE284
表示该不完整观察
Figure 100002_DEST_PATH_IMAGE286
的成因事件是hk的概率；
S643，选取
Figure 100002_DEST_PATH_IMAGE288
中概率最高的成因事件作为最终溯因模型预测的事件成因。
有益效果：
第一，本发明的基于多模态事件知识图谱的溯因推理方法，对现有事件知识图谱本体层框架进行扩充，使其可以容纳和引用多模态知识，在原有事件知识图谱的基础上增加了知识的裕度和广度。
第二，本发明的基于多模态事件知识图谱的溯因推理方法，提出一种图片序列多通道应用方法，将图片序列通过文本化任务输出成为文本序列，将输出的文本序列和图片序列同时作为推理模型的事实依据。
第三，本发明的基于多模态事件知识图谱的溯因推理方法，在原有ege-RoBERTa溯因模型的基础上，对模型进行修改，使其可以支持图片知识的输入，使模型可用的特征数据更丰富，在溯因推理中的表现更好。
附图说明
图1是多模态事件知识图谱本体层示意图；
图2是多模态结构化的公共空间示例图；
图3是多模态事件知识图谱事实层示意图；
图4是基于有序图像注意文本生成模型流程示意图；
图5是修改扩充后的ege-RoBERTa溯因模型示意图；
图6是本发明实施例的基于多模态事件知识图谱的溯因推理方法流程图。
具体实施方式
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
图6是本发明实施例的基于多模态事件知识图谱的溯因推理方法流程图。参见图6，所述溯因推理方法包括以下步骤：
S1，对现有的SEM简单事件框架进行扩充，采用GAF算法对扩充后的SEM简单事件框架进行注释，作为多模态事件知识图谱的本体层框架。
S2，建立多媒体新闻数据集，采用跨模态事件抽取模型对多媒体新闻数据中的文本和图像进行事实抽取，抽取其中的事件、论元元素，并将文本数据和图像数据中的事件和论元嵌入同一向量空间对齐。
S3，将抽取和对齐后的事件知识通过GAF对齐注释框架填入多模态事件知识图谱的事实层，构建出多模态事件知识图谱作为后续溯因推理的知识库。
S4，根据溯因任务所给的事件不完整观察，通过数据库搜索的方法从多模态事件知识图谱中找出对应的可疑成因事件和额外知识事件，以及可疑成因事件和额外知识事件对应的事件图片序列。
S5，采用有序图像注意模型对搜索出的图片序列进行文本化处理，输出对应的文本序列。
S6，对ege-RoBERTa溯因模型进行扩充，加入额外事件信息；增加卷积自编码器通道，结合卷积自编码器通道和扩充后的ege-RoBERTa溯因模型，构建溯因推理模型，溯因推理模型拥有读取图片序列中可用信息以及额外信息的能力。
S7，将步骤S4的文本序列和步骤S5的事件图像序列输入至溯因推理模型中，对扩充后的ege-RoBERTa溯因模型和卷积自编码器通道的溯因结果进行加权混合，对可疑成因事件进行评分预测，最终得到每种可能成因事件的概率，输出最有可能的不完整观察事件的成因。
进一步的，如图1所示，步骤1的具体方法如下：
步骤1.1：构建SEM简单事件模型。有四个核心类：sem:Event（发生了什么事），sem:Actor（参与者），sem:Place（地点），sem:Time（何时）。每个核心类都有一个相关的类型sem:Type，其中包含指示实例类型的资源。实例及其类型通常借用其他词汇。
步骤1.2：在步骤1.1所构建模型上添加imo:image核心类用来存储图片，下构建imo:imageEvent、imo:imageActor、imo:imagePlace三个子类，三者归属于sem:imageType。并通过属性与sem:Event，sem:Actor，sem:Place核心类链接。
步骤1.3：对于步骤1.2中imo:image的内部结构，图像的视觉描述符和相似性关系形成核心，为了将这些关系表示成RDF，嵌入imo图片本体。
进一步的，如图2所示，步骤2的具体方法如下：
步骤2.1：对于输入的文本情报数据，使用AMR表示文本，并使用CAMR分析程序生成AMR图，得到；使用预训练的GloVe词编码、词性标注、命名实体识别和位置编码表示句子中的一个token。
步骤2.2：经过Bi-LSTM编码词序，得到每个句子的token的表示。对每个动词
Figure DEST_PATH_IMAGE290
为事件类型
Figure DEST_PATH_IMAGE292
和每个实体
Figure DEST_PATH_IMAGE294
为论元角色
Figure DEST_PATH_IMAGE296
，按照公式（1）和公式（2）对文本数据源中的事件和论元进行抽取。抽取公式如下：
Figure DEST_PATH_IMAGE298
；
Figure DEST_PATH_IMAGE300
。
步骤2.3：将每个图片表示为行为图，中心节点被标记为动词
Figure DEST_PATH_IMAGE302
，邻居节点使论元被标记为
Figure DEST_PATH_IMAGE304
，其中
Figure DEST_PATH_IMAGE306
为名词从WordNet词法集得到，表明实体的类型，r表明实体在事件中扮演的角色。使用基于目标图的方法，按照公式（3）和公式（4）对图中的事件和论元进行抽取，得到图片的事件和论元。抽取公式如下：
Figure DEST_PATH_IMAGE308
；
Figure DEST_PATH_IMAGE310
。
步骤2.4：在对文本和图片情报信息源进行事件、论元抽取之后，通过GCN将AMR图和图片行为图嵌入到公共空间中，然后计算相似性<s,m>,匹配每个句子s和最接近的图像m，通过加权平均，将s中每个单词的特征与m中的对齐表示进行聚合,最终由公式（5）计算得出文本和图片的对齐结果。
Figure DEST_PATH_IMAGE312
。
进一步的，步骤3的具体方法如下：
步骤3：在步骤1）本体层的基础上加入GAF对齐注释框架，通过GAF对其注释框架实现从信息源到事件知识图谱事实层的引用。将步骤2）中抽取的事件知识根据步骤1）构建的本体层填入事实层中，事件知识图谱样例如图3所示。
进一步的，步骤4的具体方法如下：
输入事件的不完整观察事件数据集
Figure DEST_PATH_IMAGE314
，根据
Figure DEST_PATH_IMAGE316
通过数据库查找方法在步骤3构建的多模态事件知识图谱中进行关联查找，得到与不完整观察
Figure DEST_PATH_IMAGE318
可能的事件诱因
Figure DEST_PATH_IMAGE320
，以及相关事实
Figure DEST_PATH_IMAGE322
及其图像序列
Figure DEST_PATH_IMAGE324
。
进一步的，步骤5的具体方法如下：
基于注意的图像序列文本生成模型将步骤4中查找到的图片序列
Figure DEST_PATH_IMAGE326
叙述生成的相关文本
Figure DEST_PATH_IMAGE328
作为模型的额外常识，最终生成文本序列
Figure DEST_PATH_IMAGE330
，详细文本生成模型流程如图4所示。
进一步的，步骤7的具体方法如下：
步骤7.1：基于文本序列
Figure DEST_PATH_IMAGE332
构建事件图
Figure DEST_PATH_IMAGE334
。其中V是节点集，R是边集。每个节点
Figure DEST_PATH_IMAGE336
对应一个事件，而
Figure DEST_PATH_IMAGE338
是表示有向边
Figure DEST_PATH_IMAGE340
以及有向边权重
Figure DEST_PATH_IMAGE342
，表示
Figure DEST_PATH_IMAGE344
是
Figure DEST_PATH_IMAGE346
的后续事件的概率。所以
Figure DEST_PATH_IMAGE348
的事件图可以得到由邻接矩阵
Figure DEST_PATH_IMAGE350
来表示，初始化矩阵A公式如下：
Figure DEST_PATH_IMAGE352
。
步骤7.2：引入潜变量z，让潜变量z在训练过程从事件图中学习知识。使用三个神经网络来描述条件分布
Figure DEST_PATH_IMAGE354
：先验网络
Figure DEST_PATH_IMAGE356
、识别网络
Figure DEST_PATH_IMAGE358
和神经似然度
Figure DEST_PATH_IMAGE360
，其中
Figure DEST_PATH_IMAGE362
和
Figure DEST_PATH_IMAGE364
表示网络的参数，最终输出hn是不完整观察
Figure DEST_PATH_IMAGE366
的成因的概率
Figure DEST_PATH_IMAGE368
。
ege-RoBERTa溯因模型训练的loss函数如下：
Figure DEST_PATH_IMAGE370
；
其中，A表示步骤7.1中的事件图邻接矩阵，Y1表示ege-RoBERTa溯因模型的溯因结果，即事件hn是不完整观察
Figure DEST_PATH_IMAGE372
的成因的概率，X表示事件序列
Figure DEST_PATH_IMAGE374
，X0表示先验事件序列
Figure DEST_PATH_IMAGE376
。
步骤7.3:将事件图像序列
Figure DEST_PATH_IMAGE378
作为数据源放入卷积自编码器中进行预训练，得到训练后的卷积自编码器。使用预训练后的卷积自编码器对事件hn是不完整观察
Figure DEST_PATH_IMAGE380
的成因的概率Y2进行预测，最终输出hn是不完整观察
Figure 537923DEST_PATH_IMAGE380
的成因的概率
Figure DEST_PATH_IMAGE382
。
步骤7.4:运用集成学习的思想使用
Figure DEST_PATH_IMAGE384
自适应加强算法，计算扩充ege-RoBERTa溯因模型
Figure DEST_PATH_IMAGE386
和卷积自编码器
Figure DEST_PATH_IMAGE388
之间的混合权重，
Figure 808499DEST_PATH_IMAGE384
自适应加强算法如下：
计算第
Figure DEST_PATH_IMAGE390
个溯因推理器
Figure DEST_PATH_IMAGE392
在训练中的加权误差率
Figure DEST_PATH_IMAGE394
，公式如下：
Figure DEST_PATH_IMAGE396
；
通过加权误差率
Figure DEST_PATH_IMAGE398
计算第
Figure DEST_PATH_IMAGE400
个分类器
Figure DEST_PATH_IMAGE402
的权重系数
Figure DEST_PATH_IMAGE404
，公式如下：
Figure DEST_PATH_IMAGE406
；
其中，溯因推理模型个数
Figure DEST_PATH_IMAGE408
，因此
Figure DEST_PATH_IMAGE410
的取值集合为
Figure DEST_PATH_IMAGE412
。计算的两个模型的混合权重
Figure DEST_PATH_IMAGE414
，最终得到扩充ege-RoBERTa溯因模型
Figure DEST_PATH_IMAGE416
和卷积自编码器模型
Figure DEST_PATH_IMAGE418
各自的混合权重
Figure DEST_PATH_IMAGE420
和
Figure DEST_PATH_IMAGE422
。
最后对两个已经训练完成的分类器
Figure DEST_PATH_IMAGE424
进行集成混合，混合公式如下：
Figure DEST_PATH_IMAGE426
；
公式（10）中，
Figure DEST_PATH_IMAGE428
和
Figure DEST_PATH_IMAGE430
为计算得到的模型混合权重，
Figure DEST_PATH_IMAGE432
和
Figure DEST_PATH_IMAGE434
表示两个模型的溯因预测结果。最终混合结果为
Figure DEST_PATH_IMAGE436
，其中，
Figure DEST_PATH_IMAGE438
表示该不完整观察
Figure DEST_PATH_IMAGE440
的成因事件是hk的概率，选取
Figure DEST_PATH_IMAGE442
中概率最高的成因事件作为最终溯因模型预测的事件成因。
本实施例提供了一种基于多模态事件知识图谱的溯因推理方法，包括以下步骤：对现有的SEM简单事件框架进行扩充，使其可以适应多模态数据的存储；使用跨模态事件抽取模型对多媒体新闻数据中的文本和图像进行事实抽取，抽取其中的事件、论元等事件元素，并将多模态抽取内容嵌入同一向量空间对齐；将抽取和对齐后的事件知识通过GAF对齐注释框架填入多模态事件知识图谱的事实层，构建出多模态事件知识图谱作为后续溯因推理的知识库；再根据溯因任务所给的事件不完整观察，通过数据库搜索的方法从多模态事件知识图谱中找出对应的可疑成因事件和额外知识事件及其对应的事件图片序列；对搜索出的图片序列使用有序图像注意模型进行文本化，并输出对应的文本序列；最后将文本序列和图像序列输入修改扩充后的ege-RoBERTa溯因模型中，对可疑成因事件进行评分预测，最终得到最有可能的不完整观察事件的成因。本实施例有机混合了事件知识图谱和多模态知识图谱的本体层和事实层，使事实知识可以通过多模态事件知识图谱的形式存储和使用，丰富了现行的知识组织和使用形式。对ege-RoBERTa溯因模型进行拓宽，增加了额外知识接口以及卷积自编码器训练通道，使其可以支持多模态事件信息作为额外知识辅助推理，得到更好的推理结果。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于多模态事件知识图谱的溯因推理方法，其特征在于，所述溯因推理方法包括以下步骤：
S1，对现有的SEM简单事件框架进行扩充，采用GAF算法对扩充后的SEM简单事件框架进行注释，作为多模态事件知识图谱的本体层框架；
S2，建立多媒体新闻数据集，采用跨模态事件抽取模型对多媒体新闻数据中的文本和图像进行事实抽取，抽取其中的事件、论元元素，并将文本数据和图像数据中的事件和论元嵌入同一向量空间对齐；
S3，将抽取和对齐后的事件知识通过GAF对齐注释框架填入多模态事件知识图谱的事实层，构建出多模态事件知识图谱作为后续溯因推理的知识库；
S4，根据溯因任务所给的事件不完整观察，通过数据库搜索的方法从多模态事件知识图谱中找出对应的可疑成因事件和额外知识事件，以及可疑成因事件和额外知识事件对应的事件图片序列；
S5，采用有序图像注意模型对搜索出的图片序列进行文本化处理，输出对应的文本序列；
S6，对ege-RoBERTa溯因模型进行扩充，加入额外事件信息；增加卷积自编码器通道，结合卷积自编码器通道和扩充后的ege-RoBERTa溯因模型，构建溯因推理模型，溯因推理模型拥有读取图片序列中可用信息以及额外信息的能力；
S7，将步骤S4的文本序列和步骤S5的事件图像序列输入至溯因推理模型中，对扩充后的ege-RoBERTa溯因模型和卷积自编码器通道的溯因结果进行加权混合，对可疑成因事件进行评分预测，最终得到每种可能成因事件的概率，输出最有可能的不完整观察事件的成因。
2.根据权利要求1所述的基于多模态事件知识图谱的溯因推理方法，其特征在于，步骤S1中，对现有的SEM简单事件框架进行扩充，采用GAF算法对扩充后的SEM简单事件框架进行注释，作为多模态事件知识图谱的本体层框架的过程包括以下子步骤：
S11，构建SEM简单事件模型，SEM简单事件模型包括四个核心类：代表发生了什么事的sem:Event，代表参与者的sem:Actor，代表地点的sem:Place，代表何时的sem:Time；每个核心类都有一个相关的类型sem:Type，其中包含指示实例类型的资源；
S12，在SEM简单事件模型上添加imo:image核心类用来存储图片，再构建imo:imageEvent、imo:imageActor、imo:imagePlace三个子类，三者归属于sem:imageType，并通过属性与sem:Event，sem:Actor，sem:Place核心类链接；
S13，对于imo:image核心类的内部结构，图像的视觉描述符和相似性关系形成核心，嵌入imo图片本体，将图像的视觉描述符和相似性关系表示成资源描述框架。
3.根据权利要求1所述的基于多模态事件知识图谱的溯因推理方法，其特征在于，步骤S2中，建立多媒体新闻数据集，采用跨模态事件抽取模型对多媒体新闻数据中的文本和图像进行事实抽取，抽取其中的事件、论元元素，并将文本数据和图像数据中的事件和论元嵌入同一向量空间对齐的过程包括以下子步骤：
S21，采用CAMR分析程序对输入的文本情报信息源进行处理，生成相应的AMR图；
S22，经过Bi-LSTM编码词序，得到每个句子的token的表示，每个句子的token的表示包括预训练的GloVe词编码、词性标注、命名实体识别和位置编码；按照公式（1）和公式（2）对文本情报信息源中的事件和论元进行抽取：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
式中，
Figure DEST_PATH_IMAGE006
表示在
Figure DEST_PATH_IMAGE008
条件下
Figure DEST_PATH_IMAGE010
成立的概率，
Figure DEST_PATH_IMAGE012
表示在
Figure DEST_PATH_IMAGE014
条件下
Figure DEST_PATH_IMAGE016
成立的概率；
Figure DEST_PATH_IMAGE018
为动词，
Figure DEST_PATH_IMAGE020
为实体，
Figure DEST_PATH_IMAGE022
为事件类型，
Figure DEST_PATH_IMAGE024
为论元角色，
Figure DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE032
分别表示模型在事件和论元条件下的神经层权重参数，
Figure DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE036
、
Figure DEST_PATH_IMAGE038
和
Figure DEST_PATH_IMAGE040
分别表示模型在事件和论元条件下的神经层偏移参数，
Figure DEST_PATH_IMAGE042
是模型GCN层中的公共空间表示，
Figure DEST_PATH_IMAGE044
是平均实体
Figure DEST_PATH_IMAGE046
的令牌后获得的嵌入表示；
S23，将每个图片表示为行为图，中心节点被标记为动词
Figure DEST_PATH_IMAGE048
；邻居节点使论元被标记为
Figure DEST_PATH_IMAGE050
，其中
Figure DEST_PATH_IMAGE052
为名词，从WordNet词法集得到，表明实体的类型；
Figure DEST_PATH_IMAGE054
表明实体在事件中扮演的角色；使用基于目标图的方法，按照公式（3）和公式（4）对图片情报信息源中的事件和论元进行抽取：
Figure DEST_PATH_IMAGE056
Figure DEST_PATH_IMAGE058
；
式中，
Figure DEST_PATH_IMAGE060
表示在图片
Figure DEST_PATH_IMAGE062
条件下动词
Figure DEST_PATH_IMAGE064
成立的概率，
Figure DEST_PATH_IMAGE066
表示在图片
Figure DEST_PATH_IMAGE068
条件下名词
Figure DEST_PATH_IMAGE070
成立的概率，
Figure DEST_PATH_IMAGE072
表示图片
Figure DEST_PATH_IMAGE074
的编码表示，
Figure DEST_PATH_IMAGE076
表示对
Figure DEST_PATH_IMAGE078
成立的似然估计，
Figure DEST_PATH_IMAGE080
表示对
Figure DEST_PATH_IMAGE082
成立的似然估计，
Figure DEST_PATH_IMAGE084
和
Figure DEST_PATH_IMAGE086
分别表示动词
Figure DEST_PATH_IMAGE088
和名词
Figure DEST_PATH_IMAGE090
的编码表示；
S24，通过GCN将AMR图和图片行为图嵌入到公共空间中，计算相似性<s,m>，匹配每个句子s和最接近的图像m，通过加权平均，将句子s中每个单词的特征与图像m中的对齐表示进行聚合，由公式（5）计算得出文本和图片的对齐结果：
Figure DEST_PATH_IMAGE092
式中，
Figure DEST_PATH_IMAGE094
，
Figure DEST_PATH_IMAGE096
表示单词特征向量，
Figure DEST_PATH_IMAGE098
表示图片特征向量，
Figure DEST_PATH_IMAGE100
表示对单词特征向量和图片特征向量加权平均化后的结果向量。
4.根据权利要求1所述的基于多模态事件知识图谱的溯因推理方法，其特征在于，步骤S4中，根据溯因任务所给的事件不完整观察，通过数据库搜索的方法从多模态事件知识图谱中找出对应的可疑成因事件和额外知识事件，以及可疑成因事件和额外知识事件对应的事件图片序列的过程包括：
输入事件的不完整观察事件数据集
Figure DEST_PATH_IMAGE102
，其中
Figure DEST_PATH_IMAGE104
分别表示前置事件数据和结果事件数据；根据
Figure DEST_PATH_IMAGE106
通过数据库查找方法在构建的多模态事件知识图谱中进行关联查找，得到与不完整观察
Figure 779766DEST_PATH_IMAGE106
可能的事件诱因
Figure DEST_PATH_IMAGE108
，其中
Figure DEST_PATH_IMAGE110
表示可能的第
Figure DEST_PATH_IMAGE112
个事件成因的文本表示，以及相关事实
Figure DEST_PATH_IMAGE114
及其图像序列
Figure DEST_PATH_IMAGE116
，其中
Figure DEST_PATH_IMAGE118
分别表示，
Figure DEST_PATH_IMAGE120
表示与事实相关的五张图片。
5.根据权利要求4所述的基于多模态事件知识图谱的溯因推理方法，其特征在于，步骤S5中，采用有序图像注意模型对搜索出的图片序列进行文本化处理，输出对应的文本序列的过程包括以下步骤：
基于注意的图像序列文本生成模型将查找到的图片序列
Figure DEST_PATH_IMAGE122
叙述生成的相关文本
Figure DEST_PATH_IMAGE124
作为模型的额外常识，其中
Figure DEST_PATH_IMAGE126
表示基于图片图片序列
Figure DEST_PATH_IMAGE128
生成的五个文本，最终生成文本序列
Figure DEST_PATH_IMAGE130
。
6.根据权利要求5所述的基于多模态事件知识图谱的溯因推理方法，其特征在于，步骤S7中，将步骤S4的文本序列和步骤S5的事件图像序列输入至溯因推理模型中，对扩充后的ege-RoBERTa溯因模型和卷积自编码器通道的溯因结果进行加权混合，对可疑成因事件进行评分预测，最终得到每种可能成因事件的概率，输出最有可能的不完整观察事件的成因的过程包括以下步骤：
S61，基于文本序列
Figure DEST_PATH_IMAGE132
构建事件图
Figure DEST_PATH_IMAGE134
，其中
Figure DEST_PATH_IMAGE136
是节点集，R是边集，每个节点
Figure DEST_PATH_IMAGE138
对应一个事件，
Figure DEST_PATH_IMAGE140
，
Figure DEST_PATH_IMAGE142
是表示有向边
Figure DEST_PATH_IMAGE144
，
Figure DEST_PATH_IMAGE146
，有向边权重
Figure DEST_PATH_IMAGE148
表示
Figure DEST_PATH_IMAGE150
是
Figure DEST_PATH_IMAGE152
的后续事件的概率；
Figure DEST_PATH_IMAGE154
的事件图由邻接矩阵
Figure DEST_PATH_IMAGE156
表示，初始化矩阵A如公式(6)所示：
Figure DEST_PATH_IMAGE158
式中，
Figure DEST_PATH_IMAGE160
表示矩阵第i行第j列元素的值，有向边权重
Figure DEST_PATH_IMAGE162
表示
Figure DEST_PATH_IMAGE164
是
Figure DEST_PATH_IMAGE166
的后续事件的概率；
S62，引入潜变量z，让潜变量z在训练过程从事件图中学习知识；使用三个神经网络来描述条件分布
Figure DEST_PATH_IMAGE168
，包括：先验网络
Figure DEST_PATH_IMAGE170
、识别网络
Figure DEST_PATH_IMAGE172
和神经似然度
Figure DEST_PATH_IMAGE174
，其中
Figure DEST_PATH_IMAGE176
和
Figure DEST_PATH_IMAGE178
表示网络的参数，最终输出事件
Figure DEST_PATH_IMAGE180
是不完整观察
Figure DEST_PATH_IMAGE182
的成因的概率
Figure DEST_PATH_IMAGE184
，其中
Figure DEST_PATH_IMAGE186
表示根据不完整观察
Figure DEST_PATH_IMAGE188
事件
Figure DEST_PATH_IMAGE190
成立的概率；
ege-RoBERTa溯因模型训练的loss函数
Figure DEST_PATH_IMAGE192
如下：
Figure DEST_PATH_IMAGE194
；
其中，
Figure DEST_PATH_IMAGE196
表示识别网络
Figure DEST_PATH_IMAGE198
在
Figure DEST_PATH_IMAGE200
和A条件下的对z的数学期望，A表示步骤S61中的事件图邻接矩阵，Y1表示ege-RoBERTa溯因模型的溯因结果，X表示事件序列
Figure DEST_PATH_IMAGE202
，X0表示先验事件序列
Figure DEST_PATH_IMAGE204
；
S63，将事件图像序列
Figure DEST_PATH_IMAGE206
作为数据源放入卷积自编码器中进行预训练，得到训练后的卷积自编码器，使用预训练后的卷积自编码器对事件hn是不完整观察
Figure DEST_PATH_IMAGE208
的成因的概率Y2进行预测，输出hn是不完整观察
Figure DEST_PATH_IMAGE210
的成因的概率
Figure DEST_PATH_IMAGE212
，其中
Figure DEST_PATH_IMAGE214
表示根据不完整观察
Figure DEST_PATH_IMAGE216
事件
Figure DEST_PATH_IMAGE218
成立的概率；
S64，使用
Figure DEST_PATH_IMAGE220
自适应加强算法，计算扩充后的ege-RoBERTa溯因模型
Figure DEST_PATH_IMAGE222
和卷积自编码器
Figure DEST_PATH_IMAGE224
之间的混合权重。
7.根据权利要求6所述的基于多模态事件知识图谱的溯因推理方法，其特征在于，步骤S64中，使用
Figure DEST_PATH_IMAGE226
自适应加强算法，计算扩充后的ege-RoBERTa溯因模型
Figure DEST_PATH_IMAGE228
和卷积自编码器模型
Figure DEST_PATH_IMAGE230
之间的混合权重的过程包括以下步骤：
S641，计算第
Figure DEST_PATH_IMAGE232
个溯因推理器
Figure DEST_PATH_IMAGE234
在训练中的加权误差率
Figure DEST_PATH_IMAGE236
，公式如下：
Figure DEST_PATH_IMAGE238
；
式中，a表示溯因推理器的总数量，
Figure DEST_PATH_IMAGE240
表示训练器对第i条数据的输入，
Figure DEST_PATH_IMAGE242
表示事实结果，
Figure DEST_PATH_IMAGE244
表示第k个分类器对第i个数据的权重，
Figure DEST_PATH_IMAGE246
表示对预测结果与事实结果是否相同的判断，相同为I的值为1，反之为0；
通过加权误差率
Figure DEST_PATH_IMAGE248
计算第
Figure DEST_PATH_IMAGE250
个分类器
Figure DEST_PATH_IMAGE252
的权重系数
Figure DEST_PATH_IMAGE254
，公式如下：
Figure DEST_PATH_IMAGE256
；
其中，溯因推理模型个数
Figure DEST_PATH_IMAGE258
，
Figure DEST_PATH_IMAGE260
的取值集合为
Figure DEST_PATH_IMAGE262
，计算的两个模型的混合权重
Figure DEST_PATH_IMAGE264
，得到扩充ege-RoBERTa溯因模型
Figure DEST_PATH_IMAGE266
和卷积自编码器模型
Figure DEST_PATH_IMAGE268
各自的混合权重
Figure DEST_PATH_IMAGE270
和
Figure DEST_PATH_IMAGE272
；
S642，对两个已经训练完成的分类器
Figure DEST_PATH_IMAGE274
进行集成混合，混合公式如下：
Figure DEST_PATH_IMAGE276
；
式（10）中，
Figure DEST_PATH_IMAGE278
和
Figure DEST_PATH_IMAGE280
表示两个模型的溯因预测结果，最终混合结果为
Figure DEST_PATH_IMAGE282
，其中，
Figure DEST_PATH_IMAGE284
表示该不完整观察
Figure DEST_PATH_IMAGE286
的成因事件是hk的概率；
S643，选取
Figure DEST_PATH_IMAGE288
中概率最高的成因事件作为最终溯因模型预测的事件成因。
CN202211374352.4A 2022-11-04 2022-11-04 一种基于多模态事件知识图谱的溯因推理方法 Pending CN115423106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211374352.4A CN115423106A (zh) 2022-11-04 2022-11-04 一种基于多模态事件知识图谱的溯因推理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211374352.4A CN115423106A (zh) 2022-11-04 2022-11-04 一种基于多模态事件知识图谱的溯因推理方法

Publications (1)

Publication Number Publication Date
CN115423106A true CN115423106A (zh) 2022-12-02

Family

ID=84207352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211374352.4A Pending CN115423106A (zh) 2022-11-04 2022-11-04 一种基于多模态事件知识图谱的溯因推理方法

Country Status (1)

Country Link
CN (1) CN115423106A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837892A (zh) * 2019-11-12 2020-02-25 广东外语外贸大学 基于带类型关系路径嵌入的事实溯因推理方法
CN114064918A (zh) * 2021-11-06 2022-02-18 中国电子科技集团公司第五十四研究所 一种多模态事件知识图谱构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837892A (zh) * 2019-11-12 2020-02-25 广东外语外贸大学 基于带类型关系路径嵌入的事实溯因推理方法
CN114064918A (zh) * 2021-11-06 2022-02-18 中国电子科技集团公司第五十四研究所 一种多模态事件知识图谱构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI DU等: "Learning Event Graph Knowledge for Abductive Reasoning", 《11TH INTERNATIONAL JOINT CONFERENCE ON NATURAL LANGUAGE PROCESSING》 *
MANLING LI等: "Cross-media Structured Common Space for Multimedia Event Extraction", 《ARXIV:2005.02472V1》 *
MARCO ROSPOCHER等: "Building Event-Centric Knowledge Graphs from News", 《WEB SEMANTICS》 *

Similar Documents

Publication Publication Date Title
Rahate et al. Multimodal co-learning: Challenges, applications with datasets, recent advances and future directions
Uppal et al. Multimodal research in vision and language: A review of current and emerging trends
CN110717017B (zh) 一种处理语料的方法
CN113761936B (zh) 一种基于多头自注意力机制的多任务篇章级事件抽取方法
Li et al. Context-aware emotion cause analysis with multi-attention-based neural network
CN114064918B (zh) 一种多模态事件知识图谱构建方法
Ezaldeen et al. A hybrid E-learning recommendation integrating adaptive profiling and sentiment analysis
JP7290861B2 (ja) 質問応答システムのための回答分類器及び表現ジェネレータ、並びに表現ジェネレータを訓練するためのコンピュータプログラム
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN112597296A (zh) 一种基于计划机制和知识图谱引导的摘要生成方法
CN113326374B (zh) 基于特征增强的短文本情感分类方法及系统
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN116521882A (zh) 基于知识图谱的领域长文本分类方法及系统
CN113268592B (zh) 基于多层次交互注意力机制的短文本对象情感分类方法
CN114443846A (zh) 一种基于多层级文本异构图的分类方法、装置及电子设备
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
CN110377753B (zh) 基于关系触发词与gru模型的关系抽取方法及装置
Xu et al. Research on Depression Tendency Detection Based on Image and Text Fusion
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
Zhang et al. An attentive memory network integrated with aspect dependency for document-level multi-aspect sentiment classification
CN111723301B (zh) 基于层次化主题偏好语义矩阵的关注关系识别及标注方法
Sur CRUR: coupled-recurrent unit for unification, conceptualization and context capture for language representation-a generalization of bi directional LSTM
CN115423106A (zh) 一种基于多模态事件知识图谱的溯因推理方法
CN113449517A (zh) 基于bert门控多窗口注意力网络模型的实体关系抽取方法
Amanatidis et al. A Convolutional Neural Network for Sentiment Analysis of TripAdvisor reviews

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination