CN114020936A - 多模态事理图谱的构建方法、系统和可读存储介质 - Google Patents

Abstract

本发明公开的一种多模态事理图谱的构建方法、系统和可读存储介质，其中方法包括：基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。本发明能够实现跨模态的知识表示，通过多维度描述进行查证补全使知识可信度更高；同时能够实现多模态知识融合消歧，方便计算、推理，为知识推理提供多层次基础支撑，为事理图谱应用落地提供保障；另外可以使得知识类型更加丰富、立体。

Description

多模态事理图谱的构建方法、系统和可读存储介质

技术领域

本发明涉及知识工程技术领域，更具体的，涉及一种多模态事理图谱的构建方法、系统和可读存储介质。

背景技术

事理图谱（Event Logic Graph，缩写ELG），是一个基于知识图谱本体与实体概念之上的事理逻辑知识库，描述了事件之间的演化规律和模式。结构上，事理图谱是一个有向有环图，其中节点代表事件，有向边代表事件之间的顺承、因果、条件和上下位等事理逻辑关系。

在实际的应用场景中，不同行业领域的数据来源广泛、形式多样，而目前业界对事理图谱的研究，主要关注文本和结构化数据，这就有很大的局限性，没有考虑不同模态数据之间的对应和依赖关系，最终融合的事理图谱无法很好地揭示多模态数据本身蕴含的各种关联，利用多模态的数据也可以用来帮助提升实体消歧、事件消歧的效果。例如，要将文本“有人看到李某在北京的一家超市购物”中的实体“李某”链接到事理图谱中。但图谱中可能包含两个不同的李某。一个是网球选手，另外一个是歌手。假如仅仅依靠文本信息，则无法消除这个歧义。但如果这段新闻还配有对应的图片，同时事理图谱中李某实体也关联对应的照片，则能通过图片对齐来提升实体消歧、事件消歧的效果。

发明内容

本发明的目的是提供一种多模态事理图谱的构建方法、系统和可读存储介质，能够实现跨模态的知识表示，以及多模态知识融合消歧，方便计算、推理，使得知识类型更加丰富和立体。

本发明第一方面提供了一种多模态事理图谱的构建方法，包括以下步骤：

基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

本方案中，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

本方案中，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。

本方案中，所述基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建，具体包括：

基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合；

进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建。

本方案中，所述基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合，具体包括：

基于所述概念层以及所述数据层，通过对齐、关联以及合并所述事理图谱，将多个所述事理图谱中的本体、实体、事件本体以及事件进行链接，其中，

基于所述概念层完成本体对齐以及事件本体对齐；

基于所述数据层完成实体对齐以及事件对齐。

本发明第二方面还提供一种多模态事理图谱的构建系统，包括存储器和处理器，所述存储器中包括多模态事理图谱的构建方法程序，所述多模态事理图谱的构建方法程序被所述处理器执行时实现如下步骤：

基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

本方案中，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

本方案中，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。

本方案中，所述基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建，具体包括：

基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合；

进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建。

本方案中，所述基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合，具体包括：

基于所述概念层以及所述数据层，通过对齐、关联以及合并所述事理图谱，将多个所述事理图谱中的本体、实体、事件本体以及事件进行链接，其中，

基于所述概念层完成本体对齐以及事件本体对齐；

基于所述数据层完成实体对齐以及事件对齐。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种多模态事理图谱的构建方法程序，所述多模态事理图谱的构建方法程序被处理器执行时，实现如上述任一项所述的一种多模态事理图谱的构建方法的步骤。

本发明公开的一种多模态事理图谱的构建方法、系统和可读存储介质，能够实现跨模态的知识表示，通过多维度描述进行查证补全使知识可信度更高；同时能够实现多模态知识融合消歧，方便计算、推理，为知识推理提供多层次基础支撑，为事理图谱应用落地提供保障；另外可以使得知识类型更加丰富、立体。

附图说明

图1示出了本发明一种多模态事理图谱的构建方法的流程图；

图2示出了本发明一种多模态事理图谱的构建系统的框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了本申请一种多模态事理图谱的构建方法的流程图。

如图1所示，本申请公开了一种多模态事理图谱的构建方法，包括以下步骤：

S102，基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

S104，将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

S106，基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

需要说明的是，具体流程步骤如下述所示。

根据本发明实施例，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

需要说明的是，首先对多模态知识进行抽取，基于所述训练数据的文本、图像、音频、视频的数据构建特征提取模型，即所述预设模型，而后基于所述特征提取模型分别完成单模态数据语义特征提取，以建立对应多模态数据的所述依赖关系，并进行基于多模态数据的实体抽取、实体消歧、实体属性抽取、实体关系抽取、事件抽取等操作。

其中，实体抽取指在多模态数据源中识别出特定的元素标签，并与实体库中的标签相链接，具体从信息源中识别并提取实体，包括基于规则与词典的方法、基于统计机器学习的方法、面向开放域的抽取方法；实体关系抽取意在找到多模态数据源中实体间的关系，可分为全局抽取和局部抽取，具体从信息源中抽取实体间的关系，包括有监督学习抽取和远程监督学习抽取；实体属性抽取可以看作实体和其属性值之间的关系，具体对信息源中实体的特征和性质进行抽取，包括利用基于频率的属性抽取、利用句法关系抽取、利用监督学习抽取、利用主题模型抽取；事件抽取是将多模态数据源中的事件信息（事件的时间、地点、人物、原因、结果等）抽取，并结构化地表现出来，包括开放域或限定域事件抽取，事理关系抽取（包含事件顺承、因果、上下位关系抽取等），具体是将多模态数据源中的事件信息（事件的时间、地点、人物、原因、结果等）抽取，并结构化地表现出来，包括开放域或限定域事件抽取，事理关系抽取（包含事件顺承、因果、上下位关系抽取等），事件抽取任务总体可以分为两个大类：元事件抽取和主题事件抽取，元事件表示一个动作的发生或状态的变化，往往由动词驱动，也可以由能表示动作的名词等其他词性的词来触发，它包括参与该动作行为的主要成分 ( 如时间、地点、人物等) ，主题事件包括一类核心事件或活动以及所有与之直接相关的事件和活动，可以由多个元事件片段组成，元事件抽取方法包括基于模式匹配的元事件抽取、基于机器学习的元事件抽取、基于神经网络的抽取方法，主题事件抽取方法包括基于事件框架的主题事件抽取、基于本体的主题事件抽取。

根据本发明实施例，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。

需要说明的是，多模态知识表示具体是基于所述词嵌入、所述无监督图嵌入、所述属性图嵌入以及所述异构图嵌入等方式，将不同类型数据投射到同一向量空间中进行表示，实现跨模态的多模态知识表示；而后通过量化语义信息计算所述本体间、所述实体间、所述事件本体间以及所述事件间的相似度，以计算事理关系置信强度，实现实体关系抽取、实体对齐、事件对齐和知识推理的效果。

具体地，通过机器学习将研究对象的语义信息表示为稠密低维实值向量，将实体e和关系r表示为两个不同向量，在向量空间中，通过欧式距离或余弦距离等方式，计算任意两个对象之间的语义相似度，可以快速计算实体间、事件间的语义相似度，还可以事理图谱补全，构建大规模事理图谱，需要不断补充实体间、事件间的关系，利用知识表示学习模型，可以预测实体间、事件间的关系。优选地，知识表示学习的代表模型，包括距离模型、单层神经网络模型、能量模型、双线性模型、张量神经网络模型、矩阵分解模型和翻译模型等。

根据本发明实施例，所述基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建，具体包括：

基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合；

进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建。

需要说明的是，获取到所述计算结果后，从所述概念层和所述数据层两方面，通过所述事理图谱的对齐、关联、合并等方式，将多个事理图谱或信息源中的本体、实体、事件本体、事件进行链接，形成一个更加统一、稠密的事理图谱。

具体地，首先对数据进行预处理：原始数据的质量会直接影响到最终链接的结果，不同的数据集对同一实体的描述方式往往是不相同的，对这些数据进行归一化是提高后续链接精确度的重要步骤，常用的数据预处理有：语法正规化和数据正规化，而后记录链接：实体之间通过属性相似度计算、实体相似度计算，进行记录连接，其中，属性相似度的计算有多种方法，常用的有编辑距离、集合相似度计算、基于向量的相似度计算等；实体相似度的计算方法包括聚合、聚类和表示学习，事件之间通过事件相似度和事件关联度计算，进行记录连接；事件相似度计算方法包括：根据事件相似度预训练语义模型，自动化计算两个事件间的相似度，判别两个事件是同一事件的概率。

进一步地，通过文本内事件描述的判断，计算相似度，输出对应的置信度分值，同时支持对判别结果进行自定义过滤与筛选；事件关联度计算方法包括：根据事件关联度预训练语义模型，自动化计算两个事件间的顺承、因果、条件和上下位等事理逻辑关系，判别两个事件相关联的概率，通过文本内事件描述的判断，计算关联度，输出对应的置信度分值，同时支持对判别结果进行自定义过滤与筛选；再然后进行分块，常用的分块方法有基于Hash函数的分块、邻近分块等，常见的Hash函数有：字符串的前n个字、n-grams、结合多个简单的hash函数等，邻近分块算法包含Canopy聚类、排序邻居算法、Red-Blue Set Cover等，最后进行负载均衡，来保证所有块中的实体数目相当,从而保证分块对性能的提升程度，其中，可以利用多次Map-Reduce来进行操作。

根据本发明实施例，所述基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合，具体包括：

基于所述概念层以及所述数据层，通过对齐、关联以及合并所述事理图谱，将多个所述事理图谱中的本体、实体、事件本体以及事件进行链接，其中，

基于所述概念层完成本体对齐以及事件本体对齐；

基于所述数据层完成实体对齐以及事件对齐。

需要说明的是，所述概念层的知识融合主要表现为所述本体对齐、所述事件本体对齐，具体是指确定本体概念、本体关系、本体属性等本体之间映射关系，以及确定事件本体、事理关系、事件属性的过程，一般通过机器学习算法、深度学习算法对本体间的相似度、事件本体间的相似度进行计算来实现，根据自然语言类型，可分为单语言对齐和跨语言对齐，其中跨语言对齐是实现知识国际交流的重要方式；另外，所述数据层的知识融合主要表现为共指消解和所述实体对齐、所述具体事件对齐，其中，所述共指消解意在将同一信息源中同一实体、同一事件的不同标签统一，实现消歧的目的；所述实体对齐、所述事件对齐是将不同信息源中同一实体、同一事件进行统一，使信息源之间产生联结。

根据本发明实施例，所述进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建，具体包括：

基于机器学习构建所述本体以及所述事件本体；

对各所述实体间的关系以及各所述事件间的关系进行判断，完成所述质检评估，其中，

当评估通过后，基于构建的所述本体以及所述事件本体完成所述多模态事理图谱的构建。

需要说明的是，由所述机器学习或者深度学习驱动进行自动构建所述本体以及所述事件本体，构建所述本体包含三个阶段——实体并列关系相似度计算、实体上下位关系抽取、本体的生成，构建所述事件本体包括构建语料库，通过学习有语料库，抽取事件以及事件各要素，抽取事件类分类以及非分类关系，实现基于事件本体的事件分类关系推理，其中，本体构建是所述事理图谱内实体连通的语义基础，事件本体构建是所述事理图谱内事件连通的语义基础，对各所述实体间的关系以及各所述事件间的关系进行判断，完成所述质检评估，以确保事理图谱的合理性，其中，利用知识推理进行判断，具体是通过对已有实体间关系、已有事件间关系的计算，找到实体间新关联、事件间新关联，直至判断全部合理时停止更新，完成所述多模态事理图谱的构建，其中，所述知识推理包括推理本体的概念层次关系、推理实体间的关系、推理实体的属性值、推理事件本体的层次关系、推理事件间的分类关系（包含关系、继承关系）和非分类关系（组成关系、因果关系、跟随关系、伴随关系、共轭关系、条件选择、随机选择等），这一块的算法主要有三大类——基于逻辑的推理、基于图的推理、基于深度学习的推理。

值得一提的是，所述单模态数据特征的提取具体包括如下步骤：

从图像特征和图像的文本化描述两个层面完成所述图像数据语义特征抽取；

基于预设算法完成所述音频数据语义特征提取；

从视频特征和视频的文本化描述两个层面，完成视频数据语义特征抽取；

基于机器学习和/或深度学习完成所述文本数据语义特征提取。

需要说明的是，图像特征提取：采用EfficientNet、Swin-Transformer、YOLOX等算法，提取图像中物体语义信息，并识别图像中的事件，以及实体之间的关系网络等隐藏信息，图像数据的文本化描述信息提取：采用编码器-解码器模型，其中，具体的图像文本化特征提取步骤将如下：首先，在编码器部分使用LSTM等技术编码句子，使用EfficientNet、Swin-Transformer、YOLOX等编码图像特征，对于图像描述，语言模型这种神经网络可以基于网络提取出的特征预测描述中的词序列并根据已经生成的词构建描述，常用的方法是使用循环神经网络作为语言模型，比如长短期记忆网络（LSTM），每个输出时间步骤都会在序列中生成一个新词，然后每个生成的词都会使用一个词嵌入（比如 word2vec）进行编码，该编码会作为输入被传递给解码器以生成后续的词。

进一步地，利用基于动态时间规整（Dynamic Time Warping）的算法、基于参数模型的隐马尔可夫模型（HMM）的方法、基于非参数模型的矢量量化（VQ）的方法等技术，完成所述音频数据语义特征提取；采用机器学习、深度学习技术，进行词法分析、句法分析、语用分析、语境分析，实现词汇级、句法级、篇章级、跨篇章级等所述文本数据语义特征提取，而对于所述视频数据语义特征抽取，视频特征提取具体是利用two-stream(双流)方法、C3D方法(三维卷积核法、CNN-LSTM方法(卷积循环神经网络)、基于动态时间规整（Dynamic TimeWarping）的算法、基于参数模型的隐马尔可夫模型（HMM）的方法、基于非参数模型的矢量量化（VQ）的方法等技术，对视频中的人物、物体、行为、事件等，进行语义提取；视频的文本化描述信息提取具体是利用S2VT（sequence to sequence: video to text）模型等技术进行视频的文本化描述信息提取，S2VT由两个LSTM网络叠加而成，第一个LSTM将通过卷积神经网络提取到的帧特征向量作为输入进行逐个编码，一旦读取完所有的帧，模型会逐个单词的生成一个句子，帧和单词表示的编码和解码工作由平行语料库学习得到。

值得一提的是，所述方法还包括对知识的可信度尽量量化进行质量评估。

需要说明的是，具体通过对知识的可信度进行量化，通过舍弃置信度较低的知识来保障知识库的质量，以进行质量评估，优选地，所述置信度可取“93%”。

图2示出了本发明一种多模态事理图谱的构建系统的框图。

如图2所示，本发明公开了一种多模态事理图谱的构建系统，包括存储器和处理器，所述存储器中包括多模态事理图谱的构建方法程序，所述多模态事理图谱的构建方法程序被所述处理器执行时实现如下步骤：

基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

需要说明的是，具体流程步骤如下述所示。

根据本发明实施例，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

需要说明的是，首先对多模态知识进行抽取，基于所述训练数据的文本、图像、音频、视频的数据构建特征提取模型，即所述预设模型，而后基于所述特征提取模型分别完成单模态数据语义特征提取，以建立对应多模态数据的所述依赖关系，并进行基于多模态数据的实体抽取、实体消歧、实体属性抽取、实体关系抽取、事件抽取等操作。

其中，实体抽取指在多模态数据源中识别出特定的元素标签，并与实体库中的标签相链接，具体从信息源中识别并提取实体，包括基于规则与词典的方法、基于统计机器学习的方法、面向开放域的抽取方法；实体关系抽取意在找到多模态数据源中实体间的关系，可分为全局抽取和局部抽取，具体从信息源中抽取实体间的关系，包括有监督学习抽取和远程监督学习抽取；实体属性抽取可以看作实体和其属性值之间的关系，具体对信息源中实体的特征和性质进行抽取，包括利用基于频率的属性抽取、利用句法关系抽取、利用监督学习抽取、利用主题模型抽取；事件抽取是将多模态数据源中的事件信息（事件的时间、地点、人物、原因、结果等）抽取，并结构化地表现出来，包括开放域或限定域事件抽取，事理关系抽取（包含事件顺承、因果、上下位关系抽取等），具体是将多模态数据源中的事件信息（事件的时间、地点、人物、原因、结果等）抽取，并结构化地表现出来，包括开放域或限定域事件抽取，事理关系抽取（包含事件顺承、因果、上下位关系抽取等），事件抽取任务总体可以分为两个大类：元事件抽取和主题事件抽取，元事件表示一个动作的发生或状态的变化，往往由动词驱动，也可以由能表示动作的名词等其他词性的词来触发，它包括参与该动作行为的主要成分 ( 如时间、地点、人物等) ，主题事件包括一类核心事件或活动以及所有与之直接相关的事件和活动，可以由多个元事件片段组成，元事件抽取方法包括基于模式匹配的元事件抽取、基于机器学习的元事件抽取、基于神经网络的抽取方法，主题事件抽取方法包括基于事件框架的主题事件抽取、基于本体的主题事件抽取。

根据本发明实施例，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。

需要说明的是，多模态知识表示具体是基于所述词嵌入、所述无监督图嵌入、所述属性图嵌入以及所述异构图嵌入等方式，将不同类型数据投射到同一向量空间中进行表示，实现跨模态的多模态知识表示；而后通过量化语义信息计算所述本体间、所述实体间、所述事件本体间以及所述事件间的相似度，以计算事理关系置信强度，实现实体关系抽取、实体对齐、事件对齐和知识推理的效果。

具体地，通过机器学习将研究对象的语义信息表示为稠密低维实值向量，将实体e和关系r表示为两个不同向量，在向量空间中，通过欧式距离或余弦距离等方式，计算任意两个对象之间的语义相似度，可以快速计算实体间、事件间的语义相似度，还可以事理图谱补全，构建大规模事理图谱，需要不断补充实体间、事件间的关系，利用知识表示学习模型，可以预测实体间、事件间的关系。优选地，知识表示学习的代表模型，包括距离模型、单层神经网络模型、能量模型、双线性模型、张量神经网络模型、矩阵分解模型和翻译模型等。

根据本发明实施例，所述基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建，具体包括：

基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合；

进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建。

需要说明的是，获取到所述计算结果后，从所述概念层和所述数据层两方面，通过所述事理图谱的对齐、关联、合并等方式，将多个事理图谱或信息源中的本体、实体、事件本体、事件进行链接，形成一个更加统一、稠密的事理图谱。

具体地，首先对数据进行预处理：原始数据的质量会直接影响到最终链接的结果，不同的数据集对同一实体的描述方式往往是不相同的，对这些数据进行归一化是提高后续链接精确度的重要步骤，常用的数据预处理有：语法正规化和数据正规化，而后记录链接：实体之间通过属性相似度计算、实体相似度计算，进行记录连接，其中，属性相似度的计算有多种方法，常用的有编辑距离、集合相似度计算、基于向量的相似度计算等；实体相似度的计算方法包括聚合、聚类和表示学习，事件之间通过事件相似度和事件关联度计算，进行记录连接；事件相似度计算方法包括：根据事件相似度预训练语义模型，自动化计算两个事件间的相似度，判别两个事件是同一事件的概率。

进一步地，通过文本内事件描述的判断，计算相似度，输出对应的置信度分值，同时支持对判别结果进行自定义过滤与筛选；事件关联度计算方法包括：根据事件关联度预训练语义模型，自动化计算两个事件间的顺承、因果、条件和上下位等事理逻辑关系，判别两个事件相关联的概率，通过文本内事件描述的判断，计算关联度，输出对应的置信度分值，同时支持对判别结果进行自定义过滤与筛选；再然后进行分块，常用的分块方法有基于Hash函数的分块、邻近分块等，常见的Hash函数有：字符串的前n个字、n-grams、结合多个简单的hash函数等，邻近分块算法包含Canopy聚类、排序邻居算法、Red-Blue Set Cover等，最后进行负载均衡，来保证所有块中的实体数目相当,从而保证分块对性能的提升程度，其中，可以利用多次Map-Reduce来进行操作。

根据本发明实施例，所述基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合，具体包括：

基于所述概念层以及所述数据层，通过对齐、关联以及合并所述事理图谱，将多个所述事理图谱中的本体、实体、事件本体以及事件进行链接，其中，

基于所述概念层完成本体对齐以及事件本体对齐；

基于所述数据层完成实体对齐以及事件对齐。

需要说明的是，所述概念层的知识融合主要表现为所述本体对齐、所述事件本体对齐，具体是指确定本体概念、本体关系、本体属性等本体之间映射关系，以及确定事件本体、事理关系、事件属性的过程，一般通过机器学习算法、深度学习算法对本体间的相似度、事件本体间的相似度进行计算来实现，根据自然语言类型，可分为单语言对齐和跨语言对齐，其中跨语言对齐是实现知识国际交流的重要方式；另外，所述数据层的知识融合主要表现为共指消解和所述实体对齐、所述具体事件对齐，其中，所述共指消解意在将同一信息源中同一实体、同一事件的不同标签统一，实现消歧的目的；所述实体对齐、所述事件对齐是将不同信息源中同一实体、同一事件进行统一，使信息源之间产生联结。

根据本发明实施例，所述进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建，具体包括：

基于机器学习构建所述本体以及所述事件本体；

对各所述实体间的关系以及各所述事件间的关系进行判断，完成所述质检评估，其中，

当评估通过后，基于构建的所述本体以及所述事件本体完成所述多模态事理图谱的构建。

需要说明的是，由所述机器学习或者深度学习驱动进行自动构建所述本体以及所述事件本体，构建所述本体包含三个阶段——实体并列关系相似度计算、实体上下位关系抽取、本体的生成，构建所述事件本体包括构建语料库，通过学习有语料库，抽取事件以及事件各要素，抽取事件类分类以及非分类关系，实现基于事件本体的事件分类关系推理，其中，本体构建是所述事理图谱内实体连通的语义基础，事件本体构建是所述事理图谱内事件连通的语义基础，对各所述实体间的关系以及各所述事件间的关系进行判断，完成所述质检评估，以确保事理图谱的合理性，其中，利用知识推理进行判断，具体是通过对已有实体间关系、已有事件间关系的计算，找到实体间新关联、事件间新关联，直至判断全部合理时停止更新，完成所述多模态事理图谱的构建，其中，所述知识推理包括推理本体的概念层次关系、推理实体间的关系、推理实体的属性值、推理事件本体的层次关系、推理事件间的分类关系（包含关系、继承关系）和非分类关系（组成关系、因果关系、跟随关系、伴随关系、共轭关系、条件选择、随机选择等），这一块的算法主要有三大类——基于逻辑的推理、基于图的推理、基于深度学习的推理。

值得一提的是，所述单模态数据特征的提取具体包括如下步骤：

从图像特征和图像的文本化描述两个层面完成所述图像数据语义特征抽取；

基于预设算法完成所述音频数据语义特征提取；

从视频特征和视频的文本化描述两个层面，完成视频数据语义特征抽取；

基于机器学习和/或深度学习完成所述文本数据语义特征提取。

需要说明的是，图像特征提取：采用EfficientNet、Swin-Transformer、YOLOX等算法，提取图像中物体语义信息，并识别图像中的事件，以及实体之间的关系网络等隐藏信息，图像数据的文本化描述信息提取：采用编码器-解码器模型，其中，具体的图像文本化特征提取步骤将如下：首先，在编码器部分使用LSTM等技术编码句子，使用EfficientNet、Swin-Transformer、YOLOX等编码图像特征，对于图像描述，语言模型这种神经网络可以基于网络提取出的特征预测描述中的词序列并根据已经生成的词构建描述，常用的方法是使用循环神经网络作为语言模型，比如长短期记忆网络（LSTM），每个输出时间步骤都会在序列中生成一个新词，然后每个生成的词都会使用一个词嵌入（比如 word2vec）进行编码，该编码会作为输入被传递给解码器以生成后续的词。

进一步地，利用基于动态时间规整（Dynamic Time Warping）的算法、基于参数模型的隐马尔可夫模型（HMM）的方法、基于非参数模型的矢量量化（VQ）的方法等技术，完成所述音频数据语义特征提取；采用机器学习、深度学习技术，进行词法分析、句法分析、语用分析、语境分析，实现词汇级、句法级、篇章级、跨篇章级等所述文本数据语义特征提取，而对于所述视频数据语义特征抽取，视频特征提取具体是利用two-stream(双流)方法、C3D方法(三维卷积核法、CNN-LSTM方法(卷积循环神经网络)、基于动态时间规整（Dynamic TimeWarping）的算法、基于参数模型的隐马尔可夫模型（HMM）的方法、基于非参数模型的矢量量化（VQ）的方法等技术，对视频中的人物、物体、行为、事件等，进行语义提取；视频的文本化描述信息提取具体是利用S2VT（sequence to sequence: video to text）模型等技术进行视频的文本化描述信息提取，S2VT由两个LSTM网络叠加而成，第一个LSTM将通过卷积神经网络提取到的帧特征向量作为输入进行逐个编码，一旦读取完所有的帧，模型会逐个单词的生成一个句子，帧和单词表示的编码和解码工作由平行语料库学习得到。

值得一提的是，所述方法还包括对知识的可信度尽量量化进行质量评估。

需要说明的是，具体通过对知识的可信度进行量化，通过舍弃置信度较低的知识来保障知识库的质量，以进行质量评估，优选地，所述置信度可取“93%”。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种多模态事理图谱的构建方法程序，所述多模态事理图谱的构建方法程序被处理器执行时，实现如上述任一项所述的一种多模态事理图谱的构建方法的步骤。

本发明公开的一种多模态事理图谱的构建方法、系统和可读存储介质，能够实现跨模态的知识表示，通过多维度描述进行查证补全使知识可信度更高；同时能够实现多模态知识融合消歧，方便计算、推理，为知识推理提供多层次基础支撑，为事理图谱应用落地提供保障；另外可以使得知识类型更加丰富、立体。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种多模态事理图谱的构建方法，其特征在于，包括以下步骤：

基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

2.根据权利要求1所述的一种多模态事理图谱的构建方法，其特征在于，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

3.根据权利要求1所述的一种多模态事理图谱的构建方法，其特征在于，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。

4.根据权利要求3所述的一种多模态事理图谱的构建方法，其特征在于，所述基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建，具体包括：

基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合；

进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建。

5.根据权利要求4所述的一种多模态事理图谱的构建方法，其特征在于，所述基于所述计算结果调用所述事理图谱进行数据链接以完成多模态知识融合，具体包括：

基于所述概念层以及所述数据层，通过对齐、关联以及合并所述事理图谱，将多个所述事理图谱中的本体、实体、事件本体以及事件进行链接，其中，

基于所述概念层完成本体对齐以及事件本体对齐；

基于所述数据层完成实体对齐以及事件对齐。

6.根据权利要求5所述的一种多模态事理图谱的构建方法，其特征在于，所述进行多模态知识加工以构建目标本体并进行质检评估，待评估通过后完成所述多模态事理图谱的构建，具体包括：

基于机器学习构建所述本体以及所述事件本体；

对各所述实体间的关系以及各所述事件间的关系进行判断，完成所述质检评估，其中，

当评估通过后，基于构建的所述本体以及所述事件本体完成所述多模态事理图谱的构建。

7.一种多模态事理图谱的构建系统，其特征在于，包括存储器和处理器，所述存储器中包括多模态事理图谱的构建方法程序，所述多模态事理图谱的构建方法程序被所述处理器执行时实现如下步骤：

基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

8.根据权利要求7所述的一种多模态事理图谱的构建系统，其特征在于，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

9.根据权利要求7所述的一种多模态事理图谱的构建系统，其特征在于，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种多模态事理图谱的构建方法程序，所述多模态事理图谱的构建方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种多模态事理图谱的构建方法的步骤。

Images