CN112288091A - 基于多模态知识图谱的知识推理方法 - Google Patents

Abstract

本发明公开的一种基于多模态知识图谱的知识推理方法，旨在使知识推理可信度和准确度更高，具备更强建模和推理能力。本发明通过下述技术方案实现：基于大规模知识库的多跳推理，对不同的信息进行融合；通过属性图嵌入对属性缺失图进行属性补全，从非结构化、半结构化文档或句子中提取结构化信息，通过异构图嵌入对多模态知识图谱多类型特性构建动态异构图嵌入模型，实现半结构化知识、结构化知识以及非结构化不同类型知识的特征学习，得到多模态知识图谱特征，并作为基于图神经网络GNN开展知识推理的输入；生成推理路径，构建多条类型推理路径；计算图上节点类型的分类、边预测、频繁子图，生成知识推理任务，完成多步复杂知识推理。

Description

基于多模态知识图谱的知识推理方法

技术领域

本发明涉及知识工程技术领域知识推理方法，尤其涉及基于多模态知识图谱的知识推理方法。

背景技术

人工智能正从感知智能走向认知智能。目前，人工智能仍处于弱人工智能状态，要让它形成大脑，具有理解力、推理能力，核心是要有“知识”；机器在学习知识方面，主要分为端到端的深度学习和对知识进行结构化表示与学习两大类，前者以主动学习为主，学到的是事物底层特征空间，而人能理解的是事物语义空间，知识图谱能弥补这两者的鸿沟，将人类的思维转化为机器路径思维，为知识表示、知识理解、知识学习和推理提供了可能途径。知识图谱是以图的形式表现客观世界中的实体及其之间关系的知识库，实体可以是真实世界中的物体或抽象的概念，关系则表示了实体间的联系。因此，知识图谱能够以结构化的形式表示人类知识，通过知识表示和推理技术，可以给人工智能系统提供可处理的先验知识，让其具有与人类一样的解决复杂任务的能力。图中的节点表示的是实体或者实体的属性值，有向图的边表示的是不同实体之间的关系，或者实体和其属性值之间的属性关系。受到深度学习领域进展的驱动，研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。有着越来越多的研究将深度学习方法应用到结构化知识数据领域。在上层的应用过程中，结构化知识图谱中知识之间的关系网络越完备，越容易挖掘知识之间的潜在关联。图谱式的结构化知识相对于逻辑和本体的传统语义知识而言，实体对象覆盖范围更广、知识网络上的语义关系也更加全面复杂，从而能够支持更广泛和更好的应用场景。另一方面，图谱数据的复杂性对现有机器学习算法提出了重大挑战，因为图谱数据是不规则的。每张图大小不同、节点无序，一张图中的每个节点都有不同数目的邻近节点，使得一些容易计算的重要运算(如卷积)不能再直接应用于结构化图谱。此外，现有机器学习算法的核心假设是实例彼此独立。然而，图谱数据中的每个实例都与周围的其它实例相关，含有一些复杂的连接信息，用于捕获数据之间的依赖关系，包括引用、朋友关系和相互作用。

近几年来，人工智能技术得到了飞速发展，其进展突出体现在以知识图谱(Knowledge Graph)为代表的知识工程和以图神经网络(Graph Neural NetWorks,GNN)为代表的深度学习等相关领域。融合知识图谱与图神经网络(GNN)已然成为研究人员进一步完善知识图谱学习与提升图神经网络模型推理能力的重要技术思路。由此可见，结合知识图谱和图神经网络为基于大规模知识图谱开展知识推理带来了契机。通常，真实数据中的交互关系有丰富的属性特征(如用户–商品交互图中用户和商品都带有丰富的属性特征)，而知识图谱则是关系特征丰富的，即相对更侧重于结构性。此外，知识图谱中的本体概念层包含大量的谓词逻辑规则知识，如何设计更合适的图神经网络模型弥补这三者之间的语义鸿沟，从而更好地融合知识图谱中的先验知识，将是一个研究难点。知识图谱可以为各类学习任务提供良好的先验知识，图神经网络则可以更好地支持图数据的学习任务。但是，目前基于图神经网络的知识图谱学习、计算与应用的研究都还相对较少，未来仍有巨大的发展空间。

然而目前对知识的研究更多停留在知识图谱构建方面，基于知识图谱开展相关推理与挖掘预测方面研究进展缓慢。主要存在以下问题：知识种类繁多、表示困难、无法从多维角度进行统一认知和推理分析；知识推理(Knowledge Reasoning)是在已有的知识库基础上进一步挖掘隐含的知识，从而丰富、扩展知识库。在推理的过程中，往往需要关联规则的支持。传统的知识推理更多依赖于规则，规则无法穷举，为知识的应用带来了限制；由于实体、实体属性以及关系的多样性，人们很难穷举所有的推理规则，一些较为复杂的推理规则往往是手动总结的。通过人们手动总结构建的规则，往往费时费力，人们也很难穷举复杂关系图谱中的所有推理规则。知识推理方法主要可分为基于逻辑的推理与基于图的推理两种类别。知识推理通过各种方法获取新的知识或者结论，这些知识和结论满足语义，其具体任务可分为可满足性、分类、实例化。目前知识推理的研究主要集中在针对知识图谱缺失关系的补足，即挖掘两个实体之间隐含的语义关系。由于传统的图推理在规则基础上只考虑到了边关系，丢失了图节点属性信息，而节点属性信息反而蕴藏了大量有价值信息。

如何同时进行结构信息的捕捉和规则知识的学习，进一步提升知识图谱推理的性能，是未来需要探索的一大问题。如果知识图谱是知识表示的一种广泛形式，能否在知识图谱的基础上，利用图神经网络进行知识的推理或推断，实现人工智能技术从感知到认知的跨越。图神经网络的引入可以更好地捕捉知识图谱中的结构信息，从而提升知识图谱推理的性能。知识推理是从给定的知识图谱中推导出实体与实体之间的新关系，但知识推理所获得的关系通常需要在知识图谱中进行多跳的推理过程。知识推理是指通过各种方法获取新的知识或者结论，这些知识和结论满足语义。知识推理涵盖了多种不同的任务，例如基于文本的问答、数学推理、视觉智商测试等。严格来说，推理任务需要在给定一组对象集合及答案标签的情况下学习得到一个函数，从而回答关于未知对象集合的问题。根据问题结构的复杂性，可以将推理任务分为四大类：概要统计(summary statistics)、极值关系(relational argmax)、动态规划(dynamic programming)以及NP-难问题(NP-hardproblem)，难易程度依次增加。其中，动态规划算法被证明可以解决大多数复杂的推理任务，包括视觉问答、最短路径问答等。知识图谱推理主要指知识图谱补全或链接预测，旨在给定两个实体，预测它们之间的连边(关系)，或者给定头/尾实体和关系，预测尾/头实体。由于图数据结构的复杂性(比如幂率度分布等)，在将图像领域的卷积神经网络迁移到图数据的过程中，无法直接在节点域中定义卷积算子。知识图谱推理任务主要分为边预测、频繁子图生成、图相似性计算、图中节点分类等。近年来，国内研究人员主要从基于规则的知识推理、基于语义网络的知识推理和基于本体的知识推理三个方面展开相关知识推理工作研究。国外研究人员针对知识推理算法的研究主要是基于语义网络展开。以知识图谱为代表的结构化知识推理，是运用算法工具推理出实体之间的关联的关系，自动产生新的知识，补充缺失的事实，完善结构化知识。知识推理会使得结构化知识中的知识关联更加丰富紧密。

发明内容

本发明的发明目的是针对现有技术存在的不足之处，提供一种基于多模态知识图谱的复杂知识推理方法，使知识推理可信度和准确度更高，具备更强建模和推理能力。

本发明的上述目的可以通过以下措施来得到，一种基于多模态知识图谱的知识推理方法，具有如下技术特征：基于大规模知识库的多跳推理，在不考虑节点标签信息情况下获取多模态知识图谱节点序列，对不同的信息进行融合，实现图结构信息和图节点属性信息节点的向量表示；基于无监督图嵌入完成多模态知识表示，通过属性图嵌入对属性缺失图进行属性补全，从非结构化、半结构化文档或句子中提取结构化信息，通过异构图嵌入对多模态知识图谱多类型特性构建动态异构图嵌入模型，实现半结构化知识、结构化知识以及非结构化不同类型知识的特征学习，学习得到多模态知识图谱特征，实现跨模态知识语义信息表征，并作为基于图神经网络GNN开展知识推理的输入；将知识图谱上的事实三元组中实体和关系元素表示为低维向量形式，根据实体上下文信息和实体类型信息，在多模态知识图谱中实现逻辑推理，生成基于多模态知识图谱的推理路径，构建多条类型推理路径，进而输入到图神经网络GNN中；图神经网络GNN以编码器的形式计算图上节点类型的分类、边预测、频繁子图，生成知识推理任务，利用卷积神经网络CNN的全连接层提取知识序列的局部特征，并利用循环神经网络RNN捕获任何长度的序列的全局信息，实现基于C-RNN的知识推理路径建模，完成多步复杂知识推理的C-RNN推理模型。

本发明相比于现有技术具有如下有益效果：

本发明基于图嵌入的方法在复杂的逻辑推理上有局限性，基于大规模知识库的多跳推理，将基于异质图神经网络的消息传递与基于强化学习的路径查找和约减相结合，在不考虑节点标签信息情况下获取多模态知识图谱节点序列，对不同的信息进行融合，实现图结构信息和图节点属性信息节点的向量表示；基于无监督图嵌入完成多模态知识表示，通过属性图嵌入对属性缺失图进行属性补全，通过异构图嵌入对多模态知识图谱多类型特性构建动态异构图嵌入模型，实现半结构化知识、结构化知识以及非结构化不同类型知识的特征学习，学习得到多模态知识图谱特征，实现跨模态知识语义信息表征，并作为基于图神经网络GNN开展知识推理的输入，实现跨模态知识语义信息表征。这种通过无监督图嵌入方法在不考虑节点标签信息情况下获取节点序列，实现节点的向量表示；通过属性图嵌入方法对属性缺失图进行属性补全，实现多模态知识统一表示；通过异构图嵌入方法对多模态图谱多类型特性构建动态异构图嵌入模型，增强了图嵌入模型的可扩展性和稳健性。通过对多类型知识进行统一向量表示，学习出一个低维度的向量表示，同时包含一些语义信息，从而得以在下游任务中更加方便地提取和利用知识图谱中的信息，通过应用图神经网络，在学习知识图谱的表示时，每个实体都将利用到与其相关的其他实体中的信息，打破了彼此之间的孤立性，从而学得更完整更丰富的实体、关系表示。

本发明基于无监督图嵌入、属性图嵌入、异构图嵌入三种图嵌入技术，实现半结构化知识、结构化知识以及非结构化等不同类型知识的特征学习，作为基于图神经网络开展知识推理的输入，避免人工提取特征过程；利用无监督图嵌入方法，进行实体类型缺失补全。不需要节点的标签信息。基于C-RNN的知识推理路径建模是同时关注实体上下文信息和实体类型信息，构建多条类型推理路径；复杂知识推理是利用CNN的全连接层用于提取知识序列的局部特征，利用RNN捕获任何长度的序列的全局信息，完成多步复杂知识推理。为知识推理提供全维知识表示，使知识推理可信度和准确度更高。

本发明综合考虑图结构信息和图节点属性信息，将知识图谱上的事实三元组中实体和关系元素表示为低维向量形式，根据实体上下文信息和实体类型信息，在多模态知识图谱中实现逻辑推理，生成基于多模态知识图谱的推理路径，构建多条类型推理路径，进而输入到图神经网络GNN中，根据上下文信息，实现基于大规模知识库的多跳推理，通过图神经网络可以对句子内或句间词与词的关联关系进行有效建模，从而更准确地捕捉实体间的关系，增强了知识推理能力。这种采用多模态知识统一表示的方法既考虑了知识图谱的图结构，又能够有效利用图节点属性信息，利用图神经网络模型在知识图谱中实现逻辑推理，从给定的知识图谱中推导出实体与实体之间的新关系，直接且有效的将知识和数据结合的方式，从而更准确地预测实体之间的链接关系，提升了知识利用度和知识推理能力。

本发明采用图神经网络GNN计算实现图上节点类型的分类、边预测、频繁子图生成知识推理任务，利用卷积神经网络CNN的全连接层提取知识序列的局部特征，并利用循环神经网络RNN捕获任何长度的序列的全局信息，实现基于C-RNN的知识推理路径建模，完成多步复杂知识推理的C-RNN推理模型。设计了一种基于卷积循环神经网络CNN和循环神经网络RNN的体系结构，这种基于C-RNN的知识推理路径建模，称为C-RNN知识推理模型，在同时关注实体上下文信息和实体类型信息基础上，构建多条推理路径，实现基于大规模知识库的多跳推理。充分利用了可有效提取局部特征的卷积神经网络优势，基于图卷积神经网络实现复杂知识推理，具备更强的建模和推理能力。通过两种不同的卷积神经网络分别捕获知识局部特征与全局信息，实现多步复杂的知识推理。C-RNN架构不仅可以获取路径的局部特征，还可以获取路径的全局特征。并且基于图嵌入和图神经网络的知识推理，通过图嵌入方法完成多模态知识表示，学习得到多模态知识特征，将知识图谱上的事实三元组中实体和关系等元素表示为低维向量形式；进而输入到图神经网络中，对图数据中的拓扑结构信息和属性特征信息进行整合，进而提供更精细的节点或子结构的特征表示，并能很方便地以解耦或端到端的方式与下游任务结合，巧妙地满足了知识图谱对学习实体、关系的属性特征和结构特征的要求。通过图神经网络计算实现图上节点类型的分类、边预测、频繁子图生成等知识推理任务，为智能认知推理提供方法支撑。

附图说明

图1是本发明基于多模态知识图谱的知识推理原理示意图。

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

具体实施方式

参阅图1。根据本发明，基于大规模知识库的多跳推理，在不考虑节点标签信息情况下获取多模态知识图谱节点序列，对不同的信息进行融合，实现图结构信息和图节点属性信息节点的向量表示；基于无监督图嵌入完成多模态知识表示，通过属性图嵌入对属性缺失图进行属性补全，从非结构化、半结构化文档或句子中提取结构化信息，通过异构图嵌入对多模态知识图谱多类型特性构建动态异构图嵌入模型，实现半结构化知识、结构化知识以及非结构化不同类型知识的特征学习，学习得到多模态知识图谱特征，实现跨模态知识语义信息表征，并作为基于图神经网络GNN开展知识推理的输入；将知识图谱上的事实三元组中实体和关系元素表示为低维向量形式，根据实体上下文信息和实体类型信息，在多模态知识图谱中实现逻辑推理，生成基于多模态知识图谱的推理路径，构建多条类型推理路径，进而输入到图神经网络GNN中；图神经网络GNN以编码器的形式计算图上节点类型的分类、边预测、频繁子图，生成知识推理任务，利用卷积神经网络CNN的全连接层提取知识序列的局部特征，并利用循环神经网络RNN捕获任何长度的序列的全局信息，实现基于C-RNN的知识推理路径建模，完成多步复杂知识推理的C-RNN推理模型。

多模态知识表示：多模态知识表示主要用于针对实体类型缺失、属性值缺失、包含文本、图像、视频等多类型实体的知识图谱分别采用无监督图嵌入、属性图嵌入、异构图嵌入等方式进行统一图向量知识表示，实现知识图谱的补全和表示。具体步骤如下：

实体类型缺失补全，基于深度游走Deep Walk算法技术，通过随机游走获取图谱节点序列，进而结合包括输入层、隐藏层和输出层的轻量级的神经网络word2vec模型得到节点的向量表示，实现实体类型的补全。

属性值缺失补全

属性图嵌入的出发点是无监督图嵌入方法没有考虑节点的属性信息，如文本内容等，采取的方法是将节点属性和边缘属性加入图嵌入过程，改善节点的向量表示质量。

多模态知识表示

利用异构图嵌入技术，考虑多模态知识图谱中节点的多类型特性，通过联合最小化每种模态的损失来学习节点嵌入，同时考虑到图谱的动态变化，构建动态异构图嵌入模型，增强图嵌入模型的可扩展性和稳健性。

基于C-RNN的知识推理路径建模

首先关注实体的上下文信息。将学习到的嵌入用于表示单个实体，通常这种表示能力是有限的。为了标识实体在路径和知识库中的位置，需要提取每个实体的其他上下文信息。将实体e的“上下文”定义为知识图中其一阶邻居的集合，即：context(e)＝ {e_i|(e_i,r,e)∈Gor(e,r,e_i)∈G}

其中，r是实体e上下文实体之间的关系，i表示与实体e上下关联的实体，G是一个知识库。上下文的使用可以提供更多的补充信息，助于改善实体的可识别性。这是因为与当前实体相关的上下文实体通常包含额外的语义和逻辑信息。

将上下文嵌入计算为实体e的上下文实体的平均值：

为了充分利用实体类型信息，将实体类型的词汇定义为T，类型的实体集合定义为T(e)：为了充分利用实体类型信息，将实体类型的词汇定义为T，类型的实体集合定义为T(e)：

给定实体e的实体类型集，可以将实体e的实体类型嵌入计算为其实体类型的平均值：

然后将变换后的实体类型嵌入定义为g(e^t)＝Me^t或g(e^t)＝f(Me^t+b)，M∈R^d×k，b∈R^d，其中，t表示实体类型，n是实体e的最大实体类型数，设置n＝8，M表示关系向量，f可以是Sigmoid或者tanh，d为实体关系，k为实体类型的维度。

建立了实体的上下文和类型信息后，就可以确定实体对(e_h,e_t)的七类输入路径，第一类路径仅涉及路径中的关系，因此将路径中的所有关系定义为π＝[r₁,r₂,...,r_s]；第二类路径考虑沿路径的中间实体和关系，定义为π＝[e_h,r₁,e₂,...,r_s,e_t]；第三和第四种类型路径分别通过上下文信息和实体类型获得实体表示，并定义为π＝[e_h，r₁，e₂，...，r_s，e_t]和

第五类路径考虑了实体，实体和关系的上下文信息，并定义为π＝[e_h,e_h,r₁,e₂,e₂,...,r_s,e_t,e_t]；第六类路径利用沿路径的中间实体类型，实体和关系中的信息，并定义为

第七类路径同时考虑关系，实体，实体类型和实体的上下文信息，并定义为

其中r表示关系，t表示实体类型，h表示第h个实体，s表示与e_h关联的第s个实体，g表示子图。

对于上述所有类型的输入路径，将其长度定义为路径中包含的关系数，即 len(π)＝s。七种类型分别输入C-RNN体系结构，相应的模型分别表示为C-RNN，C-RNN+E，C-RNN+C，C-RNN+T，C-RNN+E+C，C-RNN+E+T，C-RNN+E+C+T，这里的E表示实体，T表示上下文，C表示类型。为方便起见，将输入路径设置为{x₁,x₂,...,x_l}，其第i-th个元素表示为向量x_i∈R^dx，l是路径中的条目数。

复杂知识推理

复杂知识推理：基于图卷积神经网络实现复杂知识推理，具备更强的建模和推理能力。通过两种不同的卷积神经网络分别捕获知识局部特征与全局信息，实现多步复杂的知识推理。

具体地，设计基于双向卷积的循环神经网络C-RNN。双向C-RNN具有相同的卷积神经网络部分，并利用双向时间递归神经网络LSTM来充分学习过去特征(通过正向状态) 和未来特征(通过反向状态)。

双向循环神经网络RNN包括前向循环神经网络RNN和后向循环神经网络RNN，它们分别具有权重参数和中间状态。前向RNN和后向RNN是两个单向RNN，区别仅仅是输入路径不同。因此，在循环神经网络RNN的第k步单元中，有两个中间的h^f和h^w，如下所示：

最后一个向量表示

和

分别是输入路径的前向和后向表示，通过对

和

进行加向量求和运算来获得路径表示向量h，其表示为：

其中，带有上标f和w的变量分别是前向和后向循环神经网络RNN的参数。

对于无论单向C-RNN还是单向C-RNN模型，最后在顶部添加一个全连接层以预测目标关系：

最终，利用CNN的全连接层用于提取序列的局部特征，利用RNN捕获任何长度的序列的全局信息，完成多步复杂知识推理，这里采用激活函数g＝Sigmoid，而U是权重参数。

以上所述为本发明较佳实施例，应该注意的是上述实施例对本发明进行说明，然而本发明并不局限于此，并且本领域技术人员在脱离所附权利要求的范围情况下可设计出替换实施例。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于多模态知识图谱的知识推理方法，具有如下技术特征：基于大规模知识库的多跳推理，在不考虑节点标签信息情况下获取多模态知识图谱节点序列，对不同的信息进行融合，实现图结构信息和图节点属性信息节点的向量表示；基于无监督图嵌入完成多模态知识表示，通过属性图嵌入对属性缺失图进行属性补全，从非结构化、半结构化文档或句子中提取结构化信息，通过异构图嵌入对多模态知识图谱多类型特性构建动态异构图嵌入模型，实现半结构化知识、结构化知识以及非结构化不同类型知识的特征学习，学习得到多模态知识图谱特征，实现跨模态知识语义信息表征，并作为基于图神经网络GNN开展知识推理的输入；将知识图谱上的事实三元组中实体和关系元素表示为低维向量形式，根据实体上下文信息和实体类型信息，在多模态知识图谱中实现逻辑推理，生成基于多模态知识图谱的推理路径，构建多条类型推理路径，进而输入到图神经网络GNN中；图神经网络GNN以编码器的形式计算图上节点类型的分类、边预测、频繁子图，生成知识推理任务，利用卷积神经网络CNN的全连接层提取知识序列的局部特征，并利用循环神经网络RNN捕获任何长度的序列的全局信息，实现基于C-RNN的知识推理路径建模，完成多步复杂知识推理的C-RNN推理模型。

2.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：多模态知识表示主针对实体类型缺失、属性值缺失，包含文本、图像、视频多类型实体的知识图谱，分别采用无监督图嵌入、属性图嵌入、异构图嵌入方式进行统一图向量知识表示，实现知识图谱的补全和表示。

3.如权利要求2所述的基于多模态知识图谱的知识推理方法，其特征在于：实体类型缺失补全，基于深度游走Deep Walk算法技术，通过随机游走获取图谱节点序列，进而结合包括输入层、隐藏层和输出层的轻量级的神经网络word2vec模型得到节点的向量表示，实现实体类型的补全。

4.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：利用异构图嵌入技术和多模态知识图谱中节点的多类型特性，通过联合最小化每种模态的损失来学习节点嵌入，同时利用图谱的动态变化，构建动态异构图嵌入模型。

5.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：关注实体的上下文信息，提取每个实体的其他上下文信息，将实体e的“上下文”定义为知识图中其一阶邻居的集合：

context(e)＝{e_i|(e_i,r,e)∈Gor(e,r,e_i)∈G}，基于C-RNN的知识推理路径建模，其中，r是实体e上下文实体之间的关系，i表示与实体e上下关联的实体，G是一个知识库。

6.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：将上下文嵌入计算为实体e的上下文实体的平均值：

利用实体类型信息，将实体类型的词汇定义为T，类型的实体集合定义为T(e)，再利用实体类型信息，将实体类型的词汇定义为T，类型的实体集合定义为T(e)：

给定实体e的实体类型集，将实体e的实体类型嵌入计算为其实体类型的平均值：

然后将变换后的实体类型嵌入定义为g(e^t)＝Me^t或g(e^t)＝f(Me^t+b)，M∈R^d×k，b∈R^d，其中，t表示实体类型，n是实体e的最大实体类型数，M表示关系向量，f是Sigmoid或者tanh，d为实体关系，k为实体类型的维度。

7.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：建立实体的上下文和类型信息后，确定实体对(e_h,e_t)的七类输入路径，第一类路径仅涉及路径中的关系，将路径中的所有关系定义为π＝[r₁,r₂,...,r_s]；第二类路径考虑沿路径的中间实体和关系，定义为π＝[e_h,r₁,e₂,...,r_s,e_t]；第三和第四种类型路径分别通过上下文信息和实体类型获得实体表示，并定义为π＝[e_h，r₁，e₂，...，r_s，e_t]和

第五类路径考虑了实体，实体和关系的上下文信息，定义为π＝[e_h,e_h,r₁,e₂,e₂,...,r_s,e_t,e_t]；第六类路径利用沿路径的中间实体类型，实体和关系中的信息，定义为

第七类路径同时考虑关系，实体，实体类型和实体的上下文信息，定义为

其中r表示关系，t表示实体类型，h表示第h个实体，s表示与e_h关联的第s个实体，g表示子图。

8.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：对于所有类型的输入路径，将其长度定义为路径中包含的关系数，即len(π)＝s；七种类型分别输入C-RNN体系结构，相应的模型分别表示为双向卷积的循环神经网络C-RNN，C-RNN+E，C-RNN+C，C-RNN+T，C-RNN+E+C，C-RNN+E+T，C-RNN+E+C+T，将输入路径设置为{x₁,x₂,...,x_l}，其第i-th个元素表示为向量x_i∈R^dx，l是路径中的条目数，其中，E表示实体，T表示上下文，C表示类型。

9.如权利要求1所述的基于多模态知识图谱的知识推理方法，其特征在于：基于双向卷积的循环神经网络C-RNN，通过正向状态或通过反向状态，利用双向时间递归神经网络LSTM来学习过去特征和未来特征。

10.如权利要求9所述的基于多模态知识图谱的知识推理方法，其特征在于：双向循环神经网络RNN包括前向循环神经网络RNN和后向循环神经网络RNN，前向RNN和后向RNN是两个单向RNN，在循环神经网络RNN的第k步单元中，h^f是前向表示向量，h^w是后向表示向量，如下所示：

最后一个向量表示

和

分别是输入路径的前向和后向表示，通过对

和

进行加向量求和运算来获得路径表示向量h，其表示为：

无论单向C-RNN还是单向C-RNN模型，最后在顶部添加一个全连接层以预测目标关系：

最终，利用CNN的全连接层用于提取序列的局部特征，利用RNN捕获任何长度的序列的全局信息，完成多步复杂知识推理，其中，带有上标f和w的变量分别是前向和后向循环神经网络RNN的参数。U是权重参数。

Images