CN114064926A - 多模态电力知识图谱构建方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种多模态电力知识图谱构建方法、装置、设备及存储介质，包括：基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量；通过预设的实体三元组，确定各实体的邻居实体，并按照设定规则对各邻居实体进行分层；基于分层后形成的实体关系模型，结合各实体特征向量，确定表征各实体之间关联关系的综合特征向量；基于综合特征向量，获得表征各实体之间关联关系的电力知识图谱。本发明实施例提供的技术方案将电力领域的多模态数据以统一的综合特征向量进行表征，为电力领域的相关智能化应用和大数据分析提供了数据支撑。

Description

多模态电力知识图谱构建方法、装置、设备及存储介质

技术领域

本发明实施例涉及数据处理大数据技术领域，尤其涉及一种多模态电力知识图谱构建方法、装置、设备及存储介质。

背景技术

知识图谱作为人工智能领域的知识支柱，以其强大的知识表示和推理能力受到学术界和产业界的广泛关注。近年来，知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。

多模态知识图谱的表征学习分为模态内的表征和模态间表征，模态内的表征与传统知识图谱的表征学习区别不大，模态内的表征实体在同一嵌入空间，可以直接进行学习。由于多模态数据的数据格式及编码方式不同，嵌入空间不同，因此模态间的表征学习仍然存在诸多挑战。面向电力领域多模态数据，知识类型众多，结构复杂，除了关系数据外，还有许多其它形态的知识和数据，如时序数据、多媒体数据，无法打破多源异构知识的壁垒。

发明内容

本发明实施例提供一种多模态电力知识图谱构建方法、装置、设备及存储介质，以实现电力领域的多模态数据的统一表征，为电力领域的相关智能化应用和大数据分析提供了数据支撑。

第一方面，本发明实施例提供了一种多模态电力知识图谱构建方法，包括：

基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量；

通过预设的实体三元组，确定各所述实体的邻居实体，并按照设定规则对各所述邻居实体进行分层；

基于分层后形成的实体关系模型，结合各所述实体特征向量，确定表征各所述实体之间关联关系的综合特征向量；

基于所述综合特征向量，获得表征各所述实体之间关联关系的电力知识图谱。

第二方面，本发明实施例还提供了一种多模态电力知识图谱构建装置，包括：

实体特征向量确定模块，用于基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量；

分层模块，用于通过预设的实体三元组，确定各所述实体的邻居实体，并按照设定规则对各所述邻居实体进行分层；

综合特征向量确定模块，用于基于分层后形成的实体关系模型，结合各所述实体特征向量，确定表征各所述实体之间关联关系的综合特征向量；

电力知识图谱获得模块，用于基于所述综合特征向量，获得表征各所述实体之间关联关系的电力知识图谱。

第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的多模态电力知识图谱构建方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明实施例所述的多模态电力知识图谱构建方法。

本发明实施例公开了一种多模态电力知识图谱构建方法、装置、设备及存储介质，包括：基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量；通过预设的实体三元组，确定各实体的邻居实体，并按照设定规则对各邻居实体进行分层；基于分层后形成的实体关系模型，结合各实体特征向量，确定表征各实体之间关联关系的综合特征向量；基于综合特征向量，获得表征各实体之间关联关系的电力知识图谱。本发明实施例提供的技术方案将电力领域的多模态数据以统一的综合特征向量进行表征，为电力领域的相关智能化应用和大数据分析提供了数据支撑。

附图说明

图1为本发明实施例一提供的一种多模态电力知识图谱构建方法的流程示意图；

图2为本发明实施例一提供的文本数据抽取实体关系的示例图；

图3为本发明实施例一提供的图像数据抽取实体关系的示例图；

图4为本发明实施例一提供的多模态电力知识图谱构建的示例图；

图5为本发明实施例二提供的一种多模态电力知识图谱构建装置的结构示意图；

图6为本发明实施例三提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

IMGpedia是一个多模态知识图谱的先例。将语义知识图谱与多模态数据相结合，面对多种任务下的挑战和机遇。IMGpedia使用四种图像描述符进行基准测试，这些描述符的引用和实现是公开的。IMGpedia提供了Wikidata的链接。由于DBpedia中的分类对一些可视化语义查询不方便，所以IMGpedia旨在提供一个更好的语义查询平台。IMGpedia在多模态方向上是一个很好的先例，但也存在一些问题，比如关系类型稀疏，关系数量少，图像分类不清晰等，也是之后需要集中解决的问题。

多模态知识图谱的表征学习分为模态内的表征和模态间表征，模态内的表征与传统知识图谱的表征学习区别不大，模态内的表征实体在同一嵌入空间，可以直接进行学习。由于多模态数据的数据格式及编码方式不同，嵌入空间不同，因此模态间的表征学习仍然存在诸多挑战。

针对以上问题，本发明实施例提供一种多模态电力知识图谱构建方法、装置、设备及存储介质。

实施例一

图1为本发明实施例一提供的一种多模态电力知识图谱构建方法的流程示意图，本实施例可适用于多模态电力知识图谱构建的情况，该方法可以由多模态电力知识图谱构建装置来执行，该装置可以由硬件/软件实现，并一般集成在计算机设备中。该方法具体包括如下步骤：

S110、基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量。

其中，电力领域的数据可以包含多种形式的知识数据，可以是以文本形式、图像形式等体现。电力领域的数据可以从多个数据库中获取，此处不做具体限制。本实施例中，将包含图像数据和文本数据的数据定义为多模态数据，将不包含图像数据的数据定义为单模态数据。实体是预先定义的数据类型，主要是指电力领域重要的信息物体。电力领域数据中包含多种实体，例如变压器，发电机，高压线路等实体。

本实施例中，实体特征向量可以表征实体的相关知识。为了使多模态数据进行统一表征，需要将多模态数据映射到同一维度空间下进行表示。统一表征的实体特征向量可以包含实体的知识、图像、序列、文本以及相关实体的图像。

具体的，将获取到的电力领域的多模态数据，即不同类型的输入数据，如图像数据、文本数据等通过编码，映射到同一维度空间，可以通过级联组合得到每个实体的统一表征的实体特征向量。

S120、通过预设的实体三元组，确定各实体的邻居实体，并按照设定规则对各邻居实体进行分层。

其中，实体三元组表征了实体与实体之间的关系，可以表示实体与邻居实体之间关系。通过对电力领域多模态数据进行实体抽取以及实体关系抽取获得实体三元组。设定规则可以是按照不同关系和不同模态对各邻居实体进行建模，将每个实体的不同关系的邻居实体和不同模态的邻居实体单独建模，按照多模态数据链接的实体，按照数据类型划分成不同的层，同时针对结构化的知识实体关系数据，按照不同关系划分成不同的层。

具体的，预设的实体三元组中包含了实体以及邻居实体之间的关系，通过获取实体三元组，可以获取该实体对应的多个邻居实体。将每个实体的不同关系的邻居实体和不同模态的邻居实体单独建模，按照多模态数据链接的实体，按照数据类型划分成不同的层，同时针对结构化的知识实体关系数据，按照不同关系划分成不同的层。

S130、基于分层后形成的实体关系模型，结合各实体特征向量，确定表征各实体之间关联关系的综合特征向量。

其中，基于分层后形成的实体关系模型，使用图神经网络(Graph convolutionNetwork，GCN)聚合每一层的实体邻居特征向量，再处理不同层的信息进行聚合，结合该实体的实体特征向量，也就是结合自身的信息，构建该实体的综合特征向量。综合特征向量包含了实体的知识，图像，序列，文本以及邻居的图像，序列文本，知识等信息。实现了多模态数据知识图谱的统一表征，为其他任务提供了重要的数据支撑。

S140、基于综合特征向量，获得表征各实体之间关联关系的电力知识图谱。

其中，电力知识图谱可以是通过对各种非结构化和结构化数据的电力领域中信息抽取，表示为专业的知识结构构建知识图谱，服务于其他领域的相关应用。具体的，将综合特征向量输入到解码器中，解码器通过内部设定运算，获取预测链接，由预测链接组成表征各实体之间关联关系的电力知识图谱。

本发明实施例公开了一种多模态电力知识图谱构建方法、装置、设备及存储介质，包括：基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量；通过预设的实体三元组，确定各实体的邻居实体，并按照设定规则对各邻居实体进行分层；基于分层后形成的实体关系模型，结合各实体特征向量，确定表征各实体之间关联关系的综合特征向量；基于综合特征向量，获得表征各实体之间关联关系的电力知识图谱。本发明实施例提供的技术方案将电力领域的多模态数据以统一的综合特征向量进行表征，为电力领域的相关智能化应用和大数据分析提供了数据支撑。

作为本发明实施例的可选实施例，在上述实施例的基础上，基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量之前，还包括：

a1)定义电力领域的多模态数据的数据类型。

本实施例中，电力知识图谱可以理解为资源描述框架(Resource DescriptionFramework，RDF)，这里需要获取电力领域的多模态数据中的实体以及实体关系，为电力领域多模态数据在schema层进行实体类别和关系属性设计，转化为三元组，也就是获取RDF中的节点以及连接关系。

本步骤中，针对专业的电力领域数据定义以下的基本数据类型：实体，属性，概念，关系，图片链接，文本链接，序列链接。其中，实体主要是指电力领域重要的信息物体，包括变压器，发电机，高压线路等实体。概念是指一些电力领域的基础专业概念，包括高压电，低压电，交流电等概念。关系可以具体理解为定义实体之间，实体和概念之间，概念与概念的之间的专业知识信息，通过实体之间的关系可以构建实体三元组。图片链接是实体关联的实体图片，定义了实体链接关系，通过实体的图片链接，可以获取实体的现实的外观直觉信息。

b1)基于不同的实体抽取模型，分别对电力领域的多模态数据进行实体抽取，获得各实体。

本实施例中，电力领域的数据包含多种模态数据，可以是文本数据，也可以是图像数据。分别针对多模态数据分别使用不同的实体抽取模型，对文本数据，图像数据等分别进行实体抽取。

从图像中进行实体抽取，可以获取图像数据中包含的实体物品，例如变压器，插电板等电力领域的常用实体。可以构建出实际实体和图像之间的关联关系，构建图片链接。文本数据采用设定模型抽取文本中包含的实际实体标注数据，构建实体到文本的描述链接。

可选的，基于不同的实体抽取模型，分别对电力领域的多模态数据进行实体抽取，获得各实体的步骤可以表述为：

若模态数据是文本数据，则将模态数据输入至设定深度学习模型中，获得与模态数据对应的实体。

具体的，若模态数据是文本数据，则采用命名实体技术CRF+LSTM模型抽取文本中包含的实际标注数据，构建实体到文本的描述链接。

若模态数据是图像数据，则将模态数据输入至卷积神经网络模型中，获得与模态数据对应的实体。

具体的，若模态数据是图像数据，从图像中进行实体抽取采用的是卷积神经网络(Convolutional Neural Network，CNN)框架，向卷积神经网络中输入图像数据后，会输出图像中包含的实体物品，例如变压器，插电板等电力领域的常用实体。构建出实际实体和图像之间的关联关系，构建图片链接。

c1)针对单模态数据及多模态数据，分别结合不同的设定数据模型，获取各两两实体间的实体关系。

针对非结构化多模态数据，包括文本数据和图像数据，需要抽取出来实体内容之后，利用实体链接的多模态数据，构建多模态实体关系抽取模型，将多模态非结构化数据彻底转化成结构化的实体三元组数据。可以采用基于距离模型的单模态关系抽取+模态间关系抽取作为抽取方法。

d1)基于索引机制及缓存机制，将实体与实体关系以实体三元组形式进行存储。

本步骤中，使用分布式数据库HBase存储电力领域的认知图谱的知识数据。首先将已有标准化三元组知识数据使用RDF数据格式存储在HBASE数据库里面。同时为了存储认知知识图谱中结构中的文本，序列，图像等数据信息，基于HBASE的海量小文件存储系统，实现了对电力领域的认知知识图谱的非结构化数据的低延迟索引。为了能够快速检索结构化数据，采用了Elasticsearch作为数据检索索引。同时针对电力领域数据的特性，本方案基于Redis的缓存机制，编写程序操作使用内存数据库Redis缓存重要，常用的数据信息，可以实现快速检索知识结构化信息，非结构化数据信息。多模态数据的存储采用AbutionDB多模态数据库，该数据库，支持动静态知识图谱、时序事件数据、空间数据、机器学习特征、关系型数据、文本数据的存储。

作为本发明实施例的可选实施例，在上述实施例的基础上，针对单模态数据及多模态数据，分别结合不同的设定数据模型，获取各两两实体间的实体关系的步骤具体可以表述为：

若模态数据是文本数据，将模态数据输入到设定衍生模型中，模态数据包含两个待预测关系的实体，实体之间用符号标识；基于设定衍生模型，获取两个实体之间的关系表示向量；基于多层感知器，获取两个实体之间的关系类别。

具体的，针对单模态数据(即文本数据)采用R-BERT模型进行关系抽取。其中两实体之间提议添加特殊符号进行标识，如，在两实体之间用“，”分隔。R-BERT模型基于实体的描述文本语义信息输出实体之间的关系，进而构建出序列数据的实体关系三元组。

图2为本发明实施例一提供的文本数据抽取实体关系的示例图，如图2所示，文本数据输入到BERT模型，可以输出实体之间的关系表示向量，再经过MLP输出实体之间实体关系。

若模态数据是图像数据，将模态数据输入至卷积神经网络中，模态数据包含两个待预测关系的实体；获取实体的图像语义信息，确定为两个实体之间的关系表示向量；实体的图像语义信息输入多层感知器，获取两个实体之间的关系类别。

具体的，针对图像数据，本方案使用CNN+MLP分类模型。如图2所展示，首先，模型将实体关联的图像数据输入到CNN(卷积神经网络)抽取实体的图像描述语义，然后，用图像描述语义作为实体的向量表示，训练多层感知机(Multilayer Perceptron，MLP)作为决定网络，输入两个实体图像语义信息，输出两个实体的关系信息。

图3为本发明实施例一提供的图像数据抽取实体关系的示例图，如图3所示，将图像数据输入到CNN(卷积神经网络)中抽取实体的图像表征.然后，用图像表征作为实体的向量表示，训练MLP(多层感知机)作为决定网络，输入两个实体图像表征，输出两个实体的实体关系。

可选的，基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量，包括：

a2)将电力领域的多模态数据进行编码，获得第一特征向量并映射到同一维度空间中。

具体的，将不同类型的输入数据(如图像数据、文本数据等)编码为高阶隐向量，映射到同一维度空间中。

b2)根据级联关系，将每个实体相关第一特征向量进行组合，获取每个实体对应的实体特征向量。

具体的，通过级联组合得到每个实体对应的实体特征向量。

可选的，基于综合特征向量，获得表征各实体之间关联关系的电力知识图谱的步骤具体可以表述为，包括：将综合特征向量，输入经过训练的解码器，获得表征各实体之间关联关系的电力知识图谱。

具体的，将综合特征向量输入到解码器中，可以获得链接预测，也就是实体关系。可以利用传统表示学习的TransE模型作为解码器，输出链接预测的结果，将连接预测结果作为损失函数进行训练。

为了更清楚表述本发明实施例，示例性的，图4为本发明实施例一提供的多模态电力知识图谱构建的示例图。如图4所示，多模态电力知识图谱构建步骤包括：

a3)将不同类型的输入数据(图像、文本等)编码为高阶隐向量，映射到同一维度空间，通过级联组合得到每个实体在同一维度空间下的实体特征向量。

b3)通过预设的实体三元组，确定各所述实体的邻居实体，并按照设定规则对各所述邻居实体进行分层，将每个实体的不同关系的邻居实体和不同模态的邻居实体单独建模，按照多模态数据链接的实体，按照数据类型划分成不同的层，同时针对结构化的知识实体关系数据，按照不同关系划分成不同的层。

c3)基于分层后形成的实体关系模型，结合各所述实体特征向量，确定表征各所述实体之间关联关系的综合特征向量，使用GCN聚合每一层的实体邻居向量表示，再处理不同层的信息进行聚合，结合实体自身的信息，构建实体的最终表征向量，基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量。

d3)基于所述综合特征向量，通过编码器获得表征各所述实体之间链接预测，通过链接预测结果作为损失函数进行训练，基于链接预测形成电力知识图谱。

作为可选实施例，本实施例具体化了针对不同模态数据，获得预设的实体三元组的步骤，并具体化了基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量步骤及对解码器进行训练修正参数，实现了多模态数据知识图谱的统一表征，为其他任务提供了重要的数据支撑。

实施例二

图5为本发明实施例二提供的一种多模态电力知识图谱构建装置的结构示意图，该装置包括：实体特征向量确定模块21、分层模块22、综合特征向量确定模块23和电力知识图谱获得模块24。其中：

实体特征向量确定模块21，用于基于电力领域的多模态数据，确定电力领域所涉及各实体在同一维度空间下的实体特征向量；

分层模块22，用于通过预设的实体三元组，确定各实体的邻居实体，并按照设定规则对各邻居实体进行分层；

综合特征向量确定模块23，用于基于分层后形成的实体关系模型，结合各实体特征向量，确定表征各实体之间关联关系的综合特征向量；

电力知识图谱获得模块24，用于基于综合特征向量，获得表征各实体之间关联关系的电力知识图谱。

可选的，该装置，还包括：

数据类型定义模块，用于定义电力领域的多模态数据的数据类型；

实体获得模块，用于基于不同的实体抽取模型，分别对电力领域的多模态数据进行实体抽取，获得各实体；

实体关系获得模块，用于针对单模态数据及多模态数据，分别结合不同的设定数据模型，获取各两两实体间的实体关系；

存储模块，用于基于索引机制及缓存机制，将实体与实体关系以实体三元组形式进行存储。

可选的，实体获得模块具体用于：

若模态数据是文本数据，则将模态数据输入至设定深度学习模型中，获得与模态数据对应的实体；

若模态数据是图像数据，则将模态数据输入至卷积神经网络模型中，获得与模态数据对应的实体。

可选的，实体关系获得模块具体用于：

若模态数据是文本数据，将模态数据输入到设定衍生模型中，模态数据包含两个待预测关系的实体，实体之间用符号标识；

基于设定衍生模型，获取两个实体之间的关系表示向量；

基于多层感知器，获取两个实体之间的关系类别。

可选的，实体关系获得模块具体用于：

若模态数据是图像数据，将模态数据输入至卷积神经网络中，模态数据包含两个待预测关系的实体；

获取实体的图像语义信息，确定为两个实体之间的关系表示向量；

实体的图像语义信息输入多层感知器，获取两个实体之间的关系类别。

可选的，实体特征向量确定模块21具体用于：

将电力领域的多模态数据进行编码，获得第一特征向量并映射到同一维度空间中；

根据级联关系，将每个实体相关第一特征向量进行组合，获取每个实体对应的实体特征向量。

电力知识图谱获得模块24具体用于：

将综合特征向量，输入经过训练的解码器，获得表征各实体之间关联关系的电力知识图谱。

上述装置可执行本发明前述实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。

实施例三

图6为本发明实施例三提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器31、存储器32、输入装置33和输出装置34；设备中处理器31的数量可以是一个或多个，图6中以一个处理器31为例；设备中的处理器31、存储器32、输入装置33和输出装置34可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的多模态电力知识图谱构建方法对应的模块(例如，实体特征向量确定模块21、分层模块22、综合特征向量确定模块23和电力知识图谱获得模块24)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的多模态电力知识图谱构建方法。

存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多模态电力知识图谱构建方法，该方法包括：

基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量；

通过预设的实体三元组，确定各所述实体的邻居实体，并按照设定规则对各所述邻居实体进行分层；

基于分层后形成的实体关系模型，结合各所述实体特征向量，确定表征各所述实体之间关联关系的综合特征向量；

基于所述综合特征向量，获得表征各所述实体之间关联关系的电力知识图谱。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的多模态电力知识图谱构建方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述多模态电力知识图谱构建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种多模态电力知识图谱构建方法，其特征在于，包括：

基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量；

通过预设的实体三元组，确定各所述实体的邻居实体，并按照设定规则对各所述邻居实体进行分层；

基于分层后形成的实体关系模型，结合各所述实体特征向量，确定表征各所述实体之间关联关系的综合特征向量；

基于所述综合特征向量，获得表征各所述实体之间关联关系的电力知识图谱。

2.根据权利要求1所述的方法，其特征在于，所述基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量之前，还包括：

定义所述电力领域的多模态数据的数据类型；

基于不同的实体抽取模型，分别对所述电力领域的多模态数据进行实体抽取，获得各实体；

针对单模态数据及多模态数据，分别结合不同的设定数据模型，获取各两两实体间的实体关系；

基于索引机制及缓存机制，将所述实体与所述实体关系以实体三元组形式进行存储。

3.根据权利要求2所述的方法，其特征在于，所述基于不同的实体抽取模型，分别对所述电力领域的多模态数据进行实体抽取，获得各实体，包括：

若模态数据是文本数据，则将所述模态数据输入至设定深度学习模型中，获得与所述模态数据对应的实体；

若模态数据是图像数据，则将所述模态数据输入至卷积神经网络模型中，获得与所述模态数据对应的实体。

4.根据权利要求2所述的方法，其特征在于，所述针对单模态数据及多模态数据，分别结合不同的设定数据模型，获取各两两实体间的实体关系，包括：

若模态数据是文本数据，将所述模态数据输入到设定衍生模型中，所述模态数据包含两个待预测关系的所述实体，所述实体之间用符号标识；

基于设定衍生模型，获取所述两个实体之间的关系表示向量；

基于多层感知器，获取所述两个实体之间的关系类别。

5.根据权利要求2所述的方法，其特征在于，所述针对单模态数据及多模态数据，分别结合不同的设定数据模型，获取各两两实体间的实体关系，包括：

若模态数据是图像数据，将所述模态数据输入至卷积神经网络中，所述模态数据包含两个待预测关系的所述实体；

获取所述实体的图像语义信息，确定为所述两个实体之间的关系表示向量；

所述实体的图像语义信息输入多层感知器，获取所述两个实体之间的关系类别。

6.根据权利要求1所述的方法，其特征在于，所述基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量，包括：

将电力领域的多模态数据进行编码，获得第一特征向量并映射到同一维度空间中；

根据级联关系，将每个所述实体相关第一特征向量进行组合，获取每个实体对应的实体特征向量。

7.根据权利要求1所述的方法，其特征在于，所述基于所述综合特征向量，获得表征各所述实体之间关联关系的电力知识图谱，包括：

将所述综合特征向量，输入经过训练的解码器，获得表征各所述实体之间关联关系的电力知识图谱。

8.一种多模态电力知识图谱构建装置，其特征在于，包括：

实体特征向量确定模块，用于基于电力领域的多模态数据，确定所述电力领域所涉及各实体在同一维度空间下的实体特征向量；

分层模块，用于通过预设的实体三元组，确定各所述实体的邻居实体，并按照设定规则对各所述邻居实体进行分层；

综合特征向量确定模块，用于基于分层后形成的实体关系模型，结合各所述实体特征向量，确定表征各所述实体之间关联关系的综合特征向量；

电力知识图谱获得模块，用于基于所述综合特征向量，获得表征各所述实体之间关联关系的电力知识图谱。

9.一种计算机设备，其特征在于，所述设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的多模态电力知识图谱构建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-7中任一所述的多模态电力知识图谱构建方法。

Images