CN116680445A - 基于知识图谱的电力光通信系统多源异构数据融合方法及系统 - Google Patents

Abstract

基于知识图谱的电力光通信系统多源异构数据融合方法，涉及一种多源异构数据融合的方法，解决现有电力光通信系统多源异构数据处理技术中存在的知识图谱和数据融合问题。本方法包括：将获取的电力光通信系统多源异构数据，输入至知识提取单元中提取主体知识数据与已有知识规则集进行匹配，同时提取知识关系及属性，以促进知识规则集的新增更新；在主体数据处理单元进行处理主体数据以形成格式化数据流；在根据知识规则集对数据流进行整合对齐处理，存入主体融合数据储存库中；原始多源异构数据以知识tag标记存入相应类型数据储存库中，根据知识规则集中知识推演相互融合关联。本发明实现了可扩展的电力光通信系统多源异构数据的融合。

Description

基于知识图谱的电力光通信系统多源异构数据融合方法及 系统

技术领域

本发明涉及一种多源异构数据融合的方法，具体涉及一种基于知识图谱的电力光通信系统多源异构数据融合方法及系统。

背景技术

电力光通信系统模型结构复杂，需要大量的底层数据作为支撑。但在系统模型调用数据时,不同来源的数据之间可能存在关联度低、利用率低问题，并且相同的主体知识(如工作电压，可属于电力光通信系统信号接收设备或发送设备)可能在使用时难以区分。来自不同接口的数据(如电力光通信系统线路运行的实时数据、设备运行的健康数据、线路故障的位置信息数据等)面临着数据实体不规范、数据表头不统一等问题，使得数据处理、数据调用困难。主体知识的匹配融合需要在冗余复杂的信息流中进行，程序执行需要大量计算量与高效的匹配执行算法，电力光通信系统模型数字化，即数字孪生模型便需要灵活架构来满足整体要求。现今对电力光通信系统的数字孪生模型及可视化的研究正融合各种算法技术，已经初步形成相关电力设备数字模型化的应用趋势。但是仍存在需要该改进的地方：首先，当前对多源异构数据与数字孪生技术无法有效地融合；其次,没有一套完善的数据融合体系适用于电力光通信系统数字孪生可视化的数据处理及数据推演,数据的利用率低，数据可视化整体执行程度不高。

电力行业逐渐融入知识图谱技术以使得数据关系更加紧密、数据调用更加便捷。知识图谱的使用使得实体之间的联系更加清楚，可根据已知的实体数据和其附带的关系属性获取与该实体相关的其他实体知识结构。但是目前大部分产业的知识图谱应用结合率较低，大多人为定义数据主体之间特征关系，使用过程较为复杂，同时使用数据迭代算法以检索相关主题，这样的融合计算量较大，检索效率较低；还有使用传统的语义提取融合模型构建知识图谱，使得数据处理程度低，还存在部分数据丢失的相关问题，最终会导致知识结构不完整，获取知识结果不准确。知识图谱与电力光通信系统模型上的结合，也存在上述问题，在已有的多源异构数据化处理与知识图谱结合方法中，数据的标准化过程较为简单，数据融合仅实现了数据三元组的储存及数据图形可视化，并未完全实现知识数据的开发利用，获取知识处理度低，融合关系简单。

现有技术中亟需一种能够实现电力光通信系统多源异构数据的融合系统，构建数据池，为实现电力光通信系统的数字孪生模型构建提供数据底层依靠，从而更好地解决电力光通信系统运行中出现的实时问题，使电力光通信系统执行更稳定，更迅速。

发明内容

本发明为解决现有电力光通信系统多源异构数据处理技术中存在的知识图谱和数据融合问题，提供一种基于知识图谱的电力光通信系统多源异构数据融合方法，通过对电力光通信系统知识图谱体系的构建实现多源异构数据融合，从而形成降维数据池，为电力光通信系统数字孪生模型的构建提供底层数据依赖。

基于知识图谱的电力光通信系统多源异构数据融合方法，该方法由以下步骤实现：

步骤一、获取电力光通信系统多源异构数据，并根据所述电力光通信系统多源异构数据的结构类型进行主体知识信息提取，获得电力光通信异构主体知识数据；对所述主体知识数据进行统计预测，在联立知识规则集中进行主体知识数据的匹配预测；

步骤二、对所述主体知识信息提取后，进行知识属性与知识关系提取，将主体知识、知识属性、知识关系以三元组结构融入所述的知识规则集；

步骤三、对主体数据结构类型，采用不同数据的优化算法对所述电力光通信异构主体数据进行降维、填充、修正、特征提取操作，形成格式化数据流；对所述格式化数据流进行知识数据整合、实体对齐、属性剔除，格式化数据以及统一数据储存结构操作，获得知识主体数据流；

步骤四、将步骤三获得的知识主体数据流存入主体融合数据储存库，作为总体知识规则集；

步骤五、根据知识图谱体系中的已有知识对电力光通信系统多源异构原始输入数据进行知识标记并分别存入相应结构类型数据储存库；

不同结构类型数据储存库之间以知识融合后的主体融合数据建立融合关系，互相标记；

步骤六、对主体融合数据储存库数据的不断更新融合推广，最终构成多源异构数据总体融合模型，实现可扩展的电力光通信系统多源异构数据的融合。

本发明还提供一种基于知识图谱的电力光通信系统多源异构数据融合系统，采用所述融合系统实现所述的基于知识图谱的电力光通信系统多源异构数据融合方法；所述融合系统包括知识提取单元、主体数据处理单元及融合储存单元；

所述知识提取单元作为多源异构数据主体知识提取结构和知识属性、知识关系的知识规则训练融合模型，进行知识规则匹配融合，其中知识提取以主体知识的提取作为主操作，经关系提取及属性提取得到三元组作为主体知识的下级知识，为知识规则集更新提供知识依赖；

所述主体数据处理单元用于对多源异构数据结构类型使用数据优化算法进行优化，数据特征提取，处理底层依赖已存的知识规则集；

所述融合储存单元对所述主体数据处理单元对多源主体数据处理完成后的不完全规则的数据流在知识规则集的融合下进行数据整合、数据对齐、数据补充剔除形成规则、相互关联的格式化数据，构成主体融合数据储存库；同时在原有的知识规则下，以主体知识关联数据基础下对接入的电力光通信系统的原始多源异构数据进行数据标记存入相应结构型数据库中。

本发明的有益效果：本发明所述方法克服了现有电力光通信多源异构数据繁、冗、杂等特点，提供了基于知识图谱的电力光通信系统多源异构数据融合方法，解决了数据中处理难、融合难、调用难等问题，使得电力光通信系统对电力光通信数据的利用率更高，异常预警效率更准。

本发明所述的基于知识图谱的电力光通信系统多源异构数据融合方法，通过对电力光通信系统多源异构数据的知识分析，抽取其主体知识、关系及属性特征，优化数据主体及特征数据，经过实体整合、属性剔除使多源异构数据、多维数据成为格式化可储存知识数据，可与相应电力光通信系统数字孪生可视化模型合并，实现孪生模型数据调用、数据推演、数据预警所依赖的底层数据支持。

附图说明

图1为本发明所述的一种基于知识图谱的电力光通信系统多源异构数据融合系统的框图。

图2为本发明所述的一种基于知识图谱的电力光通信系统多源异构数据融合方法的流程示意图。

具体实施方式

下面将参照本发明实施例中的附图，对所述发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是示例性的，本发明并不仅限于该具体实施例之中。

需要注意的是，在本发明中，除非另有说明，本发明申请中使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明中术语知识规则集的初始构建采用已有电力光通信系统知识的训练测试融合形成，包含了本发明所介绍的数据源，即大量电力光通信系统多源异构数据。

如图1所示，图1为一种基于知识图谱的电力光通信系统多源异构数据融合系统(多源异构数据融合总架构)，即：知识图谱体系除了电力光通信系统的数据来源外还包括知识提取单元、主体数据处理单元与融合储存单元；由知识图谱体系贯穿整个融合模型，所述知识提取单元包括多源异构数据主体知识提取结构和知识属性、知识关系的知识规则训练融合模型；所述主体数据处理单元针对多源异构数据结构类型使用数据优化算法进行数据结构优化、构建格式化数据流；所述融合储存单元包括数据储存模型及储存库与知识规则集间的融合网络。

所述知识提取单元是电力光通信系统多源异构数据接入到知识提取部分，进行知识规则匹配融合，其中知识提取以主体知识的提取作为主操作，经关系提取及属性提取得到三元组作为主体知识的下级知识，从而使后续知识数据处理简易化以及为知识规则集更新提供知识依赖；

所述主体数据处理单元，负责将主体知识附带的主体数据进行数据优化、数据特征提取(针对总体数据而言，数据优化与数据特征提取无前后执行顺序)。大体分为结构型、半结构型的数据处理和非结构型的文件特征处理，处理底层依赖已存的知识规则集。

所述融合储存单元，针对主体数据处理单元对多源主体数据处理完成后的不完全规则的数据流在知识规则集的融合下进行数据整合、数据对齐、数据补充剔除形成规则、相互关联的格式化数据，构成主体融合数据储存库。同时在原有的知识规则下，以其中主体知识关联数据基础下对接入的电力光通信系统的原始多源异构数据进行数据标记存入相应结构型数据库中。主体融合数据储存库，即总体知识规则集，包括所有结构类型数据的主体知识、附属知识、推广知识。在知识图谱的体系下，对其他结构数据库进行联合调用。

如图2所示，图2为基于知识图谱的电力光通信系统多源异构数据融合方法的流程图；具体由以下步骤实现：

步骤1、获取并整理电力光通信系统多源异构数据；所述电力光通信系统多源异构数据根据数据结构类型来进行分类为结构型数据、半结构型数据与非结构型数据。

步骤2、使用DeepKe知识提取工具或其他知识主体提取算法(如bert、lstmcrf算法等)对所述电力光通信系统多源异构数据根据数据的结构类型进行主体知识信息提取，经过词频-逆向文件频率(TF-IDF)算法进行统计预测，在联立知识规则集(基于融合度判断)进行主体知识的匹配预测；

本实施方式中，根据数据的结构类型进行主体知识信息提取，针对结构型、半结构型数据在读取数据后使用知识提取工具进行主体知识信息提取，也可是信息主体提取，半结构型数据可通过知识主体提取算法进一步处理以方便进行知识主体知识的获取；针对非结构型数据可使用多模态的主体知识提取算法或通过附加信息进行主体特征数据提取，以此作为其主体知识数据。

所述知识规则集为已训练好的电力光通信系统主体知识与知识主体关系及属性数据集合，用于前面获取的主体知识进行匹配预测。

主体知识在知识规则集中进行匹配预测，通过知识关联度预测、知识重复率计算及知识可靠性计算，以避免系统过度知识融合及保证系统知识融合的完整。

步骤3、主体知识信息提取后，针对数据结构类型继续进行知识属性与知识关系提取(可使用bert训练模型)，以三元组结构将主体知识、知识属性、知识关系融入知识规则集；

本实施方式中，使用知识提取工具对数据进行属性提取及关系提取，将得到的结果联立主体知识构成三元组后融入知识规则集。其中，结构型与半结构型数据通过知识关系属性提取算法结合已获取的知识主体数据进行知识三元组的建立。

步骤4、针对主体数据结构类型，采用针对不同数据的优化算法对主体数据进行降维(仅非结构型数据)、填充、修正、特征提取操作，形成格式化数据流；

本实施方式中，结构型数据及半结构型数据处理包括：使用改进期望值最大化算法(EM)进行数据补全，使用修正版拉依达准则(3σ准则)进行异常数据剔除修正，同时使用改进Embedded进行数据特征提取(针对数字流数据，可使用数据补充算法、异常数据剔除修正算法进行数据调整)，对非结构型数据，使用非结构型(如图片、视频、音频)的相关数据提取算法来处理相应文件(非结构型数据通过数据降维算法后再执行数据特征提取算法获取相应特征数据)。非结构处理在特征数据提取结束后，根据对其在知识规则集中知识关联度的查询结果，对其进行知识信息补充，以形成格式化数据流。

步骤5、对格式化数据流进行知识数据整合、实体对齐、属性剔除处理，格式化数据，统一数据储存结构；

本实施方式中，对输入的格式化数据流进行数据整合、对齐、属性剔除处理操作：

(1)结构型、半结构型数据整合对齐，包括数据储存前缀、储存类型、储存主体、储存关系等数据储存结构。结构型数据可直接进行数据对齐格式化(如使用者id，用户名，用户密码，用户角色，权限等级)储存；半结构型数据经过数据特征提取、融合补充使其数据结构对齐标准储存结构以进行格式化(根据知识结构设计数据表结构)储存；

(2)针对非结构型数据，如地理信息系统(GIS)数据借助SuperMap工具对其进行统一的坐标转换及单图层区域划分，将其格式化为数据特征可储存的数据。如图片与视频数据通过系统设置的接口接入。在收集非结构型数据的同时为其添加了额外信息元素，如数据类型、数据主题、数据依赖等。再根据结构型数据储存特点对非结构型数据储存流结构进行补充，形成较为完整的数据储存结构。同时，针对数据补充进行知识数据集的验证，包括知识匹配度的判断，知识相似度的计算与知识融合度的比较。

步骤6、知识主体数据流存入主体融合数据库，即总体知识规则集；

所述主体融合数据储存库为结构型数据储存库，是总体知识规则融合集。结构型、半结构型及非结构型数据经过知识提取单元和主体数据处理单元处理优化过的主体知识及关系属性融合数据。

步骤7、根据知识图谱体系中的已有知识对电力光通信系统多源异构原始输入数据进行知识标记并分别存入相应结构类型数据储存库；

所述知识标记操作为原始数据根据知识规则集中的知识融合情况进行tag标记，即进行tag知识关系附加，一般可为融合度较高的知识主体数据。为分别储存于相应结构型数据库后做好调用、融合接口。

步骤8、不同结构类型数据储存库之间以知识融合后的主体融合数据建立融合关系，互相标记；即：不同结构型数据库与主体融合数据储存库由知识标记tag及融合后的主体知识关系来相互标记调用。

步骤9、主体融合数据储存库数据的不断更新融合推广，最终构成多源异构数据总体融合模型，实现可扩展的电力光通信系统多源异构数据的融合。

所述主体融合数据储存库结构包含知识规则集融合的知识数据，原始电力光通信多源异构数据在经知识图谱体系后输出的知识规则集与数据本体优化处理后的特征数据流结构共同融合建立一套新的储存模型，以形成可扩展的、可直接调用的降维数据池。

本实施方式中，电力光通信系统多源异构数据大体可分为结构型、半结构型与非结构型三类，其中结构型数据在电力光通信系统内包含：电力光通信系统设备及线路参数的相关规范的信息数据、电力光通信系统设备系统运行流程相关信息数据、用户、专家、维护人员信息以及电力光通信系统设备和线路运营相关实时数据等；半结构型数据包含：电力光通信系统业务的相关策划方案及日志文件、电力光通信系统线路运营故障及正常的数据记录、解决方案、策划以及电力系统及子系统运营记录、日志文件、电力设备运营的相关记录、日志文件、策划方案、维护记录；非结构型数据包含：电力光通信系统设施异常故障视频，音频，图片、超媒体等、电力光通信系统线路遇损基础地图地理信息图、电力光通信系统线路的分布图、规划图、发布的电力光通信系统通知，警告等文本、电力光通信系统线路、建筑相关的地图图层。本实施方式所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。

本实施方式中，电力光通信系统多源异构数据的融合不仅仅是简单的数据处理储存，而是更具有相互关联性的融合储存。其中知识图谱体系下的融合特性受到数据自身的结构型影响，还受到执行处理数据的知识提取算法、数据处理算法、系统工作运行效率等非人为因素的影响。主体融合数据储存库的建立，是依据知识规则集中三元组结构数据及主体知识关联规则建立的，在对原始数据进行知识提取后的主体知识匹配融合后获取新知识规则集，来获取知识优化使得储存库内知识数据的补充更新。

由于电力光通信系统多源异构数据的处理调用仍存在数据冗余、特征数据缺失等问题，对于知识图谱的融合利用仍处于开发中状态。在本实施方式中，基于知识图谱体系对电力光通信系统的多源异构数据融合储存，建立数据上的处理融合模型，实现电力光通信系统多源异构数据的知识获取、知识融合、知识推广，形成可被电力光通信系统数字孪生模型直接调用的数据池。

上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于知识图谱的电力光通信系统多源异构数据融合方法，其特征是：该方法由以下步骤实现：

步骤一、获取电力光通信系统多源异构数据，并根据所述电力光通信系统多源异构数据的结构类型进行主体知识信息提取，获得电力光通信异构主体知识数据；对所述主体知识数据进行统计预测，在联立知识规则集中进行主体知识数据的匹配预测；

步骤二、对所述主体知识信息提取后，进行知识属性与知识关系提取，将主体知识、知识属性、知识关系以三元组结构融入所述的知识规则集；

步骤三、对主体数据结构类型，采用不同数据的优化算法对所述电力光通信异构主体数据进行降维、填充、修正、特征提取操作，形成格式化数据流；对所述格式化数据流进行知识数据整合、实体对齐、属性剔除，格式化数据以及统一数据储存结构操作，获得知识主体数据流；

步骤四、将步骤三获得的知识主体数据流存入主体融合数据储存库，作为总体知识规则集；

步骤五、根据知识图谱体系中的已有知识对电力光通信系统多源异构原始输入数据进行知识标记并分别存入相应结构类型数据储存库；

不同结构类型数据储存库之间以知识融合后的主体融合数据建立融合关系，互相标记；

步骤六、对主体融合数据储存库数据的不断更新融合推广，最终构成多源异构数据总体融合模型，实现可扩展的电力光通信系统多源异构数据的融合。

2.根据权利要求1所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤一中，所述电力光通信系统多源异构数据根据数据结构类型来进行分类为结构型数据、半结构型数据与非结构型数据；

根据结构型数据、半结构型数据在读取数据后使用知识提取工具进行主体知识信息提取或信息主体提取；半结构型数据通过知识主体提取算法进一步处理以进行主体知识的获取；对非结构型数据采用多模态的主体知识提取算法或通过附加信息进行主体特征数据提取，作为主体知识数据。

3.根据权利要求2所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤一中，所述知识规则集为已训练好的电力光通信系统主体知识数据与知识主体关系及属性数据集合，用于已获取的主体知识数据进行匹配预测；

主体知识数据在知识规则集中进行匹配预测，包括知识关联度预测、知识重复率计算及知识可靠性计算。

4.根据权利要求2所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤二中，采用知识提取工具对数据进行属性提取及关系提取，将得到的结果联立主体知识构成三元组后融入知识规则集；其中，结构型数据与半结构型数据通过知识关系属性提取算法结合已获取的知识主体数据进行知识三元组的建立。

5.根据权利要求2所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤三中，结构型数据及半结构型数据处理包括：数据补充，异常属性剔除修正，同时进行数据特征提取；对非结构型数据，使用图片、视频、音频的相关数据提取算法处理相应文件；

所述非结构型数据在特征数据提取结束后，查询其在知识规则集中知识关联度较大结果，根据知识数据的相似程度，对其进行知识信息补充，以形成格式化数据流。

6.根据权利要求2所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤三中，对所述格式化数据流进行知识数据整合、实体对齐以及属性剔除，具体为：

对所述结构型型数据、半结构型数据整合对齐，包括数据储存前缀、储存类型、储存主体、储存关系的数据储存结构；

结构型数据直接进行数据对齐格式化储存；半结构型数据经过数据特征提取、融合补充使其数据结构对齐标准储存结构以进行格式化储存；

对所述非结构型数据，对格式化数据流补充其他数据特征形成可储存的结构化数据流；在收集非结构型数据的同时添加了额外信息元素，再根据结构型数据储存特点对非结构型数据储存流结构进行补充，形成完整的数据储存结构。

7.根据权利要求2所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤四中，所述主体融合数据储存库为储存结构型、半结构型及非结构型数据经过知识提取单元和主体数据处理单元处理优化的主体融合数据的结构化数据流，作为总体知识规则融合集。

8.根据权利要求1所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤五中，所述知识标记操作为原始数据根据知识规则集中的知识融合情况进行tag标记，为分别储存于相应结构型数据库后做好调用、融合接口；

不同结构型数据库与主体融合数据储存库由知识标记tag及融合后的主体知识关系相互标记调用。

9.根据权利要求1所述的基于知识图谱的电力光通信系统多源异构数据融合方法，其特征在于：步骤六中，所述主体融合数据储存库结构包含知识规则集融合的知识数据，原始电力光通信多源异构数据在经知识图谱体系后输出的知识规则集与数据本体优化处理后的特征数据流结构共同融合建立一套新的储存模型，以形成可扩展的、可直接调用的降维数据池。

10.基于知识图谱的电力光通信系统多源异构数据融合系统，其特征是：采用所述融合系统实现权利要求1至9任意一项所述的基于知识图谱的电力光通信系统多源异构数据融合方法；所述融合系统包括知识提取单元、主体数据处理单元及融合储存单元；

所述知识提取单元作为多源异构数据主体知识提取结构和知识属性、知识关系的知识规则训练融合模型，进行知识规则匹配融合，其中知识提取以主体知识的提取作为主操作，经关系提取及属性提取得到三元组作为主体知识的下级知识，为知识规则集更新提供知识依赖；

所述主体数据处理单元用于对多源异构数据结构类型使用数据优化算法进行优化，数据特征提取，处理底层依赖已存的知识规则集；

所述融合储存单元对所述主体数据处理单元对多源主体数据处理完成后的不完全规则的数据流在知识规则集的融合下进行数据整合、数据对齐、数据补充剔除形成规则、相互关联的格式化数据，构成主体融合数据储存库；同时在原有的知识规则下，以主体知识关联数据基础下对接入的电力光通信系统的原始多源异构数据进行数据标记存入相应结构型数据库中。