CN112364000A - 一种电力行业多源异构数据融合的系统及方法 - Google Patents

一种电力行业多源异构数据融合的系统及方法 Download PDF

Info

Publication number
CN112364000A
CN112364000A CN202011181449.4A CN202011181449A CN112364000A CN 112364000 A CN112364000 A CN 112364000A CN 202011181449 A CN202011181449 A CN 202011181449A CN 112364000 A CN112364000 A CN 112364000A
Authority
CN
China
Prior art keywords
data
ontology
loading
module
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011181449.4A
Other languages
English (en)
Inventor
符华
陈荭
谭期文
廖英怀
谢菁
徐兆丹
韦思思
罗传胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Power Supply Bureau of Guangxi Power Grid Co Ltd
Original Assignee
Nanning Power Supply Bureau of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Power Supply Bureau of Guangxi Power Grid Co Ltd filed Critical Nanning Power Supply Bureau of Guangxi Power Grid Co Ltd
Priority to CN202011181449.4A priority Critical patent/CN112364000A/zh
Publication of CN112364000A publication Critical patent/CN112364000A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Abstract

本发明公开了一种电力行业多源异构数据融合的系统及方法，其系统，包括：建模模块建立本体模型；本体模块加载建模的本体模型中要素，完成要素与业务端数据表之间的关系加载；数据适配模块使用通用的数据采集模块，进行多接口适配、数据分发、数据预处理、负载均衡；数据采集模块对于不同的数据源，通过适配的接口，对数据集成平台提供的数据源的数据进行采集；本体数据装载模块用于对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载；数据存储模块用于以图数据、空间数据、文档数据、事件数据对装载的数据进行存储。本发明实施例提供多数据源、多业务方向、跨时空数据的有机融合和分析，实现智能化、实时性的服务。

Description

一种电力行业多源异构数据融合的系统及方法
技术领域
本发明涉及多源异构数据领域，具体涉及了一种电力行业多源异构数据融合的系统及方法。
背景技术
随着科技的发展，大数据应用能力越来越全面。大数据在电网中的应用逐渐普及，海量多源异构数据呈现出爆发式的增长，传统大数据平台在面临多源异构数据处理时，传统数据模型无法直接处理数据、面临数据采集处理能力不足、数据结构难以统一，数据运维困难等挑战，为企业探索数据价值带来了层层阻碍，且从应用角度而言，不仅要从结构上解决多源异构大数据的集成问题，更重要的是从语义层面的集成和共享。
传统多源数据处理，采用的是“孤立式”、“烟囱式”的系统开发和数据管理模式，使得电力企业生产数据的利用率低下，造成维护及管理电力设备的成本不断加大，传统的人工维护和分析模式下，数据获取滞后、不灵活，系统模型比较单一、固化，很难与其他系统或业务复用，交互能力薄弱。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种电力行业多源异构数据融合的系统及方法，面临电力系统及相关领域多数据源、多业务方向、跨时空数据的有机融合和分析探索，为进一步加强电网运营水平，需要引入更先进的技术，对原有的功能进行完善，以提供数据分析、学习能力，实现智能化、实时性的服务。
为了解决上述技术问题，本发明实施例提供了一种电力行业多源异构数据融合的系统，其系统，包括：建模模块建立本体模型；本体模块加载已经建模的本体模型中要素，完成要素与业务端数据表之间的关系加载；数据适配模块使用通用的数据采集模块，进行多接口适配、数据分发、数据预处理、负载均衡；数据采集模块用于对于不同的数据源，通过适配的接口，对数据集成平台所提供的多种数据源的数据进行采集；本体数据装载模块用于对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载；数据存储模块用于以图数据、空间数据、文档数据、事件数据对装载的数据进行存储。
可选的，所述建模模块，包括：对本体、关系、属性、事件的定义，将本体模型固化。
可选的，所述数据适配模块，包括：通过适配器加载本体模式中的要素。
可选的，所述多接口适配，包括：对结构化、非结构化、半结构化数据进行接口采集。
可选的，所述数据适配模块可以把图数据、空间数据、文档数据、事件数据都集成到一个数据库中，实现了异构数据的集成。
可选的，所述建模模块使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，支持电力设备故障检测和预测，设备的综合状态评价。
一种电力行业多源异构数据融合的方法，所述方法，包括：
建立本体模型；
加载已经建模的本体模型中要素，完成要素对应的多个业务端数据表之间的关系加载；
对加载数据，进行处理；
对数据集成平台所提供的多种数据源的数据进行采集；
对采集数据与处理数据进行清洗、转换、映射、装载；
将装载数据，以图数据、空间数据、文档数据、事件数据进行存储。
可选的，所述建立本体模型，包括：对本体、关系、属性、事件的定义，将本体模型固化。
可选的，使用动态本体模型，通过解析器可以把结构化、非结构化、半结构化的数据都集成到一个数据库中，实现了异构数据的集成。
可选的，所述本体模型使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，提供数据分析、学习能力。
本发明实施例提供的一种电力行业多源异构数据融合的系统及方法，构建的本体模型，再通过适配器和系统，将多源异构数据表示为统一的模型，利用本体模型的特点形成数据化知识，取代原有电力行业知识存储方式，知识被系统记录、处理和分析。解决了结构化、半结构化和非结构化大数据管理问题，提供数据分析、学习能力，实现智能化、实时性的服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是一种电力行业多源异构数据融合的系统的结构示意图。
图2是一种电力行业多源异构数据融合的系统的架构示意图。
图3是一种电力行业多源异构数据融合的方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
参阅图1，图1是一种电力行业多源异构数据融合的系统的结构示意图。
如图1所示，一种电力行业多源异构数据融合的系统，其系统，包括：
建模模块101建立本体模型。
本体模块102加载已经建模的本体模型中要素，完成要素与业务端数据表之间的关系加载。加载已经建模的本体模型中各个要素，包含本体中的实体、本体的属性、实体的关联关系，完成各要素对应的多个业务端数据表之间的关系加载。
数据适配模块103使用通用的数据采集模块104，进行多接口适配、数据分发、数据预处理、负载均衡。多接口适配，是针对不同的数据平台接口开发的，不同的数据平台或系统，存在着结构化、非结构化、半结构化数据，存储的数据格式不一，根据不同的数据以及不同的系统或平台的特点进行多接口适配。
数据采集模块104用于对于不同的数据源，通过适配的接口，对数据集成平台所提供的多种数据源的数据进行采集。
本体数据装载模块105用于对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载。
数据存储模块106用于以图数据、空间数据、文档数据、事件数据对装载的数据进行存储。
可选的，所述建模模块101，包括：对本体、关系、属性、事件的定义，将本体模型固化。
可选的，所述数据适配模块103，包括：通过适配器加载本体模式中的要素。
可选的，所述多接口适配，包括：对结构化、非结构化、半结构化数据进行接口采集。
可选的，所述数据适配模块103可以把图数据、空间数据、文档数据、事件数据都集成到一个数据库中，实现了异构数据的集成。
可选的，所述建模模块101使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，支持电力设备故障检测和预测，设备的综合状态评价。
本发明实施例提供的一种电力行业多源异构数据融合的系统，构建的本体模型，再通过适配器和系统，将多源异构数据表示为统一的模型，利用本体模型的特点形成数据化知识，取代原有电力行业知识存储方式，知识被系统记录、处理和分析。解决了结构化、半结构化和非结构化大数据管理问题，提供数据分析、学习能力，实现智能化、实时性的服务。
参阅图2，图2是一种电力行业多源异构数据融合的系统的构架示意图。
如图2所示，一种电力行业多源异构数据融合的系统，分为持久层201、采集层202、数据源203。
持久层201包括本体建模211、本体数据装载212、动态本体数据库213。本体建模211对本体、关系、属性、事件的定义，将本体模型固化。本体数据装载212对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载。动态本体数据库213将装载的数据以图数据、空间数据、事件数据、文档数据进行存储。
采集层202包括Kafka适配器、Oracle适配器、File适配器、Ftp适配器、NoSQL适配器等适配器为系统提供数据采集；适配器在数据源203、持久层201的本体建模211里采集数据，传输至本体数据装载212或动态本体数据库213中。
数据源203包括资产管理、在线监测中心、调度自动化、数据集成平台、主设备安全预警决策等系统。数据源203为系统提供数据。
本体建模211对本体、关系、属性、事件的定义，将本体模型固化；同步地，通过适配器，采集本体模型中的本体、关系、属性、事件对应的各个系统中的数据或数据集；本体数据装载212对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载；动态本体数据库213将装载的数据以图数据、空间数据、事件数据、文档数据进行存储。
参阅图3，图3是一种电力行业多源异构数据融合的方法的流程示意图。
如图3所示，一种电力行业多源异构数据融合的方法，所述方法，包括：
S301建立本体模型。
S302加载已经建模的本体模型中要素，完成要素对应的多个业务端数据表之间的关系加载。
S303对加载数据，进行处理。
S304对数据集成平台所提供的多种数据源的数据进行采集。
S305对采集数据与处理数据进行清洗、转换、映射、装载。
S306将装载数据，以图数据、空间数据、文档数据、事件数据进行存储。
可选的，使用动态本体模型，通过解析器可以把结构化、非结构化、半结构化的数据都集成到一个数据库中，实现了异构数据的集成。
可选的，所述本体模型使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，提供数据分析、学习能力。
S301建立本体模型。建立本体模型对本体、关系、属性、事件的定义，将本体模型固化。
S302加载已经建模的本体模型中要素，完成要素对应的多个业务端数据表之间的关系加载。加载已经建模的本体模型中各个要素，包含本体中的实体、本体的属性、实体的关联关系，完成各要素对应的多个业务端数据表之间的关系加载。
S303对加载数据，进行处理。使用通用的数据采集模块104，进行多接口适配、数据分发、数据预处理、负载均衡。多接口适配，是针对不同的数据平台接口开发的，不同的数据平台或系统，存在着结构化、非结构化、半结构化数据，存储的数据格式不一，根据不同的数据以及不同的系统或平台的特点进行多接口适配。
S304对数据集成平台所提供的多种数据源的数据进行采集。对于不同的数据源，通过适配的接口，对数据集成平台所提供的多种数据源的数据进行采集。
S305对采集数据与处理数据进行清洗、转换、映射、装载。对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载。
S306将装载数据，以图数据、空间数据、文档数据、事件数据进行存储。
可选的，使用动态本体模型，通过解析器可以把结构化、非结构化、半结构化的数据都集成到一个数据库中，实现了异构数据的集成。
可选的，所述本体模型使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，提供数据分析、学习能力。
本发明实施例提供的一种电力行业多源异构数据融合的系统及方法，构建的本体模型，再通过适配器和系统，将多源异构数据表示为统一的模型，利用本体模型的特点形成数据化知识，取代原有电力行业知识存储方式，知识被系统记录、处理和分析。解决了结构化、半结构化和非结构化大数据管理问题，提供数据分析、学习能力，实现智能化、实时性的服务。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种电力行业多源异构数据融合的系统及方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种电力行业多源异构数据融合的系统，其特征在于，所述系统，包括：
建模模块建立本体模型；
本体模块加载已经建模的本体模型中要素，完成要素与业务端数据表之间的关系加载；
数据适配模块使用通用的数据采集模块，进行多接口适配、数据分发、数据预处理、负载均衡；
数据采集模块用于对于不同的数据源，通过适配的接口，对数据集成平台所提供的多种数据源的数据进行采集；
本体数据装载模块用于对适配采集后与本体模型建立了关系的数据进行清洗、转换、映射、装载；
数据存储模块用于以图数据、空间数据、文档数据、事件数据对装载的数据进行存储。
2.根据权利要求1所述的系统，其特征在于，所述建模模块，包括：
对本体、关系、属性、事件的定义，将本体模型固化。
3.根据权利要求1所述的系统，其特征在于，所述数据适配模块，包括：
通过适配器加载本体模式中的要素。
4.根据权利要求3所述的系统，其特征在于，所述多接口适配，包括：
对结构化、非结构化、半结构化数据进行接口采集。
5.根据权利要求1所述的系统，其特征在于，所述数据适配模块可以把图数据、空间数据、文档数据、事件数据都集成到一个数据库中，实现了异构数据的集成。
6.根据权利要求1所述的方法，其特征在于，所述建模模块使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，支持电力设备故障检测和预测，设备的综合状态评价。
7.一种电力行业多源异构数据融合的方法，其特征在于，所述方法，包括：
建立本体模型；
加载建模的本体模型中要素，完成要素与业务端数据表之间的关系加载；
对加载数据，进行处理；
对数据集成平台所提供的数据进行采集；
对采集数据与处理数据进行清洗、转换、映射、装载；
将装载数据，进行存储。
8.根据权利要求7所述的方法，其特征在于，所述建立本体模型，包括：
对本体、关系、属性、事件的定义，将本体模型固化。
9.根据权利要求7所述的方法，其特征在于，使用动态本体模型，通过解析器可以把结构化、非结构化、半结构化的数据都集成到一个数据库中，实现了异构数据的集成。
10.根据权利要求7所述的方法，其特征在于，所述本体模型使用现实对象和实体的数据映射模型，动态实时采集运营系统数据，提供数据分析、学习能力。
CN202011181449.4A 2020-10-29 2020-10-29 一种电力行业多源异构数据融合的系统及方法 Pending CN112364000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011181449.4A CN112364000A (zh) 2020-10-29 2020-10-29 一种电力行业多源异构数据融合的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011181449.4A CN112364000A (zh) 2020-10-29 2020-10-29 一种电力行业多源异构数据融合的系统及方法

Publications (1)

Publication Number Publication Date
CN112364000A true CN112364000A (zh) 2021-02-12

Family

ID=74513683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011181449.4A Pending CN112364000A (zh) 2020-10-29 2020-10-29 一种电力行业多源异构数据融合的系统及方法

Country Status (1)

Country Link
CN (1) CN112364000A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590626A (zh) * 2021-08-03 2021-11-02 中铁工程装备集团有限公司 隧道掘进装备多源异构数据采集系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239499A (zh) * 2017-05-03 2017-10-10 成都国腾实业集团有限公司 基于多维异构数据源集成与整合模型的分析方法及系统
CN108846020A (zh) * 2018-05-22 2018-11-20 北京易知创新数据科技有限公司 基于多源异构数据进行知识图谱自动化构建方法、系统
CN110489395A (zh) * 2019-07-27 2019-11-22 西南电子技术研究所（中国电子科技集团公司第十研究所） 自动获取多源异构数据知识的方法
CN110674311A (zh) * 2019-09-05 2020-01-10 国家电网有限公司 一种基于知识图谱的电力资产异构数据融合方法
CN110825885A (zh) * 2019-11-13 2020-02-21 南方电网科学研究院有限责任公司 一种电力设备知识图谱应用系统
CN110851488A (zh) * 2019-09-26 2020-02-28 贵阳信息技术研究院（中科院软件所贵阳分部） 基于多源多模态数据融合分析处理方法及平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239499A (zh) * 2017-05-03 2017-10-10 成都国腾实业集团有限公司 基于多维异构数据源集成与整合模型的分析方法及系统
CN108846020A (zh) * 2018-05-22 2018-11-20 北京易知创新数据科技有限公司 基于多源异构数据进行知识图谱自动化构建方法、系统
CN110489395A (zh) * 2019-07-27 2019-11-22 西南电子技术研究所（中国电子科技集团公司第十研究所） 自动获取多源异构数据知识的方法
CN110674311A (zh) * 2019-09-05 2020-01-10 国家电网有限公司 一种基于知识图谱的电力资产异构数据融合方法
CN110851488A (zh) * 2019-09-26 2020-02-28 贵阳信息技术研究院（中科院软件所贵阳分部） 基于多源多模态数据融合分析处理方法及平台
CN110825885A (zh) * 2019-11-13 2020-02-21 南方电网科学研究院有限责任公司 一种电力设备知识图谱应用系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩智等: "基于知识图谱的高铁动车设备检测系统的本体框架构建与维护", 《现代电子技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590626A (zh) * 2021-08-03 2021-11-02 中铁工程装备集团有限公司 隧道掘进装备多源异构数据采集系统及方法

Similar Documents

Publication Publication Date Title
CN112668237B (zh) 一种基于工业互联网云平台的数字孪生模型及其构建方法
CN108446396B (zh) 一种基于改进型cim模型的电力数据处理方法
CN110348070B (zh) 一种基于模型系统工程和超网络理论的体系建模方法
CN112182077B (zh) 一种基于数据中台技术的智能运维系统
CN103631788A (zh) 基于共享数据库的车辆制造质量问题诊断系统
CN113656021A (zh) 一种面向业务场景的油气大数据分析系统及方法
CN116468287A (zh) 一种基于数字孪生的智慧园区控制系统
CN116976549A (zh) 一种面向设备密集离散型制造工厂的智能优化管控方法
CN111753034A (zh) 一种一站式地理大数据平台
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
CN112364000A (zh) 一种电力行业多源异构数据融合的系统及方法
CN111680027A (zh) 基于知识驱动实现智能云管理的方法及其系统
CN113205808A (zh) 一种基于ai咨询云计算搭建方法及系统
CN105677745A (zh) 一种通用高效自助数据查询系统及实现方法
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN114757448B (zh) 一种基于数据空间模型的制造环节间最优价值链构建方法
CN110415136B (zh) 一种电力调度自动化系统服务能力评估系统与方法
CN114312930B (zh) 基于日志数据的列车运行异常诊断方法和装置
CN115719147A (zh) 输电线路巡检数据处理方法、装置、平台
CN115935201A (zh) 一种针对重点应急装备gps及电气量数据采集的监测方法以及装置
CN115424212A (zh) 一种电力作业现场违章识别系统及其应用
KR101687497B1 (ko) 대용량 플랜트 설계 데이터의 경량화 방법
CN110750608B (zh) 一种基于规则库的空间数据分析自动调度方法
CN114356502B (zh) 基于边缘计算技术的非结构化数据标记、训练和发布系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212

RJ01 Rejection of invention patent application after publication