CN105574643A - 一种电网实时数据中心与大数据平台融合方法 - Google Patents

Abstract

本发明公开了一种电网实时数据中心与大数据平台融合方法，建立电网实时数据中心与大数据平台融合整体架构：数据采集层、存储层、网关层、数据处理层、应用层，本发明实现了实时数据中心与大数据平台的有效融合，可利用实时数据中心和大数据平台的功能和技术相辅相成，优势互补，提升历史/准实时数据存储、处理加工效率的同时，保证了原有实时数据中心业务应用的连续性。

Description

一种电网实时数据中心与大数据平台融合方法

技术领域

本发明涉及电网信息化领域，特别是涉及一种电网实时数据中心与大数据平台融合方法。

背景技术

十二五期间，电网企业(如国家电网公司和南方电网公司)建成了实时数据中心，实现了对电力生产运行过程中各业务应用生成的历史/准实时数据的按需存储、整合、共享交换和计算加工，接入了用电信息采集、SCADA、电能量、输变电在线监测等业务系统历史/准实时数据，支撑了大量业务应用的历史/准实时数据访问服务。

随着大数据技术的发展，历史/准实时数据结合大数据相关的技术将发挥更大的价值，通过在实时数据中心引入大数据平台，可以优化数据整合、数据存储、数据计算、数据分析、数据服务能力，支撑业务应用建设。但是，大数据平台的引入，并非直接替代实时数据中心承担历史/准实时数据的存储、整合、分析和计算，大数据平台和实时数据中心在处理历史/准实时数据上是相辅相成的。实时数据中心与大数据平台的有机融合，将使历史/准实时数据发挥更大作用。具体表现在：

(1)时序数据使用模式根深蒂固，现有业务应用已基于此模式实现应用集成及应用开发，融合需考虑使用模式及业务应用的连续性。通过测点访问时序数据的模式在行业内有标准的CIS、OPC等标准，在电网企业层面也发布了UAPI访问规范，基于测点的数据访问已成为时序数据写入和访问的标准模式。同时现有实时数据中心已经支撑电网企业统推应用和部分省(市)公司自建应用的应用集成和数据访问，如果调整时序数据使用模式，势必导致大量统推和自建应用需改造，影响业务应用的连续性。

(2)大数据平台对于分钟级以下时序数据处理能力有限，而实时数据中心底层实时数据库专门为时序数据量身订做，可存储处理毫秒级甚至微秒级时序数据。现有统一车辆数据、供电电压数据等采集频率均达到秒级，随着精益化生产管理需求，越来越多的生产运营实时数据要求精度更高，频度更大，仅通过大数据平台难于处理高频海量时序数据存储、处理和分析需求。

(3)保护投资，充分利旧。根据电网企业十二五规划要求，实时数据中心是四大数据中心之一，重点存储历史/准实时数据。十二五期间，通过实时数据中心的建设，充分验证了其作为历史/准实时数据存储处理的可行性。大数据平台在行业外应用效果明显，但是在电网时序数据存储处理上国内外并无先例，其可行性有待进一步验证研究。同时通过实时数据中心和大数据平台融合的尝试，保护投资的同时也充分利旧。

综上，实时数据中心与大数据平台融合时宜作为大数据平台的一部分存在，通过大数据平台优秀的数据挖掘分析计算组件，支撑实时数据中心深化应用；通过实时数据中心时序数据快速存储处理特性，存储智能电网生产运行时序数据。两者相辅相成、相得益彰。

发明内容

针对现有技术中存在的问题，本发明提供了一种实现基于数据库网关的实时数据中心与大数据平台融合，实现大数据平台支撑时序数据的存储应用，保证原有时序业务应用的使用连续性的电网实时数据中心与大数据平台融合方法。

本发明的目的通过以下技术方案实现。

一种电网实时数据中心与大数据平台融合方法，建立电网实时数据中心与大数据平台融合整体架构：数据采集层、存储层、网关层、数据处理层、应用层，所述的数据采集层基于大数据领域通用的组件Kafka实现，所述的数据采集层用于电网业务中各类时序数据采集和缓存，并传递至存储层；所述的存储层是实时数据中心的核心，采用基于实时数据库和关系数据库双引擎的存储方式，所述的实时数据库存储电网生产运行过程中各业务系统产生的时间序列量测数据，所述的关系数据库存储支撑实时数据中心正常运行的关系型数据；所述的网关层基于JDBC接口和FDW技术实现实时数据中心与Spark大数据技术的融合；所述的数据处理层利用Spark内存计算框架和Storm流式计算框架实现海量数据的历史分析和实时分析，并对外提供统一的数据访问接口；所述的应用层用于实现数据挖掘、数据可视化，与现有基于实时数据中心的各类业务应用共同支撑智能电网稳定运行。

通过实时数据中心内部实时数据库的中间件实时数据库网关实现从SQL到实时数据中心数据访问的回调及JDBC技术，从而实现实时数据中心与大数据平台的融合。

所述的实时数据库网关中实现了SQL到实时数据中心UAPI接口调用的映射，在Spark层执行相应的SQL时，对应执行实时数据中心的UAPI回调，从而实现时序数据的访问。

相比于现有技术，本发明的优点在于：实现了实时数据中心与大数据平台的有效融合，可利用实时数据中心和大数据平台的功能和技术相辅相成，优势互补，提升历史/准实时数据存储、处理加工效率的同时，保证了原有实时数据中心业务应用的连续性。

附图说明

图1是实时数据中心与大数据平台融合总体架构图。

图2是实时数据中心与大数据平台融合原理示意图。

图3是实时数据库网关原理示意图。

图4是基于实时数据中心与大数据平台融合的业务流程示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

图1为实时数据中心与大数据平台融合总体架构图。实时数据中心与大数据平台融合主要通过图中网关层实时数据库网关实现。整体架构可分五层：数据采集层、存储层、网关层、数据处理层、应用层。其中，数据采集层充分考虑电网时序数据业务特点基于大数据领域通用的组件Kafka实现，主要用于电网业务中各类时序数据采集和缓存，并传递至存储层；存储层是实时数据中心的核心，采用基于实时数据库和关系数据库双引擎的存储方式，实时数据库存储电网生产运行过程中各业务系统产生的时间序列量测数据，关系数据库存储支撑实时数据中心正常运行的关系型数据，完全满足并适用于电网各类业务应用中量测对象及量测值(时序数据)的存储；网关层基于JDBC接口和FDW技术实现实时数据中心与Spark大数据技术的有机融合，不仅能够满足电网企业现有时序数据访问的规范要求，而且能够提供以SQL接口的形式直接访问实时数据中心中的时序数据。数据处理层，利用Spark内存计算框架和Storm流式计算框架实现海量数据的历史分析和实时分析，并对外提供统一的数据访问接口；应用层主要实现数据挖掘、数据可视化等具体应用，与现有基于实时数据中心的各类业务应用共同支撑智能电网的安全、高效、稳定运行。

通过实时数据中心内部实时数据库的中间件——实时数据库网关实现从SQL到实时数据中心数据访问的回调及JDBC技术，从而实现实时数据中心与大数据平台的有机融合。通过实时数据中心与大数据平台的融合，一方面完全符合电网企业现有时序数据访问规范技术要求，保持电网企业现有业务应用的连续性，以确保电网企业现有业务系统的稳定、可靠性、高效运行；另一方面实现分布式、高可用、可扩展、高效率的大数据业务，优化了现有海量数据业务，实现大数据技术的充分应用。

图2为实时数据中心与大数据平台Spark融合的原理图。实时数据库网关中实现了SQL到实时数据中心UAPI接口调用的映射，在Spark层执行相应的SQL时，可以对应执行实时数据中心的UAPI回调，从而实现时序数据的访问。实时数据库网关能够以基于JDBC的DataLink接口与大数据组件Spark有效融合，一方面Spark能够直接以SQL或Javaapi接口的形式直接对数据库网关进行访问，另一方面借助瑞中数据研发的DataLink支撑实时数据中心与大数据平台有效融合后面向广域、多源异构数据源为主题的相关电网业务中的存储分析需求。此外，实时数据中心与大数据平台经过上述方式融合后，通过Spark能够实现并满足实时数据中心中的数据与Hadoop系统及其组件中数据的联动需求，实现实时数据中心与大数据平台真正意义上的融合；在实时数据库网关内部，根据实时数据库的特点，借鉴FDW技术，通过瑞中数据RTDB_FDW中间件技术，有效支持实时数据库网关与实时数据中心的内置型的无缝集成。实时数据库网关实现原理如图3所示。上层应用提交SQL实时数据库网关，实时数据库网关通过对SQL的解析、查询优化，最终调用实时数据库的访问API实现数据的交互。

为保证业务应用对海量时序数据访问的高效性，实时数据库网关作为实现实时数据中心与大数据平台融合的关键部分，其在设计研发中考虑以下特性：

(1)基于内存的进程间实时通信技术；

(2)SQL词法解析及预编译技术；

(3)数据库网关仅管理实时数据中心中时序数据的元数据，避免了大量时序数据在任务执行过程中的迁移；

(4)实时数据库网关提供的JDBC接口技术与spark大数据平台的有机融合，利用spark大数据平台自身的延迟执行、任务调度机制、作业划分机制等，能够优化作业的执行效率，提升了海量(平台)为电网业务应用提供高效时序数据访问的效率，同时发挥了spark大数据平台和实时数据中心的优势。

基于RTDB_FDW技术构建的实时数据库网关与实时数据中心之间的无缝集成，使得实时数据中心能够透明、稳定、高效地为电网业务应用提供时序数据服务，同时高效地支持与大数据平台及其相关组件的有效融合、数据联动。

实时数据中心与大数据平台融合后数据访问流程如图4，其流程如下：

业务应用根据应用需求以SQL或及Java接口形式发送请求到大数据平台Spark。

Spark对业务应用的任务请求进行解析、任务调度及任务执行优化。

Spark大数据平台通过实时数据库网关提供的JDBC接口实现连接、注册到实时数据库网关并将相关任务请求发送到实时数据库网关。

实时数据库网关将借助于RTDB_FDW技术将实时数据中心中时序数据的元数据映射到数据库网关内，通过UAPI回调实现数据的访问。同时将数据访问结果返回给数据库网关。然后，业务应用可以以符合时序数据的使用模式要求的方式完成对时序数据访问及基于Spark的电网大数据分析业务。

Claims (3)

1.一种电网实时数据中心与大数据平台融合方法，其特征在于建立电网实时数据中心与大数据平台融合整体架构：数据采集层、存储层、网关层、数据处理层、应用层，所述的数据采集层基于大数据领域通用的组件Kafka实现，所述的数据采集层用于电网业务中各类时序数据采集和缓存，并传递至存储层；所述的存储层是实时数据中心的核心，采用基于实时数据库和关系数据库双引擎的存储方式，所述的实时数据库存储电网生产运行过程中各业务系统产生的时间序列量测数据，所述的关系数据库存储支撑实时数据中心正常运行的关系型数据；所述的网关层基于JDBC接口和FDW技术实现实时数据中心与Spark大数据技术的融合；所述的数据处理层利用Spark内存计算框架和Storm流式计算框架实现海量数据的历史分析和实时分析，并对外提供统一的数据访问接口；所述的应用层用于实现数据挖掘、数据可视化，与现有基于实时数据中心的各类业务应用共同支撑智能电网稳定运行。

2.根据权利要求1所述的一种电网实时数据中心与大数据平台融合方法，其特征在于通过实时数据中心内部实时数据库的中间件实时数据库网关实现从SQL到实时数据中心数据访问的回调及JDBC技术，从而实现实时数据中心与大数据平台的融合。

3.根据权利要求2所述的一种电网实时数据中心与大数据平台融合方法，其特征在于所述的实时数据库网关中实现了SQL到实时数据中心UAPI接口调用的映射，在Spark层执行相应的SQL时，对应执行实时数据中心的UAPI回调，从而实现时序数据的访问。