CN113886503A - 一种电力采集数据分布式存储方法及系统 - Google Patents

Abstract

本发明涉及一种电力采集数据分布式存储方法及系统，包括以下步骤：基于预先建立的存储热数据的Oracle生产库，形成面向热数据的分布式数据队列；基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；基于所述分布式大数据存储集群，优化多数据存储同步服务；基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。本发明能够提高数据存储的扩展能力。

Description

一种电力采集数据分布式存储方法及系统

技术领域

本发明属于数据存储技术领域，尤其是一种电力采集数据分布式存储方法及系统。

背景技术

用电信息采集系统作为智能电网的重要组成部分，国家电网公司自2014年以来，通过采集系统的全面建设，有力的促进了智能量测技术的发展，提升电网智能化水平。采集的各类数据已经在电力交易、电费回收、用电检查、市场需求侧、线损精益分析、配网运行监测、供电质量监测以及故障抢修等多个专业业务应用中发挥了重要的数据支撑作用，已成为电力企业经营决策分析的重要基础数据来源。

目前，现有的用电信息采集系统亟待提升数据存储与计算能力，支撑系统的海量数据存储、多任务计算及数据分析需求，满足存储弹性可扩展，提升统计计算效率，实现3000余万用户电量计算、台区线损计算45分钟内完成，智能表深化应用计算30分钟内完成。

传统的用电信息采集系统的电力采集数据存储方法从功能分析、性能分析、稳定性、可扩展性等方面，Oracle数据在存储和计算方面存在较大问题，具体为：

(1)传统采集系统只能在采集数据入库之后才能进行统计分析，不能满足一些实时性要求较高的业务要求。

(2)传统采集系统采取oracle进行统计分析等各类计算，面对大数量计算时，CPU及IO成为重要的性能瓶颈。

(3)传统关系型数据库一旦损坏或检修，必须停机，相应的业务也必须中断。

(4)传统关系型数据库扩展不方便，在扩展硬件时需要停止业务和oracle服务。

发明内容

本发明的目的在于克服现有技术的不足，提出一种电力采集数据分布式存储方法及系统，扩展了数据存储的扩展能力。

本发明解决其现实问题是采取以下技术方案实现的：

一种电力采集数据分布式存储方法，包括以下步骤：

基于预先建立的存储热数据的Oracle生产库，形成面向热数据的分布式数据队列；

基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；

基于所述分布式大数据存储集群，优化多数据存储同步服务；

基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。

而且，所述存储热数据的Oracle生产库的建立方法为：

采用复用Oracle服务器一体机，建立Oracle数据库为存储热数据的生产库；其中，所述生产库用于存储下述数据中的至少一种：电力数据档案部分；各维度统计数据；轻量级计算数据和原始数据；所述生产库用于承担实时生产数据的查询和统计。

而且，所述形成面向热数据的分布式数据队列的具体方法为：

构建对Oracle生产库的缓存代理，并结合分布式缓存Redis，形成分布式数据队列。

而且，所述建立大数据存储平台，形成分布式大数据存储集群的具体方法为：

基于分布式数据队列，建立大数据存储平台，形成Kudu+HBase+Hive的存储集群，所述存储集群作为分布式大数据存储集群。

而且，所述优化多数据存储同步服务的具体步骤包括：

基于已构建的分布式大数据存储集群，采用二级Kafka，同步大数据存储平台与Oracle生产库的数据；

当大数据存储平台的数据存储现异常时，使用磁盘临时存储，将数据进行离线备份，生成Redis缓存数据；

采用定时全量和实时增量通知，将Oracle生产库的数据与Redis缓存数据同步。

而且，所述优化数据流转入库的具体方法为：

由Flink对同步后Oracle生产库的数据进行实时计算、数据清洗和异常处理后将处理结果存储到Oracle生产库中；

由大数据存储平台完成Redis缓存数据的混合计算，然后将计算结果存储到Oracle生产库中。

一种电力采集数据分布式存储系统，包括：

热数据存储和分布式数据列队形成模块，用于基于预先建立的存储热数据的生产库，形成面向热数据的分布式数据队列；

分布式大数据存储集群模块，用于基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；

多数据存储同步服务模块，用于基于所述分布式大数据存储集群，优化多数据存储同步服务；

数据流转入库模块，用于基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。

而且，所述热数据存储和分布式列队形成模块，用于采用复用Oracle服务器一体机，建立Oracle数据库为存储热数据的Oracle生产库；其中，所述Oracle生产库用于存储下述数据中的至少一种：电力数据档案部分；各维度统计数据；轻量级计算数据和原始数据；所述生产库用于承担实时生产数据的查询和统计；

该热数据存储和分布式列队形成模块，还用于构建对Oracle生产库的缓存代理，并结合分布式缓存Redis，形成分布式数据队列。

而且，所述分布式大数据存储集群模块用于基于分布式数据队列，建立大数据存储平台，形成Kudu+HBase+Hive的存储集群，所述存储集群作为分布式大数据存储集群。

而且，所述多数据存储同步服务模块包括：

大数据存储平台与Oracle生产库的数据统合模块，用于基于已构建的分布式大数据存储集群，采用二级Kafka，同步大数据存储平台与Oracle生产库的数据；

异常处理模块，当大数据存储平台的数据存储现异常时，使用磁盘临时存储，将数据进行离线备份，生成Redis缓存数据；

Oracle生产库的数据与Redis的数据同步模块，采用定时全量和实时增量通知，将Oracle生产库的数据与Redis的数据同步。

本发明的优点和有益效果：

1、本发明公开了一种电力采集数据分布式存储方法及系统，针对当前用电数据采集入库、存储、出库过程中面临的存储压力大、数据查询及流转效率低等难题，考虑当前电力数据采集所应用的Oracle数据存储存在的功能、性能、稳定性、可扩展性等方面的问题，通过配置使Kudu+HBase+Hive的存储组合，扩展了数据存储的扩展能力，热数据查询效率、历史数据查询效率、不同数据存储间数据一致率、数据入关系型数据库平均速率、数据入大数据库峰值速率等指标大幅提升。

2、本发明公开了一种基于大数据平台的电力采集数据分布式存储方法及系统，针对当前电力信息高频采集需求，通过提出建立Kudu+HBase+Hive的存储组合，优化数据流转方式，完成关系型数据库中数据抽取到大数据平台下的操作解决海量数据存储，有效解决当前用电采集系统的存储压力。

附图说明

图1是本发明的处理流程图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于电力采集数据分布式存储方法，如图1所示，包括以下步骤：

基于预先建立的存储热数据的Oracle生产库，形成面向热数据的分布式数据队列；

所述存储热数据的Oracle生产库的建立方法为：

采用复用Oracle服务器一体机，建立Oracle数据库为存储热数据的生产库；其中，所述生产库用于存储下述数据中的至少一种：电力数据档案部分；各维度统计数据；轻量级计算数据和原始数据；所述生产库用于承担实时生产数据的查询和统计。

所述形成面向热数据的分布式数据队列的具体方法为：

构建对Oracle生产库的缓存代理，并结合分布式缓存Redis，形成分布式数据队列。

基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；

所述建立大数据存储平台，形成分布式大数据存储集群的具体方法为：

基于分布式数据队列，建立大数据存储平台，形成Kudu+HBase+Hive的存储集群，所述存储集群作为分布式大数据存储集群。

在本实施例中，所述分布式大数据存储集群为：冷数据(历史数据使用Hive)+温数据(使用Kudu)+热数据(HBase、Redis缓存、Oracle生产库)。

基于所述分布式大数据存储集群，优化多数据存储同步服务；

所述优化多数据存储同步服务的具体步骤包括：

基于已构建的分布式大数据存储集群，采用二级Kafka，同步大数据存储平台与Oracle生产库的数据；

当大数据存储平台的数据存储现异常时，使用磁盘临时存储，将数据进行离线备份，生成Redis缓存数据；

采用定时全量和实时增量通知，将Oracle生产库的数据与Redis缓存数据同步。

基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。

所述优化数据流转入库的具体方法为：

由Flink对同步后Oracle生产库的数据进行实时计算、数据清洗和异常处理后将处理结果存储到Oracle生产库中；

由大数据存储平台完成Redis缓存数据的混合计算，然后将计算结果存储到Oracle生产库中。

一种电力采集数据分布式存储系统，包括：

热数据存储和分布式数据列队形成模块，用于基于预先建立的存储热数据的生产库，形成面向热数据的分布式数据队列；

分布式大数据存储集群模块，用于基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；

多数据存储同步服务模块，用于基于所述分布式大数据存储集群，优化多数据存储同步服务；

数据流转入库模块，用于基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。

所述热数据存储和分布式列队形成模块，用于采用复用Oracle服务器一体机，建立Oracle数据库为存储热数据的Oracle生产库；其中，所述Oracle生产库用于存储下述数据中的至少一种：电力数据档案部分；各维度统计数据；轻量级计算数据和原始数据；所述生产库用于承担实时生产数据的查询和统计；

该热数据存储和分布式列队形成模块，还用于构建对Oracle生产库的缓存代理，并结合分布式缓存Redis，形成分布式数据队列。

所述分布式大数据存储集群模块用于基于分布式数据队列，建立大数据存储平台，形成Kudu+HBase+Hive的存储集群，所述存储集群作为分布式大数据存储集群。

所述多数据存储同步服务模块包括：

大数据存储平台与Oracle生产库的数据统合模块，用于基于已构建的分布式大数据存储集群，采用二级Kafka，同步大数据存储平台与Oracle生产库的数据；

异常处理模块，当大数据存储平台的数据存储现异常时，使用磁盘临时存储，将数据进行离线备份，生成Redis缓存数据；

Oracle生产库的数据与Redis的数据同步模块，采用定时全量和实时增量通知，将Oracle生产库的数据与Redis的数据同步。

本发明的工作过程和工作原理是：

1、基于分布式大数据存储集群完成用电数据高效存储

本发明在实施过程中，在安全防护网络分区分域的部署架构下，进行用电采集系统的数据将以分布式的方式进行存储，分别包括Oracle数据库、分布式数据队列、大数据平台等，主要包括以下几部分：

(1)Oracle生产库

生产库负责承担数据的查询和共享发布。在生产库中，档案部分包括下述中的至少一种：用户档案、终端档案、线路档案、交采档案、总加档案、资产档案、电表档案、脉冲档案、台区档案、计量点档案以及采集对象档案；各维度统计数据包括下述中的至少一种：电能量、负荷和线损数据；轻量级计算数据，包括下述中的至少一种数据类统计数据、状态类统计数据、结果类统计数据等；原始数据，包括下述中的至少一种电能示值、电压曲线、状态数据、电流曲线、功率曲线、示值曲线、终端事件、表计事件、报文数据、费控数据、时钟数据等。

(2)分布式数据队列

分布式数据队列，主要用于缓存上行采集数据，包括上行表计事件数据、上行终端事件数据、上行参数结果数据、上行通信报文、上行控制指令及结果数据、上行抄表结果数据等。

分布式数据队列中的数据，直接写入大数据平台进行存储和计算。

(3)大数据平台

大数据平台中存储数据包括下述中的至少一种：电网关系数据、用电客户档案数据、表计档案数据、终端档案数据、脉冲档案数据、总加组档案数据、冻结电能示值数据、抄表曲线数据、终端事件数据、表计事件数据、电能量计算数据、负荷统计数据、事件分析研判数据、线损分析数据、计量异常分析数据等。

此外还包括各类数据模型：电量计算模型、负荷计算模型、事件研判模型、费控分析模型、线损计算模型、异常分析模型、流量计算模型、智能表误差诊断分析模型等各类计算模型。

此外，大数据平台存储数据，也可以根据业务需求，将原始数据直接写入生产库中。

2、依托分布式大数据存储，优化数据流转

基于高性能的分布式大数据存储，开展用电数据流转方式优化，实现用电数据快速入库、出库。

(1)系统内部数据流转

1)采集档案抽取

通过大数据平台的数仓配置、数据接入任务来实现从Oracle生产库向分布式数据队列，再到大数据平台的档案同步操作。

2)原始数据接入

原始数据接入采用一发双收的模式设计，如下：

①Oracle生产库：采集原始数据直接通过入库策略(双通道写的方式)进行Oracle生产库的原始数据写入。Oracle生产库中增加过时数据清理的机制，根据各类热数据保留时间上限，通过分区数据清理或数据时标判断方式清理，保证Oracle生产库的热数据一直保持在指定时间范围内。

②Oracle原始数据入库的过程描述如下：

从分布式消息队列1中获取数据后，进行数据解析和加工处理，统一写入大数据平台的分布式消息队列2中；

从分布式消息队列2中，读取数据，直接写入Oracle生产库中；

从分布式消息队列2中，并行写入大数据存储平台和Oracle生产库中；

(2)纵向数据流转

1)营销系统采集档案同步

延用现有的营销系统与采集系统的采集档案接口程序，采集档案先从Oracle生产库落地，然后大数据平台通过ETL组件定时从Oracle生产库进行采集档案增量同步。

2)抄表数据同步营销系统

采集系统的采集结果数据采用一发双手方式分别写入Oracle热数据库、HBase。为保证营销业务应用系统中抄表算费业务的正常流转，需要增加一个ETL工具组件，采集原始数据接入前根据配置文件筛选需要实时写入营销系统的数据项，然后将采集原始数据即时写入到营销系统。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种电力采集数据分布式存储方法，其特征在于：包括以下步骤：

基于预先建立的存储热数据的Oracle生产库，形成面向热数据的分布式数据队列；

基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；

基于所述分布式大数据存储集群，优化多数据存储同步服务；

基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。

2.根据权利要求1所述的一种电力采集数据分布式存储方法，其特征在于：所述存储热数据的Oracle生产库的建立方法为：

采用复用Oracle服务器一体机，建立Oracle数据库为存储热数据的生产库；其中，所述生产库用于存储下述数据中的至少一种：电力数据档案部分；各维度统计数据；轻量级计算数据和原始数据；所述生产库用于承担实时生产数据的查询和统计。

3.根据权利要求1所述的一种电力采集数据分布式存储方法，其特征在于：所述形成面向热数据的分布式数据队列的具体方法为：

构建对Oracle生产库的缓存代理，并结合分布式缓存Redis，形成分布式数据队列。

4.根据权利要求1所述的一种电力采集数据分布式存储方法，其特征在于：所述建立大数据存储平台，形成分布式大数据存储集群的具体方法为：

基于分布式数据队列，建立大数据存储平台，形成Kudu+HBase+Hive的存储集群，所述存储集群作为分布式大数据存储集群。

5.根据权利要求1所述的一种电力采集数据分布式存储方法，其特征在于：所述优化多数据存储同步服务的具体步骤包括：

基于已构建的分布式大数据存储集群，采用二级Kafka，同步大数据存储平台与Oracle生产库的数据；

当大数据存储平台的数据存储现异常时，使用磁盘临时存储，将数据进行离线备份，生成Redis缓存数据；

采用定时全量和实时增量通知，将Oracle生产库的数据与Redis缓存数据同步。

6.根据权利要求1所述的一种电力采集数据分布式存储方法，其特征在于：所述优化数据流转入库的具体方法为：

由Flink对同步后Oracle生产库的数据进行实时计算、数据清洗和异常处理后将处理结果存储到Oracle生产库中；

由大数据存储平台完成Redis缓存数据的混合计算，然后将计算结果存储到Oracle生产库中。

7.一种电力采集数据分布式存储系统，其特征在于：包括：

热数据存储和分布式数据列队形成模块，用于基于预先建立的存储热数据的生产库，形成面向热数据的分布式数据队列；

分布式大数据存储集群模块，用于基于所述分布式数据队列，建立大数据存储平台，形成分布式大数据存储集群；

多数据存储同步服务模块，用于基于所述分布式大数据存储集群，优化多数据存储同步服务；

数据流转入库模块，用于基于多数据存储同步服务，优化数据流转入库，完成电力采集数据分布式存储。

8.根据权利要求7所述的一种电力采集数据分布式存储系统，其特征在于：所述热数据存储和分布式列队形成模块，用于采用复用Oracle服务器一体机，建立Oracle数据库为存储热数据的Oracle生产库；其中，所述Oracle生产库用于存储下述数据中的至少一种：电力数据档案部分；各维度统计数据；轻量级计算数据和原始数据；所述生产库用于承担实时生产数据的查询和统计；

该热数据存储和分布式列队形成模块，还用于构建对Oracle生产库的缓存代理，并结合分布式缓存Redis，形成分布式数据队列。

9.根据权利要求7所述的一种电力采集数据分布式存储系统，其特征在于：所述分布式大数据存储集群模块用于基于分布式数据队列，建立大数据存储平台，形成Kudu+HBase+Hive的存储集群，所述存储集群作为分布式大数据存储集群。

10.根据权利要求7所述的一种电力采集数据分布式存储系统，其特征在于：所述多数据存储同步服务模块包括：

大数据存储平台与Oracle生产库的数据统合模块，用于基于已构建的分布式大数据存储集群，采用二级Kafka，同步大数据存储平台与Oracle生产库的数据；

异常处理模块，当大数据存储平台的数据存储现异常时，使用磁盘临时存储，将数据进行离线备份，生成Redis缓存数据；

Oracle生产库的数据与Redis的数据同步模块，采用定时全量和实时增量通知，将Oracle生产库的数据与Redis的数据同步。

Images