CN108595699A - 电力调度自动化系统中广域分布式数据的流式处理方法 - Google Patents

Abstract

本发明公开了一种电力调度自动化系统中广域分布式数据的流式处理方法，包括：将电力调度自动化系统的实时数据处理全流程拆分成多个子流程，为每个子流程安排一个流数据处理单元；根据业务逻辑将各流数据处理单元串联起来，构成流拓扑；启动流数据处理单元，持续获取电力调度自动化系统的实时数据，使流数据处理过程按照流拓扑持续工作，完成电力调度自动化系统实时数据处理。本发明提高了对数据处理结果的重复利用率，实现以为数据为驱动的实时数据处理系统，使系统具有高内聚、低耦合特性，提高电力调度自动化系统数据吞吐率。

Description

电力调度自动化系统中广域分布式数据的流式处理方法

技术领域

本发明涉及一种电力调度自动化系统中广域分布式数据的流式处理方法，属于电力自动化技术领域。

背景技术

随着电力调度自动化系统的不断发展以及广泛应用，实时数据规模也随之快速增加，国分云、省地云建设后，系统遥测、遥信数量将达百万级别，传统主备方式调度控制系统架构使用多机冗余互备模式，单一物理节点实时数据处理能力受限，由于各节点独立处理相同的数据集，因此对各台物理机硬件配置均有较高需求。现有调控系统数据对实时数据处理响应时延为秒级，但随着数据规模的不断扩大，冗余互备处理机制的处理能力即将面临瓶颈，已不能满足未来实时数据处理的要求。

从实时采集、在线处理的角度来说，电力调度自动化系统中的数据可以视为一种典型的流数据,一方面，流数据源源不断地到来，随着时间的增长，累积的数据规模将会非常巨大，这会对数据存储造成很大的压力；另一方面，多个应用都需要访问数据，如果不能有效地组织多个应用对流数据的处理关系，提高数据访问的效率，则很难使应用的处理速度匹配上流数据处理的时效要求，因此必然导致部分数据需要先存储然后再重新加载处理，这将造成大量不必要的I/O 开销和计算资源浪费。

为了提高流数据处理的时效性和应用的高效性，流数据处理技术应运而生。流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。流数据具有实时性、未知性和不可逆性3个特点。流数据处理是对流数据进行传输、计算和存储的过程。流数据传输提供端到端的流数据传输服务。在多应用共享流数据的场景中，数据源将数据发布到一个消息总线上，多个应用通过消息总线对流数据进行访问。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种电力调度自动化系统中广域分布式数据的流式处理方法，解决现有技术中电力调度自动化系统海量数据存储压力大、数据访问效率低、数据处理结果重复利用率低存在不必要的I/O开销和计算资源浪费的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：电力调度自动化系统中广域分布式数据的流式处理方法，包括如下步骤：

将电力调度自动化系统的实时数据处理全流程拆分成多个子流程，为每个子流程安排一个流数据处理单元；

根据业务逻辑将各流数据处理单元串联起来，构成流拓扑；

启动流数据处理单元，持续获取电力调度自动化系统的实时数据，使流数据处理过程按照流拓扑持续工作，完成电力调度自动化系统实时数据处理。

优选的，按照单一职责原则将电力调度自动化系统的实时数据处理全流程拆分成多个子流程。

进一步的，所述子流程至少包括一个起始流程和一个结束流程；

所述起始流程用于持续获取电力调度自动化系统的实时数据，形成格式化的数据流并传输给后续子流程；

所述结束流程用于输出实时数据处理结果。

进一步的，所述子流程还包括中间流程，用于输入和输出一个或多个数据流。

进一步的，所述流拓扑指由数据输入与输出的流向构成的有向无环图。

进一步的，通过增加流处理单元并对流处理单元之间的关联关系进行调整实现业务逻辑更新或扩展。

与现有技术相比，本发明所达到的有益效果是：

根据电网设备运行数据的数据流特征，应用数据流的处理方法对调度自动化系统的数据进行实时梳理，有利于提高海量数据的实时性和可用性；

改变传统的以外部存储为中介的数据交互方式，应用流式数据处理技术，对实时数据处理流程按职责划分为一系列流处理单元，通过数据流将各处理单元有机结合起来，降低了对外部存储的依赖，提高对数据处理结果的重复利用率，实现以为数据为驱动的实时数据处理系统，使系统具有高内聚、低耦合特性，提高电力调度自动化系统数据吞吐率；

在处理流程需要更新或扩展时，只需增加流处理单元及调整流处理单元间的关联关系即可，使系统维护难度大大降低，对系统维护成本也有所降低；

流处理体系结构的分布式特性也使实时数据处理的性能得到显著提高。

附图说明

图1是本发明的流拓扑图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，外部数据采集模块源源不断产生实时数据，流入实时数据处理系统，完成数据处理后写入至数据库中。实时数据处理系统采用了流式处理过程，将整个处理任务划分为一系列子过程来进行处理。每个子过程可称为一个流处理单元或流处理节点，这些节点中包含了一个起始节点（输入源）和一个终止节点（数据写入），中间的每个节点可输入一个或多个数据流，例如汇聚节点，也可输出一个或多个数据流，例如分支节点。数据的流动是单向并行的，不可出现环路，整个数据流最终必会流向终止节点，将处理结果写入数据库，完成数据处理过程。流处理过程启动后，只要输入源可接收到数据，流处理过程就可自发地按流拓扑进行工作，实现以数据为驱动的实时数据处理机制。当业务逻辑需要更新或扩展时，只需要增加流处理节点并对节点关联关系进行调整即可，使系统维护难度大大降低。

本发明的提供的电力调度自动化系统中广域分布式数据的流式处理方法具体包括如下步骤：

步骤一：分析实时数据处理全流程,按单一职责原则(SRP)对流程进行拆分，形成多个子流程，其中至少包含一个起始流程与一个结束流程；

步骤二：起始流程从数据采集模块持续获取电力调度自动化系统的实时数据，形成格式化的数据流，向后续子流程传输；

步骤三：结束流程负责输出实时数据处理结果，例如将数据写入磁盘或数据库，提供外部模块使用；

步骤四：为每个子流程安排一个流数据处理单元，每个流数据处理单元需要定义数据输入与输出的格式及内容；

步骤五：根据具体业务逻辑将各流数据处理单元有机地串联起来，由数据输入与输出的流向构成一个有向无环图（DAG），称为流拓扑；

步骤六：应用开源流处理架构对流拓扑进行管理，使流数据处理单元可分布式运行在多个节点上，并支持负载自动均衡与故障自动恢复；

步骤七：启动拓扑流程，使实时数据处理流程持续工作，完成电力调度自动化系统实时数据的处理。

本发明应用流式数据处理技术，对电力调度自动化系统中数据处理任务进行流式化改造，提高对数据处理结果的重复利用率，实现以为数据为驱动的实时数据处理系统，使系统具有高内聚、低耦合特性，提高电力调度自动化系统数据吞吐率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.电力调度自动化系统中广域分布式数据的流式处理方法，其特征在于，包括如下步骤：

将电力调度自动化系统的实时数据处理全流程拆分成多个子流程，为每个子流程安排一个流数据处理单元；

根据业务逻辑将各流数据处理单元串联起来，构成流拓扑；

启动流数据处理单元，持续获取电力调度自动化系统的实时数据，使流数据处理过程按照流拓扑持续工作，完成电力调度自动化系统实时数据处理。

2.根据权利要求1所述的电力调度自动化系统中广域分布式数据的流式处理方法，其特征在于，按照单一职责原则将电力调度自动化系统的实时数据处理全流程拆分成多个子流程。

3.根据权利要求1所述的电力调度自动化系统中广域分布式数据的流式处理方法，其特征在于，所述子流程至少包括一个起始流程和一个结束流程；

所述起始流程用于持续获取电力调度自动化系统的实时数据，形成格式化的数据流并传输给后续子流程；

所述结束流程用于输出实时数据处理结果。

4.根据权利要求3所述的电力调度自动化系统中广域分布式数据的流式处理方法，其特征在于，所述子流程还包括中间流程，用于输入和输出一个或多个数据流。

5.根据权利要求1所述的电力调度自动化系统中广域分布式数据的流式处理方法，其特征在于，所述流拓扑指由数据输入与输出的流向构成的有向无环图。

6.根据权利要求1所述的电力调度自动化系统中广域分布式数据的流式处理方法，其特征在于，通过增加流处理单元并对流处理单元之间的关联关系进行调整实现业务逻辑更新或扩展。