CN112148546A - 电力系统静态安全分析并行计算系统及方法 - Google Patents

Abstract

本发明公开了一种电力系统静态安全分析并行计算系统及方法，属于电力系统调度自动化领域，包括，将重型应用计算分解成多个并行子计算任务输入，以及将和子计算过程相关的数据形成子计算输入数据文件；子计算任务申请资源分配，为子计算任务动态分配一个运行容器，通过管理进程启动子计算任务；子计算任务结果汇总，对子计算输出的中间结果文件按照指定的规则进行汇总，并将最终的电力系统分析计算应用任务的计算结果以标准流的方式输出。本发明能够实现基于电力系统大规模数据集的静态安全分析应用的并行计算方法，通过并行计算框架的开发改造，达到缩短计算时间、提升计算效率和减少资源消耗的目的。

Description

电力系统静态安全分析并行计算系统及方法

技术领域

本发明涉及电力系统调度自动化技术领域，尤其涉及一种电力系统静态安全分析并行计算系统及方法。

背景技术

随着电网建设规模的不断扩大，电网建设信息化水平不断提高，基于大规模电网数据的复杂高级应用计算所消耗的资源和花费的时间也呈现指数级增长，传统的单一复杂运算方法，已经无法满足调度人员驾驭复杂大电网的要求，迫切需要一种新的基于大规模数据集的并行计算框架，实现单一复杂运算的多核并行应用计算。

电网规模较大的情况下，实时静态安全分析等计算模块常常需要耗费大量的时间来进行支路扫描。在设计并行计算方式时，计算模块需要考虑中间结果存储、工作调度、负载均衡、容错均衡以及网络通信等复杂问题，增加了并行计算程序开发的复杂度和难度。基于云服务平台和并行计算技术的多核并行计算方法，将长耗时的单次计算分析服务自动分解为可以并行运行的计算子任务，实现并行电力计算服务，大幅减少服务单次执行的运行时间。解决并行计算中间结果存储、工作调度、负载均衡、容错均衡以及网络通信等复杂问题，实现支持大规模电网的N-1、N-2的静态安全分析计算，特别针对省地一体化的全模型，以计算时间最优为目标，实现省地协同方式的静态安全分析计算方法，从而获得完整的电网静态安全稳定分析结果，形成完整的校核报告。

传统的复杂应用并行计算解决方案，计算资源通常展示为一台逻辑上统一的计算机。即使是对于一个由多个刀片、SAN构成的HPC集群来说，展现给开发人员的仍旧是一台计算机，只不过这台计算拥有为数众多的CPU，以及容量巨大的主存与磁盘。这类解决方案的局限性有：存在I/O性能瓶颈，同时由于集群组件间耦合、依赖较紧密，集群容错性较差；成本高昂扩展困难；开发要求较高，传统的并行计算模型都有着与多线程模型类似的逻辑，这种编程模型最大的问题是程序的行为难以控制。对开发人员提出了较高的要求，不利于程序的健壮性和系统的稳定性考量。

发明内容

本发明的目的在于提供一种电力系统静态安全分析并行计算系统及方法，在分布式集群中，实现复杂计算过程的多节点多线程的并行化，一方面提升了电力系统复杂应用的计算效率，另一方面也使得电力系统大规模数据集复杂应用计算不再受制于单个计算机的硬件资源，计算能力进一步提升。

为达到上述目的，本发明采用的技术方案如下：

电力系统静态安全分析并行计算系统，包括任务分解模块，任务调度模块和计算结果汇总模块；

所述任务分解模块用于将电力系统静态安全分析应用进行分解，将重型应用计算分解成多个轻型的潮流计算子计算过程，并存储至分布式文件系统；以及，用于将重型应用计算的输入数据，分解成多个子计算的输入数据文件，每个输入数据文件对应一个子计算任务，存储至分布式文件系统中；所述重型应用为GB级数据的计算，轻型子计算为MB级数据的计算；

所述任务调度模块由资源分配模块和任务管理模块构成；

所述资源分配模块用于为子计算任务动态分配运行容器；

所述任务管理模块用于启动子计算任务，以及对子计算任务的运行状态进行监视；子计算任务执行完成后，生成一个输出结果数据文件，并以标准流的方式输出至中间结果文件，存储至分布式文件系统；

所述计算结果汇总模块用于读取中间结果文件的数据，对所有子计算任务的输出结果数据按照静态安全分析的规则进行汇总，并将最终的电力系统静态安全分析应用的计算结果，以标准流的方式输出至计算结果文件，并保存至分布式文件系统。

前述的任务管理模块配置管理进程，所述管理进程启动子计算任务，并对子计算任务的运行状态进行监视。

前述的子计算任务执行成功后，管理进程释放运行容器并结束；所述子计算任务运行失败时，管理进程会重新启动子计算任务。

前述的在多个子计算任务的并行执行过程中，管理进程主动汇报子计算任务的运行状态，并记录运行节点情况，统计各个子计算任务的执行时间，消耗内存和CPU资源。

电力系统静态安全分析并行计算方法，包括：

(1)电力系统静态安全分析应用任务的数据初始化，包括：将重型应用计算分解成多个并行子计算任务输入，每个子任务并发的进行计算数据初始化，将和本次子计算过程相关的数据形成子计算输入数据文件；

(2)子计算任务申请资源分配，通过资源分配模块为子计算任务动态分配一个运行容器，在分配到运行容器后，通过管理进程启动子计算任务；

(3)子计算任务结果汇总，在子计算任务执行完成后，子计算任务的计算结果以标准流的方式输出至中间结果文件，通过计算结果汇总模块对中间结果文件按照静态安全分析的规则进行汇总，直到汇总完所有子计算任务的中间结果文件，汇总过程结束，然后将最终的电力系统静态安全分析应用任务的计算结果以标准流的方式输出至计算结果文件，并保存至分布式文件系统中。

前述的子计算任务启动后，从分布式文件系统的数据输入目录下，以标准流的方式读取相应的输入数据文件内的数据，并根据输入数据文件数据加载计算所需的电网模型数据，执行子计算过程。

前述的支持多个用户同时提交电力系统静态安全分析应用计算请求，每个计算任务有自己的私有ID，作为唯一标识符，计算数据会按照私有ID进行数据隔离。

前述的计算任务运行结束时，支持用户对任务的执行基本情况进行查询，包括启动时间、结束时间、消耗内存和CPU资源情况、运行节点情况、运行成功与否，和任务执行过程相关的信息。

本发明所达到的有益效果为：

本发明一方面提升了存储的可靠性和大规模数据的处理能力，另一方面也大大降低了并行计算相关数据的存储、同步和汇总过程的难度。

本发明分布式存储方案的核心是一个可以运行在普通硬件设备上的分布式文件系统，是分布式并行计算中数据存储和管理的基础。分布式存储方案的提出解决了超大数据集文件的处理和基于流数据访问的需求，且相较于集中式存储方案在容错性、可靠性、可扩展性和吞吐率方面都有很大优势，其多节点备份的机制保障了存储的可靠性，不会由于少量的设备故障而丢失数据。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

为了解决基于大规模电网数据静态安全分析应用并行计算的分布式计算输入、中间结果存储和计算结果汇总等问题，本发明提出了电力系统分布式存储解决方案，在电力系统平台分布式文件系统的基础上，电力系统静态安全分析应用并行计算过程简化了并发和锁的问题，实现了计算数据的分布式存储和共享。静态安全分析应用计算被分解为多个独立的最小计算过程，通过分布式文件系统，实现每个子计算过程的数据输入、中间结果保存、计算结果汇总输出，子计算过程由任务调度程序，统一的调度分配至多个节点进行计算，最终形成静态安全分析应用的并行化计算方法。其中，并行化计算需要解决以下几个问题：1)如何对复杂电力分析应用的计算过程进行分解，以满足并行执行的需求；2)如何初始化每个子计算任务的输入数据；3)分解过后的子计算任务，如何调度分配和执行；4)计算结果如何汇总。

本发明的并行计算系统主要是通过任务分解模块，任务调度模块和计算结果汇总模块实现的。

任务分解模块用于将电力系统静态安全分析应用进行分解，将重型应用(基于GB级数据的单一串行计算，耗时较长)，按照计算case的不同，分解成多个轻型的潮流计算子计算过程(基于MB级数据的并行计算，耗时较短)，并存储至分布式文件系统。

传统的静态安全分析应用计算时间是分钟级别，分解后的子计算过程是秒级，经过并发，极大的缩短了整体的计算时间。任务分解模块将重型应用计算分解成多个并行子计算任务输入，同时，还将计算的输入数据，分解成多个子计算的输入数据文件，每个输入数据文件对应一个子计算任务，存储至分布式文件系统中，子计算任务程序调用分布式文件系统读取接口，获取输入数据文件进行计算。并行子计算任务以输入数据文件的个数为参照，每个输入数据文件对应会启动一个子计算任务。

任务调度模块主要由资源分配模块和任务管理模块组成，提供子计算任务运行的资源分配方案、分布式调度运行方案和任务运行状态监视，模块间通信采用电力调度自动化系统平台消息中间件。

对于分布式集群来说，集群内的资源是一个整体，需要对计算资源进行集中分配和动态调度。在复杂分析计算应用划分为多个子计算任务后，将子计算任务提交至资源分配模块，资源分配模块会为子计算任务动态分配一个运行容器(即资源)，并在指定节点启动该运行容器，同时启动一个监视子计算任务运行的管理进程，管理进程会启动该子计算任务，并对子计算任务的运行状态进行监视。子计算任务执行完成后，生成一个输出结果数据文件，并以标准流的方式输出至中间结果文件，存储至分布式文件系统。子计算任务运行失败时，管理进程会重新启动子计算任务，子计算任务成功执行后，管理进程释放运行容器并结束。在多个子计算任务的并行执行过程中，各管理进程会主动汇报子计算任务的运行状态，并记录重要的时间节点，统计各个子计算任务的执行时间，消耗的资源。

如果系统资源受限，负载较高，无法分配新的运行容器，则会进入等待状态，并进入重新申请资源的流程。

考虑到电力系统分析应用程序的性能和平台的兼容性，需要支持跨语言的子计算任务程序调用，选用标准输入输出流作为中间环节，同时改造输入和输出程序，重写输入输出类，将内存数据固化至输入输出文件，存储至分布式文件系统，以标准流的方式读入输入文件和输出结果数据文件。

计算结果汇总模块用于读取中间结果文件的数据，对所有子计算任务的输出结果数据按照静态安全分析的规则进行汇总，并将最终的电力系统计算分析应用计算结果，以标准流的方式输出至计算结果文件，并保存至分布式文件系统。计算结果汇总模块包含结果数据的序列化模块和反序列化模块。序列化模块将内存数据对象序列化至文件，存储至分布式文件系统，反序列化模块读取输入文件，并将文件内容反序列化至内存数据对象。

本发明提供一种并行计算方法，具体参见图1，包括如下部分：

(1)电力系统静态安全分析应用任务的数据初始化，在传统电力系统静态安全分析应用中，计算过程需要加载整个电网的数据，数据量较为庞大，加载和计算过程也十分耗时，在分布式场景下，如果全量的电网数据并发的全部加载到内存，势必消耗大量的内存资源，且造成资源浪费。本发明针对分布式并行计算做了应用改造，将全量电网数据文件存储至分布式文件系统，将重型应用计算分解成多个并行子计算任务输入，每个子任务并发的进行计算数据初始化，将和本次子计算过程相关的数据加载到内存，形成子计算输入数据文件，子计算输入数据文件只占很小的一部分。初始化完成后，子任务加载各自的输入数据文件和电网模型数据加载，进行分析计算。

(2)子计算任务申请资源分配，资源分配模块会为子计算任务动态分配一个运行容器，在分配到运行容器后，子计算任务由管理进程启动，并执行，计算程序分别加载输入文件和初始化数据，进行子计算过程的计算。

子任务启动后，首先会从分布式文件系统的数据输入目录下，以标准流的方式读取相应的输入数据文件内的数据，并根据输入数据文件数据加载计算所需的电网模型数据。在传统应用中，加载模块会将全量电网模型数据加载至内存，大小在1GB左右，在并行计算场景下，如果每个子计算任务都预先加载1GB数据，会严重消耗系统资源和数据初始化时间。为此，每个子计算任务在初始化电网模型数据时，只加载和本次计算相关的电网模型支路数据，大小在10M至100M左右，极大的减少了内存消耗和缩短了数据初始化的时间。

在并行子任务运行过程中，任务管理进程会实时监视并汇报任务运行状态，任务执行失败时会主动重启任务。

本发明还支持多个用户同时提交电力系统静态安全分析应用的分析计算请求，每个计算任务有自己的私有ID，作为唯一标识符，计算数据(输入数据文件数据、中间结果文件数据、计算结果文件数据)会按照私有ID进行数据隔离，不会产生数据混淆。每个计算任务划分出的子任务会由单独的管理进程进行管理，虽然是并发执行，但是都是相互独立的计算过程。

在多任务并发执行时，任务管理进程会实时监视任务运行状态。各个任务通过RPC协议向任务管理进程汇报自己的状态和进度，以让任务管理进程随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在运行结束时，用户可以对任务的执行基本情况进行查询，包括启动时间、结束时间、消耗内存和CPU资源情况、运行节点情况、运行成功与否等和任务执行过程相关的信息。

(3)电力系统静态安全分析应用子计算任务结果汇总，在子任务计算完成后，子任务的计算结果以标准流的方式输出至中间结果文件，作为计算结果汇总模块的输入数据。计算结果汇总模块对中间结果文件按照静态安全分析的规则进行汇总，直到汇总完所有子任务的中间结果文件，汇总过程结束，并将最终的电力系统静态安全分析应用计算结果以标准流的方式输出至计算结果文件，并保存至分布式文件系统中。至此整个并行计算过程结束。

以下说明输入输出数据结构设计：

每个预想事故子计算任务对应的输入数据集结构具体如下：

汇集计算结果的数据结构具体如下：

计算过程中，任务管理进程会监视并汇报任务运行状态，记录重要运行时间节点、执行任务消耗的资源大小、任务在各个电力系统平台节点的分布情况。在计算结束时，可查询以上任务运行信息，并作出相应统计分析。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.电力系统静态安全分析并行计算系统，其特征在于，包括任务分解模块，任务调度模块和计算结果汇总模块；

所述任务分解模块用于将电力系统静态安全分析应用进行分解，将重型应用计算分解成多个轻型的潮流计算子计算过程，并存储至分布式文件系统；以及，用于将重型应用计算的输入数据，分解成多个子计算的输入数据文件，每个输入数据文件对应一个子计算任务，存储至分布式文件系统中；所述重型应用为GB级数据的计算，轻型子计算为MB级数据的计算；

所述任务调度模块由资源分配模块和任务管理模块构成；

所述资源分配模块用于为子计算任务动态分配运行容器；

所述任务管理模块用于启动子计算任务，以及对子计算任务的运行状态进行监视；子计算任务执行完成后，生成一个输出结果数据文件，并以标准流的方式输出至中间结果文件，存储至分布式文件系统；

所述计算结果汇总模块用于读取中间结果文件的数据，对所有子计算任务的输出结果数据按照静态安全分析的规则进行汇总，并将最终的电力系统静态安全分析应用的计算结果，以标准流的方式输出至计算结果文件，并保存至分布式文件系统。

2.根据权利要求1所述的电力系统静态安全分析并行计算系统，其特征在于，所述任务管理模块配置管理进程，所述管理进程启动子计算任务，并对子计算任务的运行状态进行监视。

3.根据权利要求2所述的电力系统静态安全分析并行计算系统，其特征在于，所述子计算任务执行成功后，管理进程释放运行容器并结束；所述子计算任务运行失败时，管理进程会重新启动子计算任务。

4.根据权利要求2所述的电力系统静态安全分析并行计算系统，其特征在于，在多个子计算任务的并行执行过程中，管理进程主动汇报子计算任务的运行状态，并记录运行节点情况，统计各个子计算任务的执行时间，消耗内存和CPU资源。

5.电力系统静态安全分析并行计算方法，其特征在于，包括：

（1）电力系统静态安全分析应用任务的数据初始化，包括：将重型应用计算分解成多个并行子计算任务输入，每个子任务并发的进行计算数据初始化，将和本次子计算过程相关的数据形成子计算输入数据文件；

（2）子计算任务申请资源分配，通过资源分配模块为子计算任务动态分配一个运行容器，在分配到运行容器后，通过管理进程启动子计算任务；

（3）子计算任务结果汇总，在子计算任务执行完成后，子计算任务的计算结果以标准流的方式输出至中间结果文件，通过计算结果汇总模块对中间结果文件按照静态安全分析的规则进行汇总，直到汇总完所有子计算任务的中间结果文件，汇总过程结束，然后将最终的电力系统静态安全分析应用任务的计算结果以标准流的方式输出至计算结果文件，并保存至分布式文件系统中。

6.根据权利要求5所述的电力系统静态安全分析并行计算方法，其特征在于，所述子计算任务启动后，从分布式文件系统的数据输入目录下，以标准流的方式读取相应的输入数据文件内的数据，并根据输入数据文件数据加载计算所需的电网模型数据，执行子计算过程。

7.根据权利要求5所述的电力系统静态安全分析并行计算方法，其特征在于，支持多个用户同时提交电力系统静态安全分析应用计算请求，每个计算任务有自己的私有ID，作为唯一标识符，计算数据会按照私有ID进行数据隔离。

8.根据权利要求5所述的电力系统静态安全分析并行计算方法，其特征在于，计算任务运行结束时，支持用户对任务的执行基本情况进行查询，包括启动时间、结束时间、消耗内存和CPU资源情况、运行节点情况、运行成功与否，和任务执行过程相关的信息。

Images