CN105139130A - 一种适用于电力系统分布式任务的管理方法 - Google Patents

Abstract

本发明公开了一种适用于电力系统分布式任务的管理方法，其特征是，包括以下步骤：1)分布式任务的初始化：将待处理的数据集分成大小均衡的数据块，将数据块和任务部署到活跃节点上；2)分布式任务的运行管理：提供故障冗余、负载均衡、手动任务停止和任务切换功能；3)计算节点的状态管理：离线后，任务会自动迁移到其它节点运行；恢复后，高负载节点的任务自动迁移到该节点上；4)分布式任务的结果汇总：支持单节点、全系统、区域汇总三种方式。本发明所达到的有益效果：1、处理能力高，电力应用的任务完全分布式并发运行；2、可靠性高，任意任务实例或者计算节点故障都不影响任务的完成；3、资源使用率高，各个节点都为任务完成提供计算能力。

Description

一种适用于电力系统分布式任务的管理方法

技术领域

本发明涉及一种适用于电力系统的分布式任务管理方法，属于分布式处理技术领域。

背景技术

现有的电力调度自动化系统中，电力应用一般采用各个服务器单独运行全部处理任务，互为备份，仅应用主机对外提供服务的模式。资源利用率不高，且系统处理能力受到单机硬件能力的限制。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种自动化程度高、可靠性高、处理能力强、资源利用率高、可移植性好的适用于电力系统的分布式任务管理方法。

为了实现上述目标，本发明采用如下的技术方案：

一种适用于电力系统分布式任务的管理方法，其特征是，包括以下步骤：

1)分布式任务的初始化：管理程序根据系统中活跃的处理节点的数量，将待处理数据划分成大小均衡的若干数据集合，并将任务进程分发到所有活跃的节点上；接着将每个数据集合分发到对应的计算节点上去，并启动计算任务，；

2)运行管理：包括故障冗余、负载均衡、状态切换以及启停管理；

3)计算节点的状态管理：通过心跳机制发现节点离线后，立刻将此节点上的任务迁移到其它低负载节点上；发现节点恢复后，通过负载均衡原则将高负载节点上的任务迁移到该节点上；

4)分布式任务的结果汇总：采用单节点汇总、全系统汇总和区域汇总，并将结果最终写入电力系统内存实时数据库；

前述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤2)中分布式任务的故障冗余为系统中所有正在运行的主任务启动一个热备任务，且热备任务与主任务不在同一个节点上；热备任务得到主任务同样的数据输入，并且运行同样的处理逻辑；如果主任务运行失败，或者中途故障退出，热备任务会立刻升级成主任务，计算完成后此任务实例的结果将参与汇总；同时除主任务故障的节点和热备任务升主任务的节点之外的另一个节点会再启动一个此任务的热备任务。

前述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤2)中分布式任务的负载均衡以每个节点的任务数量来衡量负载，包括主任务层面和热备任务层面；一旦任意两个节点间主任务的数量之差超过一个阈值，负载均衡会自动将高负载节点的部分主任务迁移到低负载节点上；其中，所述阈值根据经验值设定。同样，一旦两个节点间备任务的数量之差超过所述阈值，负载均衡会自动将高负载节点的部分备任务迁移到低负载节点上。

前述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤2)中状态切换采用手动切换主任务和热备任务的状态；启停管理采用手动停止任务，无论停止的是主任务还是热备任务，相对应的另一个任务也会停止。

前述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤3)中，节点一旦离线，管理程序通过心跳机制立刻发现后，将这个节点运行的主任务和热备任务在其它低负载节点上重新启动；节点一旦恢复，心跳机制会立刻发现该节点；管理程序将该节点上的任务先全部置为热备状态，根据主、备任务的负载均衡原则调整任务的分布情况，直到整个系统的主任务和热备任务都处于负载均衡状态。

前述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤4)中，当采用单节点汇总方式时，只有一个服务节点对上层电力应用提供服务时，电力应用指定该节点作为汇总节点，其他节点使用TCP协议向其发送最终的计算结果；当采用全系统汇总方式时，每个节点都对外提供服务时，每个计算节点使用组播发送自己的计算结果，实现全系统汇总，汇总结果最终写入电力系统内存实时数据库；当采用区域汇总方式时，电力应用采用区域计算和服务模式时，部分计算节点指定一个节点作为汇总节点，剩余节点指定另一个点作为汇总节点，使用汇总节点的节点号通过算法形成组播端口，通过组播协议发送计算结果。

本发明所达到的有益效果：1、处理能力高，电力应用的任务完全分布式并发运行；2、自动化程度高，从数据划分到结果汇总整个系统运行过程不需要人工干预；3、可靠性高，任意任务实例或者计算节点故障都不影响任务的最终完成；4、资源使用率高，任务负载被平均的分摊到了各个计算节点，各个节点都为任务完成提供了计算能力；5、可管理性高，在系统运行过程中允许增删计算节点，且不需要人工干预；6、可移植性好，所有功能完全是有计算机程序实现，可运行在各种UNIX和Linux、Windows操作系统上，不需要借助任何操作系统自带的软件；7、部署简单，只需部署一个管理程序、一个动态库、一个配置文件即可运行。

附图说明

图1是本发明中分布式系统的任务初始化流程图；

图2是本发明中任务故障处理流程图；

图3是本发明中恢复处理流程图；

图4是本发明中负载均衡的处理流程图；

图5是负载均衡实现的具体实例；

图6是节点离线的处理流程图；

图7是节点恢复的处理流程图；

图8是节点离线、恢复的具体实例示意图；

图9是向单一节点汇总的示意图；

图10是全系统汇总的示意图；

图11是分区域汇总的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1是本发明中分布式系统的任务初始化流程图。

图中电力应用提交给管理程序的子任务数是12，表明应用希望共有12个任务分布式地运行在系统的所有服务器上。管理程序随之将待处理数据的全集均衡地划分成12个数据子集。然后将任务进程分发到4个应用服务器，并在每台服务器上启动3个进程实例，使得任务进程数与数据子集总数一致，并且每台应用服务器的处理任务是负载均衡的。管理程序使用数据子集的编号通过一定的数学算法计算出一个唯一的通道号，使用电力系统的消息总线将待处理的数据子集发送给对应的处理进程实例。

图2和图3分别是本发明中任务故障和恢复处理流程图。

本方法讨论的任务故障处理包括主任务故障处理和备任务故障处理。如果故障任务是主任务，则将系统中的备任务切换为主任务，同时在备任务数最少的节点上启动一个备任务。如果故障任务是备任务，则直接在其它备任务数最少的节点上启动一个备任务。如果备任务启动失败，则在备任务次少的节点上启动备任务。

当任务恢复时，该任务自动变成备任务。如果该备任务已经存在2个，则在备任务数较多的节点上删除该备任务。

图4是本发明中负载均衡的处理流程图，图5是负载均衡实现的具体实例。

本方法中的负载均衡分为主任务负载均衡和备任务负载均衡。主任务负载均衡时，首先判断主任务是否已经负载均衡，即最大主任务个数和最小主任务个数是否在阈值内。如果未达到主任务负载均衡，则查看主任务数最大的节点n和主任务数最小的节点m，如果节点n的某个主任务是节点m的备任务，则直接将节点m的备任务切换为主任务，同时节点n的主任务自动切换为备任务；如果节点n上不存在和节点m的备任务相同的主任务，则在节点n上选择一个主任务T，在节点m上启动主任务T，待启动结束后，将T从节点n上删除。然后进入下一轮主任务负载均衡流程。

如果主任务已经达到负载均衡，则继续备任务负载均衡。首先判断备任务是否已经负载均衡，即最大备任务个数和最小备任务个数是否在阈值内。如果未达到负载均衡，则查看备任务数最大的节点n和备任务数最小的节点m，如果节点n的某个备任务也是节点m的备任务，则直接将节点n上的备任务删除；否则，选择节点n上的备任务t,在节点m上启动备任务t，待启动结束后，将t从节点n上删除。然后进入下一轮备任务负载均衡流程。如果备任务已经达到负载均衡，则负载均衡流程结束。

图5中讨论了负载均衡的实施流程，这里假定负载均衡阈值是1，即如果两个节点任务数之差超过1，则认为负载不均衡。sca4的主任务数是0，负载不均衡。sca4依次将备任务9、10、11切换成主任务，相应的sca3、sca1、sca2依次将主任务9、10、11切换成备任务。此时各个节点的主任务数目都是3，已经达到负载均衡。sca4的备任务数是0，负载不均衡。sca4依次启动备任务4、1、2，相应的sca1、sca2、sca3依次将备任务4、1、2删除。此时各个节点的备任务数目都是3，已经达到负载均衡，负载均衡流程结束。

图6是节点离线的处理流程图，图7是节点恢复的处理流程图，图8是节点离线、恢复的具体实例。

节点离线处理流程首先将离线节点的状态设置为离线，然后离线节点上的主任务依次在其它节点从备任务切换成主任务，最后将离线节点上的备任务依次在系统中备任务数最少的节点上启动。

节点恢复处理流程首先将所有任务切换成备任务，然后依次为每个任务更新实时库数据。当数据准备完成后，将节点状态变成在线，在删除多余任务后，进入负载均衡处理流程。

图8中当sca4离线，sca4的节点状态设置为离线状态。sca4上的主任务10、11、12分别在sca1、sca2、sca3上从备任务切换为主任务，接着备任务3、6、9分别在sca2、sca3、sca1上启动为备任务。

当sca4恢复时，首先将sca4上的任务3、6、9、10、11、12设置为备任务，当每个任务的实时库数据更新结束后，节点状态变成在线。在进行删除多余任务时，将sca4上的备任务3、6、9，sca2上的备任务10，sca3上的备任务11，sca1上的备任务12删除。最后进行图3所示的负载均衡流程处理。

图9-11是本发明中的计算结果汇总的示意图。

图9是向单一节点汇总的示意图。图中sca2、sca3、sca4节点的计算结果都向sca1节点汇总。sca1节点在一轮计算完成后有1-12号全部数据集的计算结果，结果写入sca1节点的内存实时数据库。sca1作为SCADA的对外服务器对上层应用提供服务。

图10是全系统汇总的示意图。图中sca1、sca2、sca3、sca4节点的计算结果都互相汇总。在一轮计算完成每个节点都有全系统数据的计算结果，结果写入每个节点的内存实时数据库。每个节点都可对上层应用提供服务。此种模式汇总的数据量大，节点的实时库同时需要写入和读出，因此汇总过程相对较慢。

图11是分区域汇总的示意图。图中sca1、sca3节点的计算结果向sca2汇总。sca2节点在一轮计算完成后有1-9号数据集的计算结果，结果写入sca2节点的内存实时数据库。图中sca4、sca6节点的计算结果向sca5汇总。sca5节点在一轮计算完成后有10-18号数据集的计算结果，结果写入sca5节点的内存实时数据库。此方法用以支持应用的区域计算和服务模式，比如sca1、sca2、sca3节点处理华东电网的数据，而sca4、sca5、sca6节点处理华北电网的数据，两个区域分别有一个对外服务节点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种适用于电力系统分布式任务的管理方法，其特征是，包括以下步骤：

1)分布式任务的初始化：管理程序根据系统中活跃的处理节点的数量，将待处理数据划分成大小均衡的若干数据集合，并将任务进程分发到所有活跃的节点上；接着将每个数据集合分发到对应的计算节点上去，并启动计算任务，；

2)运行管理：包括故障冗余、负载均衡、状态切换以及启停管理；

3)计算节点的状态管理：通过心跳机制发现节点离线后，立刻将此节点上的任务迁移到其它低负载节点上；发现节点恢复后，通过负载均衡原则将高负载节点上的任务迁移到该节点上；

4)分布式任务的结果汇总：采用单节点汇总、全系统汇总和区域汇总，并将结果最终写入电力系统内存实时数据库。

2.根据权利要求1所述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤2)中分布式任务的故障冗余为系统中所有正在运行的主任务启动一个热备任务，且热备任务与主任务不在同一个节点上；热备任务得到主任务同样的数据输入，并且运行同样的处理逻辑；如果主任务运行失败，或者中途故障退出，热备任务会立刻升级成主任务，计算完成后此任务实例的结果将参与汇总；同时除主任务故障的节点和热备任务升主任务的节点之外的另一个节点会再启动一个此任务的热备任务。

3.根据权利要求1所述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤2)中分布式任务的负载均衡以每个节点的任务数量来衡量负载，包括主任务层面和热备任务层面；一旦任意两个节点间主任务的数量之差超过一个阈值，负载均衡会自动将高负载节点的部分主任务迁移到低负载节点上；其中，所述阈值根据经验值设定；同样，一旦两个节点间备任务的数量之差超过所述阈值，负载均衡会自动将高负载节点的部分备任务迁移到低负载节点上。

4.根据权利要求1所述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤2)中状态切换采用手动切换主任务和热备任务的状态；启停管理采用手动停止任务，无论停止的是主任务还是热备任务，相对应的另一个任务也会停止。

5.根据权利要求1所述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤3)中，节点一旦离线，管理程序通过心跳机制立刻发现后，将这个节点运行的主任务和热备任务在其它低负载节点上重新启动；节点一旦恢复，心跳机制会立刻发现该节点；管理程序将该节点上的任务先全部置为热备状态，根据主、备任务的负载均衡原则调整任务的分布情况，直到整个系统的主任务和热备任务都处于负载均衡状态。

6.根据权利要求1所述的一种适用于电力系统分布式任务的管理方法,其特征是，所述步骤4)中，当采用单节点汇总方式时，只有一个服务节点对上层电力应用提供服务时，电力应用指定该节点作为汇总节点，其他节点使用TCP协议向其发送最终的计算结果；当采用全系统汇总方式时，每个节点都对外提供服务时，每个计算节点使用组播发送自己的计算结果，实现全系统汇总，汇总结果最终写入电力系统内存实时数据库；当采用区域汇总方式时，电力应用采用区域计算和服务模式时，部分计算节点指定一个节点作为汇总节点，剩余节点指定另一个点作为汇总节点，使用汇总节点的节点号通过算法形成组播端口，通过组播协议发送计算结果。