CN110855762A - 一种电网系统中异构集群节点的数据块分配方法 - Google Patents

Abstract

本发明涉及电网系统中异构集群节点的数据块分配方法，属系统任务调度领域。本发明首先获取异构集群集合中每个节点的权重值；根据权重值阈值划分数据处理区域范围；根据每个节点的权重值，把权重值对应的节点划分到相对应的数据处理区域范围内；计算数据块内子数据块分配到X、Y以及Z区域相应节点上的比例，根据此比例把数据块内子数据块分配到相应区域的节点上；每个节点上得到数据块分配的子数据块后，再将X、Y以及Z区域中的所有节点通过动态负载实现节点均衡，最终完成数据块分配。本发明通过对电网系统的异构集群中选择处理数据更优的节点，再划分相应的数据块，然后通过动态负载均衡的方法减少数据的执行时间，增加数据处理的时效性。

Description

一种电网系统中异构集群节点的数据块分配方法

技术领域

本发明涉及一种电网系统中异构集群节点的数据块分配方法，属于系统任务调度技术领域。

背景技术

电网电力系统中输变电设备的特点要求全过程的实时监控、高速的实时数据处理。但对于电网输变电设备的电力设备状态检测数据而言，数据规模越大数据处理时间越长，目前的电网系统可以解决单向实时检测数据处理的服务，但对于输变电设备三轴方向的检测数据会受到数据量庞大的影响，导致短暂的网络拥塞，影响到检测数据处理响应时间，因此需要解决集群节点的数据合理分配达到实时响应结果，本发明通过一种计算固有性能在集群节点上对数据进行分配的业务监控方案，能够更细粒度的处理电网实时状态。另一方面电网输变电设备大多是基于本业务的需求，存在不同的数据格式，导致集群异构性严重。如何调和节点间不同数据处理的计算速度、解决节点间的数据迁移导致网络拥塞问题以及节点处理带来传输和网络消耗问题，这些都是在异构集群时数据处理需要考虑的问题。本发明把复杂的数据处理任务合理地调度分配到异构集群的各个节点上,并进行快节点与慢节点之间的动态负载平衡，减少数据传输量，得到整个系统的最小完成时间的任务调度，从而提高异构集群系统的性能。

发明内容

本发明提供了一种电网系统中异构集群节点的数据块分配方法，通过对电网系统的异构集群中选择处理数据更优的节点，再划分相应的数据块，然后通过动态负载均衡的方法减少数据的执行时间，增加数据处理的时效性。

本发明的技术方案是：一种电网系统中异构集群节点的数据块分配方法，所述方法的具体步骤如下：

Step1、依次提取异构集群DS＝{n₁,n₂,...,n_i},i＝1,2,...,n中的节点n_i通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值，从而得到异构集群DS集合中每个节点的权重值；

此步骤中，从异构集群中提取的节点通过最少能量优先方式计算权重值，考虑到节点数据块处理时能量的消耗，从而合理分配节点到X、Y、Z三轴的区域；

Step2、根据权重值阈值划分数据处理区域范围为：X区域0～0.4、Y区域0.4～0.7、Z区域0.7～1；节点的权重值阈值为0.4、0.7；

Step3、根据每个节点的权重值，把权重值对应的节点划分到相对应的数据处理区域范围内；

此步骤中，本发明能有效避免数据块的周期性差异问题，提高了集群节点处理数据的时效性。

Step4、计算X、Y以及Z区域中每个节点处理数据块的执行时间，将执行时间转为执行速率，再根据此执行速率与整个区域中异构集群中总的节点对该数据块的执行速率之比得到数据块内子数据块分配到X、Y以及Z区域相应节点上的比例；根据此比例把数据块内子数据块分配到相应区域的节点上；

此步骤中，该方法相对于传统方法不同之处在于，从节点的固有性能出发，计算节点的执行速率，从而得到数据块内子数据块分配到节点的比例。该方法将数据块内子数据块分配到更合适的节点上进行处理，提高了数据处理的相应时间，达到数据处理的局部最优效果。

Step5、每个节点上得到数据块分配的子数据块后，再将X、Y以及Z区域中的所有节点通过动态负载实现节点均衡，最终完成数据块分配。

此步骤中，本发明节点间处理完数据块内子数据块的时间极限接近，实现节点间的动态负载均衡，达到总的数据块处理时耗最短，能够使集群达到更加均衡状态，提高集群的整体性能。

进一步地，所述Step1中，通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值表示为：

其中，t_i,p_i分别为异构集群中第i个节点的耗时和功率值，NC(n_i)为节点n_i的能量。

进一步地，所述Step4的具体步骤如下：

Step4.1、计算X、Y以及Z区域中每个节点处理数据块的执行速率：

通过分别对X、Y以及Z区域中每个节点分别单独地使用指数比例增长方式对数据块进行数据处理测试，取处理后执行时间的加权平均值作为参考执行时间，然后通过参考执行时间与执行速率成反比的关系，得到X、Y以及Z区域中每个节点处理数据块的执行速率；计算X、Y以及Z区域中每个节点处理数据块的执行速率方式均相同；

其中，X区域中每个节点处理数据块的执行速率为：

其中，

为X区域中第θ个节点中第j个数据块处理时需要的执行时间，m表示异构集群中数据块类型个数，β^m-j为第j个数据块处理时执行时间的权值,

为X区域中第θ个节点的执行速率，执行速率大的节点则数据块处理的性能更高，n_x为划分到X区域的节点数量；

Step4.2、计算数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例，数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例的计算方式均相同；

其中，数据块内子数据块分配到X区域中相应节点的比例的计算方式为：

利用Step4.1中计算出的X区域中每个节点处理数据块的执行速率和整个区域内异构集群中总的节点对该数据块的执行速率的比，作为数据块内子数据块分配到X区域中相应节点的比例，公式表示为：

Step4.3、再按照分配比例把数据块内子数据块分配到X区域、Y区域、Z区域内相应节点上；

其中，分配到X区域内相应节点上的数据块内的子数据块数量表示如下：

其中，n＝n_x+n_y+n_z，n为异构集群DS集合中总节点数，N为数据块内的子数据块总数，

表示X区域中第θ个节点分配到的数据块内的子数据块数量；

同理，Y区域中第ρ个节点分配的数据块内的子数据块数量为

Z轴区域中第ξ个节点分配的数据块内的子数据块数量为

其计算公式跟分配到X区域内相应节点上的数据块内的子数据块数量表示相同，若数据块中还剩余子数据块，则将其分配给执行速率最好的节点，其次的依次分配给次好的节点，n_x为划分到X区域内的节点数量，n_y为划分到Y区域内的节点数量，n_z为划分到Z区域内的节点数量。

进一步地，所述Step5，动态负载均衡为：

在X区域中、Y区域或Z区域中任意选择节点n_b、节点n_a，假设节点n_a需要处理d+s个子数据块，节点n_b需要处理e+s个子数据块，t_a和t_b分别为节点n_a和n_b处理相应子数据块的时间，若t_a大于t_b，则对于节点n_a和n_b之间的负载均衡是将节点n_a上的s的部分有效子数据块k交由节点n_b处理，从而实现节点间处理时间相近，减少总节点的处理时间，均衡负载后节点n_a和n_b需要处理的d+s-k个子数据块和e+s+k个子数据块，k个子数据块作为节点n_a和n_b的可均衡数据块：

本发明的有益效果是：本发明对电网系统中异构集群中处理数据的节点进行选择，然后在节点上对数据块进行分配，并进行节点的动态负载均衡，使总节点的实际执行时间最短，提高了数据处理的时效性，并减少了数据的传输避免了拥塞现象，还提高数据的局部性。

附图说明

图1为本发明中的流程图。

具体实施方式

实施例1：如图1所示，一种电网系统中异构集群节点的数据块分配方法，所述方法的具体步骤如下：

Step1、依次提取异构集群DS＝{n₁,n₂,...,n_i},i＝1,2,...,n中的节点n_i通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值，从而得到异构集群DS集合中每个节点的权重值；

此步骤中，从异构集群中提取的节点通过最少能量优先方式计算权重值，考虑到节点数据块处理时能量的消耗，从而合理分配节点到X、Y、Z三轴的区域；

Step2、根据权重值阈值划分数据处理区域范围为：X区域0～0.4、Y区域0.4～0.7、Z区域0.7～1；节点的权重值阈值为0.4、0.7；

Step3、根据每个节点的权重值，把权重值对应的节点划分到相对应的数据处理区域范围内；

此步骤中，本发明能有效避免数据块的周期性差异问题，提高了集群节点处理数据的时效性。

Step4、计算X、Y以及Z区域中每个节点处理数据块的执行时间，将执行时间转为执行速率，再根据此执行速率与整个区域中异构集群中总的节点对该数据块的执行速率之比得到数据块内子数据块分配到X、Y以及Z区域相应节点上的比例；根据此比例把数据块内子数据块分配到相应区域的节点上；

此步骤中，该方法相对于传统方法不同之处在于，从节点的固有性能出发，计算节点的执行速率，从而得到数据块内子数据块分配到节点的比例。该方法将数据块内子数据块分配到更合适的节点上进行处理，提高了数据处理的相应时间，达到数据处理的局部最优效果。

Step5、每个节点上得到数据块分配的子数据块后，再将X、Y以及Z区域中的所有节点通过动态负载实现节点均衡，最终完成数据块分配。

此步骤中，本发明节点间处理完数据块内子数据块的时间极限接近，实现节点间的动态负载均衡，达到总的数据块处理时耗最短，能够使集群达到更加均衡状态，提高集群的整体性能。

进一步地，所述Step1中，通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值表示为：

其中，t_i,p_i分别为异构集群中第i个节点的耗时和功率值，NC(n_i)为节点n_i的能量。

进一步地，所述Step4的具体步骤如下：

Step4.1、计算X、Y以及Z区域中每个节点处理数据块的执行速率：

通过分别对X、Y以及Z区域中每个节点分别单独地使用指数比例增长方式对数据块进行数据处理测试，取处理后执行时间的加权平均值作为参考执行时间，然后通过参考执行时间与执行速率成反比的关系，得到X、Y以及Z区域中每个节点处理数据块的执行速率；计算X、Y以及Z区域中每个节点处理数据块的执行速率方式均相同；

其中，X区域中每个节点处理数据块的执行速率为：

其中，

为X区域中第θ个节点中第j个数据块处理时需要的执行时间，m表示异构集群中数据块类型个数，β^m-j为第j个数据块处理时执行时间的权值,

为X区域中第θ个节点的执行速率，执行速率大的节点则数据块处理的性能更高，n_x为划分到X区域的节点数量；

Step4.2、计算数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例，数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例的计算方式均相同；

其中，数据块内子数据块分配到X区域中相应节点的比例的计算方式为：

利用Step4.1中计算出的X区域中每个节点处理数据块的执行速率和整个区域内异构集群中总的节点对该数据块的执行速率的比，作为数据块内子数据块分配到X区域中相应节点的比例，公式表示为：

Step4.3、再按照分配比例把数据块内子数据块分配到X区域、Y区域、Z区域内相应节点上；

其中，分配到X区域内相应节点上的数据块内的子数据块数量表示如下：

其中，n＝n_x+n_y+n_z，n为异构集群DS集合中总节点数，N为数据块内的子数据块总数，

表示X区域中第θ个节点分配到的数据块内的子数据块数量；

同理，Y区域中第ρ个节点分配的数据块内的子数据块数量为

Z轴区域中第ξ个节点分配的数据块内的子数据块数量为其计算公式跟分配到X区域内相应节点上的数据块内的子数据块数量表示相同，若数据块中还剩余子数据块，则将其分配给执行速率最好的节点，其次的依次分配给次好的节点，n_x为划分到X区域内的节点数量，n_y为划分到Y区域内的节点数量，n_z为划分到Z区域内的节点数量。

进一步地，所述Step5，动态负载均衡为：

在X区域中、Y区域或Z区域中任意选择节点n_b、节点n_a，假设节点n_a需要处理d+s个子数据块，节点n_b需要处理e+s个子数据块，t_a和t_b分别为节点n_a和n_b处理相应子数据块的时间，若t_a大于t_b，则对于节点n_a和n_b之间的负载均衡是将节点n_a上的s的部分有效子数据块k交由节点n_b处理，从而实现节点间处理时间相近，减少总节点的处理时间，均衡负载后节点n_a和n_b需要处理的d+s-k个子数据块和e+s+k个子数据块，k个子数据块作为节点n_a和n_b的可均衡数据块：

实施例2：如图1所示，一种电网系统中异构集群节点的数据块分配方法，所述方法的具体步骤如下：

Step1、依次提取异构集群DS＝{n₁,n₂,...,n_i},i＝1,2,...,n中的节点n_i通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值，从而得到异构集群DS集合中每个节点的权重值；通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值表示为：

其中，t_i,p_i分别为异构集群中第i个节点的耗时和功率值，NC(n_i)为节点n_i的能量；异构集群中节点n_i的能量NC(n_i)及权重值W_i见表1所示：

表1

传统的方法计算权重值时没有考虑到节点处理数据块消耗的时间和功耗，而最小能量优先方式可以考虑到节点能量的消耗从而合理分配节点到X、Y、Z的区域。

Step2、根据权重值阈值划分数据处理区域范围为：X区域0～0.4、Y区域0.4～0.7、Z区域0.7～1；节点的权重值阈值为0.4、0.7；

Step3、根据每个节点的权重值，把权重值对应的节点划分到相对应的数据处理区域范围内；权重值为0-0.4的节点划分到X区域，权重值为0.4-0.7的节点划分到Y区域，权重值为0.7-1的节点划分到Z区域；

Step4、计算X、Y以及Z区域中每个节点处理数据块的执行时间，将执行时间转为执行速率，再根据此执行速率与整个区域中异构集群中总的节点对该数据块的执行速率之比得到数据块内子数据块分配到X、Y以及Z区域相应节点上的比例；根据此比例把数据块内子数据块分配到相应区域的节点上；

进一步地，所述Step4的具体步骤如下：

Step4.1、计算X、Y以及Z区域中每个节点处理数据块的执行速率：通过分别对X、Y以及Z区域中每个节点分别单独地使用指数比例增长方式对数据块进行数据处理测试，取处理后执行时间的加权平均值作为参考执行时间，然后通过参考执行时间与执行速率成反比的关系，得到X、Y以及Z区域中每个节点处理数据块的执行速率；计算X、Y以及Z区域中每个节点处理数据块的执行速率方式均相同；

其中，X区域中每个节点处理数据块的执行速率为：

其中，

为X区域中第θ个节点中第j个数据块处理时需要的执行时间，m表示异构集群中数据块类型个数，m＝6，异构集群DS集合中总节点数n＝8，β^m-j为第j个数据块处理时执行时间的权值，

为X区域中第θ个节点的执行速率，执行速率大的节点则数据块处理的性能更高，n_x为划分到X区域的节点数量；

Step4.2、计算数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例，数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例的计算方式均相同；

其中，数据块内子数据块分配到X区域中相应节点的比例的计算方式为：

利用Step4.1中计算出的X区域中每个节点处理数据块的执行速率和整个区域内异构集群中总的节点对该数据块的执行速率的比，作为数据块内子数据块分配到X区域中相应节点的比例，公式表示为：

利用上述Step4.1、Step4.2计算得到X、Y以及Z区域中每个节点处理数据块的执行速率和数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例，见下表2结果：

表2

Step4.3、再按照分配比例把数据块内子数据块分配到X区域、Y区域、Z区域内相应节点上；

其中，分配到X区域内相应节点上的数据块内的子数据块数量表示如下：

其中，n＝n_x+n_y+n_z，n为异构集群DS集合中总节点数，N为数据块内的子数据块总数，N＝100，

表示X区域中第θ个节点分配到的数据块内的子数据块数量；

同理，Y区域中第ρ个节点分配的数据块内的子数据块数量为

Z轴区域中第ξ个节点分配的数据块内的子数据块数量为

其计算公式跟分配到X区域内相应节点上的数据块内的子数据块数量表示相同，若数据块中还剩余子数据块，则将其分配给执行速率最好的节点，其次的依次分配给次好的节点，n_x为划分到X区域内的节点数量，n_y为划分到Y区域内的节点数量，n_z为划分到Z区域内的节点数量。

具体的根据表2中的数值再结合步骤Step4.3的计算方式得到如下结果：其中节点1-3是属于X区域的节点，其分配的子数据块数量分别为8、10、18；节点4-5是属于Y区域的节点，其分配的子数据块数量分别为7、16；节点6-8是属于Z区域的节点，其分配的子数据块数量分别为13、18、9。上述分配后还剩余1个子数据块没分配，再分配给执行速率最好的3节点，所以最终节点3最终分配了19个子数据块；

该方法相对于传统方法不同之处在于，从节点的固有性能出发，该方法将数据块内子数据块分配到更合适的节点上进行处理，提高了数据处理的相应时间，达到数据处理的局部最优效果。

Step5、每个节点上得到数据块分配的子数据块后，再将X、Y以及Z区域中的所有节点通过动态负载实现节点均衡，最终完成数据块分配。

此步骤中，本发明节点间处理完数据块内子数据块的时间极限接近，实现节点间的动态负载均衡，达到总的数据块处理时耗最短，能够使集群达到更加均衡状态，提高集群的整体性能。

进一步地，所述Step5，动态负载均衡为：

在X区域中、Y区域或Z区域中任意选择节点n_b、节点n_a，假设节点n_a需要处理d+s个子数据块，节点n_b需要处理e+s个子数据块，t_a和t_b分别为节点n_a和n_b处理相应子数据块的时间，若t_a大于t_b，则对于节点n_a和n_b之间的负载均衡是将节点n_a上的s的部分有效子数据块k交由节点n_b处理，从而实现节点间处理时间相近，减少总节点的处理时间，均衡负载后节点n_a和n_b需要处理的d+s-k个子数据块和e+s+k个子数据块，k个子数据块作为节点n_a和n_b的可均衡数据块：

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种电网系统中异构集群节点的数据块分配方法，其特征在于：

所述方法的具体步骤如下：

Step1、依次提取异构集群DS＝{n₁,n₂,...,n_i},i＝1,2,...,n中的节点n_i通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值，从而得到异构集群DS集合中每个节点的权重值；

Step2、根据权重值阈值划分数据处理区域范围为：X区域0～0.4、Y区域0.4～0.7、Z区域0.7～1；节点的权重值阈值为0.4、0.7；

Step3、根据每个节点的权重值，把权重值对应的节点划分到相对应的数据处理区域范围内；

Step4、计算X、Y以及Z区域中每个节点处理数据块的执行时间，将执行时间转为执行速率，再根据此执行速率与整个区域中异构集群中总的节点对该数据块的执行速率之比得到数据块内子数据块分配到X、Y以及Z区域相应节点上的比例；根据此比例把数据块内子数据块分配到相应区域的节点上；

Step5、每个节点上得到数据块分配的子数据块后，再将X、Y以及Z区域中的所有节点通过动态负载实现节点均衡，最终完成数据块分配。

2.根据权利要求1所述的电网系统中异构集群节点的数据块分配方法，其特征在于：所述Step1中，通过最少能量优先方法计算节点n_i在异构集群DS集合中的权重值表示为：

其中，t_i,p_i分别为异构集群中第i个节点的耗时和功率值，NC(n_i)为节点n_i的能量。

3.根据权利要求1所述的电网系统中异构集群节点的数据块分配方法，其特征在于：所述Step4的具体步骤如下：

Step4.1、计算X、Y以及Z区域中每个节点处理数据块的执行速率：

通过分别对X、Y以及Z区域中每个节点分别单独地使用指数比例增长方式对数据块进行数据处理测试，取处理后执行时间的加权平均值作为参考执行时间，然后通过参考执行时间与执行速率成反比的关系，得到X、Y以及Z区域中每个节点处理数据块的执行速率；计算X、Y以及Z区域中每个节点处理数据块的执行速率方式均相同；

其中，X区域中每个节点处理数据块的执行速率为：

其中，

为X区域中第θ个节点中第j个数据块处理时需要的执行时间，m表示异构集群中数据块类型个数，β^m-j为第j个数据块处理时执行时间的权值,

为X区域中第θ个节点的执行速率，执行速率大的节点则数据块处理的性能更高，n_x为划分到X区域的节点数量；

Step4.2、计算数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例，数据块内子数据块分配到X区域、Y区域、Z区域中相应节点的比例的计算方式均相同；

其中，数据块内子数据块分配到X区域中相应节点的比例的计算方式为：

利用Step4.1中计算出的X区域中每个节点处理数据块的执行速率和整个区域内异构集群中总的节点对该数据块的执行速率的比例，作为数据块内子数据块分配到X区域中相应节点的比例，公式表示为：

Step4.3、再按照分配比例把数据块内子数据块分配到X区域、Y区域、Z区域内相应节点上；

其中，分配到X区域内相应节点上的数据块内的子数据块数量表示如下：

其中，n＝n_x+n_y+n_z，n为异构集群DS集合中总节点数，N为数据块内的子数据块总数，

表示X区域中第θ个节点分配到的数据块内的子数据块数量；

同理，Y区域中第ρ个节点分配的数据块内的子数据块数量为

Z轴区域中第ξ个节点分配的数据块内的子数据块数量为

其计算公式跟分配到X区域内相应节点上的数据块内的子数据块数量表示相同，若数据块中还剩余子数据块，则将其分配给执行速率最好的节点，其次的依次分配给次好的节点，n_x为划分到X区域内的节点数量，n_y为划分到Y区域内的节点数量，n_z为划分到Z区域内的节点数量。

4.根据权利要求1所述的电网系统中异构集群节点的数据块分配方法，其特征在于：

所述Step5，动态负载均衡为：

在X区域中、Y区域或Z区域中任意选择节点n_b、节点n_a，假设节点n_a需要处理d+s个子数据块，节点n_b需要处理e+s个子数据块，t_a和t_b分别为节点n_a和n_b处理相应子数据块的时间，若t_a大于t_b，则对于节点n_a和n_b之间的负载均衡是将节点n_a上的s的部分有效子数据块k交由节点n_b处理，从而实现节点间处理时间相近，减少总节点的处理时间，均衡负载后节点n_a和n_b需要处理的d+s-k个子数据块和e+s+k个子数据块，k个子数据块作为节点n_a和n_b的可均衡数据块：