CN104318486A - 一种基于云计算的电力调度数据容灾方法 - Google Patents

Abstract

本发明公开了一种基于云计算的电力调度数据容灾方法。本方法根据各个云提供商不同的存储费用、通信费用和带宽大小，结合多目标粒子群优化算法，设计一个兼顾电网调度数据的数据容灾成本与数据恢复时间RTO的基于云计算技术的电网调度数据容灾策略，合理的选择多个云提供商来进行容灾任务调度。本发明的数据容灾策略不仅有效解决了电网调度数据容灾资源的扩充问题，而且在保障数据可靠性的基础上，兼顾数据容灾成本并有效的降低了数据恢复时间RTO；此外，将云计算技术与数据容灾技术相结合并应用到电力系统中，为未来电力调度数据容灾系统迎接大数据的挑战提供了新思路。

Description

一种基于云计算的电力调度数据容灾方法

技术领域：

本发明涉及的是一种基于云计算的电力调度数据容灾方法。

背景技术：

电力是与国计民生息息相关的重要行业，一旦发生大规模数据丢失，其造成的影响是不可估量的，因此，为了保证在发生电力中断事件后系统能够快速响应以使损失降到最低，电力企业建立了一套统一的灾备中心，从而增强了整个电力网络的安全与稳定。但是随着信息化脚步的不断推进，“大数据时代”与“云时代”相继降临，传统的数据容灾方案已追赶不上时代的脚步，具体表现在可扩展性差，资源利用率低等方面，更重要的是随着电网调度数据的数据量与日俱增，现阶段的数据日增量已达TB甚至PB级，使得传统的数据容灾方案成本大幅增加。此外，如此大量的数据对数据容灾恢复时间也造成了严重的影响。

发明内容：

本发明的目的在于克服现有技术的不足，提供一种基于云计算的电力调度数据容灾方法。

为了解决背景技术所存在的问题，本发明采用以下技术方案：

一种基于云计算的电力调度数据容灾方法，其特征在于，它包括以下步骤：

步骤一：在已有的电网调度数据灾备中心的基础上，租用多个云提供商提供的数据容灾平台，组成新的基于云计算的电力调度数据容灾网络；

步骤二：在新的电力调度数据容灾网络中，将原有的数据灾备中心看作中心存储节点，将各个云提供商看作存储节点，并根据各个云提供商不同的存储费用、通信费用和带宽大小，结合多目标粒子群优化算法，设计一个兼顾电网调度数据的数据容灾成本与数据恢复时间RTO的基于云计算技术的电网调度数据容灾任务调度方法。

进一步的，在步骤二中，所述数据容灾任务调度方法包括下列步骤：

(1)粒子编码与解码

定义t时刻粒子的维数D为t时刻需进行的电网调度数据容灾任务个数n_t的3倍，即D_t＝3n_t；

粒子与调度结果之间的关系如下：每个粒子P均对应一个容灾任务；假设有X个D维的调度序列(E₁,E₂,E₃……E_x)，对于任一容灾任务，假设其编号为i，将会在调度序列E_x中顺序出现3次，并分别表示其对应的3个备份，计算得到其对应的任务编号；如果那么该备份储存在中心节点；如果那么该备份储存在2号存储节点；如果那么该备份储存在3号存储节点；如果那么该备份储存在4号存储节点；

(2)初始化种群

将M设定为t时刻初始化种群的规模，和分别表示t时刻迭代第l代的第i维变量位置和第i维变量速度，初始化种群的步骤如下：

For i＝1to M，M是种群规模

①初始化速度

②位置是0～1之间随机数；

(3)粒子的更新过程

粒子新速度的计算公式如下： $\begin{array}{c}{V}_l^{t+1}\left(i\right)=W\×V_l^t\left(i\right)+R_1\×\left(A_t\right[\mathrm{Gbest}]-\\ S_l^t\left(i\right)+R_2\×({\mathrm{Sbests}}_l^t\left(i\right)-S_l^t\left(i\right))\end{array}$

其中R₁和R₂是[0,1]之间的随机数，W是权重值，A_t[Gbest]是t时刻找到的全局最优解，是粒子i在当前t时刻第l代所达到的最优位置；

粒子新位置的计算公式如下：

$S_l^{t+1}\left(i\right)=S_l^t\left(i\right)+V_l^t\left(i\right)$

(4)粒子的评价参数与约束条件

评价参数：取容灾成本与数据恢复时间为粒子的两个评价参数，调度策略的优化目标是尽量降低容灾成本COST与数据恢复时间RTO；

容灾成本计算公式： $\mathrm{Cost}=\underset{i=1}{\overset{N_t}{\mathrm{\Σ}}}\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{Pc}}_k\×D_i\×N_{\mathrm{ik}}+{\mathrm{Pt}}_k\×D_i$

其中Pc_k表示节点k的单位存储成本，D_i表示任务i的数据量，N_ik表示任务i在节点k上的备份数量，Pt_k表示节点k的单位通信成本，L和N_t分别表示存储节点数量和存储任务数量；

数据恢复时间计算公式： $\mathrm{RTO}=\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{D}_k/{\mathrm{BW}}_k+{\mathrm{TR}}_d$

其中BW_k表示存储节点k的通信带宽，TR_d表示待恢复数据的检索时间；

与此同时，从现实条件与容灾数据可靠性方面考虑，需要在此基础上增加约束条件，并达到限制解空间的目的；

约束条件：

中心节点上所有任务的电网调度数据的数据量总和要小于中心节点的最大存储容量，用公式表示为：

任意任务的总备份数量都等于3，用公式表示为：

(5)个体最优位置与整体最优位置

通过步骤(4)中的评价参数为每一个粒子更新个体最优位置，使得该粒子对应的容灾成本最低并且数据恢复时间最短，并在历史集中更新整体最优位置使得历史集对应的容灾成本最低并且数据恢复时间最短，将迭代次数加1，如果已达到迭代次数阀值，那么停止迭代，否则，转向步骤(3)；

(6)最优解

当迭代次数达到阀值之后，取步骤(5)中的整体最优位置作为最优解，得到经过调度后的容灾任务所对应的存储节点编号、数据容灾成本COST与数据恢复时间RTO。

本发明对比现有技术，有如下的有益效果：本发明的数据容灾策略不仅有效解决了电网调度数据容灾资源的扩充问题，而且在保障数据可靠性的基础上，兼顾数据容灾成本并有效的降低了数据恢复时间RTO；此外，将云计算技术与数据容灾技术相结合并应用到电力系统中，为未来电力调度数据容灾系统迎接大数据的挑战提供了新思路。

附图说明：

图1是电网调度数据容灾架构图

图2是基于云计算技术的电网调度数据容灾策略流程图。

图3是基于云计算的电力调度数据容灾网络的数据检索过程图。

图4是30G容灾数据的存储节点分布情况图。

图5是数据恢复时间RTO对比图。

具体实施方式：

下面结合附图和具体实施方式对本发明作进一步描述：

一种基于云计算的电力调度数据容灾方法，它包括以下步骤：

步骤一：在已有的电网调度数据灾备中心的基础上，租用多个云提供商提供的数据容灾平台，组成新的基于云计算的电网调度数据容灾网络，从而达到电力调度数据容灾资源无限扩充的目的；

步骤二：在新的电力调度数据容灾网络中，将原有的数据灾备中心看作中心存储节点，将各个云提供商看作存储节点，并根据各个云提供商不同的存储费用、通信费用和带宽大小，结合多目标粒子群优化算法，设计一个兼顾电网调度数据的数据容灾成本与数据恢复时间RTO的基于云计算技术的电网调度数据容灾调度方法。

由步骤二得到图1，图1是电网调度数据容灾架构图。图1中电网调度数据灾备中心(中心节点)与云提供商(存储节点)一起组成新的电力调度数据容灾网络，可以将其看作是一朵“容灾云”，当灾备任务到达时，优先选择中心节点进行容灾业务。当中心节点容灾资源不足时，合理的选择存储节点进行数据容灾业务。

图2是基于云计算技术的电网调度数据容灾策略流程图，所涉及到的关键步骤如下：

(1)粒子编码与解码

首先定义t时刻粒子的维数D为t时刻需进行的电网调度数据容灾任务个数(n_t)的3倍(即D_t＝3n_t)。粒子与调度结果之间的关系如下：每个粒子P均对应一个容灾任务；假设有X个D维的调度序列(E₁,E₂,E₃……E_x)，对于任一容灾任务(假设其编号为i)，将会在调度序列E_x中顺序出现3次，并分别表示其对应的3个备份，计算得到其对应的任务编号。如果那么该备份储存在中心节点；如果那么该备份储存在2号存储节点；如果那么该备份储存在3号存储节点；如果那么该备份储存在4号存储节点。表1为位置矢量与所对应存储节点编号的一个举例。

表1位置矢量与容灾任务所对应存储节点间的关系

(2)初始化种群

将M设定为t时刻初始化种群的规模，和分别表示t时刻迭代第l代的第i维变量位置和第i维变量速度。初始化种群的步骤如下：

For i＝1to M(M是种群规模)

①初始化速度

②位置是0～1之间随机数。

(3)粒子的更新过程

根据粒子群算法的基本更新过程，易知粒子的新位置由以下因素决定。①粒子上一时刻的速度和位置。②粒子个体到目前为止的最优位置。③粒子群体最优位置。可见，粒子的当前状态、个体最优位置和群体最优位置三个因素决定了粒子下一时刻的最新位置。由此得新速度的计算公式如下： $\begin{array}{c}{V}_l^{t+1}\left(i\right)=W\×V_l^t\left(i\right)+R_1\×\left(A_t\right[\mathrm{Gbest}]-\\ S_l^t\left(i\right)+R_2\×({\mathrm{Sbests}}_l^t\left(i\right)-S_l^t\left(i\right))\end{array}---\left(1\right)$

其中R₁和R₂是[0,1]之间的随机数，W是权重值，A_t[Gbest]是t时刻找到的全局最优解，是粒子i在当前t时刻第l代所达到的最优位置。

因此，易得新的位置计算公式如下：

$S_l^{t+1}\left(i\right)=S_l^t\left(i\right)+V_l^t\left(i\right)---\left(2\right)$

(4)粒子的评价方法与约束条件

如前所述，本文的优化目标是使电网调度数据的数据容灾成本尽可能低，并且数据恢复时间RTO尽可能短，因此得到公式如下：

$\mathrm{Cost}=\underset{i=1}{\overset{N_t}{\mathrm{\Σ}}}\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{Pc}}_k\×D_i\×N_{\mathrm{ik}}+{\mathrm{Pt}}_k\×D_i---\left(3\right)$

其中Pc_k表示节点k的单位存储成本，D_i表示任务i的数据量，N_ik表示任务i在节点k上的备份数量，Pt_k表示节点k的单位通信成本，L和N_t分别表示存储节点数量和存储任务数量。而数据恢复时间主要由待恢复数据量的大小和各存储节点的带宽决定。此公式代表容灾成本。

$\mathrm{RTO}=\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{D}_k/{\mathrm{BW}}_k+\mathrm{TRd}---\left(4\right)$

其中BW_k表示存储节点k的通信带宽，TRd表示待恢复数据的检索时间。此公式代表数据恢复时间。

于此同时，从现实条件与容灾数据可靠性方面考虑，需要在此基础上增加约束条件，并达到限制解空间的目的。

$\∀i\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{N}_{\mathrm{ik}}=3---\left(6\right)$

MSC为电网调度数据的灾备中心的最大存储容量，式(5)表示中心节点上所有任务的电网调度数据的数据量总和要小于中心节点的最大存储容量。式(6)表示任意任务的总备份数量都等于3，这是出于3备份原则考虑。

(5)个体最优位置与整体最优位置

通过步骤(4)中的评价参数为每一个粒子更新个体最优位置，使得该粒子对应的容灾成本最低并且数据恢复时间最短，并在历史集中更新整体最优位置使得历史集中对应的容灾成本最低并且数据恢复时间最短，将迭代次数加1，如果已达到迭代次数阀值，那么停止迭代，否则，转向步骤(3)。

(6)最优解

根据步骤(1)中的与存储节点编号间的对应关系，得到经过调度后的容灾任务所对应的存储节点编号，并且将各项参数代入式(3)和式(4)，得到总体的容灾成本与优化结果。

下面该发明方法进行实验并进行结果与分析

(1)实验环境

下面针对电网调度数据的数据容灾业务与数据恢复业务进行了仿真实验，用以证明基于云计算技术的电网调度数据容灾策略的有效性。实验过程中，划分出2G的存储空间用来模拟中心节点，并分别划分出三个30G的存储空间用来模拟三个存储节点。假设它们的通信单价、存储单价和带宽如表2所示，其中1号节点为中心节点。

表2电力调度数据容灾的通信单价、存储单价和带宽

在表2中，由于1号存储节点为中心节点，为了简化实验，在这里将它的通信单价设定为0，即每传输1GB数据需要花费0元，存储单价表示每存储1GB数据需要花费0.3元，带宽表示每秒传输0.3Gbit数据量，其余存储节点类似。

为了简化实验过程，将每个容灾任务的数据量固定为300M，并分别对总量为300M，3G和30G的电网调度数据容灾业务进行仿真实验。

(2)实验数据

出于对数据的安全性等方面着想，电网调度数据服务器中的数据通常采用“数模”分离的多级映射方式在关系型数据库中进行存储，然而为了实验方便，我们将数据表中的数据抽取出来，以新的方式重新进行组织存放，部分电网调度数据如表3所示。

表3部分电力调度数据样本

表3中第一条数据的采样时间的含义是“2012年11月22日00时40分”，遥测ID是该测量值的标识，厂站ID是该测量值对应的厂站标识，采样值是实际的测量值，采样周期表示该测量值的采样时间间隔。第一条数据的含义是110kV富村站富郝线-353的A相电流在2012年11月22日00时40分的采样值为215.633209，该数据每五分钟采样一次。其余数据类似。

同样，在数据容灾端，文件的组织形式也与上表相同。

(3)基于云计算的电力调度数据容灾方法的数据检索过程

通过MapReduce模式进行海量数据的检索可以十分有效的提高检索效率进而降低数据恢复时间RTO，由于文件采用表3的方式进行存储，因此可以十分方便的进行并行化处理。具体的流程如图3所示。

在图3中，输入的初始数据表即为以表3为组织形式的数据表，经过一个Map阶段生成数据格式为<负荷表110kV富村站富郝线-353A相电流值+110kV富村201211220040+215.633209>的有序对，最后在Reduce阶段通过筛选器生成最终结果集。

(4)实验结果与分析

为了对比本文电网调度数据容灾策略的效果，本文将其与RTO-Cost优先策略进行对比实验，该策略的简易描述如下。

RTO-Cost优先策略：首先将任务的一个备份存放在中心节点，然后分别选择存储费用最低和传输带宽最大的2个存储节点，各存放该任务的一个存储备份。当中心节点内部资源不足时，选择存储成本较小的存储节点储放任务的数据备份。为了实验的可靠性，本文进行了10次实验，取这10次实验的平均值作为最终结果。

①电力调度容灾数据在各个存储节点的分布情况

图4为30G电力调度容灾数据在各个存储节点的分布情况，黑色柱状图对应本文策略，白色柱状图对应RTO-COST策略。由于每个容灾任务的数据量固定为300M，因此1号存储节点留下了10％的存储空间无法利用。以2号存储节点为例，本文策略2号存储节点使用了14％，RTO-COST策略2号存储节点使用了47％。以上数据不包含容灾任务其余两个副本的占用情况。

②数据恢复时间RTO对比

图5为数据恢复时间RTO对比图，黑色柱状图对应本文策略，白色柱状图对应RTO-COST策略。如图所示，实际上有很大一部分比重是待恢复数据的检索时间。由于两种策略的本质都是优先使用中心节点进行存储，因此当数据恢复任务的数据量小于中心节点的最大存储容量时，数据恢复时间RTO大体相同。然而当数据恢复任务的数据量大于中心节点的最大存储容量后，本发明所采用的容灾策略就逐渐显现出优势。

本发明的优点：

(1)电网调度数据容灾资源得到有效扩充。由于在已有电力系统容灾中心的基础上采用了数据容灾的“云模式”，因此，理论上讲可以将容灾资源扩展到无限大。

(2)有效减少了待恢复数据的检索时间。由于采用了数据检索并行化的处理方式，因此在进行大数据量检索的时候检索效率有了显著地提高。

(3)在兼顾电网调度数据的数据容灾成本的同时，有效的减少了数据恢复时间。由于结合了多目标粒子群优化算法，以降低数据容灾成本与减少数据恢复时间为优化目标，设计了电网调度数据容灾任务的新的调度策略，因此在兼顾容灾成本的同时有效的降低了数据恢复时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于云计算的电力调度数据容灾方法，其特征在于，它包括以下步骤：

步骤一：

在已有的电网调度数据灾备中心的基础上，租用多个云提供商提供的数据容灾平台，组成新的基于云计算的电力调度数据容灾网络；

步骤二：

在新的电力调度数据容灾网络中，将原有的数据灾备中心看作中心存储节点，将各个云提供商看作存储节点，并根据各个云提供商不同的存储费用、通信费用和带宽大小，结合多目标粒子群优化算法，设计一个兼顾电网调度数据的数据容灾成本与数据恢复时间RTO的基于云计算技术的电网调度数据容灾任务调度方法。

2.根据权利要求1所述的一种基于云计算的电力调度数据容灾方法，其特征在于，在步骤二中，所述数据容灾任务调度方法包括下列步骤：

(1)粒子编码与解码

定义t时刻粒子的维数D为t时刻需进行的电网调度数据容灾任务个数n_t的3倍，即D_t＝3n_t；

粒子与调度结果之间的关系如下：每个粒子P均对应一个容灾任务；假设有X个D维的调度序列(E₁,E₂,E₃……E_x)，对于任一容灾任务，假设其编号为i，将会在调度序列E_x中顺序出现3次，并分别表示其对应的3个备份，计算[D_t/3]，得到其对应的任务编号；如果那么该备份储存在中心节点；如果那么该备份储存在2号存储节点；如果那么该备份储存在3号存储节点；如果那么该备份储存在4号存储节点；

(2)初始化种群

将M设定为t时刻初始化种群的规模，和V_l ^t(i)分别表示t时刻迭代第l代的第i维变量位置和第i维变量速度，初始化种群的步骤如下：

For i＝1to M，M是种群规模

①初始化速度

②位置是0～1之间随机数；

(3)粒子的更新过程

粒子新速度的计算公式如下：

V_l ^t+1(i)＝W×V_l ^t(i)+R₁×(A_t[Gbest]-

$S_l^t\left(i\right)+R_2\&times;({\mathrm{Sbests}}_l^t\left(i\right)-S_l^t\left(i\right))$

其中R₁和R₂是[0,1]之间的随机数，W是权重值，A_t[Gbest]是t时刻找到的全局最优解，是粒子i在当前t时刻第l代所达到的最优位置；

粒子新位置的计算公式如下：

$S_l^{t+1}\left(i\right)=S_l^t\left(i\right)+{V_l}^t\left(i\right)$

(4)粒子的评价参数与约束条件

评价参数：取容灾成本与数据恢复时间为粒子的两个评价参数，调度策略的优化目标是尽量降低容灾成本COST与数据恢复时间RTO；

容灾成本计算公式： $\mathrm{Cost}=\underset{i=1}{\overset{N_t}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{Pc}}_k\&times;D_i\&times;N_{\mathrm{ik}}+{\mathrm{Pt}}_k\&times;D_i$

其中Pc_k表示节点k的单位存储成本，D_i表示任务i的数据量，N_ik表示任务i在节点k上的备份数量，Pt_k表示节点k的单位通信成本，L和N_t分别表示存储节点数量和存储任务数量；

数据恢复时间计算公式： $\mathrm{RT}0=\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}{D}_k/{\mathrm{BW}}_k+{\mathrm{TR}}_d$

其中BW_k表示存储节点k的通信带宽，TR_d表示待恢复数据的检索时间；

与此同时，从现实条件与容灾数据可靠性方面考虑，需要在此基础上增加约束条件，并达到限制解空间的目的；

约束条件：

中心节点上所有任务的电网调度数据的数据量总和要小于中心节点的最大存储容量，用公式表示为：

任意任务的总备份数量都等于3，用公式表示为：

(5)个体最优位置与整体最优位置

通过步骤(4)中的评价参数为每一个粒子更新个体最优位置，使得该粒子对应的容灾成本最低并且数据恢复时间最短，并在历史集中更新整体最优位置使得历史集对应的容灾成本最低并且数据恢复时间最短，将迭代次数加1，如果已达到迭代次数阀值，那么停止迭代，否则，转向步骤(3)；

(6)最优解

当迭代次数达到阀值之后，取步骤(5)中的整体最优位置作为最优解，得到经过调度后的容灾任务所对应的存储节点编号、数据容灾成本COST与数据恢复时间RTO。