CN113326002A - 基于计算迁移的云边协同控制系统及迁移决策生成方法 - Google Patents

Abstract

本发明提出一种基于计算迁移的云边协同控制系统及迁移决策生成方法，属于电力系统运行调度领域。该系统包括：云端、由多个边缘节点构成的边缘计算中心以及多个终端；其中，各终端采集电力系统各环节的数据，当计算任务超出本地计算能力时，终端向对应的边缘节点发送计算请求；各边缘节点接收请求后，各边缘节点上传自身带宽和计算资源的分配情况的状态信息至云端，云端计算得到最优的迁移决策并逐层下发；之后各终端按照该决策上传计算任务的数据至对应边缘节点，并从边缘节点接收计算的结果。本发明可有效调配电力系统不同层级的数据存储能力与计算能力，对于电力系统运行调度指令高效传输以及电力系统优化分级调度具有重要意义。

Description

基于计算迁移的云边协同控制系统及迁移决策生成方法

技术领域

本发明属于电力系统运行调度领域，特别涉及一种基于计算迁移的云边协同控制系统及迁移决策生成方法。

背景技术

随着信息通信技术(Information and Communication Technology，ICT)的跨越式发展，电力大数据检测技术在电力行业领域的应用愈发广泛。一方面借助大量传感设备和复杂通信网络使电网变成了能够实时感知、动态控制和进行信息查询的多维异构复杂网络；另一方面，其海量外部数据能影响电力系统的控制决策，增加了运行和控制的复杂性。因此，亟待开发全新技术手段解决ICT革新所来的问题。

从数据层面，检测大数据涵盖了用户侧供需数据、各营业网点营业报表数据、终端设备维护数据、电网调度运行数据等多源异构数据源，各层级数据分析、存储、处理能力差距明显。对于不同层级的数据存储能力与计算能力调配也成为了重要关切。

已有的电力系统领域云边协同系统研究大多集中于系统整体运行框架设计，形成了云边系统理论性整体架构，但是云边协同系统落地的重要依托是对于上下行数据传输的调度，由此才能实现对于电力系统整体的高效运行调度控制。但是现有电力领域云边协同技术研究对于系统内不同层级间的数据传输效率，存储方式，计算能力调配研究不足，解决上述问题对于电力系统运行调度指令高效传输以及电力系统优化分级调度具有重要意义。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于计算迁移的云边协同控制系统及迁移决策生成方法。本发明可有效调配电力系统不同层级的数据存储能力与计算能力，对于电力系统运行调度指令高效传输以及电力系统优化分级调度具有重要意义。

本发明提出一种基于计算迁移的云边协同控制系统，包括：云端、由多个边缘节点构成的边缘计算中心以及多个终端；其中，所述云端与每个边缘节点之间、每个边缘节点与该节点聚集的各终端之间相互连接；其特征在于，所述云端用于从各边缘节点接收该节点的带宽和计算资源的分配情况的状态信息并储存，云端利用储存的当前状态信息及所有历史状态信息，通过云边协同深度强化学习算法生成当前时刻最优的迁移决策，并将该最优的迁移决策返回给边缘计算中心的各个边缘节点；其中，所述迁移决策包括各边缘节点执行各终端发送的计算任务的计算成本，边缘节点分配给各终端的带宽占比和计算资源占比，以及各终端是否选择边缘节点执行计算的指标值；

所述每个边缘节点用于接收该边缘节点聚集的各终端发来的计算任务请求；当收到计算任务请求时，边缘计算中心将当前各边缘节点的带宽和计算资源的分配情况的状态信息发送给云端，然后各边缘节点接收云端生成的最优的迁移决策并将该迁移决策发送给对应的终端；之后边缘节点接收其聚集的各终端按照对应的迁移决策上传的计算任务的数据，该边缘节点接收数据后进行计算，再将对应的计算结果发送回该终端；

所述终端用于进行电力系统各环节的数据采集并通过采集的数据判定是否需要执行计算任务；当终端中需要处理的计算任务数据超出本地的计算能力，该终端向对应的边缘节点发送计算请求，然后各终端接收对应的边缘节点发送的最优的迁移决策并按照该决策上传计算任务的数据，并从边缘节点接收计算的结果。

本发明的特点及有益效果为：

(1)本发明综合考虑了电力系统领域云边协同系统已有的算力、带宽及迁移决策的低延迟低能耗优化问题，构建了一个可有效调配电力系统不同层级的数据存储能力与计算能力的云边协同系统，并进一步提出深度学习算法对计算迁移决策进行求解，解决了云边协同系统落地过程中所面临的各层级网络计算能力分配的切实问题。

(2)本发明设计的计算迁移方法能够高效利用云边协同系统中云端与边缘计算中心的计算处理能力，在此基础上实现对云边协同框架下三级数据处理需求的及时响应；同时，对于时变及多样化的环境下的边缘节点，能高效给出自适应迁移策略。

(3)本发明所采用的Critic-Actor深度学习算法对于解决优化问题具有高准确度，高效率的特点。

附图说明

图1是本发明的一种基于计算迁移的云边协同控制系统结构示意图。

具体实施方式

本发明提出一种基于计算迁移的云边协同控制系统及迁移决策生成方法，下面结合附图和具体实施例对本发明进一步详细说明如下。

本发明提出一种基于计算迁移的云边协同控制系统，结构如图1所示，包括：云端、由多个边缘节点构成的边缘计算中心以及包含电力系统各环节和设备的多个终端；其中，每个边缘节点聚集若干终端；所述云端与每个边缘节点之间、每个边缘节点与该节点聚集的各终端之间皆通过无线通信及光纤通信信道连接，以此保证调度指令及数据信息的高速准确传输。

所述云端，由拥有强大计算能力的服务器群组搭建而成；云端用于从各边缘节点接收该节点的带宽和计算资源的分配情况的状态信息并储存，云端利用储存的当前状态信息及所有历史状态信息，模拟各终端与边缘计算中心的交互过程，通过云边协同深度强化学习算法生成当前时刻最优的迁移决策，并将该最优的迁移决策返回给边缘计算中心的各个边缘节点，提升边缘节点对后续任务的处理效率。其中，所述迁移决策包括各边缘节点执行各终端发送的计算任务的计算成本，边缘节点分配给各终端的带宽占比和计算资源占比，以及各终端是否选择边缘节点执行计算的指标值。

所述云端还用于接收每个边缘节点上传的该节点聚集的各终端的自身状态参数，通过存储在云端的电力系统控制模型计算各边缘节点聚集的各终端参与电力系统控制的参数并将该参数发送给对应的边缘节点。其中，电力系统控制模型可为任意设置好的电力系统控制模型。

所述每个边缘节点，其由拥有较强计算能力的服务器搭建而成，形成相对小规模服务器机组。每个边缘节点用于接收该边缘节点聚集的各终端发来的计算任务请求，其中计算任务包括储能容量配置、削峰调谷比例确定、分布式能源利用率计算等；当收到计算任务请求时，边缘计算中心将当前各边缘节点的带宽和计算资源的分配情况的状态信息发送给云端，然后各边缘节点接收云端生成的最优的迁移决策并将该迁移决策发送给对应的终端；之后边缘节点接收其聚集的各终端按照对应的迁移决策上传的计算任务的数据，该边缘节点接收数据后进行计算，再将对应的计算结果发送回该终端。

每个边缘节点还用于接收该边缘节点聚集的各终端发送的自身状态参数，该边缘节点将接收到的所有状态参数发送给云端；每个边缘节点辅助云端进行电力系统控制模型的计算，接收云端发出的该边缘节点聚集的各终端参与电力系统控制的参数，并将该参数发给对应的各终端。

所述终端，包含了“发、变、输、配、用”电力系统中的各环节中的电力系统设备，传感器设备，AR设备。各终端设备被部署在指定区域内进行数据采集并通过采集的数据判定是否需要执行计算任务；其中，终端具备执行计算任务的能力，但是当终端中需要处理的计算任务数据超出本地的计算能力，该终端会向对应的边缘节点发送计算请求，然后各终端接收对应的边缘节点发送的最优的迁移决策并按照该决策上传计算任务的数据，并从边缘节点接收计算的结果。

各终端还用于向对应边缘节点上传自身的状态参数，并接收对应边缘节点发送的该终端的参与电力系统控制的参数并执行。

进一步地，本发明还提出一种基于上述系统的迁移决策生成方法，具体步骤如下：

1)计算模型构造；

假设i表示第i个终端，其中i∈{1，2，…，N}，N代表终端的总数；j表示第j个边缘节点，其中j∈{0，1，2，…，M}，M代表边缘节点的总数；其中，当j＝0时，其对应的边缘节点特指用户终端本身。各边缘节点对其聚集的各终端的信息进行同步更新，并对其聚集的每个终端建立一个对应的任务表：

其中x_ij表示计算任务在本地执行还是被迁移的0-1变量，当x_ij＝1时，计算任务需要被迁移，当x_ij＝0时，计算任务在本地执行；λ_ij表示边缘节点j分配给终端i的带宽占比，β_ij表示边缘节点j分配给终端i的计算资源占比；T^tol _i表终端i的最大容许延迟。

由所有的任务表可以得到总任务集F：F＝{F_ij|i∈{1，2，3,…，N}，j∈{1，2,3，…，M}}，基于总任务集，可以得出所有任务的迁移决策，并计算出各个任务相应的成本。

2)本地执行；

终端i的本地计算延迟为：

其中

表示终端i的算力。

因此终端i在本地计算时产生的能耗为:

其中

表示终端i的计算功率。

终端i的计算成本为：

其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]。

3)迁移执行；

当终端i的本地计算任务计算时间

大于最大容许延迟T^tol _i，则通过迁移计算，由终端i对应的边缘节点j进行迁移计算；

用户端任务i迁移至边缘节点j上下行链路速率分别如下：

其中B_j表示边缘节点j的带宽；

表示终端i上传数据的传输功率；H_i表示终端i的无线信道的信道增益；N₀表示噪声功率；g_up目标误码率；d(i,j)表示终端i与边缘节点j之间的距离，ξ表示传输信道路径的损耗指数；

终端i的任务迁移到边缘节点j的执行过程总延迟为：

式中，

分别代表终端i的任务迁移到边缘节点j的上传时间延迟，在节点j的计算时间以及将计算结果返回用户终端i的时间延迟。

终端i的任务迁移到边缘节点j的执行过程总能耗为：

式中，

分别代表终端i的任务迁移到边缘节点j上传传输功率，在节点j的计算功率以及将计算结果返回终端i的传输功率。

最后得到终端i的任务迁移到边缘节点j的传输总成本为：

式中，α和1-α分别表示时间成本和能耗成本的权重。

综合以上三个部分设计完成计算迁移模型，该模型自适应的调整迁移策略以实现系统总成本的最小化，能够良好的适应边缘节点所面对的多样化动态特征。

4)基于Actor-Critic算法的云边协同深度强化学习算法；

每个边缘节点通过不断地学习，同时与云端进行交互，由云端执行基于Actor-Critic算法的云边协同深度强化学习算法，从而获得最优的迁移策略。

强化学习算法三大要素：状态，奖励和动作定义如下：

状态空间：S_t＝(C_ij(t)) (5)

动作空间：A_t＝(z_ij(t),λ_ij(t),β_ij(t)) (6)

式中C_ij(t)表示t时刻终端i的任务迁移至边缘节点j计算的总成本；λ_ij(t)、β_ij(t)分别t时刻边缘节点j分配给终端i的带宽和计算资源占比；z_ij(t)表示t时刻终端i选择边缘节点j进行迁移。

本发明优化目标是最小化所有终端以及边缘节点的降低执行时间以及功率消耗的成本，而强化学习求解目标是获得最大的奖励函数值，故而两者呈现反比关系。据此，奖励函数定义为：

其中v为具体环境决定的奖励值。

定义策略函数为：π(s_t，a_t)＝π(a_t|s_t；θ)

其中θ为使用策略迭代更新网络中的权重参数，关于奖励期望E[R_t]的策略梯度更新公式为：

其中，b_t(s_t)为基线函数，基于价值函数的深度神经网络，损失函数定义为：

其中

为权重参数，Target Q定义为：

式中，γ为衰减因子。

算法执行过程中，输入设置为：

假设i表示第i个终端，其中i∈{1，2，…，N}；j表示第j个边缘节点，其中j∈{0，1，2，…，M}，当j＝0时，特指用户终端本身。需要计算的任务数据大小为D_i，i∈{1，2，…，N}；用户终端i的最大容许延迟为

i∈{1,2,…,N}；带宽设置为B_j,j∈{1,2,…,M}；计算能力表示为:

j∈{1,2,…,M}；

输出设置为：

优化得到的计算成本

以及边缘节点分配给终端i的带宽占比

边缘节点j分配给终端i的计算资源占比

以及表示终端i是否选择边缘节点j执行计算的指标

算法具体步骤如下：

1:初始化深度神经网络(DNN)权重指标θ,θ',ω,ω'以及每个边缘节点的最大迭代次数；

2:设置t＝1；

3:设置t₀＝t；同步边缘节点中的参数：θ＝θ',ω＝ω'；

4:基于策略π(a_t|s_t；θ')选取动作a_t，记录奖励值r_t以及由动作a_t执行得到的新的状态s_t+1，t＝t+1；重复执行这一步骤直到t-t₀＝T；

5:设置h＝t-1，通过式(8)优化奖励值；

6:根据损失函数式(9)和目标Q值函数式(10)来计算Q值；

7:根据计算得到的Q值，进一步得出R＝r_h+γR；

8:依据以下函数更新累计梯度：

9:判断h是否与t₀相等，如果不相等则返回步骤5；如果相等则进入步骤10；

10:更新云端的深度神经网络(DNN)参数：θ＝θ-ρ₁dθ,ω＝ω-ρ₂dω；

11:将更新后的DNN参数θ,ω传递给云端；

12:判断是否所以边缘节点均已执行，如果没有执行完，则返回步骤3；如果所以边缘节点均已执行则进入步骤13；

13:求解得到当前时刻最优的迁移策略，输出最优参数

以及

Claims (3)

1.一种基于计算迁移的云边协同控制系统，包括：云端、由多个边缘节点构成的边缘计算中心以及多个终端；其中，所述云端与每个边缘节点之间、每个边缘节点与该节点聚集的各终端之间相互连接；其特征在于，所述云端用于从各边缘节点接收该节点的带宽和计算资源的分配情况的状态信息并储存，云端利用储存的当前状态信息及所有历史状态信息，通过云边协同深度强化学习算法生成当前时刻最优的迁移决策，并将该最优的迁移决策返回给边缘计算中心的各个边缘节点；其中，所述迁移决策包括各边缘节点执行各终端发送的计算任务的计算成本，边缘节点分配给各终端的带宽占比和计算资源占比，以及各终端是否选择边缘节点执行计算的指标值；

所述每个边缘节点用于接收该边缘节点聚集的各终端发来的计算任务请求；当收到计算任务请求时，边缘计算中心将当前各边缘节点的带宽和计算资源的分配情况的状态信息发送给云端，然后各边缘节点接收云端生成的最优的迁移决策并将该迁移决策发送给对应的终端；之后边缘节点接收其聚集的各终端按照对应的迁移决策上传的计算任务的数据，该边缘节点接收数据后进行计算，再将对应的计算结果发送回该终端；

所述终端用于进行电力系统各环节的数据采集并通过采集的数据判定是否需要执行计算任务；当终端中需要处理的计算任务数据超出本地的计算能力，该终端向对应的边缘节点发送计算请求，然后各终端接收对应的边缘节点发送的最优的迁移决策并按照该决策上传计算任务的数据，并从边缘节点接收计算的结果。

2.如权利要求1所述的系统，其特征在于，所述云端用于接收每个边缘节点上传的该节点聚集的各终端的自身状态参数，通过存储在云端的电力系统控制模型计算各边缘节点聚集的各终端参与电力系统控制的参数并将该参数发送给对应的边缘节点；每个边缘节点用于接收该边缘节点聚集的各终端发送的自身状态参数，该边缘节点将接收到的所有状态参数发送给云端；每个边缘节点辅助云端进行电力系统控制模型的计算，接收云端发出的该边缘节点聚集的各终端参与电力系统控制的参数，并将该参数发给对应的各终端；各终端用于向对应边缘节点上传自身的状态参数，并接收对应边缘节点发送的该终端参与电力系统控制的参数并执行。

3.一种基于权利要求1所述系统的迁移决策生成方法，其特征在于，该方法包括以下步骤：

1)记i表示第i个终端，其中i∈{1，2，…，N}，N代表终端的总数；j表示第j个边缘节点，其中j∈{0，1，2，…，M}，M代表边缘节点的总数；其中，当j＝0时，其对应的边缘节点为终端本身；

各边缘节点对其聚集的各终端的信息进行同步更新，并对其聚集的每个终端建立一个对应的任务表：

其中x_ij表示计算任务在本地执行还是被迁移的0-1变量，当x_ij＝1时，计算任务需要被迁移，当x_ij＝0时，计算任务在本地执行；λ_ij表示边缘节点j分配给终端i的带宽占比，β_ij表示边缘节点j分配给终端i的计算资源占比；T^tol _i表终端i的最大容许延迟；

由所有的任务表可以得到总任务集F：F＝{F_ij|i∈{1,2,3,…,N},j∈{1,2,3,…,M}}；

2)终端i的本地计算延迟为：

其中f_i ^l表示终端i的算力；

因此终端i在本地计算时产生的能耗为:

其中p_i ^l表示终端i的计算功率；

终端i的计算成本为：

其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]；

3)当终端i的本地计算任务计算时间

大于最大容许延迟T^tol _i，则通过迁移计算，由终端i对应的边缘节点j进行迁移计算；

用户端任务i迁移至边缘节点j上下行链路速率分别如下：

其中B_j表示边缘节点j的带宽；P_i ^up表示终端i上传数据的传输功率；H_i表示终端i的无线信道的信道增益；N₀表示噪声功率；g_up目标误码率；d(i,j)表示终端i与边缘节点j之间的距离，ξ表示传输信道路径的损耗指数；

终端i的任务迁移到边缘节点j的执行过程总延迟为：

式中，

分别代表终端i的任务迁移到边缘节点j的上传时间延迟，在节点j的计算时间以及将计算结果返回用户终端i的时间延迟；

终端i的任务迁移到边缘节点j的执行过程总能耗为：

式中，

分别代表终端i的任务迁移到边缘节点j上传传输功率，在节点j的计算功率以及将计算结果返回终端i的传输功率；

最后得到终端i的任务迁移到边缘节点j的传输总成本为：

4)云端执行基于Actor-Critic算法的云边协同深度强化学习算法，得到最优的迁移策略；具体方法如下

定义：

状态空间：S_t＝(C_ij(t)) (5)

动作空间：A_t＝(z_ij(t),λ_ij(t),β_ij(t)) (6)

式中C_ij(t)表示t时刻终端i的任务迁移至边缘节点j计算的总成本；λ_ij(t)、β_ij(t)分别t时刻边缘节点j分配给终端i的带宽和计算资源占比；z_ij(t)表示t时刻终端i选择边缘节点j进行迁移；

定义奖励函数为：

其中v为奖励值；

定义策略函数为：π(s_t，a_t)＝π(a_t|s_t；θ)

其中θ为使用策略迭代更新网络中的权重参数，关于奖励期望E[R_t]的策略梯度更新公式为：

其中，b_t(s_t)为基线函数，基于价值函数的深度神经网络，损失函数定义为：

其中

为权重参数，Target Q定义为：

式中，γ为衰减因子；

算法执行过程中，输入设置为：

记需要计算的任务数据大小为D_i,i∈{1,2,…,N}；用户终端i的最大容许延迟为

带宽设置为B_j,j∈{1,2,…,M}；计算能力表示为:

输出设置为：

优化得到的计算成本

以及边缘节点分配给终端i的带宽占比

边缘节点j分配给终端i的计算资源占比

以及表示终端i是否选择边缘节点j执行计算的指标

算法具体步骤如下：

1初始化深度神经网络(DNN)权重指标θ,θ',ω,ω'以及每个边缘节点的最大迭代次数；

2设置t＝1；

3设置t₀＝t；同步边缘节点中的参数：θ＝θ',ω＝ω'；

4基于策略π(a_t|s_t；θ')选取动作a_t，记录奖励值r_t以及由动作a_t执行得到的新的状态s_t+1，t＝t+1；重复执行此步骤直到t-t₀＝T；

5设置h＝t-1，通过式(8)优化奖励值；

6根据损失函数式(9)和目标Q值函数式(10)来计算Q值；

7根据计算得到的Q值，得到R＝r_h+γR；

8依据以下函数更新累计梯度：

9判断h是否与t₀相等：如果不相等则返回步骤5；如果相等则进入步骤10；

10更新云端的深度神经网络DNN参数：θ＝θ-ρ₁dθ，ω＝ω-ρ₂dω；

11将更新后的DNN参数θ，ω传递给云端；

12判断是否所以边缘节点均已执行，如果没有执行完，则返回步骤3；如果所以边缘节点均已执行则进入步骤13；

13求解得到当前时刻最优的迁移策略，包括：

以及

Images