CN113836796A - 一种基于云边协同的配电物联网数据监测系统及调度方法 - Google Patents

Abstract

本发明属于大数据智能检测技术领域，涉及一种基于云边协同的配电物联网数据监测系统及调度方法。包括基于云边协同的云主站、边缘计算层和端层三部分架构及功能设计；以及配电物联网大数据监测系统调度方法。其中云主站、边缘计算层和端层共同参与协同调度，由云主站进行任务调度，实现云资源和边缘计算资源的协同分配，将调度策略返回至端层设备及边缘端设备。通过边缘计算层获取端层感知的配电物联网各环节设备的数据并进行数据处理和分析，实现对端层感知数据的预处理和信息融合，同时与云平台协同，满足面向运维人员和用户的多业务、低时延和快速响应需求，实现配电物联网运行、设备状态集管理全过程的全面感知、互联互通和智能应用。

Description

一种基于云边协同的配电物联网数据监测系统及调度方法

技术领域

本申请属于大数据智能监测分析技术领域，涉及一种基于云边协同的配电物联网数据监测系统及调度方法。

背景技术

配电网处于电力系统的末端环节，其运行状况对用户体验及供电可靠性具有重要影响。随着能源结构调整、产业结构升级和智慧城市的建设，配电网也从单纯电力网络向智能能源信息一体会方向发展。在此背景下，融合新一代信息通信技术的配电物联网方案应运而生。但是随着配电物联网的综合能源设备不断增加，配用电环节产生的数据呈现出海量、数据复杂、处理逻辑复杂、存储周期长、计算频度高的大数据特征，数据交互遇到困难，对带宽以及传输效率带来严重的影响。同时由于变电站设备空间分布广、总量大，传统中心化主站及云计算技术面临着云应用爆炸式增长的问题，严重影响着复杂电力网络的运行控制，海量信息监测和应用服务。同时传统配电网的管理模式、技术手段难以满足配电物联网多业务、低时延、快速响应的需求，以至于无法适应社会经济发展和能源互联网对配电网转型发展的要求，配电物联网的建设、运维、管理和发展面临诸多挑战。

发明内容

本公开旨在至少一定程度上解决上述技术问题，基于发明人对现有配电物联网的建设、运维、管理和发展的理解，如何有效监测、分析大量结构化和非结构化的数据成为配电物联网管理、建设和发展中的重要问题。能源管理作为互联网技术应用的改造的关键领域，亟需采取先进的监测分析技术手段，在实现配电网可观可控的基础上，提升配电网建设、运维和管理水平，以快速灵活地适应业务需求的变化和能源转型的需求。

有鉴于此，本公开的发明的目的是提出一种基于云边协同的配电物联网数据监测系统及调度方法，以解决相关技术中的相关问题。

根据本公开的第一发明，提出基于云边协同的配电物联网数据监测系统，包括：

端层感知模块，用于采集配电物联网用电信息，对配电物联网配变电设备运行状态进行监测；所述端层感知模块包括配电物联网站端感知系统、配电物联网线端感知系统、配电物联网台区端感知系统和配电物联网户端感知系统；

边缘计算层，用于对靠近端层感知系统或者数据源头侧提供边缘智能服务，满足配电物联网实时业务、数据优化、应用智能、安全与隐私保护方面的需求；

云计算层，用于提供边缘计算层装置管理、配电物联网配变电设备接入模型管理和配变电设备管理。

根据本公开的第二方面，提出基于云边协同的配电物联网数据监测调度方法，包括：

步骤1、构建一个如权利要求1所述的基于云边协同的配电物联网数据监测系统；

步骤2、采集端层感知数据；

步骤3、所述端层根据本地计算信息和计算能力，向边缘计算层和通过边缘计算层向云计算层发送计算任务请求；

步骤4、云计算层和边缘计算层中的边缘中心接受端层和边缘计算层发送的计算任务请求，从配电物联网端层、边缘计算层和云计算层分别获取当前端层、边缘计算层和云计算层的通信网络状态，获取端层设备和边缘计算层边缘节点的计算能力，边缘计算层将计算结果发送给云计算层；

步骤5、采用基于深度强化学习的计算迁移调度方法，根据所述任务请求和所述计算结果生成最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层；

步骤6、云主站、边缘计算层和端层执行计算任务，将计算结果返回给端层设备。

本公开的配电物联网数据监测调度方法，还可以包括：可视化展示配电物联网数据监测调度调度结果。

可选地，所述步骤(2)中，采集端层感知数据，包括：

(1)采集配电物联网站端设备的环境监测数据、配电网一次设备的状态数据、配电网二次设备的安全状态监测数据；

(2)采集配电物联网站端设备的监测数据，包括配电网一次设备监测数据、站房监测数据、视频监测数据、电缆及通道监测数据、架空输电线路、及输电走廊监测视频数据；

(3)采集配电物联网台区端设备数据，包括物联网低压开关、物联网换相开关、集中器、智能电表以及智能无功补偿设备的功率和投退信息；

(4)采集配电物联网用户端设备数据，包括各类电力采集端层设备、开关量采集端层设备、电势监测端层设备的的数据。

可选地，所述采用基于深度强化学习的计算迁移调度方法，根据所述任务请求和所述计算结果，生成最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，包括：

(1)分别为每个端层中的每个端层设备构建一个计算任务表，将与计算任务表存储到一个总任务表集合中；

(2)确定端层设备本地计算延迟及能耗：

利用下式，计算端层设备i的本地计算延迟

其中，

表示端层设备i的计算能力，Z表示处理1bit数据所需要的CPU周期数；

端层设备i在本地计算时产生的能耗

为：

其中p_i ^l表示端层设备i的计算功率；

端层设备i的计算成本为：

其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]；

(3)确定边缘计算层计算任务迁移执行过程的总时延和总能耗：

端层设备i的计算任务迁移到边缘节点j的执行过程总时延

为：

式中，

表示端层设备i的计算任务迁移到边缘节点j的上传时间延迟，

表示在节点j的计算时间，

表示将计算结果返回用户端层设备i的时间延迟，

表示边缘节点返回计算结果数据的大小；

和

分别为端侧设备i的计算任务迁移至边缘节点j上行链路速率和下行链路速率，表达式如下：

g_i,j＝127+25*lgS (3)

其中，B_j表示边缘节点j的带宽，

表示端层设备i上传数据的传输功率，

表示端层设备i下行链路数据的传输功率，N₀表示噪声功率，g_i,j表示端层设备i与边缘节点j之间的信道增益，S表示端层设备i与边缘节点j之间的通信距离；

端层设备i的计算任务迁移到边缘节点j的执行过程总能耗

为：

式中，

分别表示端层设备i的计算任务迁移到边缘节点j上传传输能耗、在端层设备i的接收能耗以及端层设备i的等待能耗；

(4)确定云计算层计算迁移执行过程总时延和总能耗：

端层设备i的任务由边缘节点j迁移到云计算层的执行过程总时延为：

式中，

分别代表端层设备i的任务由边缘节点j迁移到云计算层的上传时间延迟、端层设备i的任务由边缘节点j迁移到云计算层的计算时间以及将计算结果返回用户端层设备i的时间延迟；

表示云计算层返回计算结果数据的大小；

和

分别为端层设备i的计算任务由边缘节点j迁移到云计算层的上行链路速率和下行链路速率，具体如下：

g_i,j＝127+25*lgS(7)

其中，B_j表示边缘节点j的带宽，

表示第i个边缘节点上传数据的传输功率，

表示第i个边缘节点下行链路数据的传输功率，N₀表示噪声功率，g_i,j表示连接端层设备i的边缘节点j与云计算层之间的信道增益，S表示通信距离；

端层设备i的任务由边缘节点j迁移到云计算层的执行过程总能耗

为：

式中，

分别代表端层设备i的任务由边缘节点j迁移到云计算层的传输能耗、在端层设备i的接收能耗以及端层设备i的等待能耗；

(5)根据最大容许延迟和最大能耗容忍度，确定计算任务迁移条件；

表示端层或边缘计算层设备的最大能耗容忍度，根据不同的任务类型及任务对应的计算量大小确定；

(6)确定计算任务迁移执行过程的传输总成本：

端层设备i的计算任务迁移到边缘节点j的传输总成本为：

端层设备i的计算任务由边缘节点j迁移到云计算层的传输总成本为：

其中，其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]，根据任务需求确定；

(7)根据步骤(2)-步骤(6)的本地计算、边缘计算层和云计算层计算任务迁移执行过程的总能耗和总时延指标，以最小化计算任务执行时延和能耗的权重和为优化目标，构建计算任务迁移的优化模型：

优化模型的目标函数为：

优化模型的约束条件为：

z_ij∈{0,1} (18)

其中，z_ij＝0，z_ij表示端层设备i的任务未选择边缘节点j执行迁移，z_ij＝1表示端层设备i的任务选择边缘节点j执行迁移。

(8)云计算层采用深度强化学习算法，得到最优调度策略，包括：

(8-1)定义云边协同深度强化学习算法的相关参数：

状态空间：S_t＝(C_ij(t))(19)

动作空间：A_t＝(z_ij(t),λ_ij(t),β_ij(t),α_ij(t),σ_ij(t)) (20)

式中，C_ij(t)表示t时刻端层设备i的计算任务迁移至边缘节点j或者端层设备i的计算任务由边缘节点j迁移到云计算层的总计算成本，λ_ij(t)和β_ij(t)分别表示t时刻边缘节点j分配给端层设备i的带宽和计算资源占比；α_ij(t)和σ_ij(t)分别表示t时刻由第j个边缘节点提供服务的第i个端层设备分配到的带宽和计算资源占比，z_ij(t)表示t时刻端层设备i选择边缘节点j进行迁移；

定义奖励函数为：

其中，v为由强化学习计算环境决定的奖励值；

定义策略函数为：

π(s_t,a_t)＝π(a_t|s_t；θ) (22)

其中，θ为使用策略迭代更新网络中的权重参数，奖励期望E[R_t]的策略梯度更新公式为：

其中，b_t(s_t)为基线函数，基于价值函数的深度神经网络，损失函数定义为：

L(w_t)＝E[(TargetQ-Q(s_t,a_t；w_t-1))²] (24)

其中w为权重参数，Target Q定义为：

式中，γ为衰减因子；

(8-2)采用步骤(8-1)的云边协同深度强化学习算法，求解步骤(7)的优化模型，得到最优调度策略。

可选地，所述采用云边协同深度强化学习算法，求解所述计算任务迁移优化模型，得到最优调度策略，包括：

(1)将计算任务迁移优化模型的输入设置为：

将计算任务数据大小为记为d_i,i∈{1,2,3,...,N}，端层设备i的最大容许延迟为

带宽设置为B_j,j∈{1,2,3,...,M}，计算能力记为：

将计算任务迁移优化模型的输出设置为：

优化得到计算成本

边缘节点分配给端层设备i的带宽占比

边缘节点j分配给端层设备i的计算资源占比

由第j个边缘节点提供服务的第i个端层设备分配到的云计算带宽占比

由第j个边缘节点提供服务的第i个端层设备分配到的云计算资源占比

及表示端层设备i是否选择边缘节点j执行计算的指标

(2)初始化计算任务迁移优化模型中的深度神经网络的权重指标θ、θ′、w、w′以及每个边缘节点的最大迭代时间T；

(3)设置当前迭代时间t＝1；

(4)设置t₀＝t，同步边缘节点中的参数：θ＝θ′，w＝w′；

(5)基于迭代t个时间步长的策略π(a_t|s_t；θ′)，选取动作a_t，记录奖励值r_t以及由动作a_t执行得到的新的状态s_t+1，使t＝t+1，重复本步骤，直到t-t₀＝T；

(6)设置迭代时长h，h＝t-1，通过式(23)优化奖励值；

(7)利用损失函数式(24)和目标Q值函数式(25)，计算Q值；

(8)根据步骤(7)的Q值，得到奖励值R＝r_h+γR；

(9)利用以下公式，更新累计梯度：

(10)判断h是否与t₀相等，若h和t₀不相等，则返回步骤(6)；若h和t₀相等，则进入步骤(11)；

(11)更新云计算层的深度神经网络参数：θ＝θ-ρ₁dθ，w＝w-ρ₂dw；

(12)将更新后的深度神经网络参数θ,w传递给云计算层；

(13)计算任务迁移优化模型输出最优参数

及

得到当前时刻最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，进行计算任务的分配。

本公开的基于云边协同的配电物联网数据监测系统及调度方法，能够有效解决感知侧数据处理的实时性、可靠性和安全性问题，与云计算协同能够更好地在配电物联网的大数据监测分析场景进行应用。它实现云主导的边云协同建模和边侧应用的全生命周期管理(创建、卸载、配置、更新、监控)。该系统建立面向配电物联网设备运行监测分析的云边协同服务，能够有效兼顾运行控制、运维检修和运行服务的可行性、及时性和经济性原则，进一步保障电力系统的安全、稳定及经济运行。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显然，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一个实施例示出的基于云边协同的配电物联网数据监测系统的协同调度逻辑图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是根据本公开一个实施例示出的基于云边协同的配电物联网数据监测系统的协同调度逻辑图。

如图1所示，所述基于云边协同的配电物联网数据监测系统，包括：

端层感知模块，用于采集配电物联网用电信息，对配电物联网配变电设备运行状态进行监测；融合了通信功能与智能控制功能，满足配电物联网基础运行信息监测分析、信息安全与运维等要求；所述端层感知模块包括配电物联网站端感知系统、配电物联网线端感知系统、配电物联网台区端感知系统和配电物联网户端感知系统；

其中，所述配电物联网站端感知系统，主要围绕系统安全、人身安全、设备安全等任务通过在设备、环境等配置监测传感器、视频摄像头或挖掘设备自身监测能力。该系统包括环境监测、一次设备状态监测、二次设备状态监测、安全感知监测等。

所述配电物联网线端感知系统，主要围绕配电网一次设备监测、站房监测、视频监测、电缆及通道监测、架空输电线路及输电走廊监测。实际系统配置可结合设备应用情况、故障率和成本采用实时在线监测、及时在线监测及周期监测等模式。

所述配电物联网台区端感知系统，主要包括物联网低压开关、换相开关，集中器、智能电表和智能无功补偿设备等接入智能配变端层设备。

所述配电物联网户端感知系统，主要包括各类电力采集端层设备、开关量采集端层设备、电势监测端层设备等监测设备组成，通过对各用电设备的电能传输和多元设备间信息交互，构建户端配电物联网体系，实现用户侧用能的全面感知。

边缘计算层，用于对靠近端层感知系统或者数据源头侧提供边缘智能服务，满足配电物联网实时业务、数据优化、应用智能、安全与隐私保护方面的需求；

边缘计算层主要包括以下功能模块：

平台层，是边缘计算层的基础开放平台，包括硬件平台、操作系统、运行环境、算法平台、设备交互、数据预处理、数据存储、端层设备设备接入等功能模块。

软件层，主要提供应用管理监控、应用服务、数据存储和管理软件等。

应用层，根据配电物联网监测分析业务需求而开发、部署的微应用服务，主要包括边缘业务应用分析类APP等、基础管理类APP。

系统管理层，实现对边设备、边缘框架容器/应用APP的状态监控及远程运维管理、系统状态监测、查询。

安全服务层，负责控制系统用户的访问权限，实现配电物联管理平台、边缘计算平台、端层设备设备之间的安全交互，主要包括数据加密、安全基线等功能模块。

云计算层，是云化的主站平台和强大计算能力的服务器，用于提供边缘计算层装置管理、配电物联网配变电设备接入模型管理和配变电设备管理。从而提供面向配电物联网监测分析的云服务应用；

云计算层可以分为设施服务层、软件服务层和平台服务层三个部分，其中：

设施服务层，主要用来实现云边资源虚拟化，形成计算资源池，按需分配调度。根据配电物联网的监控分析对象和传感器接入数据量、存储容量具备动态扩展能力。

软件服务层，主要用来实现数据汇聚、消息传输、数据存储、计算、数据处理分析功能，为应用提供运行环境支撑。

平台服务层，主要用来实现应用服务化，提供多种面向大数据监测分析业务需求的微服务，包括配电台区监测、设备状态监测、资产管理和配电运维等。

与上述基于云边协同的配电物联网数据监测调度相同相对应地，本公开提出了基于云边协同的配电物联网数据监测调度方法，可以包括以下步骤：

在步骤1、构建一个基于云边协同的配电物联网数据监测系统。

在一个实施例中，基于云边协同的配电物联网数据监测系统包括：

端层感知模块，用于采集配电物联网用电信息，对配电物联网配变电设备运行状态进行监测；所述端层感知模块包括配电物联网站端感知系统、配电物联网线端感知系统、配电物联网台区端感知系统和配电物联网户端感知系统；

边缘计算层，用于对靠近端层感知系统或者数据源头侧提供边缘智能服务，满足配电物联网实时业务、数据优化、应用智能、安全与隐私保护方面的需求；

云计算层，用于提供边缘计算层装置管理、配电物联网配变电设备接入模型管理和配变电设备管理。

根据本公开的实施例，包括(1)基于云边协同的配电物联网数据监测系统架构及功能设计，主要有云主站、边缘计算层和端层三部分架构及功能设计(2)基于云边协同的配电物联网大数据监测系统调度方法，该方法中云主站、边缘计算层和端层共同参与协同调度，并且该模型由云主站进行任务调度，实现云资源和边缘计算资源的协同分配，并且将调度策略返回至端层设备及边缘端设备。通过边缘计算层获取端层感知的配电物联网各环节设备的数据并进行就地的数据处理和分析，实现对端层感知数据的预处理和信息融合，同时与云平台协同满足面向运维人员和用户的多业务、低时延和快速响应需求，实现配电物联网运行、设备状态集管理全过程的全面感知、互联互通、智能应用，支撑配电物联网业务的精益化运维和智能化管控。

在步骤2中，采集端层感知数据。

在一个实施例中，所述采集端层感知数据，包括：

(1)采集配电物联网站端设备的环境监测数据(例如环境的温度、湿度等等)、配电网一次设备的状态数据(例如变压器的有功功率、无功功率、设备损耗、电压、电流等等)、配电网二次设备的安全状态监测数据；(例如有功功率、无功功率、设备损耗、电压、电流等等，网络安全数据、过载信息等等)；

(2)采集配电物联网站端设备的监测数据，包括配电网一次设备监测数据(例如变压器的有功功率、无功功率、设备损耗、电压、电流)、站房监测数据、视频监测数据、电缆及通道监测数据(例如有功功率、无功功率、设备损耗、电压、电流、温度等等)、架空输电线路(例如有功功率、无功功率、设备损耗、电压、电流、温度)及输电走廊监测视频数据；

(3)采集配电物联网台区端设备数据，包括物联网低压开关(例如低压开关的电压、电流、通断情况数据等等)、物联网换相开关(例如相开关的电压、电流、通断情况数据等等)、集中器、智能电表(例如电压、电流、有功功率和无功功率、设备状态数据等等)以及智能无功补偿设备的功率和投退信息；

(4)采集配电物联网用户端设备数据，包括各类电力采集端层设备、开关量采集端层设备、电势监测端层设备的(电压、电流以及负荷情况)的数据。

在步骤3中，端层根据本地计算信息和计算能力，向边缘计算层和通过边缘计算层向云计算层发送计算任务请求；计算任务请求中的本地计算信息和计算能力中涉及的设备，包括端层设备，包括配电物联网站端环境监测设备、一次设备状态监测设备、二次设备状态监测设备、安全感知监测设备。配电物联网线端一次设备监测设备、站房监测设备、视频监测设备、电缆及通道监测设备、架空输电线路及输电走廊监测设备。配电物联网台区端低压开关、换相开关，集中器、智能电表和智能无功补偿设备。配电物联网用户端电力采集端层设备监测设备、开关量采集端层设备设备、电势监测端层设备设备。计算任务请求中的本地计算信息和计算能力中涉及的本地计算信息，包括端层设备本地计算延迟、端层设备本地计算能力、端层设备本地计算功率、端层设备本地计算最大容许延迟、端层设备本地计算最大容许能耗、端层设备上传数据的传输功率；边缘计算层信息包括边缘计算层边缘节点的带宽、边缘计算层边缘节点的计算能力、边缘计算层边缘节点下行链路数据传输功率。

在步骤4中，云计算层和边缘计算层中的边缘中心接受端层和边缘计算层发送的计算任务请求，从配电物联网端层、边缘计算层和云计算层分别获取当前端层、边缘计算层和云计算层的通信网络状态，获取端层设备和边缘计算层边缘节点的计算能力，边缘计算层将计算结果(即各边缘节点带宽及计算资源分配情况的状态信息)发送给云计算层。

在步骤5中，采用基于深度强化学习的计算迁移调度方法，根据所述任务请求和所述计算结果(当前网络状态、端层设备和边缘计算层边缘节点的计算信息、带宽及计算资源分配信息)，生成最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，以进行任务的分配。

在一个实施例中，所述采用基于深度强化学习的计算迁移调度方法，根据所述任务请求和所述计算结果，生成最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，包括：

(1)分别为每个端层中的每个端层设备构建一个计算任务表，将与计算任务表存储到一个总任务表集合F中，计算任务表的表达式为：

其中，i表示端层中的第i个端层设备，i∈{1，2，…，N}，N代表端层设备总数；j表示边缘计算层中的第j个边缘节点，j∈{0，1，2，…，M}，M代表边缘节点的总数，设定当j＝0时，相应的边缘节点为端层设备本身；x_ij为表示计算任务在本地执行还是被迁移到云计算层执行的一个0或1变量，若计算任务需要被迁移，记x_ij＝1，表示第j个边缘节点的第i个端层设备产生的计算任务需要迁移到云计算层或者边缘计算层执行，若计算任务在本地执行，记x_ij＝0；y_ij表示计算任务在边缘计算层执行还是云计算层执行的一个0或1变量，若计算任务需要被迁移，记y_ij＝1，表示连接第j个边缘节点的第i个端层设备产生的计算任务需要上传至边缘计算层执行，若计算任务在本地执行，记y_ij＝0，表示连接第j个边缘节点的第i个端层设备产生的计算任务需要在云计算层由云服务器执行；λ_ij表示边缘节点j分配给端层设备i的服务器带宽占比，β_ij表示边缘节点j分配给端层设备i的计算资源占比；α_ij表示由第j个边缘节点提供服务的第i个端层设备分配到的云计算带宽占比，σ_ij表示由第j个边缘节点提供服务的第i个端层设备分配到的云计算资源占比；T^tol _i表端层设备i的最大容许延迟；d_i表示计算数据量大小；

(2)确定端层设备本地计算延迟及能耗：

利用下式，计算端层设备i的本地计算延迟

其中，

表示端层设备i的计算能力，Z表示处理1bit数据所需要的CPU周期数；

端层设备i在本地计算时产生的能耗

为：

其中

表示端层设备i的计算功率；

端层设备i的计算成本为：

其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]；本发明的一个实施例中，α的取值为0.5。

(3)确定边缘计算层计算任务迁移执行过程的总时延和总能耗：

端层设备i的计算任务迁移到边缘节点j的执行过程总时延

为：

式中，

表示端层设备i的计算任务迁移到边缘节点j的上传时间延迟，

表示在节点j的计算时间，

表示将计算结果返回用户端层设备i的时间延迟，

表示边缘节点返回计算结果数据的大小；

和

分别为端侧设备i的计算任务迁移至边缘节点j上行链路速率和下行链路速率，表达式如下：

g_i,j＝127+25*lgS (3)

其中，B_j表示边缘节点j的带宽，P_i ^up表示端层设备i上传数据的传输功率，P_i ^do表示端层设备i下行链路数据的传输功率，N₀表示噪声功率，g_i,j表示端层设备i与边缘节点j之间的信道增益，S表示端层设备i与边缘节点j之间的通信距离；

端层设备i的计算任务迁移到边缘节点j的执行过程总能耗

为：

式中，

分别表示端层设备i的计算任务迁移到边缘节点j上传传输能耗、在端层设备i的接收能耗以及端层设备i的等待能耗；

(4)确定云计算层计算迁移执行过程总时延和总能耗：

端层设备i的任务由边缘节点j迁移到云计算层的执行过程总时延为：

式中，

分别代表端层设备i的任务由边缘节点j迁移到云计算层的上传时间延迟、端层设备i的任务由边缘节点j迁移到云计算层的计算时间以及将计算结果返回用户端层设备i的时间延迟；

表示云计算层返回计算结果数据的大小；

和

分别为端层设备i的计算任务由边缘节点j迁移到云计算层的上行链路速率和下行链路速率，具体如下：

g_i,j＝127+25*lgS (7)

其中，B_j表示边缘节点j的带宽，P_i ^up,c表示第i个边缘节点上传数据的传输功率，P_i ^down,c表示第i个边缘节点下行链路数据的传输功率，N₀表示噪声功率，g_i,j表示连接端层设备i的边缘节点j与云计算层之间的信道增益，S表示通信距离；

端层设备i的任务由边缘节点j迁移到云计算层的执行过程总能耗

为：

式中，

分别代表端层设备i的任务由边缘节点j迁移到云计算层的传输能耗、在端层设备i的接收能耗以及端层设备i的等待能耗；

(5)根据最大容许延迟和最大能耗容忍度，确定计算任务迁移条件；

表示端层或边缘计算层设备的最大能耗容忍度，根据不同的任务类型及任务对应的计算量大小确定；

(6)确定计算任务迁移执行过程的传输总成本：

端层设备i的计算任务迁移到边缘节点j的传输总成本为：

端层设备i的计算任务由边缘节点j迁移到云计算层的传输总成本为：

其中，其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]，根据任务需求确定；

(7)根据步骤(2)-步骤(6)的本地计算、边缘计算层和云计算层计算任务迁移执行过程的总能耗和总时延指标，以最小化计算任务执行时延和能耗的权重和为优化目标，构建计算任务迁移的优化模型：

优化模型的目标函数为：

优化模型的约束条件为：

z_ij∈{0,1} (18)

其中，z_ij＝0，z_ij表示端层设备i的任务未选择边缘节点j执行迁移，z_ij＝1表示端层设备i的任务选择边缘节点j执行迁移。

(8)云计算层采用基于行动者-评论家算法的云边协同深度强化学习算法，该算法模型在每个边缘节点中基于观测与环境相互作用的智能体，通过不断学习，同时与云计算层进行交互，得到最优调度策略，包括：

(8-1)定义云边协同深度强化学习算法的相关参数：

状态空间：S_t＝(C_ij(t)) (19)

动作空间：A_t＝(z_ij(t),λ_ij(t),β_ij(t),α_ij(t),σ_ij(t)) (20)

式中，C_ij(t)表示t时刻端层设备i的计算任务迁移至边缘节点j或者端层设备i的计算任务由边缘节点j迁移到云计算层的总计算成本，λ_ij(t)和β_ij(t)分别表示t时刻边缘节点j分配给端层设备i的带宽和计算资源占比；α_ij(t)和σ_ij(t)分别表示t时刻由第j个边缘节点提供服务的第i个端层设备分配到的带宽和计算资源占比，z_ij(t)表示t时刻端层设备i选择边缘节点j进行迁移；

定义奖励函数为：

其中，v为由强化学习计算环境决定的奖励值；

定义策略函数为：

π(s_t,a_t)＝π(a_t|s_t；θ) (22)

其中，θ为使用策略迭代更新网络中的权重参数，奖励期望E[R_t]的策略梯度更新公式为：

其中，b_t(s_t)为基线函数，基于价值函数的深度神经网络，损失函数定义为：

L(w_t)＝E[(TargetQ-Q(s_t,a_t；w_t-1))²] (24)

其中w为权重参数，Target Q定义为：

式中，γ为衰减因子；

(8-2)采用步骤(8-1)的云边协同深度强化学习算法，求解步骤(7)的优化模型，得到最优调度策略。

在一个实施例中，所述采用云边协同深度强化学习算法，求解所述计算任务迁移优化模型，得到最优调度策略，包括：

(1)计算任务迁移优化模型的输入设置为：

将计算任务数据大小为记为d_i,i∈{1,2,3,...,N}，端层设备i的最大容许延迟为

带宽设置为B_j,j∈{1,2,3,...,M}，计算能力记为：

将计算任务迁移优化模型的输出设置为：

优化得到计算成本

边缘节点分配给端层设备i的带宽占比

边缘节点j分配给端层设备i的计算资源占比

由第j个边缘节点提供服务的第i个端层设备分配到的云计算带宽占比

由第j个边缘节点提供服务的第i个端层设备分配到的云计算资源占比

及表示端层设备i是否选择边缘节点j执行计算的指标

(2)初始化计算任务迁移优化模型中的深度神经网络(DNN)的权重指标θ、θ′、w、w′以及每个边缘节点的最大迭代时间T；

(3)设置当前迭代时间t＝1；

(4)设置t₀＝t，同步边缘节点中的参数：θ＝θ′，w＝w′；

(5)基于迭代t个时间步长的策略π(a_t|s_t；θ′)，选取动作a_t，记录奖励值r_t以及由动作a_t执行得到的新的状态s_t+1，使t＝t+1，重复本步骤，直到t-t₀＝T；

(6)设置迭代时长h，h＝t-1，通过式(23)优化奖励值；

(7)利用损失函数式(24)和目标Q值函数式(25)，计算Q值；

(8)根据步骤(7)的Q值，得到奖励值R＝r_h+γR；

(9)利用以下公式，更新累计梯度：

(10)判断h是否与t₀相等，若h和t₀不相等，则返回步骤(6)；若h和t₀相等，则进入步骤(11)；

(11)更新云计算层的深度神经网络参数：θ＝θ-ρ₁dθ，w＝w-ρ₂dw；

(12)将更新后的深度神经网络参数θ,w传递给云计算层；

(13)计算任务迁移优化模型输出最优参数

及

得到当前时刻最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，进行计算任务的分配。

在步骤6中，云主站、边缘计算层和端层执行计算任务，将计算结果返回给端层设备。

本公开针对配电物联网大数据监测分析场景对计算性能、响应实时性、网络延迟以及设备功耗等方面的需求，通过采用深度强化学习算法对云计算资源和边缘计算资源进行分配，通过多智能体协同实现边云资源协同分配，动态自适应完成配电物联网大数据监测分析任务，有效提高数据、通信、计算等各方面资源的整体配置效率，因此本公开的方法易于实施。

根据本公开的一个实施例，配电物联网数据监测调度方法，还可以将配电物联网数据监测调度调度结果及计算任务执行结果进行可视化展示，基于云边协同的配电物联网数据监测调度模型和云边计算任务的可视化展示可以实现云边计算任务的全流程监控，打造智能化的可视化监控决策，保证配电物联网监测系统稳定运行，从而满足配电物联网多业务、低时延、快速响应的需求。

以上所述是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本公开的保护范围。

Claims (6)

1.一种基于云边协同的配电物联网数据监测系统，其特征在于，包括：

端层感知模块，用于采集配电物联网用电信息，对配电物联网配变电设备运行状态进行监测；所述端层感知模块包括配电物联网站端感知系统、配电物联网线端感知系统、配电物联网台区端感知系统和配电物联网户端感知系统；

边缘计算层，用于对靠近端层感知系统或者数据源头侧提供边缘智能服务，满足配电物联网实时业务、数据优化、应用智能、安全与隐私保护方面的需求；

云计算层，用于提供边缘计算层装置管理、配电物联网配变电设备接入模型管理和配变电设备管理。

2.一种基于云边协同的配电物联网数据监测调度方法，其特征在于，包括：

构建一个如权利要求1所述的基于云边协同的配电物联网数据监测系统；

采集端层感知数据；

所述端层根据本地计算信息和计算能力，向边缘计算层和通过边缘计算层向云计算层发送计算任务请求；

云计算层和边缘计算层中的边缘中心接受端层和边缘计算层发送的计算任务请求，从配电物联网端层、边缘计算层和云计算层分别获取当前端层、边缘计算层和云计算层的通信网络状态，获取端层设备和边缘计算层边缘节点的计算能力，边缘计算层将计算结果发送给云计算层；

采用基于深度强化学习的计算迁移调度方法，根据所述任务请求和所述计算结果生成最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层；

云主站、边缘计算层和端层执行计算任务，将计算结果返回给端层设备。

3.根据权利要求1的配电物联网数据监测调度方法，其特征在于，还包括：

可视化展示配电物联网数据监测调度调度结果。

4.根据权利要求2所述的配电物联网数据监测调度方法，其特征在于，所述步骤(2)中，采集端层感知数据，包括：

(1)采集配电物联网站端设备的环境监测数据、配电网一次设备的状态数据、配电网二次设备的安全状态监测数据；

(2)采集配电物联网站端设备的监测数据，包括配电网一次设备监测数据、站房监测数据、视频监测数据、电缆及通道监测数据、架空输电线路、及输电走廊监测视频数据；

(3)采集配电物联网台区端设备数据，包括物联网低压开关、物联网换相开关、集中器、智能电表以及智能无功补偿设备的功率和投退信息；

(4)采集配电物联网用户端设备数据，包括各类电力采集端层设备、开关量采集端层设备、电势监测端层设备的的数据。

5.根据权利要求2所述的配电物联网数据监测调度方法，其特征在于，所述采用基于深度强化学习的计算迁移调度方法，根据所述任务请求和所述计算结果，生成最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，包括：

(1)分别为每个端层中的每个端层设备构建一个计算任务表，将与计算任务表存储到一个总任务表集合中；

(2)确定端层设备本地计算延迟及能耗：

利用下式，计算端层设备i的本地计算延迟

其中，f_i ^l表示端层设备i的计算能力，Z表示处理1bit数据所需要的CPU周期数；

端层设备i在本地计算时产生的能耗

为：

其中p_i ^l表示端层设备i的计算功率；

端层设备i的计算成本为：

其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]；

(3)确定边缘计算层计算任务迁移执行过程的总时延和总能耗：

端层设备i的计算任务迁移到边缘节点j的执行过程总时延

为：

式中，

表示端层设备i的计算任务迁移到边缘节点j的上传时间延迟，

表示在节点j的计算时间，

表示将计算结果返回用户端层设备i的时间延迟，

表示边缘节点返回计算结果数据的大小；

和

分别为端侧设备i的计算任务迁移至边缘节点j上行链路速率和下行链路速率，表达式如下：

g_i,j＝127+25*lgS (3)

其中，B_j表示边缘节点j的带宽，P_i ^up表示端层设备i上传数据的传输功率，P_i ^do表示端层设备i下行链路数据的传输功率，N₀表示噪声功率，g_i,j表示端层设备i与边缘节点j之间的信道增益，S表示端层设备i与边缘节点j之间的通信距离；

端层设备i的计算任务迁移到边缘节点j的执行过程总能耗

为：

式中，

分别表示端层设备i的计算任务迁移到边缘节点j上传传输能耗、在端层设备i的接收能耗以及端层设备i的等待能耗；

(4)确定云计算层计算迁移执行过程总时延和总能耗：

端层设备i的任务由边缘节点j迁移到云计算层的执行过程总时延为：

式中，

分别代表端层设备i的任务由边缘节点j迁移到云计算层的上传时间延迟、端层设备i的任务由边缘节点j迁移到云计算层的计算时间以及将计算结果返回用户端层设备i的时间延迟；

表示云计算层返回计算结果数据的大小；

和

分别为端层设备i的计算任务由边缘节点j迁移到云计算层的上行链路速率和下行链路速率，具体如下：

g_i,j＝127+25*lgS (7)

其中，B_j表示边缘节点j的带宽，P_i ^up,c表示第i个边缘节点上传数据的传输功率，P_i ^down,c表示第i个边缘节点下行链路数据的传输功率，N₀表示噪声功率，g_i,j表示连接端层设备i的边缘节点j与云计算层之间的信道增益，S表示通信距离；

端层设备i的任务由边缘节点j迁移到云计算层的执行过程总能耗

为：

式中，

分别代表端层设备i的任务由边缘节点j迁移到云计算层的传输能耗、在端层设备i的接收能耗以及端层设备i的等待能耗；

(5)根据最大容许延迟和最大能耗容忍度，确定计算任务迁移条件；

表示端层或边缘计算层设备的最大能耗容忍度，根据不同的任务类型及任务对应的计算量大小确定；

(6)确定计算任务迁移执行过程的传输总成本：

端层设备i的计算任务迁移到边缘节点j的传输总成本为：

端层设备i的计算任务由边缘节点j迁移到云计算层的传输总成本为：

其中，其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]，根据任务需求确定；

(7)根据步骤(2)-步骤(6)的本地计算、边缘计算层和云计算层计算任务迁移执行过程的总能耗和总时延指标，以最小化计算任务执行时延和能耗的权重和为优化目标，构建计算任务迁移的优化模型：

优化模型的目标函数为：

优化模型的约束条件为：

z_ij∈{0,1} (18)

其中，z_ij＝0，z_ij表示端层设备i的任务未选择边缘节点j执行迁移，z_ij＝1表示端层设备i的任务选择边缘节点j执行迁移。

(8)云计算层采用深度强化学习算法，得到最优调度策略，包括：

(8-1)定义云边协同深度强化学习算法的相关参数：

状态空间：S_t＝(C_ij(t)) (19)

动作空间：A_t＝(z_ij(t),λ_ij(t),β_ij(t),α_ij(t),σ_ij(t)) (20)

式中，C_ij(t)表示t时刻端层设备i的计算任务迁移至边缘节点j或者端层设备i的计算任务由边缘节点j迁移到云计算层的总计算成本，λ_ij(t)和β_ij(t)分别表示t时刻边缘节点j分配给端层设备i的带宽和计算资源占比；α_ij(t)和σ_ij(t)分别表示t时刻由第j个边缘节点提供服务的第i个端层设备分配到的带宽和计算资源占比，z_ij(t)表示t时刻端层设备i选择边缘节点j进行迁移；

定义奖励函数为：

其中，v为由强化学习计算环境决定的奖励值；

定义策略函数为：

π(s_t,a_t)＝π(a_t|s_t；θ) (22)

其中，θ为使用策略迭代更新网络中的权重参数，奖励期望E[R_t]的策略梯度更新公式为：

其中，b_t(s_t)为基线函数，基于价值函数的深度神经网络，损失函数定义为：

L(w_t)＝E[(TargetQ-Q(s_t,a_t；w_t-1))²] (24)

其中w为权重参数，Target Q定义为：

式中，γ为衰减因子；

(8-2)采用步骤(8-1)的云边协同深度强化学习算法，求解步骤(7)的优化模型，得到最优调度策略。

6.根据权利要求7所述的配电物联网数据监测调度方法，其特征在于，所述采用云边协同深度强化学习算法，求解所述计算任务迁移优化模型，得到最优调度策略，包括：

(1)将计算任务迁移优化模型的输入设置为：

将计算任务数据大小为记为d_i,i∈{1,2,3,...,N}，端层设备i的最大容许延迟为T_i ^tol,i∈{1,2,3,...,N}，带宽设置为B_j,j∈{1,2,3,...,M}，计算能力记为：

将计算任务迁移优化模型的输出设置为：

优化得到计算成本

边缘节点分配给端层设备i的带宽占比

边缘节点j分配给端层设备i的计算资源占比

由第j个边缘节点提供服务的第i个端层设备分配到的云计算带宽占比

由第j个边缘节点提供服务的第i个端层设备分配到的云计算资源占比

及表示端层设备i是否选择边缘节点j执行计算的指标

(2)初始化计算任务迁移优化模型中的深度神经网络的权重指标θ、θ′、w、w′以及每个边缘节点的最大迭代时间T；

(3)设置当前迭代时间t＝1；

(4)设置t₀＝t，同步边缘节点中的参数：θ＝θ′，w＝w′；

(5)基于迭代t个时间步长的策略π(a_t|s_t；θ′)，选取动作a_t，记录奖励值r_t以及由动作a_t执行得到的新的状态s_t+1，使t＝t+1，重复本步骤，直到t-t₀＝T；

(6)设置迭代时长h，h＝t-1，通过式(23)优化奖励值；

(7)利用损失函数式(24)和目标Q值函数式(25)，计算Q值；

(8)根据步骤(7)的Q值，得到奖励值R＝r_h+γR；

(9)利用以下公式，更新累计梯度：

(10)判断h是否与t₀相等，若h和t₀不相等，则返回步骤(6)；若h和t₀相等，则进入步骤(11)；

(11)更新云计算层的深度神经网络参数：θ＝θ-ρ₁dθ，w＝w-ρ₂dw；

(12)将更新后的深度神经网络参数θ,w传递给云计算层；

(13)计算任务迁移优化模型输出最优参数

及

得到当前时刻最优调度策略，并将最优调度策略发送给相应的边缘计算层、云计算层及端层，进行计算任务的分配。

Images