CN112637806A - 基于深度强化学习的变电站监测系统及其资源调度方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的变电站监测系统及其资源调度方法，该系统包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、电力无线专网基站、拥有多个神经网络的边缘设备和远程云端的系统，该系统采集电网状态进行基于神经网络的异常监测，有两种数据传输的方法：一是将传感器采集的数据通过LTE‑A无线通信接口传输到电力无线专网基站，再通过互联网传输到云端进行处理；二是将传感器采集的数据通过WIFI传输到边缘设备，选择不同的神经网络处理。本发明在时变的互联网时延的环境中，并在满足数据传输时延的要求下，能优化分配无线通信资源与边缘设备的计算资源，使得最大化系统的吞吐量。

Description

基于深度强化学习的变电站监测系统及其资源调度方法

技术领域

本发明涉及变电站监测和资源分配与调度领域，尤其涉及一种基于深度强化学习的变电站监测系统及其资源调度方法，适用于变电站中对数据进行实时异常监测。

背景技术

变电站的智能化是电网发展的必然产物，物联网技术应用于变电站是信息通信技术发展到一定阶段的必然趋势。将物联网技术广泛应用在变电站中，能够使信息通信技术更好的服务于电力行业，有效地为电网中的发电、输电、变电、配电、用电、调度等环节提供重要技术支撑，提高电力系统信息化水平，从而改善现有电力系统基础设施的利用效率，促进能源的高效利用。变电站的故障监测一直都是一个不可避免的问题，是通过测量和分析故障后电网中电流、电压等电气量以及保护和断路器动作的开关量变化信息，识别故障原因。良好的监控系统对于及时发现和处理故障以及预防事故具有重要意义。

边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。众所周知，边缘计算是将基础设施资源进行分布式部署再统一管理的。资源较为集中的称为“云”，资源量较少的部署点称为“边缘”，并在边缘计算云平台中存在少数的云和多数的边缘，因此如何进行平台的资源调度变成十分重要。

北京邮电大学高辉等考虑了一个多用户MEC系统(WCNC，2018.8377343)，其中多用户设备可以通过无线信道进行计算卸载到一个MEC服务器上。将所有问题的延迟成本和能量消耗的总和表示为优化目标。为了使所考虑的MEC系统的总代价最小，共同优化了卸载决策和计算资源分配。为此，提出了基于强化学习的优化框架来解决无线MEC中的资源分配问题。具体来说，分别提出了基于Q-learning和基于深度强化学习的方案。但是，该文献仅对资源分配后的情况进行了分析，却没有考虑分配的必要性。而且，Q-learning算法会造成大的状态和动作空间，导致计算的复杂度极高。

福建农林大学计算机与信息学院刘庆年等实现了智能电网大数据异常状态实时监测仿真(计算机仿，1006-9348(2019)03-0364-04)，针对当前方法存在的监测速度慢、准确率低的问题，提出了一种基于熵序列的智能电网数据流异常状态监测方法。该方法具有较高的监测精度，实用性较强。但是该方法算法较为复杂，实时性还可以提高。

南昌诺汇医药科技有限公司何月顺发明了一种智能变电站监测系统(公开号：CN110830945A)，该系统包括环境感知模块、数据收集模块、云服务器和智能监测中心，所述环境感知模块利用传感器节点监测变电站环境参数，并通过无线传感器网络将监测所得的环境参数信息传输至数据收集模块，由数据收集模块将收集的环境参数监测信息传输至云服务器，云服务器对接收到的环境参数监测信息进行存储，智能监测中心从云服务器中调取所述环境参数监测信息，并根据所述环境参数监测信息对变电站的安全状态进行评估，当评估变电站存在危险时即进行预警。但是文章没有利用云边协同，无法解决云端延迟大的缺点，系统的实时性较差。

发明内容

本发明是为避免上述现有技术所存在的不足之处，提供了一种基于深度强化学习的变电站监测系统及其资源调度方法，以期能在满足数据传输时延的要求下，优化分配无线通信资源与边缘设备的计算资源，使得最大化系统的吞吐量，从而提高云边协同系统的时间效率、资源利用率。

本发明为解决技术问题采用如下技术方案：

本发明一种基于深度强化学习的变电站监测系统的特点是包括：包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、一个电力无线专网基站、一个拥有多个神经网络的边缘设备和一个远程云端；

所述无线传感器网络节点包括：WIFI和LTE-A的两种无线通信接口、传感器和微处理器单元；

所述深度强化学习智能体，收集互联网延迟和传感器采集的数据包长度信息实时做出决策，再将决策返回给传感器；

所述边缘设备包括：WIFI无线通信接口和运行多种神经网络的嵌入式微处理器；其中，每个神经网络的精度不同，消耗的计算资源不同，且均用于对电压和电流时序数据进行异常检测；

所述远程云端包括：LTE-A无线通信接口、互联网接口和神经网络模型；

所述传感器通过电力无线专网基站将数据包传输给云端：传感器将采集的数据通过LTE-A无线通信接口传输给所述电力无线专网基站，所述电力无线专网基站对所接收到的数据进行处理后，再通过互联网将处理后的数据上传至所述远程云端，由远程云端中的神经网络模型对处理后的数据进行实时异常状态监测，一旦数据发生异常，则找出故障并排除，从而实现从传感器到电力无线专网基站再到云端的数据传输和处理过程；

所述将传感器的数据传输给边缘设备：传感器将采集的数据通过WIFI无线通信接口传输给所述边缘设备，所述边缘设备中的嵌入式微处理器中的不同精度的神经网络对所接收到的数据进行实时异常状态监测，一旦数据发生异常，则找出故障并排除，从而实现从传感器到边缘设备的数据传输和处理过程。

本发明一种基于深度强化学习的变电站监测系统的资源调度方法的特点是应用于由包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、一个电力无线专网基站、一个拥有多个神经网络的边缘设备和一个远程云端所组成的智能电网监测系统中，并按如下步骤进行：

步骤一、在所述智能电网监测系统中，将用于采集的传感器编号为{1,2,...,n,...,N}，n表示第n种传感器的序号，1≤n≤N；

定义不同神经网络的精度为{Q₁,Q₂,...,Q_a,...,Q_A},其中，Q_a表示第a种神经网络的精度，μ_max表示总的计算资源，μ_a表示精度为Q_a的神经网络分得的计算资源，1≤a≤A；

定义Q_A+1表示远程云端的计算精度；

步骤二、假设一段时间内第n种传感器共传输I_n个数据包，每个数据包传输L_n位数据且传输周期为T_p,n，计算数据包在延迟限制内成功传输到边缘设备或远程云端的概率；

步骤三、建立以计算精度、数据成功到达概率及数据包大小的乘积最大值为目标函数，

根据计算资源、通信资源和设备硬件的限制因素，建立一系列约束条件，从而构建基于深度强化学习的资源分配和调度模型；

步骤四、采用深度强化学习算法对基于深度强化学习的资源分配和调度模型进行求解，得到最优解，采用最优解所表示的最优资源分配方案将采集的数据传输给无线网络，从而实现资源分配和调度。

本发明所述的基于深度强化学习的变电站监测系统的资源调度方法的特点也在于，所述步骤二是按如下过程进行：

步骤2.1、利用式(2-1)得到数据包被无错传输的概率P：

式(2-1)中，

表示带宽资源，

表示无线通信的信道增益，

表示信噪比、

表示传输速率，其中，

时表示选择远程云端传输数据，

时表示选择边缘设备传输数据；

对于第n个传感器产生的数据包，传输时间是

L_n表示第n个数据包的大小，利用式(2-2)得到数据包无错传输的概率与传输时间的比值，即无线信道的服务速率

利用式(2-3)得到无线传输延迟概率

式(2-3)中，

表示到第n种传感器传送的数据在无线通信中实际传输的时间，

为无线传输的延迟限制，λ_e,λ_c分别表示数据传输到边缘设备和云端过程中无线通信的到达率，并有：

式(2-4)中，x_n,i表示第n种传感器的第i个数据包是发送给边缘设备处理还是发送给远程云端，x_n,i＝1表示数据从传感器传输到边缘设备，x_n,i＝0表示数据从传感器传送到远程云端；

步骤2.2、利用式(2-5)得到第n种传感器在互联网中的传输延迟限制T_c,n的概率函数P(t_c,n≤T_c,n)：

式(2-4)中，t_c,n表示第n种传感器传送的数据在无线网络中实际传输的时间，σ²表示时间t_c,n的方差，μ表示时间t_c,n的数学期望。

所述步骤三是按如下过程进行：

步骤3.1、利用式(3-1)构建目标函数：

式(3-1)中，L_n是第n个数据包的大小，y_n,i,a表示第n种传感器的第i个数据包是否发送给边缘设备中精度为Q_a的神经网络处理；T_n表示第n种传感器的延迟限制；t表示数据在实际传输中的总时间；P_e,a,n(t≤T_n)表示第n种传感器的数据传送给边缘设备中精度为Q_a的神经网络处理的无线传输延迟与计算延迟之和小于延时限制的概率，并有：

式(3-2)中，T_e,a,n表示第n种传感器传输的数据在精度为Q_a的神经网络中的计算延迟；

式(3-1)中，P_c,n(t≤T_n)表示第n种传感器的数据传送给云端时数据到基站的无线传输延迟与基站到云的互联网传输延迟之和小于延时限制的概率，并有：

步骤3.2、利用式(3-4)-式(3-8)构建约束条件：

x_n,i∈{0,1} (3-4)

y_n,i,a∈{0,1} (3-5)

若

式(3-4)表示x_n,i只能等于0或1，即第n种传感器的第i个数据包只能传送给边缘或者远程云端；

式(3-5)表示y_n,i,a只能等于0或1，即第n种传感器的第i个数据包是否传给精度为Q_a的神经网络；

式(3-6)表示当数据传输给边缘设备时，必须选择一种精度的神经网络；

式(3-7)表示任意一个神经网络分得的计算资源需小于总资源。

所述步骤四是按如下过程进行：

步骤4.1、利用式(4-1)得到改写后的目标函数R(τ)：

式(4-1)中，L_i是第i个数据包的大小，Q_i是第i个数据包传输时选择的精度，P_i是第i个数据包传输延迟小于延迟限制的概率；τ表示一种策略；

步骤4.2、基于指针网络训练模型参数：

所述指针网络由编码器和解码器组成，所述编码器和解码器均由LSTM单元组成；

步骤4.2.1、编码阶段，所述编码器每次读取n个数据包中读取一个数据包的输入序列，得到第i个数据包对应的隐状态h_i，i＝1,...,n，所述输入序列包括互联网延迟和数据包的长度；

步骤4.2.2、解码阶段，第一个LSTM单元的输入是神经网络训练的参数，并输出第1个隐状态x₁，从第二个LSTM单元开始，用前一个LSTM单元的输出作为第二个LSTM单元的输入，则第j个LSTM单元输出第j个隐状态x_j，j＝1,...,n；

步骤4.2.3、根据式(4-2)，式(4-3)分别计算第j个LSTM单元对第i个数据包输出的概率分布

和第j个解码器分配给第i个数据包的输入序列的权重

式(4-2)中，v是需要学习的参数，W_h是编码阶段的参数，W_s是解码阶段的参数；

步骤4.3、使用策略梯度算法对所述指针网络进行优化：

定义Actor网络和Critic网络的结构与所述指针网络的结构相同，所述Actor网络用于生成动作和环境互动，Critic网络用于评价Actor网络的表现，并指导Actor网络下一阶段的动作；

步骤4.3.1、在Actor网络下，假设策略τ引导智能体经历一个轨迹，即τ＝(s₁,a₁,s₂,a₂,...,s_i,a_i)；其中，s_i是在第i步时的状态，a_i是在第i步时选择的动作；

步骤4.3.2、利用式(4-4)得到所述轨迹在策略τ的引导下出现的概率p_θ(τ)：

步骤4.3.3、利用式(4-5)求解改写后的目标函数R(τ)的期望J(θ)：

式(4-5)中，θ表示Actor网络的参数；

步骤4.3.4、利用式(4-6)建立期望J(θ)的目标函数：

步骤4.3.5、利用式(4-7)计算目标函数的梯度▽J(θ)：

步骤4.3.6、利用式(4-8)得到在当前策略τ下采样N条轨迹后的平均值▽J′(θ)：

式(4-8)中，τ_i表示采样的第i条轨迹；

步骤4.3.7、利用式(4-9)得到引入一个基准线b后的梯度▽J″(θ)：

步骤4.3.8、利用式(4-10)对梯度▽J″(θ)进行优化，得到优化后的Actor网络的参数θ′；

θ′←θ+α▽J″(θ) (4-10)

式(4-10)中，α是Actor网络的学习率，←表示参数θ更新为θ'；

步骤4.3.9、利用式(4-11)得到均方差C(θ_c)；

式(4-11)中，θ_c为所述Critic网络的参数，b_θc为所述Critic网络的输出；

步骤4.3.10、利用式(4-12)对均方差C(θ_c)的梯度▽C(θ_c)进行训练，得到训练后的Critic网络的参数θ_c′；

θ_c′←θ_c+α_c▽C(θ_c) (4-12)

式(4-12)中，α_c是Actor网络的学习率；

步骤4.3.11、将优化后的Actor网络的参数θ′和训练后的Critic网络的参数θ_c′带入步骤4.3.2-步骤4.3.10进行迭代训练，得到训练好的最优参数θ^*所对应的最优Actor网络以及最优参数

所对应的最优Critic网络；

步骤4.3.11、将n个数据数据包输入所述最优Actor网络和最优Critic网络，并由所述最优Actor网络的输出最优解，根据所述最优解所对应的最优资源分配方案，将采集的数据传输给无线网络，从而实现资源分配和调度。

与现有技术相比，本发明的有益效果体现在：

1.本发明设计了一种云边协同的变电站监测系统，该系统包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、一个电力无线专网、一个拥有多个精度不同、消耗计算资源不同的神经网络的边缘设备和一个远程云端的系统，该系统比一般变电站监测系统多加了深度强化学习智能体和边缘设备，大大降低了数据传输过程中的延迟，可以更快的采集电网状态并进行基于深度神经网络的实时异常监测，结构简单但是监测效果良好。

2.本发明设计了一种基于深度强化学习的资源分配和调度的方法，首先根据精度、时延要求不同设置了不同的监测异常数据的路径，其次在保证了在数据满足传输时延的要求下，将资源分配和调度的方法转化为一种非线性整数规划问题，优化分配了无线通信资源与边缘设备的计算资源，最后联合约束条件和深度强化学习算法求出目标函数非线性整数规划问题的解，使得最大化系统的吞吐量。该方法设置了不同的精度等级和不同的时延要求，最大化利用了无线通信资源和计算资源，优化了变电站的监测方法。

附图说明

图1为本发明变电站监测系统的架构图；

图2a为本发明边缘设备中精度为Q₁的神经网络的层级结构图；

图2b为本发明边缘设备中精度为Q₂的神经网络的层级结构图；

图2c为本发明边缘设备中精度为Q₃的神经网络的层级结构图。

具体实施方式

本实施例中，如图1所示，一种云边协同的变电站监测系统是包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、一个电力无线专网基站、一个拥有多个神经网络的边缘设备和一个远程云端的系统；

其中，无线传感器网络节点包括：WIFI和LTE-A的两种无线通信接口、传感器和微处理器单元；

深度强化学习智能体包括：收集互联网延迟和数据包长度信息实时做出卸载决策；

边缘设备包括：WIFI无线通信接口和运行多种神经网络的嵌入式微处理器；其中，每个神经网络的精度不同，消耗的计算资源不同，且均用于对电压和电流时序数据进行异常检测；

云端包括：LTE-A无线通信接口、互联网接口和神经网络模型；

传感器通过电力无线专网基站将数据包传输给云端：传感器将采集的数据通过LTE-A无线通信接口传输给电力无线专网基站，电力无线专网基站对所接收到的数据进行一定的处理后，再通过互联网将处理后的数据上传至云端，由云端中的神经网络模型对处理后的数据进行实时异常状态监测，一旦数据发生异常，则找出故障并排除，从而实现从传感器到电力无线专网基站再到云端的数据传输和处理过程；

传感器的数据传输给边缘设备：传感器将采集的数据通过WIFI无线通信接口传输给边缘设备，边缘设备中的嵌入式微处理器中的不同精度的神经网络对所接收到的数据进行实时异常状态监测，一旦数据发生异常，则找出故障并排除，从而实现从传感器到边缘设备的数据传输和处理过程。

如图1所示，一种基于深度强化学习的变电站监测系统的资源调度方法是按如下步骤进行：

步骤一、在变电站监测系统中，将需要采集的传感器编号{1,2,...,n,...,N}，n表示第n种传感器的序号，1≤n≤N，本实例中，有测量电压、电流、谐波和有功功率共四种数据类型的传感器，各个传感器进行编号{1,2,3,4}；定义不同神经网络的精度为{Q₁,Q₂,...,Q_a,...,Q_A},其中Q_a表示第a种神经网络的精度，μ_max表示总的计算资源，μ_a表示精度为Q_a的神经网络分得的计算资源，1≤a≤A，实例中边缘设备有三种不同精度的神经网络，精度为Q₁的神经网络的层级结构图如图2a所示，此神经网络有一个卷积层、一个节点丢弃层、一个扁平化层和三个全连接层，共六层；精度为Q₂的神经网络的层级结构图如图2b所示，它比精度为Q₁的神经网络多加了一个卷积层和两个全连接层，所以精度更高，但计算延迟也更大；精度为Q₃的神经网络的层级结构图如图2c所示，它比精度为Q₁的神经网络多加了两个卷积层和四个全连接层，精度最高，计算延迟也最大；利用采集的不同类型数据各100000个对神经网络进行训练，得到的神经网络精度分别为Q₁＝96.99％,Q₂＝97.99％,Q₃＝98.99％；计算资源用时钟周期的个数来表示，则总资源μ_max＝216M,μ₁＝0.47M,μ₂＝0.63M,μ₃＝0.84M；定义Q表示云端的计算精度，云端中有一个神经网络，层数为20层，精度Q＝99.99％；

步骤二、假设一段时间内第n种传感器共传输I_n个数据包，每个数据包传输L_n位数据，为传感器分配正交资源，

表示带宽，

表示无线通信的信道增益、

表示信噪比、

表示传输速率，其中

时表示选择云端传输数据，

时表示选择边缘设备传输数据，考虑到rayleigh衰落信道，信道增益服从均值为1的指数分布，则数据包被无错传输的概率为式(1)：

对于第n个测量节点产生的数据包，传输时间

为

L_n表示第n个数据包的大小，令数据包无错传输的概率与传输时间之比为

则

数据包被无错传输的概率服从指数分布，假设数据包的到达遵循泊松分布，可以根据M/M/1队列建模数据的传输延迟，因此，无线传输延迟概率表示P(t_w,n,φ≤T_w,n,φ)为式(3)：

式(3)中，

表示到第n种传感器传送的数据在无线通信中实际传输的时间，

为无线传输的延迟限制为

λ_e,λ_c分别表示数据传输到边缘设备和云端过程中无线通信的到达率，并有：

式(4)中，x_n,i表示第n种传感器的第i个数据包是发送给边缘设备处理还是发送给云端，x_n,i＝1表示数据从传感器传输到边缘设备，x_n,i＝0表示数据从传感器传送到云端；

利用式(5)得到第n种传感器在互联网中的传输延迟T_c,n的概率函数P(t_c,n≤T_c,n)：

式(5)中，t_c,n表示第n种传感器传送的数据在互联网中实际传输的时间，σ²表示时间t_c,n的方差，μ表示时间t_c,n的数学期望。

所有需要用到的参数的具体值由表1所示，

表1步骤二中的参数值

步骤三、建立以计算精度、数据成功到达概率及数据包大小的乘积最大值为目标函数；根据计算资源、通信资源和设备硬件的限制因素，建立一系列约束条件；从而利用(6)-(14)建立云边协同的变电站监测系统的资源分配与调度方法；

目标函数由式(6)所示：

式(6)中，L_n是一个数据包的大小，y_n,i,a表示第n种传感器的第i个数据包是否发送给边缘设备中精度为Q_a的神经网络处理；T_n表示第n种传感器的延迟限制；t表示数据在实际传输中的总时间；P_e,a,n(t≤T_n)表示第n种传感器的数据传送给边缘设备中精度为Q_a的神经网络处理的无线传输延迟加计算延迟小于延时限制的概率，并有：

式(7)中，T_e,a,n表示第n种传感器传输的数据在精度为Q_a的神经网络中的计算延迟；

式(8)中，P_c,n(t≤T_n)表示第n种传感器的数据传送给云端时数据到基站的无线传输延迟加基站到云的互联网传输延迟小于延时限制的概率，并有：

约束条件如式(9)-式(12)所示：

x_n,i∈{0,1} (9)

y_n,i,a∈{0,1} (10)若

式(9)表示x_n,i只能等于1或0，即第n种传感器的第i个数据包只能传送给边缘或者云端；x_n,i＝1表示发送数据给边缘设备，x_n,i＝0表示发送数据给云端；

式(10)表示y_n,i,a只能等于0或1，即第n种传感器的第i个数据包是否传给精度为Q_a的神经网络；y_n,i,a＝1表示传给精度为Q_a的神经网络，y_n,i,a＝0表示不传给精度为Q_a的神经网络；

式(11)表示当数据传输给边缘设备时，必须选择一种精度的神经网络；

式(12)表示表示任意一个神经网络分得的计算资源需小于总资源。

所有需要用到的参数的具体值由表2所示：

表2步骤三中的参数值

步骤四、联合约束条件和深度强化学习算法法将问题进行求解，得到最优解；

步骤4.1、利用式(4-1)得到改写后的目标函数R(τ)：

式(4-1)中，L_i是第i个数据包的大小，Q_i是第i个数据包传输时选择的精度，P_i是第i个数据包传输延迟小于延迟限制的概率；τ表示一种策略；

步骤4.2、基于指针网络训练模型参数：

指针网络由编码器和解码器组成，编码器和解码器均由LSTM单元组成；

步骤4.2.1、编码阶段，编码器每次读取n个数据包中读取一个数据包的输入序列，得到第i个数据包对应的隐状态h_i，i＝1,...,n，在接下来的解码过程中，都保持不变；输入序列包括互联网时延，数据包的大小等信息；

步骤4.2.2、解码阶段，第一个LSTM单元的输入是神经网络训练的参数，并输出第1个隐状态x₁，从第二个LSTM单元开始，用前一个LSTM单元的输出作为第二个LSTM单元的输入，则第j个LSTM单元输出第j个隐状态x_j；

步骤4.2.3、根据式(4-2)，式(4-3)分别计算第j个LSTM单元对第i个数据包输出的概率分布

和第j个解码器分配给第i个数据包的输入序列的权重

式(4-2)中，v,W_h,W_s是需要学习的参数，W_h是编码阶段的参数，W_s是解码阶段的参数；在得到概率分布

之后对其执行softmax操作即可得到分配给输入序列的权重

可以把它拿出来作为指向输入序列的指针，在每次输出一个元素的时候根据这个概率分布得到每一次输出的数据包；

步骤4.3、使用策略梯度算法进行优化：

将传统强化学习中的行动者评论家(Actor-Critic，AC)框架拓展到深度策略梯度方法中，定义Actor网络和Critic网络的结构与指针网络的结构相同，Actor网络就是策略函数，用于生成动作和环境互动，Critic网络用来价值评估，可评价Actor网络的表现，并指导Actor网络下一阶段的动作；

步骤4.3.1、Actor网络的agent在每一次选择数据包传输方式的时候，数据包的参数以及互联网延迟模型参数的不同导致选择的顺序不一定完全相同，在Actor网络下，假设策略τ引导智能体经历一个轨迹，即τ＝(s₁,a₁,s₂,a₂,...,s_i,a_i)；其中，s_i是在第i步时的状态，a_i是在第i步时选择的动作；

步骤4.3.2、利用式(16)得到轨迹在策略τ的引导下出现的概率p_θ(τ)：

步骤4.3.3、利用式(17)求解改写后的目标函数R(τ)的期望J(θ)：

式(17)中，θ表示Actor网络的参数；

步骤4.3.4、利用式(18)建立期望J(θ)的目标函数：

步骤4.3.5、利用式(19)计算目标函数的梯度▽J(θ)：

步骤4.3.6、利用式(20)得到在当前策略τ下采样N条轨迹后的平均值▽J′(θ)：

式(20)中，τ_i表示采样的第i条轨迹；

步骤4.3.7、利用式(21)得到引入一个基准线b后的梯度▽J″(θ)：

步骤4.3.8、利用式(22)对▽J″(θ)进行优化，得到优化后的Actor网络的参数θ′；

θ′←θ+α▽J″(θ) (22)

式(22)中α是Actor网络的学习率，←表示参数θ更新为θ'；

步骤4.3.9、利用式(23)得到均方差C(θ_c)；

式(23)中，θ_c为Critic网络的参数，

为Critic网络的输出；

步骤4.3.10、利用式(24)对C(θ_c)的梯度进行训练，得到训练后的Critic网络的参数θ_c′；

θ_c′←θ_c+α_c▽J″(θ) (24)

式(24)中α_c是Actor网络的学习率；

步骤4.3.11、重复步骤4.3.2-步骤4.3.10，得到训练好的Actor网络的最优参数θ^*以及Critic网络的最优参数

步骤4.3.12、将n个数据数据包输入最优Actor网络和最优Critic网络，并由最优Actor网络的输出最优解，根据最优解所对应的最优资源分配方案，将采集的数据传输给无线网络，从而实现资源分配和调度。

Claims (5)

1.一种基于深度强化学习的变电站监测系统，其特征是包括：包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、一个电力无线专网基站、一个拥有多个神经网络的边缘设备和一个远程云端；

所述无线传感器网络节点包括：WIFI和LTE-A的两种无线通信接口、传感器和微处理器单元；

所述深度强化学习智能体，收集互联网延迟和传感器采集的数据包长度信息实时做出决策，再将决策返回给传感器；

所述边缘设备包括：WIFI无线通信接口和运行多种神经网络的嵌入式微处理器；其中，每个神经网络的精度不同，消耗的计算资源不同，且均用于对电压和电流时序数据进行异常检测；

所述远程云端包括：LTE-A无线通信接口、互联网接口和神经网络模型；

所述传感器通过电力无线专网基站将数据包传输给云端：传感器将采集的数据通过LTE-A无线通信接口传输给所述电力无线专网基站，所述电力无线专网基站对所接收到的数据进行处理后，再通过互联网将处理后的数据上传至所述远程云端，由远程云端中的神经网络模型对处理后的数据进行实时异常状态监测，一旦数据发生异常，则找出故障并排除，从而实现从传感器到电力无线专网基站再到云端的数据传输和处理过程；

所述将传感器的数据传输给边缘设备：传感器将采集的数据通过WIFI无线通信接口传输给所述边缘设备，所述边缘设备中的嵌入式微处理器中的不同精度的神经网络对所接收到的数据进行实时异常状态监测，一旦数据发生异常，则找出故障并排除，从而实现从传感器到边缘设备的数据传输和处理过程。

2.一种基于深度强化学习的变电站监测系统的资源调度方法，其特征是应用于由包含N种不同类型传感器的无线传感器网络节点、深度强化学习智能体、一个电力无线专网基站、一个拥有多个神经网络的边缘设备和一个远程云端所组成的智能电网监测系统中，并按如下步骤进行：

步骤一、在所述智能电网监测系统中，将用于采集的传感器编号为{1,2,...,n,...,N}，n表示第n种传感器的序号，1≤n≤N；

定义不同神经网络的精度为{Q₁,Q₂,...,Q_a,...,Q_A},其中，Q_a表示第a种神经网络的精度，μ_max表示总的计算资源，μ_a表示精度为Q_a的神经网络分得的计算资源，1≤a≤A；

定义Q_A+1表示远程云端的计算精度；

步骤二、假设一段时间内第n种传感器共传输I_n个数据包，每个数据包传输L_n位数据且传输周期为T_p,n，计算数据包在延迟限制内成功传输到边缘设备或远程云端的概率；

步骤三、建立以计算精度、数据成功到达概率及数据包大小的乘积最大值为目标函数，

根据计算资源、通信资源和设备硬件的限制因素，建立一系列约束条件，从而构建基于深度强化学习的资源分配和调度模型；

步骤四、采用深度强化学习算法对基于深度强化学习的资源分配和调度模型进行求解，得到最优解，采用最优解所表示的最优资源分配方案将采集的数据传输给无线网络，从而实现资源分配和调度。

3.根据权利要求2所述的基于深度强化学习的变电站监测系统的资源调度方法，其特征是，所述步骤二是按如下过程进行：

步骤2.1、利用式(2-1)得到数据包被无错传输的概率P：

式(2-1)中，

表示带宽资源，

表示无线通信的信道增益，

表示信噪比、

表示传输速率，其中，

时表示选择远程云端传输数据，

时表示选择边缘设备传输数据；

对于第n个传感器产生的数据包，传输时间是T_n,φ＝L_n/r_φ，L_n表示第n个数据包的大小，利用式(2-2)得到数据包无错传输的概率与传输时间的比值，即无线信道的服务速率

利用式(2-3)得到无线传输延迟概率P(t_w,n,φ≤T_w,n,φ)：

式(2-3)中，

表示到第n种传感器传送的数据在无线通信中实际传输的时间，

为无线传输的延迟限制，λ_e,λ_c分别表示数据传输到边缘设备和云端过程中无线通信的到达率，并有：

式(2-4)中，x_n,i表示第n种传感器的第i个数据包是发送给边缘设备处理还是发送给远程云端，x_n,i＝1表示数据从传感器传输到边缘设备，x_n,i＝0表示数据从传感器传送到远程云端；

步骤2.2、利用式(2-5)得到第n种传感器在互联网中的传输延迟限制T_c,n的概率函数P(t_c,n≤T_c,n)：

式(2-4)中，t_c,n表示第n种传感器传送的数据在无线网络中实际传输的时间，σ²表示时间t_c,n的方差，μ表示时间t_c,n的数学期望。

4.根据权利要求2所述的基于深度强化学习的变电站监测系统的资源调度方法，所述步骤三是按如下过程进行：

步骤3.1、利用式(3-1)构建目标函数：

式(3-1)中，L_n是第n个数据包的大小，y_n,i,a表示第n种传感器的第i个数据包是否发送给边缘设备中精度为Q_a的神经网络处理；T_n表示第n种传感器的延迟限制；t表示数据在实际传输中的总时间；P_e,a,n(t≤T_n)表示第n种传感器的数据传送给边缘设备中精度为Q_a的神经网络处理的无线传输延迟与计算延迟之和小于延时限制的概率，并有：

式(3-2)中，T_e,a,n表示第n种传感器传输的数据在精度为Q_a的神经网络中的计算延迟；

式(3-1)中，P_c,n(t≤T_n)表示第n种传感器的数据传送给云端时数据到基站的无线传输延迟与基站到云的互联网传输延迟之和小于延时限制的概率，并有：

步骤3.2、利用式(3-4)-式(3-8)构建约束条件：

x_n,i∈{0,1} (3-4)

y_n,i,a∈{0,1} (3-5)

若

式(3-4)表示x_n,i只能等于0或1，即第n种传感器的第i个数据包只能传送给边缘或者远程云端；

式(3-5)表示y_n,i,a只能等于0或1，即第n种传感器的第i个数据包是否传给精度为Q_a的神经网络；

式(3-6)表示当数据传输给边缘设备时，必须选择一种精度的神经网络；

式(3-7)表示任意一个神经网络分得的计算资源需小于总资源。

5.根据权利要求2所述的基基于深度强化学习的变电站监测系统的资源调度方法，所述步骤四是按如下过程进行：

步骤4.1、利用式(4-1)得到改写后的目标函数R(τ)：

式(4-1)中，L_i是第i个数据包的大小，Q_i是第i个数据包传输时选择的精度，P_i是第i个数据包传输延迟小于延迟限制的概率；τ表示一种策略；

步骤4.2、基于指针网络训练模型参数：

所述指针网络由编码器和解码器组成，所述编码器和解码器均由LSTM单元组成；

步骤4.2.1、编码阶段，所述编码器每次读取n个数据包中读取一个数据包的输入序列，得到第i个数据包对应的隐状态h_i，i＝1,...,n，所述输入序列包括互联网延迟和数据包的长度；

步骤4.2.2、解码阶段，第一个LSTM单元的输入是神经网络训练的参数，并输出第1个隐状态x₁，从第二个LSTM单元开始，用前一个LSTM单元的输出作为第二个LSTM单元的输入，则第j个LSTM单元输出第j个隐状态x_j，j＝1,...,n；

步骤4.2.3、根据式(4-2)，式(4-3)分别计算第j个LSTM单元对第i个数据包输出的概率分布

和第j个解码器分配给第i个数据包的输入序列的权重

式(4-2)中，v是需要学习的参数，W_h是编码阶段的参数，W_s是解码阶段的参数；

步骤4.3、使用策略梯度算法对所述指针网络进行优化：

定义Actor网络和Critic网络的结构与所述指针网络的结构相同，所述Actor网络用于生成动作和环境互动，Critic网络用于评价Actor网络的表现，并指导Actor网络下一阶段的动作；

步骤4.3.1、在Actor网络下，假设策略τ引导智能体经历一个轨迹，即τ＝(s₁,a₁,s₂,a₂,...,s_i,a_i)；其中，s_i是在第i步时的状态，a_i是在第i步时选择的动作；

步骤4.3.2、利用式(4-4)得到所述轨迹在策略τ的引导下出现的概率p_θ(τ)：

步骤4.3.3、利用式(4-5)求解改写后的目标函数R(τ)的期望J(θ)：

J(θ)＝∑_τR(τ)p_θ(τ) (4-5)

式(4-5)中，θ表示Actor网络的参数；

步骤4.3.4、利用式(4-6)建立期望J(θ)的目标函数：

maxJ(θ)＝max∑_τR(τ)p_θ(τ) (4-6)

步骤4.3.5、利用式(4-7)计算目标函数的梯度

步骤4.3.6、利用式(4-8)得到在当前策略τ下采样N条轨迹后的平均值

式(4-8)中，τ_i表示采样的第i条轨迹；

步骤4.3.7、利用式(4-9)得到引入一个基准线b后的梯度

步骤4.3.8、利用式(4-10)对梯度

进行优化，得到优化后的Actor网络的参数θ′；

式(4-10)中，α是Actor网络的学习率，←表示参数θ更新为θ'；

步骤4.3.9、利用式(4-11)得到均方差C(θ_c)；

式(4-11)中，θ_c为所述Critic网络的参数，

为所述Critic网络的输出；

步骤4.3.10、利用式(4-12)对均方差C(θ_c)的梯度

进行训练，得到训练后的Critic网络的参数θ′_c；

式(4-12)中，α_c是Actor网络的学习率；

步骤4.3.11、将优化后的Actor网络的参数θ′和训练后的Critic网络的参数θ′_c带入步骤4.3.2-步骤4.3.10进行迭代训练，得到训练好的最优参数θ^*所对应的最优Actor网络以及最优参数

所对应的最优Critic网络；

步骤4.3.11、将n个数据数据包输入所述最优Actor网络和最优Critic网络，并由所述最优Actor网络的输出最优解，根据所述最优解所对应的最优资源分配方案，将采集的数据传输给无线网络，从而实现资源分配和调度。

Images