CN116154788A - 一种电压控制方法、装置、终端设备及存储介质 - Google Patents
一种电压控制方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN116154788A CN116154788A CN202310321316.XA CN202310321316A CN116154788A CN 116154788 A CN116154788 A CN 116154788A CN 202310321316 A CN202310321316 A CN 202310321316A CN 116154788 A CN116154788 A CN 116154788A
- Authority
- CN
- China
- Prior art keywords
- agent
- voltage control
- network
- value
- agents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims abstract description 33
- 238000009826 distribution Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 230000033228 biological regulation Effects 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 35
- 239000010410 layer Substances 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 12
- 238000011217 control strategy Methods 0.000 abstract description 5
- 239000003795 chemical substances by application Substances 0.000 description 139
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- HMPUHXCGUHDVBI-UHFFFAOYSA-N 5-methyl-1,3,4-thiadiazol-2-amine Chemical compound CC1=NN=C(N)S1 HMPUHXCGUHDVBI-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
- H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
- H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/48—Controlling the sharing of the in-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/50—Controlling the sharing of the out-of-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/40—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation wherein a plurality of decentralised, dispersed or local energy generation technologies are operated simultaneously
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明实施例公开了一种电压控制方法、装置、终端设备及存储介质，该方法包括：建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型；根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型；在多智能体演员‑注意力‑评论家算法中嵌入图卷积神经网络，并利用多智能体演员‑注意力‑评论家算法求解马尔科夫决策模型，以进行离线集中式训练；在线智能体分散式执行实时无功调度策略。可以更好地捕捉电网环境中的状态信息和拓扑信息；并通过在离线学习阶段通过大量样本挖掘最优策略并存储于策略网络中，使得智能体在在线执行过程中仅依据实时局部观测信息就可以提供具有协同性的最优控制策略，具有良好的实时性性能和控制经济性。
Description
技术领域
本发明实施例涉及电力系统运行优化和控制技术领域，尤其涉及一种电压控制方法、装置、终端设备及存储介质。
背景技术
分布式屋顶光伏(PV)在配电网中的渗透率不断增加，对配电系统的运行和控制构成了巨大的挑战。大量PV的接入改变了传统配电网的潮流分布，导致潮流倒送，对电压质量和电力系统可靠性有着很大的影响。由于PV出力具有波动性、随机性和间歇性，随着PV的渗透率不断上升，在众多的技术挑战中，电压质量问题特别值得关注。电压质量是电力系统电能质量的重要指标之一，在诸多电能质量问题中，电压波动过大造成的危害最为广泛：不但直接影响电气设备的性能，还将给系统的稳定、安全运行带来困难。
现有的配电网电压控制方法，通常基于逆变器对电压调节，传统的下垂控制忽略了逆变器额定容量的差异和各种逆变器之间的协调，因此如果仍然采用传统的固定下垂控制进行无功功率控制，将导致光伏集群之间的无功功率分布不合理。此外，其它方法如传统的数学优化方法，智能优化算法和随机规划方法不能有效地应对高度不确定的环境，并存在计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题。
发明内容
本发明提供一种电压控制方法、装置、终端设备及存储介质，以充分利用各逆变器的无功功率调节电压，提供实时的电压控制策略，并应对剧烈的电压波动，自适应源荷不确定性，具有良好的实时性性能和控制经济性。
第一方面，本发明实施例提供了一种电压控制方法，包括：
建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型；
根据所述配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型；
在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用所述多智能体演员-注意力-评论家算法求解所述马尔科夫决策模型，以进行离线集中式训练；
在线智能体分散式执行实时无功调度策略。
可选的，所述电压控制模型包括：
其中，m是一天中的调度指令次数，Cα是电压越限的附加成本系数，n是配电网节点数，ΔVi,j为第i个指令周期节点j的电压偏移量。
可选的，所述电压控制模型的约束条件为：
Vmin≤V≤Vmax (1)
式(1)为节点电压约束，其中Vmin为所述节点电压下限，Vmax为所述节点电压上限；
式(2)为逆变器有功出力约束，
为所述逆变器最小无功出力，
为所述逆变器最大无功出力；
Qinv,PV 2≤Sinv,PV 2-Pinv,PV 2 (3)
式(3)为所述逆变器无功出力约束，Qinv,PV为所述逆变器无功出力，Sinv,PV为所述逆变器容量，Pinv,PV为所述逆变器有功出力；
式(4)式(5)为潮流约束，PG,i和QG,i为注入所述节点i的有功功率和无功功率，PL,i和QL,i为所述节点i的有功负荷和无功负荷，Gij和Bij为所述节点i和j之间的电导和电纳，δij为所述节点i和j之间的电压相位差。
可选的，所述分散式部分可观测的马尔科夫决策模型包括：
M＝<N,S,A,T,O,O,R,γ>；其中，N为智能体数量，γ为折扣因子，状态集S＝{X,A}由节点特征矩阵X和图邻接矩阵A构成，观测集Oi表示所有所述智能体所能获取的观测信息，观测概率函数O表示所述智能体观测到Oii的概率，动作集A表示所有所述智能体的动作，状态转移函数T表示所述智能体的联合动作对环境的影响，奖励函数R表示所述智能体在执行动作后获得的奖励。
可选的，所述奖励函数R包括：
其中，Vref表示所述节点电压的参考值。
可选的，所述图卷积神经网络模型中，图卷积神经网络层的输入为{X,A}，所述图卷积神经网络层输出为H，函数关系为f(X,A)，所述图卷积神经网络层传播规则如下式所示：
其中，
为A的对角节点度矩阵，第i个节点的度
Hl为第l个所述图卷积神经网络层的输出；Wl为第l个所述图卷积神经网络层的权重，σ(·)为激活函数。
可选的，所述多智能体演员-注意力-评论家算法为基于actor-critic的强化学习方法，critic价值网络Q值的计算如下式所示：
其中，
为所述价值网络的参数，fi为两层的多层感知机，gi为单层的多层感知机，oi和ai为所述智能体i的观察值和动作值，xi为其它所述智能体价值的加权和，如下式所示：
其中，vj为所述智能体j的内嵌函数，先由ej＝gj(oj,aj)编码，然后由共享矩阵V变换后通过激活函数h(·)得到；注意力权重aj表示ej和ei的相似度，若相似程度越大，则代表所述智能体j的价值权重越大。
可选的，利用所述多智能体演员-注意力-评论家算法求解所述马尔科夫决策模型，以进行离线集中式训练，包括：
(1)随机初始化所述智能体所述actor动作网络和所述critic价值网络的参数，以及经验池D＝(s,a,r,s')，其中，s＝(s1,...,sN)为所有所述智能体的状态值，a＝(a1,...,aN)为所有所述智能体的动作值，r＝(r1,...,rN)为所有所述智能体的奖励值，s'＝(s1',...,sN')为所有所述智能体下一时刻状态；
(2)重置配电网环境，接收初始状态s，并获取每个所述智能体i的初始观测量；
(3)根据动作网络策略πθ选取每个所述智能体的动作ai；
(4)得到所述智能体的所述观测值oi和所述奖励值ri；
(5)所述智能体转换到下一个状态s'；
(6)将转换四元组(s,a,r,s')存储在所述经验池D中；
(7)重复(3)到(6)，直到所述经验池容量达到T；
(8)所述智能体在所述经验池D中以批尺寸随机抽取小批量的数据；
(9)根据最小化损失公式更新所述critic价值网络，
其中，E为期望收益，yi为目标函数值；
其中，
和
分别为目标动作网络和目标价值网络的参数，α为平衡最大熵和奖励的参数，γ为折扣因子；
(10)根据梯度下降公式更新所述actor动作网络
其中，
为动作网络策略，b(o,a\i)为计算优势函数的基准值；
(11)更新所述智能体的目标网络参数
其中τ为更新权重；
(12)重复上述步骤(8)到(11)，直到当前回合训练结束，一个回合有若干时间步长step，可根据数据的时间尺度设定step；
(13)重复步骤(2)到(12)，重复次数为训练代数episode＝1，2，…，H，可根据算法收敛情况设定episode。
可选的，在线智能体分散式执行实时无功调度策略，包括：
(1)加载每个所述智能体的所述动作网络的参数θi；
(2)获取所述智能体的所述观测值oi；
(3)根据所述动作网络策略
得到所述智能体的所述动作值ai；
(4)对所有所述智能体i＝1，2，…，N重复步骤(2)到(3)；
(5)输出所有所述智能体的动作A＝(a1,...,aN)；
(6)重复上述步骤(2)到(5)，重复次数为步长step。
第二方面，本发明实施例还提供了一种电压控制装置，用于执行如本发明第一方面任一项所述的电压控制方法，包括：
电压控制模型建立模块，用于建立所述电压控制模型；
马尔科夫决策模型建立模块，用于建立所述分散式可观测的马尔科夫决策模型；
离线集中式训练模块，用于求解所述分散式可观测的马尔科夫决策模型，进行离线集中式训练，并将训练好的策略网络模型下发至在线分散式执行模块；
在线分散式执行模块，用于在所述在线分散式执行阶段，控制所述智能体实时生成所述逆变器的无功功率调度结果。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面中任一所述的电压控制方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面中任一所述的电压控制方法。
本发明实施例提供了一种电压控制方法、装置、终端设备及存储介质，首先建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型，然后根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型，将电压控制问题转换为马尔科夫决策过程，在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练，最后在线智能体分散式执行实时无功调度策略。本发明实施例解决了传统的固定下垂控制进行无功功率控制导致光伏集群之间的无功功率分布不合理和其它方法不能有效地应对高度不确定的环境，同时计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题，通过在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，可以更好地捕捉电网环境中的状态信息和拓扑信息；并通过在离线学习阶段通过大量样本挖掘最优策略并存储于策略网络中，使得智能体在在线执行过程中仅依据实时局部观测信息就可以提供具有协同性的最优控制策略，从而省去了在线寻优的过程，具有良好的实时性性能和控制经济性。
附图说明
图1为本发明实施例一提供的一种电压控制方法的流程示意图；
图2为本发明实施例二提供的一种电压控制方法的流程示意图；
图3为图2所示电压控制方法中的一种离线集中式训练的流程框图；
图4为图2所示电压控制方法中的一种“离线集中式训练-在线分散式执行”框架的示意图；
图5为本发明实施例三提供的一种电压控制方法的流程示意图；
图6为本发明实施例四提供的一种电压控制装置的结构示意图；
图7为本发明实施例五提供的一种电压控制设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。需要注意的是，本发明实施例所描述的“上”、“下”、“左”、“右”等方位词是以附图所示的角度来进行描述的，不应理解为对本发明实施例的限定。此外在上下文中，还需要理解的是，当提到一个元件被形成在另一个元件“上”或“下”时，其不仅能够直接形成在另一个元件“上”或者“下”，也可以通过中间元件间接形成在另一元件“上”或者“下”。术语“第一”、“第二”等仅用于描述目的，并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
实施例一
现有的电压控制方法中，基于有监督学习的方法在离线训练阶段需要一定数量的优化方法求出的最优决策作为“标签”，这个过程通常会耗费较长的时间，计算成本较高；同时深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)等强化学习方法将调节设备视作单智能体，难以扩展到较大的系统中，随着调节设备数量的增多，动作空间的维数呈爆炸式增长，很难有效地提供较优的策略；多智能体强化学习算法中的典型代表多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient，MADDPG)存在q值过高估计和训练不稳定性等问题，而以多智能体双延迟深度确定性策略梯度(multi-agent twin delayed deep deterministic policy gradient，MATD3)为代表的算法虽然在一定程度上抑制了过估计问题，但算法的性能取决于训练环境与测试环境的一致性，生成的最优策略都是基于电网拓扑不变的假设，然而在实际中，电网的运维、故障等情况将导致电网拓扑结构发生变化，所以，当前的多智能体强化学习方法没有考虑电网节点间的结构信息，对于差异性环境的泛化和拓展能力仍有待提升。且在多智能体系统中，当智能体数量增加时，网络的输入信息也会随之增加，当扩展到具有较多智能体的大规模系统时，算法效率低下，表现较差；现有发明方法中的强化学习马尔科夫决策模型中，未区分观测空间和状态空间，基于配电网通信条件完善这一假设，然而现实配电网通常不具备完善的通信条件，环境中的实际状态与量测设备的信息存在一定误差，即智能体的状态空间并非完全等于观测空间，所以不考虑通信条件和量测误差下的发明方法实用性不高。
基于以上问题，本发明实施例提供了一种电压控制方法，图1为本发明实施例一提供的一种电压控制方法的流程示意图，该方法可适用于大规模屋顶光伏接入下的配电网电压控制的情况，该方法可以由电压控制装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在电压控制设备上。
如图1所示，该电压控制方法，包括：
S110、建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型。
具体的，首先建立目标函数为
的分布式屋顶光伏逆变器协同调压的配电网电压控制模型，其中，m是一天中的调度指令次数，Cα是电压越限的附加成本系数，n是配电网节点数，ΔVi,j为第i个指令周期节点j的电压偏移量。
S120、根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型。
具体的，在本发明实施例中，将每个光伏逆变器视为智能体，配电网为强化学习环境，则分散式部分可观测的马尔科夫决策模型定义为：M＝<N,S,A,T,O,O,R,γ>，用于描述智能体和环境之间的交互过程，其中N为智能体数量，γ为折扣因子，状态集S＝{X,A}由节点特征矩阵X和图邻接矩阵A构成，其中，X表示智能体所在节点的信息，示例性的，第i个智能体的节点信息Xi＝{pL,qL,pPV,qPV,vi}，分别表示该智能体所在节点的有功负荷、无功负荷，光伏逆变器的有功出力和无功出力，节点电压。A表示配电网拓扑结构，若两个节点之间为连接关系，则对应的矩阵元素为1，若不为连接关系，则为0，示例性的，Aij＝1表示第i个节点和第j个节点是相连的，Aij＝0表示第i个节点和第j个节点不相连，Aii＝0，即矩阵所有对角元素为0。观测集Oi表示所有智能体所能获取的观测信息，其中，观测信息包括各个智能体所在区域接收到的量测信息，即节点信息X。考虑到配电网的测量设备可能存在误差，我们引入观测扰动，最大限度地拟合实际环境中的随机因素。在观测集中加入高斯扰动。观测概率函数O描述了智能体观测到Oii的概率，观测概率函数O如下：
O(o|st+1,at)＝st+1+N(0,σ)
其中，st+1为下一时刻的状态，at为当前时刻的动作，N(0,σ)为引入的高斯扰动。
动作集A表示所有智能体的动作，即光伏逆变器的无功出力。状态转移函数T表示智能体的联合动作对环境的影响，T(st,st+1,a)代表智能体执行完动作a后从现在的状态st转移到下一状态st+1，通过随机状态转移有效地应对配电网中光伏有功输出和负荷的不确定性，并通过潮流计算模拟了实际配电网的运行环境，使状态转移关系满足潮流方程的约束。奖励函数r表示智能体在执行动作后获得的奖励，根据步骤S110建立的配电网电压控制模型设计奖励函数如下：
式中，Vref表示节点电压的参考值，电压偏差越大，则智能体所得到的奖励越小。在本发明实施例中，每个智能体在每个时间步中根据局部观察做出最优动作，然后获得即时的奖励。每个智能体的目标是学习最优策略以最大化累积奖励
其中rk为时间步长k的单步奖励，γ∈[0,1]。在所有智能体都执行了动作之后，系统将转移到下一个状态，通过训练使奖励R逐步变大，则电压偏差逐步变小，实现上述的电压控制目标。
S130、在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练。
具体的，由于图卷积神经网络可以帮助智能体更高效地辨识配电网拓扑，因此将图卷积神经网络嵌入到多智能体演员-注意力-评论家算法中，并利用该算法对马尔科夫决策模型求解，从而进行离线集中式训练。
S140、在线智能体分散式执行实时无功调度策略。
具体的，在线执行阶段，云端将训练好的策略网络模型下发至各智能体终端装置，智能体仅需自身的局部观测信息即可智能生成并执行实时无功调度策略，并利用其它智能体共享的信息智能决策无功功率调整量。
本发明实施例提供了一种电压控制方法，首先建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型，然后根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型，将电压控制问题转换为马尔科夫决策过程，在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练，最后在线智能体分散式执行实时无功调度策略。本发明实施例解决了传统的固定下垂控制进行无功功率控制导致光伏集群之间的无功功率分布不合理和其它方法不能有效地应对高度不确定的环境，同时计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题，通过在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，可以更好地捕捉电网环境中的状态信息和拓扑信息；在离线学习阶段通过大量样本挖掘最优策略并存储于策略网络中，使得智能体在在线执行过程中仅依据实时局部观测信息就可以提供具有协同性的最优控制策略，从而省去了在线寻优的过程，具有良好的实时性性能和控制经济性。
可选的，上述步骤S110中，电压控制模型的约束条件为：
Vmin≤V≤Vmax (1)
式(1)为节点电压约束，其中Vmin为节点电压下限，Vmax为节点电压上限；
式(2)为逆变器有功出力约束，
为逆变器最小无功出力，
为逆变器最大无功出力；
Qinv,PV 2≤Sinv,PV 2-Pinv,PV 2 (3)
式(3)为逆变器无功出力约束，Qinv,PV为逆变器无功出力，Sinv,PV为逆变器容量，Pinv,PV为逆变器有功出力；
式(4)式(5)为潮流约束，PG,i和QG,i为注入节点i的有功功率和无功功率，PL,i和QL,i为节点i的有功负荷和无功负荷，Gij和Bij为节点i和j之间的电导和电纳，δij为节点i和j之间的电压相位差。
可选的，图卷积神经网络模型中，图卷积神经网络层的输入为{X,A}，图卷积神经网络层输出为H，函数关系为f(X,A)，图卷积神经网络层传播规则如下式所示：
其中，
为A的对角节点度矩阵，第i个节点的度
Hl为第l个图卷积神经网络层的输出；Wl为第l个图卷积神经网络层的权重，σ(·)为激活函数。
可选的，多智能体演员-注意力-评论家算法为基于actor-critic的强化学习方法，critic价值网络Q值的计算如下式所示：
其中，
为价值网络的参数，fi为两层的多层感知机，gi为单层的多层感知机，oi和ai为智能体i的观察值和动作值，xi为其它智能体价值的加权和，如下式所示：
其中，vj为智能体j的内嵌函数，先由ej＝gj(oj,aj)编码，然后由共享矩阵V变换后通过激活函数h(·)得到；注意力权重aj表示ej和ei的相似度，若相似程度越大，则代表智能体j的价值权重越大。
实施例二
图2为本发明实施例二提供的一种电压控制方法的流程示意图，图3为图2所示电压控制方法中的一种离线集中式训练的流程框图，本发明实施例在上述实施例基础上，对“利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练”进一步地细化，如图2、图3所示，该方法包括：
S210、建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型。
S220、根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型。
S230、随机初始化智能体actor动作网络和critic价值网络的参数，以及经验池D＝(s,a,r,s')。
S240、重置配电网环境，接收初始状态s，并获取每个智能体i的初始观测量。
具体的，参考图2、图3，GCN模块的输入为状态集S＝{X,A}，状态集S＝{X,A}由节点特征矩阵X和图邻接矩阵A构成，获取每个智能体i的初始观测量即每个光伏逆变器所在区域节点的状态信息。
S250、根据动作网络策略πθ选取每个智能体的动作ai。
具体的，根据动作网络策略
得到在当前观测值oi下，智能体应执行的动作值ai。
S260、得到智能体的观测值oi和奖励值ri。
S270、智能体转换到下一个状态s'。
具体的，在每个智能体执行过相应的动作ai后，得到对当前状态执行动作的奖励值ri并转换到下一个状态s'。
S280、将转换四元组(s,a,r,s')存储在经验池D中。
具体的，将由智能体的动作ai、奖励值ri、初始状态s和下一个状态s'组成的四元组存储在经验池D中。
S290、重复S250到S280，直到经验池容量达到T。
具体的，重复S250到S280，得到多个智能体与环境交互得到的样本数据，即多个四元组(s,a,r,s')数据，并存储在经验池D，直到经验池D的容量达到T。
S291、智能体在经验池D中以批尺寸随机抽取小批量的数据。
具体的，智能体在经验池D中以批尺寸随机抽取小批量的数据，对经验池D中的数据进行训练更新。
S292、根据最小化损失公式更新critic价值网络。
其中，E为期望收益，yi为目标函数值；
其中，
和
分别为目标动作网络和目标价值网络的参数，α为平衡最大熵和奖励的参数，γ为折扣因子。参考图3，注意力模块通过在集中式评价网络中引入一种多头注意机制来评价全局Q函数，能够帮助智能体提取最有效的信息进行学习，大幅提高了算法的稳定性和学习效率。
具体的，图4为图2所示电压控制方法中的一种“离线集中式训练-在线分散式执行”框架的示意图，如图4所示，在离线训练阶段，智能体之间的信道不受物理限制，智能体的信息统一上传至云端，可以实现信息交换，每个智能体都能获取全局信息，通过多个智能体的联合观测和动作，学习一个集中式的critic网络。
S293、根据梯度下降公式更新actor动作网络。
其中，
为动作网络策略，b(o,a\i)为计算优势函数的基准值；
S294、更新智能体的目标网络参数。
S295、重复上述步骤S291到S294，直到当前回合训练结束。
S296、重复步骤S240到S295，重复次数为训练代数episode＝1，2，…，H，可根据算法收敛情况设定episode。
具体的，重复步骤S240到S295训练多个回合，直至获得较好的奖励且奖励值曲线逐步收敛变平。
S297、在线智能体分散式执行实时无功调度策略。
本发明实施例通经验回放机制，通过建立经验池来存储样本，将智能体与环境交互得到的样本存入经验池中，再从中随机抽取小批量的数据计算目标动作，更新神经网络的参数，以此提高训练稳定性和学习效率。
实施例三
图5为本发明实施例三提供的一种电压控制方法的流程示意图，本发明实施例在上述实施例基础上，对“在线智能体分散式执行实时无功调度策略包括”进一步细化，如图5所示，该方法包括：
S310、建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型。
S320、根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型。
S330、在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练。
S340、加载每个智能体的动作网络的参数θi。
具体的，智能体终端装置从云端加载训练好的每个智能体的动作网络的参数θi。
S350、获取智能体的观测值oi。
具体的，获取当前环境下智能体的观测值oi。
S360、根据动作网络策略
得到智能体的动作值ai。
具体的，根据更新好的动作网络策略
得到在当前观测值oi下，智能体应执行的动作值ai，该动作值ai对应的奖励值最大。
S370、对所有智能体i＝1，2，…，N重复步骤S350到S360。
具体的，获取所有光伏逆变器所在区域节点的状态信息，并根据更新好的动作网络策略
得到所有光伏逆变器奖励最大时对应的动作值。
S380、输出所有智能体的动作A＝(a1,...,aN)。
具体的，输出所有智能体的动作A＝(a1,...,aN)，在当前环境下，该动作对应的奖励为最大值，此时电压偏差最小，实现上述的电压控制目标。
S390、重复上述步骤S350到S380，重复次数为步长step。
示例性的，设置量测数据的时间尺度为15分钟，则一天共96个时间间隔，步长相应设置为96，每个步长下智能体生成的动作即为光伏逆变器在该时段内的无功调度策略。
本发明实施例在离线学习阶段通过大量样本挖掘最优策略并存储于策略网络中，在线决策时则根据系统实时状态快速给出最优决策，从而省去了在线寻优的过程，具有较好的实时性和计算性能。
实施例四
图6为本发明实施例四提供的一种电压控制装置的结构示意图，该装置可适用于分布式屋顶光伏逆变器协同调压的配电网电压控制的情况，其中该装置可由软件和/或硬件实现，并一般集成在电压控制设备上。
如图6所示，该装置包括：
电压控制模型建立模块410，用于建立所述电压控制模型；
马尔科夫决策模型建立模块420，用于建立分散式可观测的马尔科夫决策模型；
离线集中式训练模块430，用于求解分散式可观测的马尔科夫决策模型，进行离线集中式训练，并将训练好的策略网络模型下发至在线分散式执行模块；
在线分散式执行模块440，用于在在线分散式执行阶段，控制智能体实时生成逆变器的无功功率调度结果。
本发明实施例提供的电压控制装置，通过电压控制模型建立模块建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型，然后马尔科夫决策模型建立模块建立分散式可观测的马尔科夫决策模型；离线集中式训练模块求解分散式可观测的马尔科夫决策模型，进行离线集中式训练，并将训练好的策略网络模型下发至在线分散式执行模块；在线分散式执行模块，在在线分散式执行阶段，控制智能体实时生成逆变器的无功功率调度结果，通过在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，可以更好地捕捉电网环境中的状态信息和拓扑信息；在离线学习阶段通过大量样本挖掘最优策略并存储于策略网络中，使得智能体在在线执行过程中仅依据局部观测信息就可以提供具有协同性的最优控制策略，从而省去了在线寻优的过程，具有良好的实时性性能和控制经济性。
可选的，离线集中式训练模块430包括：
初始化单元，用于随机初始化智能体actor动作网络和critic价值网络的参数，以及经验池D＝(s,a,r,s')；
重置配电网单元，用于重置配电网环境，接收初始状态s，并获取每个智能体i的初始观测量；
动作选取单元，用于根据动作网络策略πθ选取每个智能体的动作ai；
观测值和奖励值获取单元，用于得到智能体的观测值oi和奖励值ri；
智能体状态转换单元，用于将智能体转换到下一个状态s'；
存储单元，用于将转换四元组(s,a,r,s')存储在经验池D中；
第一数据更新单元，用于根据最小化损失公式更新critic价值网络；
第二数据更新单元，用于根据梯度下降公式更新actor动作网络；
第三数据更新单元，用于更新智能体的目标网络参数。
可选的，在线分散式执行模块440包括：
数据加载单元，用于加载每个智能体的动作网络的参数θi；
观测值获取单元，用于获取智能体的观测值oi；
动作选取单元，用于根据动作网络策略
选取每个智能体的动作ai；
动作输出单元，用于输出所有智能体的动作A＝(a1,...,aN)。
实施例五
图7为本发明实施例五提供的一种电压控制设备的结构示意图。如图7所示，本发明实施例五提供的设备包括：一个或多个处理器41和存储装置42；该设备中的处理器41可以是一个或多个，图7中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的电压控制方法。
所述设备还可以包括：输入装置43和输出装置44。
设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图7中以通过总线连接为例。
该设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一、二或三所提供电压控制方法对应的程序指令/模块。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中电压控制方法。
存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
并且，当上述设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：
建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型；
根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型；
在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练；
在线智能体分散式执行实时无功调度策略。
实施例六
本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行电压控制方法。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的电压控制方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RandomAccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整、相互结合和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种电压控制方法，其特征在于，包括：
建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型；
根据所述配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型；
在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用所述多智能体演员-注意力-评论家算法求解所述马尔科夫决策模型，以进行离线集中式训练；
在线智能体分散式执行实时无功调度策略。
2.根据权利要求1所述的电压控制方法，其特征在于，所述电压控制模型包括：
其中，m是一天中的调度指令次数，Cα是电压越限的附加成本系数，n是配电网节点数，ΔVi,j为第i个指令周期节点j的电压偏移量。
3.根据权利要求2所述的电压控制方法，其特征在于，所述电压控制模型的约束条件为：
Vmin≤V≤Vmax (1)
式(1)为节点电压约束，其中Vmin为所述节点电压下限，Vmax为所述节点电压上限；
式(2)为逆变器有功出力约束，
为所述逆变器最小无功出力，
为所述逆变器最大无功出力；
Qinv,PV 2≤Sinv,PV 2-Pinv,PV 2 (3)
式(3)为所述逆变器无功出力约束，Qinv,PV为所述逆变器无功出力，Sinv,PV为所述逆变器容量，Pinv,PV为所述逆变器有功出力；
式(4)式(5)为潮流约束，PG,i和QG,i为注入所述节点i的有功功率和无功功率，PL,i和QL,i为所述节点i的有功负荷和无功负荷，Gij和Bij为所述节点i和j之间的电导和电纳，δij为所述节点i和j之间的电压相位差。
4.根据权利要求2所述的电压控制方法，其特征在于，所述分散式部分可观测的马尔科夫决策模型包括：
M＝<N,S,A,T,O,O,R,γ>；其中，N为智能体数量，γ为折扣因子，状态集S＝{X,A}由节点特征矩阵X和图邻接矩阵A构成，观测集Oi表示所有所述智能体所能获取的观测信息，观测概率函数O表示所述智能体观测到Oii的概率，动作集A表示所有所述智能体的动作，状态转移函数T表示所述智能体的联合动作对环境的影响，奖励函数R表示所述智能体在执行动作后获得的奖励。
5.根据权利要求4所述的控制方法，其特征在于，所述奖励函数R包括：
其中，Vref表示所述节点电压的参考值。
6.根据权利要求1所述的电压控制方法，其特征在于，所述图卷积神经网络模型中，图卷积神经网络层的输入为{X,A}，所述图卷积神经网络层输出为H，函数关系为f(X,A)，所述图卷积神经网络层传播规则如下式所示：
其中，
为A的对角节点度矩阵，第i个节点的度
Hl为第l个所述图卷积神经网络层的输出；Wl为第l个所述图卷积神经网络层的权重，σ(·)为激活函数。
7.根据权利要求1所述的电压控制方法，其特征在于，所述多智能体演员-注意力-评论家算法为基于actor-critic的强化学习方法，critic价值网络Q值的计算如下式所示：
其中，
为所述价值网络的参数，fi为两层的多层感知机，gi为单层的多层感知机，oi和ai为所述智能体i的观察值和动作值，xi为其它所述智能体价值的加权和，如下式所示：
其中，vj为所述智能体j的内嵌函数，先由ej＝gj(oj,aj)编码，然后由共享矩阵V变换后通过激活函数h(·)得到；注意力权重aj表示ej和ei的相似度，若相似程度越大，则代表所述智能体j的价值权重越大。
8.根据权利要求1所述的电压控制方法，其特征在于，利用所述多智能体演员-注意力-评论家算法求解所述马尔科夫决策模型，以进行离线集中式训练，包括：
(1)随机初始化所述智能体所述actor动作网络和所述critic价值网络的参数，以及经验池D＝(s,a,r,s')，其中，s＝(s1,...,sN)为所有所述智能体的状态值，a＝(a1,...,aN)为所有所述智能体的动作值，r＝(r1,...,rN)为所有所述智能体的奖励值，s'＝(s1',...,sN')为所有所述智能体下一时刻状态；
(2)重置配电网环境，接收初始状态s，并获取每个所述智能体i的初始观测量；
(3)根据动作网络策略πθ选取每个所述智能体的动作ai；
(4)得到所述智能体的所述观测值oi和所述奖励值ri；
(5)所述智能体转换到下一个状态s'；
(6)将转换四元组(s,a,r,s')存储在所述经验池D中；
(7)重复(3)到(6)，直到所述经验池D容量达到T；
(8)所述智能体在所述经验池D中以批尺寸随机抽取小批量的数据；
(9)根据最小化损失公式更新所述critic价值网络，
其中，E为期望收益，yi为目标函数值；
其中，
和
分别为目标动作网络和目标价值网络的参数，α为平衡最大熵和奖励的参数，γ为折扣因子；
(10)根据梯度下降公式更新所述actor动作网络
其中，
为动作网络策略，b(o,a\i)为计算优势函数的基准值；
(11)更新所述智能体的目标网络参数
其中τ为更新权重；
(12)重复上述步骤(8)到(11)，直到当前回合训练结束，一个回合有若干时间步长step，可根据数据的时间尺度设定step；
(13)重复步骤(2)到(12)，重复次数为训练代数episode＝1，2，…，H，可根据算法收敛情况设定episode。
9.根据权利要求1所述的电压控制方法，其特征在于，在线智能体分散式执行实时无功调度策略，包括：
(1)加载每个所述智能体的所述动作网络的参数θi；
(2)获取所述智能体的所述观测值oi；
(3)根据所述动作网络策略
得到所述智能体的所述动作值ai；
(4)对所有所述智能体i＝1，2，…，N重复步骤(2)到(3)；
(5)输出所有所述智能体的动作A＝(a1,...,aN)；
(6)重复上述步骤(2)到(5)，重复次数为步长step。
10.一种电压控制装置，其特征在于，用于执行如权利要求1-9任一项所述的电压控制方法，包括：
电压控制模型建立模块，用于建立所述电压控制模型；
马尔科夫决策模型建立模块，用于建立所述分散式可观测的马尔科夫决策模型；
离线集中式训练模块，用于求解所述分散式可观测的马尔科夫决策模型，进行离线集中式训练，并将训练好的策略网络模型下发至在线分散式执行模块；
在线分散式执行模块，用于在所述在线分散式执行阶段，控制所述智能体实时生成所述逆变器的无功功率调度结果。
11.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的应用程序的漏洞检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310321316.XA CN116154788A (zh) | 2023-03-29 | 2023-03-29 | 一种电压控制方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310321316.XA CN116154788A (zh) | 2023-03-29 | 2023-03-29 | 一种电压控制方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116154788A true CN116154788A (zh) | 2023-05-23 |
Family
ID=86358364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310321316.XA Pending CN116154788A (zh) | 2023-03-29 | 2023-03-29 | 一种电压控制方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116154788A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116581766A (zh) * | 2023-07-11 | 2023-08-11 | 南京理工大学 | 一种考虑下垂特性的虚拟电厂强化在线电压控制方法 |
| CN118017523A (zh) * | 2024-04-09 | 2024-05-10 | 杭州鸿晟电力设计咨询有限公司 | 一种电力系统的电压控制方法、装置、设备及介质 |
-
2023
- 2023-03-29 CN CN202310321316.XA patent/CN116154788A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116581766A (zh) * | 2023-07-11 | 2023-08-11 | 南京理工大学 | 一种考虑下垂特性的虚拟电厂强化在线电压控制方法 |
| CN116581766B (zh) * | 2023-07-11 | 2023-11-28 | 南京理工大学 | 一种考虑下垂特性的虚拟电厂强化在线电压控制方法 |
| CN118017523A (zh) * | 2024-04-09 | 2024-05-10 | 杭州鸿晟电力设计咨询有限公司 | 一种电力系统的电压控制方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112615379B (zh) | 基于分布式多智能体强化学习的电网多断面功率控制方法 | |
| CN116154788A (zh) | 一种电压控制方法、装置、终端设备及存储介质 | |
| Yao et al. | Event-triggered practical fixed-time fuzzy containment control for stochastic multiagent systems | |
| CN112598150B (zh) | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 | |
| Rivaz et al. | Minimax regret solution to multiobjective linear programming problems with interval objective functions coefficients | |
| CN114358520B (zh) | 一种电力系统经济调度决策的方法、系统、装置及介质 | |
| CN113363998A (zh) | 一种基于多智能体深度强化学习的配电网电压控制方法 | |
| Abouheaf et al. | Load frequency regulation for multi‐area power system using integral reinforcement learning | |
| CN115345380A (zh) | 一种基于人工智能的新能源消纳电力调度方法 | |
| Fu et al. | The distributed economic dispatch of smart grid based on deep reinforcement learning | |
| WO2022028926A1 (en) | Offline simulation-to-reality transfer for reinforcement learning | |
| CN117039981A (zh) | 一种面向含新能源的大规模电网优化调度方法、装置、存储介质 | |
| CN113344283B (zh) | 基于边缘智能的能源互联网新能源消纳能力评估方法 | |
| Sui et al. | Finite-time adaptive fuzzy event-triggered consensus control for high-order MIMO nonlinear MASs | |
| Lin et al. | Deep reinforcement learning and LSTM for optimal renewable energy accommodation in 5G internet of energy with bad data tolerant | |
| Bi et al. | Multi-swarm genetic gray wolf optimizer with embedded autoencoders for high-dimensional expensive problems | |
| CN117313953A (zh) | 一种负荷预测方法、装置、电子设备以及存储介质 | |
| CN116976523A (zh) | 基于部分可观测强化学习的分布式经济调度方法 | |
| Yang et al. | Cloud-edge-end intelligence for fault-tolerant renewable energy accommodation in smart grid | |
| Babu et al. | Intelligent Energy Management System for Smart Grids Using Machine Learning Algorithms | |
| Zhang et al. | Automated optimal control in energy systems: the reinforcement learning approach | |
| Barreiro‐Gomez et al. | Evolutionary‐games approach for distributed predictive control involving resource allocation | |
| Chen et al. | Stochastic Dynamic Power Dispatch With Human Knowledge Transfer Using Graph-GAN Assisted Inverse Reinforcement Learning | |
| Levent et al. | The challenge of controlling microgrids in the presence of rare events with deep reinforcement learning | |
| CN111950765A (zh) | 一种基于堆叠降噪自编码器的概率性暂态稳定预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |