CN115133540B - 一种配电网无模型的实时电压控制方法 - Google Patents

一种配电网无模型的实时电压控制方法 Download PDF

Info

Publication number
CN115133540B
CN115133540B CN202210889497.1A CN202210889497A CN115133540B CN 115133540 B CN115133540 B CN 115133540B CN 202210889497 A CN202210889497 A CN 202210889497A CN 115133540 B CN115133540 B CN 115133540B
Authority
CN
China
Prior art keywords
time
node
power
value
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210889497.1A
Other languages
English (en)
Other versions
CN115133540A (zh
Inventor
曹迪
胡维昊
席先鹏
张真源
井实
李思辰
黄琦
李坚
杜月芳
张蔓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210889497.1A priority Critical patent/CN115133540B/zh
Publication of CN115133540A publication Critical patent/CN115133540A/zh
Application granted granted Critical
Publication of CN115133540B publication Critical patent/CN115133540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/48—Controlling the sharing of the in-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/50—Controlling the sharing of the out-of-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin

Abstract

本发明公开了一种配电网无模型的实时电压控制方法，首先以有监督的方式训练代理模型，以构建节点的有功、无功注入与电压之间的非线性映射关联。然后建立深度强化学习智能体—代理模型交互机制，通过代理模型提供的电压值计算即时奖励，从历史数据中学习电压调节策略，从而根据最新观测的信息进行实时电压控制策略。该方法可以在不了解系统参数和拓扑的情况下实时提供电压控制。

Description

一种配电网无模型的实时电压控制方法
技术领域
本发明属于配电网络电压控制技术领域，更为具体地讲，涉及一种配电网无模型的实时电压控制方法。
背景技术
新能源发电主要以两种方式并入电网，一种是采用大规模集中并网的方式，即将新能源发电集中安装在发电侧，由发电站统一调度管控，这种方式的优点是便于维护和管理，然而集中并网控制灵活性较低，且集中安装具有较高的投资成本，需要占用大量土地资源；另一种是采用分布式接入的方式，即将新能源发电就近地安装在用户侧附近，以起到就地消纳的效果，分布式并网具有较高的控制灵活性，且投资成本较低，占地面积较小，因此近年来受到了政策的支持。
配电网是新能源发电分布式接入电网的重要途径。然而，新能源发电具有随机性、波动性和间歇性，大量分布式新能源发电的接入给配电网的运行带来巨大的挑战，会引起谐波、电压越限、网损增加等一系列问题，从而降低了配电网运行的安全性和经济性。其中，由于新能源接入造成的电压问题较为突出：第一，新能源发电的有功注入会引起潮流的逆向流动，导致配电网母线电压升高，如果电压与额定电压偏离较大，则会影响电力设备的安全运行，造成设备的损坏，同时，新能源发电出力波动引起的过电压问题会触发保护装置动作，从而将新能源发电装置从电网切除，限制了清洁能源的消纳水平；第二，新能源设备的非全相并网会造成配电网三相电压的不平衡，从而造成电机绕组温度升高，危害电机等设备的正常运行。
现有的电压控制策略都是基于模型的控制方法，调度策略的制定依赖于配电网精确的线路参数和拓扑结构，然而，配电网的物理模型在现实中通常是不精确、不可靠的。精确的参数估计需要完整的同步相量测量装置的测量数据或者是大量带有时标的智能电表数据，而前者在现有配电网的硬件条件下很难满足，后者则需要较长的时间。不仅如此，配电网重构等操作还会导致其局部参数发生变化。这都导致配电网实际的物理模型和假定的“理想”模型间存在差别，进而导致控制算法的表现不够理想。
近年来，随着人工智能的发展，深度强化学习算法在各种应用中越来越受欢迎。在深度强化学习算法中，控制单元被建模为具有控制策略的智能代理。通过与环境的交互，代理可以制定出最优的控制策略，并在离线训练中通过建模其他代理的策略来学习协作，训练完成后，代理可以实时提供对未知动态具有较强适应性的决策。
发明内容
本发明的目的在于克服现有技术的不足，提供一种配电网无模型的实时电压控制方法，从历史数据中学习协调控制策略，进而实现在线调节电压。
为实现上述发明目的，本发明一种配电网无模型的实时电压控制方法，其特征在于，包括以下步骤：
(1)、将光伏逆变器和静态无功补偿器随机接入配电网；
获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器和静态无功补偿器，其中，接入光伏逆变器的个数为m1，接入静态无功补偿器的个数为m2；
(2)、获取拓扑结构中各个节点注入的有功功率及无功功率；
(2.1)、获取节点接入光伏逆变器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了光伏逆变器k，k＝1,2…,m1，那么节点i在相位
Figure SMS_1
和时刻l时实际注入的有功功率/>
Figure SMS_2
和无功功率/>
Figure SMS_3
分别为：
Figure SMS_4
Figure SMS_5
若节点i未接入了光伏逆变器k，那么节点i在相位
Figure SMS_6
和时刻l时实际注入的有功功率/>
Figure SMS_7
和无功功率/>
Figure SMS_8
分别为：
Figure SMS_9
Figure SMS_10
其中，
Figure SMS_14
表示三相，i＝1,2,…,N，N表示配电网拓扑结构中节点数量， l＝1,2,…,T，T为采样时刻总数，/>
Figure SMS_17
表示节点i在相位/>
Figure SMS_19
和时刻l时的负荷有功功率，
Figure SMS_12
表示光伏逆变器k连接节点i后在相位/>
Figure SMS_16
和时刻l时丢弃的功率，其中，
Figure SMS_20
β为丢弃率，/>
Figure SMS_22
表示光伏逆变器k连接节点 i后在相位/>
Figure SMS_11
和时刻l时注入的总有功功率；/>
Figure SMS_15
表示节点i在相位/>
Figure SMS_18
和时刻l 时的负荷无功功率，/>
Figure SMS_21
表示光伏逆变器k在连接节点i后在相位/>
Figure SMS_13
和时刻l 时注入的总有功功率；
(2.2)、获取节点接入静态无功补偿器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了静态无功补偿器j，j＝1,2…,m2静态无功补偿器j不产生有功功率，节点i在相位
Figure SMS_23
和时刻l时实际注入的有功功率/>
Figure SMS_24
和无功功率/>
Figure SMS_25
为：
Figure SMS_26
Figure SMS_27
若节点i未接入了静态无功补偿器j，那么节点i在相位
Figure SMS_28
和时刻l时实际注入的有功功率/>
Figure SMS_29
和无功功率/>
Figure SMS_30
为：
Figure SMS_31
Figure SMS_32
其中，
Figure SMS_33
表示静态无功补偿器j连接节点i后在相位/>
Figure SMS_34
和时刻l时注入的无功功率；
(3)、获取拓扑结构中各个节点在不同相位、不同时刻下的电压，其中，记节点i在相位
Figure SMS_35
和时刻l时的电压为/>
Figure SMS_36
(4)、构建代理模型的输入输出数据集，其中，节点i在相位
Figure SMS_37
和时刻l时的输入输出数据集记为/>
Figure SMS_38
Figure SMS_39
将各节点在不同时刻的输入输出数据集
Figure SMS_40
进一步处理成训练集 {X,Y}：
Figure SMS_41
(5)、构建代理预测模型DNN
Figure SMS_42
其中，
Figure SMS_43
为训练集中输入X对应的预测输出值，w和b均为待训练的矩阵；
(6)、训练代理预测模型；
(6.1)、设置DNN的更新参数θ，θ＝[w,b]，为θ随机初始化赋初值；
(6.2)、将训练集{X,Y}中所有节点在每个时刻的输入输出数据集
Figure SMS_44
输入至DNN中，得到输出预测值/>
Figure SMS_45
(6.3)、将输入值
Figure SMS_46
和预测值/>
Figure SMS_47
代入如下公式，计算损失函数值L(l)；
Figure SMS_48
(6.4)、判断第l个时刻训练完成后的损失函数值L(l)与上一个时刻训练完成后的损失函数值L(l-1)的差值是否收敛，如果收敛，则训练完成，跳转至步骤(7)；否则，利用梯度下降法更新参数θ，然后进入步骤(6.5)；
Figure SMS_49
其中，λ表示代理模型参数更新的学习率，
Figure SMS_50
表示下降趋势，l表示迭代次数，l>1，θ′l表示第l次更新以后的参数值，即θ′l＝[w′,b′]；
(6.5)、参数θ′l＝[w′,b′]替换DNN的参数θ＝[w,b]，然后判断当前时刻l是否达到最大值T，如果未达到，则令l＝l+1，再返回至步骤(6.2)；
(7)、训练深度确定性梯度策略模型DDPG；
(7.1)、建立每个时刻t的状态st，
Figure SMS_51
其中， S＝{s1,s2,…,st}，t＝1,2,…,ite，ite为DDPG的采样时刻总数；
(7.2)、依据步骤(7.1)的状态获取每个时刻t的动作at＝π(st)，π(·)表示动作选择的函数，即
Figure SMS_52
A＝{a1,a2,…at}；
(7.3)、将步骤(7.2)获得的动作at值带入步骤(2)获得t时刻配电网节点i在不同相位注入的有功功率
Figure SMS_53
和无功功率/>
Figure SMS_54
将时刻t配电网所有节点的有功功率与无功功率输入到步骤(6)训练好的代理模型中，获得t时刻配电网所有节点不同相位电压值
Figure SMS_55
(7.4)、依据步骤(7.2)获得的功率
Figure SMS_56
和步骤(7.3)获得的配电网节点不同相位电压值/>
Figure SMS_57
计算当前时刻t的实时奖励值：
Figure SMS_58
其中，rt表示时刻t时的实时奖励，δ表示光伏削减有功功率的惩罚系数，η为电压越过阈值的惩罚值；
(7.5)、判断当前时刻奖励值rt是否收敛或当前时刻t是否达到最大采样时刻ite，若收敛或达到最大采样时刻ite，训练结束，输出由代理模型预测出的配电网所有节点不同相位电压
Figure SMS_59
并跳转至步骤(8)；否则，将状态st、动作at、奖励值rt和下一时刻t+1的状态st+1作为一个集合{st,at,rt,st+1}，再通过集合 {st,at,rt,st+1}对DDPG的动作选择函数π(·)的参数进行更新，然后令t＝t+1，跳转至步骤(7.2)；
(8)、电压实时控制；
实时采集配电网在当前时刻的状态
Figure SMS_60
然后输入至训练好的代理模型-深度确定性梯度策略模型，按照步骤(7.2)-(7.3)所述方法获取配电网所有节点在当前时刻下不同相位的电压值。
本发明的发明目的是这样实现的：
本发明一种配电网无模型的实时电压控制方法，首先以有监督的方式训练代理模型，以构建节点的有功、无功注入与电压之间的非线性映射关联。然后建立深度强化学习智能体—代理模型交互机制，通过代理模型提供的电压值计算即时奖励，从历史数据中学习电压调节策略，从而根据最新观测的信息进行实时电压控制策略。该方法可以在不了解系统参数和拓扑的情况下实时提供电压控制。
同时，本发明一种基于代理模型—深度强化学习智能体的配电网无模型实时电压控制方法还具有以下有益效果：
(1)、本发明将基于深度神经网络(DNN)的代理模型与深度强化学习算法协同集成，实现无物理模型控制，不需要详细的配电网网络参数；
(2)、本发明可以实时根据最新观测信息进行决策，以应对光伏功率快速变化引起的快速电压波动。
附图说明
图1是本发明一种配电网无模型的实时电压控制方法流程图；
图2是IEEE 123节点系统的拓扑结构图
图3是本发明对电压控制结果与其他方法控制电压结果的对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种配电网无模型的实时电压控制方法流程图。
在本实施例中，在本实施例中，如图2所示以IEEE 123节点系统进行实验，光伏逆变器总共9个，分别接在节点9、27、43、62、75、83、91、101、112，无功补偿器总共3个，分别接在节点11、50、79，光伏的数据来源于真实的数据。首先从真实负载数据中选取4000组负载数据，从光伏逆变器数据随机选择 4000组数据与负载数据组合，形成4000组代理模型训练集输入数据，通过三相交流潮流模型计算出每组数据的三相电压值为代理模型训练集输出真实数据。
如图1所示，本发明一种配电网无模型的实时电压控制方法，包括以下步骤：
S1、将光伏逆变器和静态无功补偿器随机接入配电网；
获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器和静态无功补偿器，其中，接入光伏逆变器的个数为9个，接入静态无功补偿器的个数为3个；
S2、获取拓扑结构中各个节点注入的有功功率及无功功率；
S2.1、获取节点接入光伏逆变器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了光伏逆变器k，k＝1,2…,9，那么节点i在相位
Figure SMS_61
和时刻l时实际注入的有功功率/>
Figure SMS_62
和无功功率/>
Figure SMS_63
分别为：
Figure SMS_64
Figure SMS_65
若节点i未接入了光伏逆变器k，那么节点i在相位
Figure SMS_66
和时刻l时实际注入的有功功率/>
Figure SMS_67
和无功功率/>
Figure SMS_68
分别为：
Figure SMS_69
Figure SMS_70
其中，
Figure SMS_73
表示三相，i＝1,2,…,123，l＝1,2,…,4000，/>
Figure SMS_76
表示节点 i在相位/>
Figure SMS_79
和时刻l时的负荷有功功率，/>
Figure SMS_74
表示光伏逆变器k连接节点i后在相位/>
Figure SMS_77
和时刻l时丢弃的功率，其中，/>
Figure SMS_80
β最大值为0.2，/>
Figure SMS_81
表示光伏逆变器k连接节点i后在相位/>
Figure SMS_71
和时刻l时注入的总有功功率；/>
Figure SMS_75
表示节点i在相位/>
Figure SMS_78
和时刻l时的负荷无功功率，/>
Figure SMS_82
表示光伏逆变器k在连接节点i后在相位/>
Figure SMS_72
和时刻l时注入的总有功功率；
S2.2、获取节点接入静态无功补偿器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了静态无功补偿器j，j＝1,2，3，静态无功补偿器j不产生有功功率，节点i在相位
Figure SMS_83
和时刻l时实际注入的有功功率/>
Figure SMS_84
和无功功率
Figure SMS_85
为：
Figure SMS_86
Figure SMS_87
若节点i未接入了静态无功补偿器j，那么节点i在相位
Figure SMS_88
和时刻l时实际注入的有功功率/>
Figure SMS_89
和无功功率/>
Figure SMS_90
为：
Figure SMS_91
Figure SMS_92
其中，
Figure SMS_93
表示静态无功补偿器j连接节点i后在相位/>
Figure SMS_94
和时刻l时注入的无功功率；
S3、获取拓扑结构中各个节点在不同相位、不同时刻下的电压，其中，记节点i在相位
Figure SMS_95
和时刻l时的电压为/>
Figure SMS_96
S4、构建代理模型的输入输出数据集，其中，节点i在相位
Figure SMS_97
和时刻l时的输入输出数据集记为/>
Figure SMS_98
Figure SMS_99
将各节点在不同时刻的输入输出数据集
Figure SMS_100
进一步处理成训练集 {X,Y}：
Figure SMS_101
S5、构建代理预测模型DNN
Figure SMS_102
其中，
Figure SMS_103
为训练集中输入X对应的预测输出值，w和b均为待训练的矩阵；/>
S6、训练代理预测模型；
S6.1、设置DNN的更新参数θ，θ＝[w,b]，为θ随机初始化赋初值；
S6.2、将训练集{X,Y}中所有节点在每个时刻的输入输出数据集
Figure SMS_104
输入至DNN中，得到输出预测值/>
Figure SMS_105
S6.3、将输入值
Figure SMS_106
和预测值/>
Figure SMS_107
代入如下公式，计算损失函数值L(l)；
Figure SMS_108
S6.4、判断第l个时刻训练完成后的损失函数值L(l)与上一个时刻训练完成后的损失函数值L(l-1)的差值是否收敛，如果收敛，则训练完成，跳转至S7；否则，利用梯度下降法更新参数θ，然后进入S6.5；
Figure SMS_109
其中，λ＝0.0001，
Figure SMS_110
表示下降趋势，l表示迭代次数，l>1，θ′l表示第 l次更新以后的参数值，即θ′l＝[w′,b′]；
S6.5、参数θ′l＝[w′,b′]替换DNN的参数θ＝[w,b]，然后判断当前时刻l是否达到最大值T，如果未达到，则令l＝l+1，再返回至S6.2；
S7、训练深度确定性梯度策略模型DDPG；
S7.1、建立每个时刻t的状态st，
Figure SMS_111
其中， S＝{s1,s2,…,st}，t＝1,2,…,7200；
S7.2、依据步骤(7.1)的状态获取每个时刻t的动作at＝π(st)，π(·)表示动作选择的函数，即
Figure SMS_112
动作选择函数中光伏逆变器 k无功功率
Figure SMS_113
选择范围为0～0.66MVA，静态无功补偿器j的无功功率/>
Figure SMS_114
范围为0～0.3MVar，光伏逆变器k削减有功功率选择范围为光伏逆变器 k有功功率的0～20％，A＝{a1,a2,…at}；
S7.3、将S7.2获得的动作at值带入S2获得t时刻配电网节点i在不同相位注入的有功功率
Figure SMS_115
和无功功率/>
Figure SMS_116
将时刻t配电网所有节点的有功功率与无功功率输入到S6训练好的代理模型中，获得t时刻配电网所有节点不同相位电压值/>
Figure SMS_117
S7.4、依据S7.2获得的功率
Figure SMS_118
和S7.3获得的配电网节点不同相位电压值
Figure SMS_119
计算当前时刻t的实时奖励值：
Figure SMS_120
其中，rt表示时刻t时的实时奖励，δ＝0.2，η＝20；
S7.5、判断当前时刻奖励值rt是否收敛或当前时刻t是否达到最大采样时刻 7200次，若收敛或达到最大采样时刻，训练结束，输出由代理模型预测出的配电网所有节点不同相位电压
Figure SMS_121
否则，将状态st、动作at、奖励值rt和下一时刻t+1的状态st+1作为一个集合{st,at,rt,st+1}，再通过集合{st,at,rt,st+1}对DDPG 的动作选择函数π(·)的参数进行更新，然后令t＝t+1，跳转至S7.2；
S8、电压实时控制；
实时采集配电网在当前时刻的状态
Figure SMS_122
然后输入至训练好的代理模型-深度确定性梯度策略模型，按照S7.2-S7.3所述方法获取配电网所有节点在当前时刻下不同相位的电压值，选取a相电压如图3所示，三种方法的状态输入均保持一致，输出节点电压值越接近1控制效果越好，无电压控制是随机选择动作值，并未进行优化，因此其结果有许多节点电压都会越限，传统算法采用了随机规划法，优化动作值得选择，其能有效地控制电压在设定的范围内，但其效果显然不如本发明一种配电网无模型的实时电压控制方法好。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种配电网无模型的实时电压控制方法，其特征在于，包括以下步骤：
(1)、将光伏逆变器和静态无功补偿器随机接入配电网；
获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器和静态无功补偿器，其中，接入光伏逆变器的个数为m1，接入静态无功补偿器的个数为m2；
(2)、获取拓扑结构中各个节点注入的有功功率及无功功率；
(2.1)、获取节点接入光伏逆变器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入光伏逆变器k，k＝1,2…,m1，那么节点i在相位
Figure FDA0004161375760000011
和时刻l时实际注入的有功功率/>
Figure FDA0004161375760000012
和无功功率/>
Figure FDA0004161375760000013
分别为：
Figure FDA0004161375760000014
Figure FDA0004161375760000015
若节点i未接入光伏逆变器k，那么节点i在相位
Figure FDA0004161375760000016
和时刻l时实际注入的有功功率/>
Figure FDA0004161375760000017
和无功功率/>
Figure FDA0004161375760000018
分别为：
Figure FDA0004161375760000019
Figure FDA00041613757600000110
其中，
Figure FDA00041613757600000111
表示三相，i＝1,2,…,N，N表示配电网拓扑结构中节点数量，l＝1,2,…,T，T为采样时刻总数，/>
Figure FDA00041613757600000112
表示节点i在相位/>
Figure FDA00041613757600000113
和时刻l时的负荷有功功率，/>
Figure FDA00041613757600000114
表示光伏逆变器k连接节点i后在相位/>
Figure FDA00041613757600000115
和时刻l时丢弃的功率，其中，/>
Figure FDA00041613757600000116
β为丢弃率，/>
Figure FDA00041613757600000117
表示光伏逆变器k连接节点i后在相位/>
Figure FDA00041613757600000118
和时刻l时注入的总有功功率；/>
Figure FDA00041613757600000119
表示节点i在相位/>
Figure FDA00041613757600000120
和时刻l时的负荷无功功率，/>
Figure FDA00041613757600000121
表示光伏逆变器k在连接节点i后在相位/>
Figure FDA00041613757600000122
和时刻l时注入的总有功功率；
(2.2)、获取节点接入静态无功补偿器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入静态无功补偿器j，j＝1,2…,m2静态无功补偿器j不产生有功功率，节点i在相位
Figure FDA00041613757600000123
和时刻l时实际注入的有功功率/>
Figure FDA00041613757600000124
和无功功率/>
Figure FDA00041613757600000125
为：
Figure FDA00041613757600000126
Figure FDA0004161375760000021
若节点i未接入静态无功补偿器j，那么节点i在相位
Figure FDA0004161375760000022
和时刻l时实际注入的有功功率
Figure FDA0004161375760000023
和无功功率/>
Figure FDA0004161375760000024
为：
Figure FDA0004161375760000025
Figure FDA0004161375760000026
其中，
Figure FDA0004161375760000027
表示静态无功补偿器j连接节点i后在相位/>
Figure FDA0004161375760000028
和时刻l时注入的无功功率；/>
(3)、获取拓扑结构中各个节点在不同相位、不同时刻下的电压，其中，记节点i在相位
Figure FDA0004161375760000029
和时刻l时的电压为/>
Figure FDA00041613757600000210
(4)、构建代理模型的输入输出数据集，其中，节点i在相位
Figure FDA00041613757600000211
和时刻l时的输入输出数据集记为/>
Figure FDA00041613757600000212
Figure FDA00041613757600000213
将各节点在不同时刻的输入输出数据集
Figure FDA00041613757600000214
进一步处理成训练集{X,Y}：
Figure FDA00041613757600000215
(5)、构建代理预测模型DNN
Figure FDA00041613757600000216
其中，
Figure FDA00041613757600000217
为训练集中输入X对应的预测输出值，w和b均为待训练的矩阵；
(6)、训练代理预测模型；
(6.1)、设置DNN的更新参数θ，θ＝[w,b]，为θ随机初始化赋初值；
(6.2)、将训练集{X,Y}中所有节点在每个时刻的输入输出数据集
Figure FDA00041613757600000218
输入至DNN中，得到输出预测值/>
Figure FDA00041613757600000219
(6.3)、将输入值
Figure FDA00041613757600000220
和预测值/>
Figure FDA00041613757600000221
代入如下公式，计算损失函数值L(l)；
Figure FDA00041613757600000222
(6.4)、判断第l个时刻训练完成后的损失函数值L(l)与上一个时刻训练完成后的损失函数值L(l-1)的差值是否收敛，如果收敛，则训练完成，跳转至步骤(7)；否则，利用梯度下降法更新参数θ，然后进入步骤(6.5)；
Figure FDA0004161375760000031
其中，λ表示代理模型参数更新的学习率，
Figure FDA0004161375760000032
表示下降趋势，l表示迭代次数，l>1，θ′l表示第l次更新以后的参数值，即θ′l＝[w′,b′]；
(6.5)、参数θ′l＝[w′,b′]替换DNN的参数θ＝[w,b]，然后判断当前时刻l是否达到最大值T，如果未达到，则令l＝l+1，再返回至步骤(6.2)；
(7)、训练深度确定性梯度策略模型DDPG；
(7.1)、建立每个时刻t的状态st，
Figure FDA0004161375760000033
其中，S＝{s1,s2,…,st}，t＝1,2,…,ite，ite为DDPG的采样时刻总数；
(7.2)、依据步骤(7.1)的状态获取每个时刻t的动作at＝π(st)，π(·)表示动作选择的函数，即
Figure FDA0004161375760000034
A＝{a1,a2,…at}，max<ite；
(7.3)、将步骤(7.2)获得的动作at值带入步骤(2)获得t时刻配电网节点i在不同相位注入的有功功率
Figure FDA0004161375760000035
和无功功率/>
Figure FDA0004161375760000036
将时刻t配电网所有节点的有功功率与无功功率输入到步骤(6)训练好的代理模型中，获得t时刻配电网所有节点不同相位电压值/>
Figure FDA0004161375760000037
(7.4)、依据步骤(7.2)获得的功率
Figure FDA0004161375760000038
和步骤(7.3)获得的配电网节点不同相位电压值/>
Figure FDA0004161375760000039
计算当前时刻t的实时奖励值：
Figure FDA00041613757600000310
其中，rt表示时刻t时的实时奖励，δ表示光伏削减有功功率的惩罚系数，η为电压越过阈值的惩罚值；
(7.5)、判断当前时刻奖励值rt是否收敛或当前时刻t是否达到最大采样时刻ite，若收敛或达到最大采样时刻ite，训练结束，输出由代理模型预测出的配电网所有节点不同相位电压
Figure FDA0004161375760000041
并跳转至步骤(8)；否则，将状态st、动作at、奖励值rt和下一时刻t+1的状态st+1作为一个集合{st,at,rt,st+1}，再通过集合{st,at,rt,st+1}对DDPG的动作选择函数π(·)的参数进行更新，然后令t＝t+1，跳转至步骤(7.2)；
(8)、电压实时控制；
实时采集配电网在当前时刻的状态
Figure FDA0004161375760000042
然后输入至训练好的代理模型-深度确定性梯度策略模型，按照步骤(7.2)-(7.3)所述方法获取配电网所有节点在当前时刻下不同相位的电压值。/>
CN202210889497.1A 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法 Active CN115133540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889497.1A CN115133540B (zh) 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889497.1A CN115133540B (zh) 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法

Publications (2)

Publication Number Publication Date
CN115133540A CN115133540A (zh) 2022-09-30
CN115133540B true CN115133540B (zh) 2023-05-30

Family

ID=83386221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889497.1A Active CN115133540B (zh) 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法

Country Status (1)

Country Link
CN (1) CN115133540B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117526443B (zh) * 2023-11-07 2024-04-26 北京清电科技有限公司 一种基于电力系统的配电网优化调控方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111884213B (zh) * 2020-07-27 2022-03-08 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
CN114725936B (zh) * 2022-04-21 2023-04-18 电子科技大学 基于多智能体深度强化学习的配电网优化方法

Also Published As

Publication number Publication date
CN115133540A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
Li et al. Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning
CN112615379B (zh) 基于分布式多智能体强化学习的电网多断面功率控制方法
Yu et al. Multi-agent correlated equilibrium Q (λ) learning for coordinated smart generation control of interconnected power grids
El Helou et al. Fully decentralized reinforcement learning-based control of photovoltaics in distribution grids for joint provision of real and reactive power
Wang et al. Emergency load shedding strategy for microgrids based on dueling deep Q-learning
CN111209710B (zh) 一种潮流计算收敛的自动调整方法及装置
CN115133540B (zh) 一种配电网无模型的实时电压控制方法
JP2023538611A (ja) コントローラのための決定ロジックを生成するための方法およびコンピュータシステム
CN117039981A (zh) 一种面向含新能源的大规模电网优化调度方法、装置、存储介质
CN115345380A (zh) 一种基于人工智能的新能源消纳电力调度方法
Hu et al. Deep reinforcement learning based coordinated voltage control in smart distribution network
CN113872213B (zh) 一种配电网电压自主优化控制方法及装置
CN115313403A (zh) 一种基于深度强化学习算法的实时电压调控方法
CN114722693A (zh) 一种水轮机调节系统二型模糊控制参数的优化方法
CN112467748A (zh) 三相不平衡主动配电网双时标分布式电压控制方法及系统
CN115276067A (zh) 一种适应配电网拓扑动态变化的分布式储能电压调节方法
Ma et al. A Reinforcement learning based coordinated but differentiated load frequency control method with heterogeneous frequency regulation resources
Liu et al. Deep-Q-network-based intelligent reschedule for power system operational planning
CN114298429A (zh) 一种配电网动案辅助决策方法、系统、装置和存储介质
CN110011315B (zh) 一种广域量测环境下聚合电网调控方法及存储设备
Aldahmashi et al. Advanced machine learning approach of power flow optimization in community microgrid
He et al. Distributed Optimal Power Scheduling for Microgrid System via Deep Reinforcement Learning with Privacy Preserving
Kang et al. Power flow coordination optimization control method for power system with DG based on DRL
Zheng et al. Multi-layer double deep Q network for active distribution network equivalent modeling with internal identification for EV loads
Lu et al. Optimal Design of Energy Storage System Assisted AGC Frequency Regulation Based on DDPG Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant