CN114362188B - 基于深度强化学习的多端智能软开关电压控制方法 - Google Patents

Abstract

一种基于深度强化学习的多端智能软开关电压控制方法：根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，以及光伏、风机和负荷曲线年历史运行数据；依据参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；依据基于深度确定性策略梯度网络的智能体与光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练；通过训练好的智能体，对配电网多端智能软开关进行调控，并给出多端智能软开关的控制策略，由多端智能软开关有功动作掩模层和无功动作掩模层处理，多端智能软开关执行。本发明能够保障电压的合理运行。

Description

基于深度强化学习的多端智能软开关电压控制方法

技术领域

本发明涉及一种电压控制方法。特别是涉及一种基于深度强化学习的多端智能软开关电压控制方法。

背景技术

以风机和光伏为代表的分布式电源广泛接入配电网，由于分布式电源出力的强不确定性，配电系统的电压越限问题日益突出。为解决由分布式电源引起的配电网电压波动问题，在以多端智能软开关(multi-terminal soft open point，MSOP)为代表的先进电力电子设备的支撑下，配电网逐渐演变为高度灵活可控的柔性互联结构。MSOP支持精细可控的有功交换以及就地无功支撑，为配电网自适应电压管理奠定了物理基础。

如何有效应对分布式电源的随机波动，灵活调节MSOP的出力，从而缓解配电网电压波动问题成为了当前亟待解决的关键问题。传统的集中式优化方法难以自适应的应对分布式电源波动问题。在实际运行中，由于系统精确参数难以获得，基于物理模型的优化方法难以保证模型的准确性。深度强化学习作为一种自适应的，无模型的数据驱动方法，可以通过历史数据进行训练，优化调整控制策略，从而实时指导MSOP的运行，缓解电压波动问题。

目前配电网强化学习控制问题研究中动作空间各变量之间多相互独立，而在MSOP控制过程中，由于各个端口有功传输功率相互耦合，且有功/无功出力受容量约束，在构建动作空间时，各个动作变量之间具有较为复杂的耦合关系，目前尚无强化学习方法在MSOP电压控制问题的应用。

发明内容

本发明所要解决的技术问题是，为克服现有技术的不足，提供一种能够实现多端智能软开关出力的实时调节，保障电压合理运行的基于深度强化学习的多端智能软开关电压控制方法。

本发明所采用的技术方案是：一种基于深度强化学习的多端智能软开关电压控制方法，包括如下步骤：

1)根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，包括柔性配电网的拓扑及参数信息、多端智能软开关的接入位置、容量和观测节点、负荷和分布式电源的接入位置、柔性配电网基准电压和基准功率，以及输入光伏、风机和负荷曲线年历史运行数据；

2)依据步骤1)提供的柔性配电网基本参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；

3)依据步骤2)中基于深度确定性策略梯度网络的智能体与步骤1)中提供的光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练，得到训练完成的智能体；

4)依据步骤3)中训练完成的智能体，对配电网多端智能软开关进行调控，智能体依据实时输入的配电网状态，给出多端智能软开关的控制策略，并由步骤2)中的多端智能软开关有功动作掩模层和无功动作掩模层处理，下发至多端智能软开关执行。

步骤2)所述的基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程表示为：

S＝{V_i,P_i,Q_i|i∈Ω_O} (1)

其中，

表示状态空间集合；V_i、P_i和Q_i分别表示节点i的电压幅值、注入有功功率、注入无功功率；Ω_O表示观测节点的集合；/>

表示动作空间集合；/>

表示多端智能软开关换流器端口1,…,N_S-1的直流侧有功功率，以智能软开关向交流侧节点注入有功功率为正方向；/>

为表示多端智能软开关换流器端口1,…,N_S-1的无功出力，以注入系统为正；r表示即时奖励；V₀表示系统基准电压幅值。

步骤2)所述的多端智能软开关有功动作掩模层表示为：

式中，P^A表示多端智能软开关实际执行的有功动作向量；P表示智能体给出的原始有功动作向量；

表示多端智能软开关换流器端口1,…,N_S-1直流侧的有功功率大小，以多端智能软开关换流器端口向交流侧节点注入有功功率为正方向；/>

表示多端智能软开关换流器端口j的直流侧有功功率大小；N_S表示多端智能软开关换流器端口数量；/>

表示可行动作域；/>

表示不可行动作域；

由有功动作掩模层对智能体给出的原始有功动作向量

通过公式(4)进行再处理，以满足多端智能软开关有功传输约束；其中，可行动作域是指智能体给出的有功动作向量中可行动作向量的集合，不可行动作域是指智能体给出的原始中不可行的动作向量的集合，可行动作域需要满足以下条件，反之，不可行动作域是指不满足如下条件的原始动作；

式中，A^SOP表示换流器的损耗系数；S^SOP表示换流器的容量；P_j ^SOP,DC表示多端智能软开关换流器j直流侧有功功率大小；N_s表示多端智能软开关换流器端口数量；

考虑到多端智能软开关换流器端口的损耗，有功功率为系统注入多端智能软开关时，多端智能软开关换流器端口直流侧的实际功率上限应当小于额定容量，故式(5)中将多端智能软开关换流器端口直流侧的有功功率上限设置为(1-A^SOP)S^SOP；

步骤2)所述的多端智能软开关无功动作掩模层表示为：

式中，Q_bound,j为多端智能软开关换流器端口j确定有功出力下的无功出力边界，j＝1,…,N_S；N_S表示多端智能软开关换流器端口数量；S^SOP表示换流器的容量；P_j ^SOP,DC表示多端智能软开关换流器端口j的直流侧有功功率大小；

为智能体给出的多端智能软开关换流器端口j的原始无功出力；/>

为多端智能软开关换流器端口j的实际无功出力；

根据有功动作掩模层处理后的有功动作向量，由无功动作掩模层对无功动作向量

通过公式(6)进行处理，以满足多端智能软开关容量耦合约束。

步骤3)包括：

(1)设置训练超参数，初始化当前动作网络参数θ、当前价值网络参数ω、目标动作网络参数θ′及目标价值网络参数ω′；

(2)设置最大训练次数M；

(3)智能体从柔性配电网模拟环境获取观测状态S；

(4)当前动作网络根据观测状态S给出动作A，并由多端智能软开关有功动作掩模层和无功动作掩模层进行合理化；

(5)动作A发送至多端智能软开关，多端智能软开关执行动作A，训练环境返回奖励R给智能体，训练环境进入下一状态S′，智能体执行第(6)步；

(6)储存经验<S,A,R,S′>，智能体通过经验回放进行学习，更新网络参数；

(7)返回第(3)步，直至达到最大训练次数M；

(8)计算智能体收敛指标σ：

式中，μ为第

次到第M次的训练奖励的平均值；M为训练次数；R_n为第n次训练的奖励；σ为收敛指标；

设收敛精度为ε，当σ<ε时，认为智能体收敛，停止离线训练，否则返回第(1)步重新设置训练超参数，再次训练。

本发明的基于深度强化学习的多端智能软开关电压控制方法，建立基于深度强化学习的多端智能软开关电压控制框架，充分考虑分布式电源出力的不确定性，考虑分布式电源的实时波动以及多端智能软开关的运行约束，通过建立基于多端智能软开关的电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络智能体的实时决策以及动作掩模方法，实现多端智能软开关出力的实时调节，实时安全调节多端智能软开关出力，实现配电网电压的灵活控制，保障电压的合理运行。

附图说明

图1是本发明基于深度强化学习的多端智能软开关电压控制方法的流程图；

图2是本发明基于深度强化学习的多端智能软开关电压控制方法的框架图；

图3是含三端智能软开关的IEEE 33节点算例拓扑图；

图4是智能体训练奖励变化记录；

图5是测试数据的负荷及分布式电源运行曲线；

图6是两种方案中电压极值对比图；

图7是两种方案中节点18的电压分布对比图。

具体实施方式

下面结合实施例和附图对本发明的基于深度强化学习的多端智能软开关电压控制方法做出详细说明。

如图1、图2所示，本发明的基于深度强化学习的多端智能软开关电压控制方法，包括如下步骤：

1)根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，包括柔性配电网的拓扑及参数信息、多端智能软开关的接入位置、容量和观测节点、负荷和分布式电源的接入位置、柔性配电网基准电压和基准功率，以及输入光伏、风机和负荷曲线年历史运行数据；

对于本实施例，含三端智能软开关的IEEE 33节点算例如图3所示，详细参数见表1和表2。IEEE 33节点算例三条馈线通过三端智能软开关柔性互联，基准电压为12.66kV，负荷总有功功率需求和总无功功率需求分别为3.715MW和2.300MVar。

为考虑高渗透率分布式电源的接入影响，分布式电源接入情况如表3所示。分布式电源功率因数均设定为1.0。三端智能软开关各换流器端口换流器容量上限均设置为0.6MVA，损耗系数设置为0.01，设定系统基准功率为1MVA。有源配电网电压安全运行范围为0.90p.u.～1.10p.u.。

表1 IEEE 33节点算例负荷接入位置及功率

表2 IEEE 33节点算例线路参数

/>

表3分布式电源接入位置及容量

2)依据步骤1)提供的柔性配电网基本参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；其中，

(1)所述的基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程表示为：

其中，

表示状态空间集合；V_i、P_i和Q_i分别表示节点i的电压幅值、注入有功功率、注入无功功率；Ω_O表示观测节点的集合；/>

表示动作空间集合；/>

表示多端智能软开关换流器端口1,…,N_S-1的直流侧有功功率，以智能软开关向交流侧节点注入有功功率为正方向；/>

为表示多端智能软开关换流器端口1,…,N_S-1的无功出力，以注入系统为正；r表示即时奖励；V₀表示系统基准电压幅值。

(2)所述的多端智能软开关有功动作掩模层表示为：

式中，P^A表示多端智能软开关实际执行的有功动作向量；P表示智能体给出的原始有功动作向量；

表示多端智能软开关换流器端口1,…,N_S-1直流侧的有功功率大小，以多端智能软开关换流器端口向交流侧节点注入有功功率为正方向；P_j ^SOP,DC表示多端智能软开关换流器端口j的直流侧有功功率大小；N_S表示多端智能软开关换流器端口数量；/>

表示可行动作域；/>

表示不可行动作域；

由有功动作掩模层对智能体给出的原始有功动作向量

通过公式(4)进行再处理，以满足多端智能软开关有功传输约束；其中，可行动作域是指智能体给出的有功动作向量中可行动作向量的集合，不可行动作域是指智能体给出的原始中不可行的动作向量的集合，可行动作域需要满足以下条件，反之，不可行动作域是指不满足如下条件的原始动作；

式中，A^SOP表示换流器的损耗系数；S^SOP表示换流器的容量；P_j ^SOP,DC表示多端智能软开关换流器j直流侧有功功率大小；N_s表示多端智能软开关换流器端口数量；

考虑到多端智能软开关换流器端口的损耗，有功功率为系统注入多端智能软开关时，多端智能软开关换流器端口直流侧的实际功率上限应当小于额定容量，故式(5)中将多端智能软开关换流器端口直流侧的有功功率上限设置为(1-A^SOP)S^SOP；

(3)所述的多端智能软开关无功动作掩模层表示为：

式中，Q_bound,j为多端智能软开关换流器端口j确定有功出力下的无功出力边界，j＝1,…,N_S；N_S表示多端智能软开关换流器端口数量；S^SOP表示换流器的容量；P_j ^SOP,DC表示多端智能软开关换流器端口j的直流侧有功功率大小；

为智能体给出的多端智能软开关换流器端口j的原始无功出力；/>

为多端智能软开关换流器端口j的实际无功出力；

根据有功动作掩模层处理后的有功动作向量，由无功动作掩模层对无功动作向量

通过公式(6)进行处理，以满足多端智能软开关容量耦合约束。

3)依据步骤2)中基于深度确定性策略梯度网络的智能体与步骤1)中提供的光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练，得到训练完成的智能体；包括：

(1)设置训练超参数，初始化当前动作网络参数θ、当前价值网络参数ω、目标动作网络参数θ′及目标价值网络参数ω′；

(2)设置最大训练次数M；

(3)智能体从柔性配电网模拟环境获取观测状态S；

(4)当前动作网络根据观测状态S给出动作A，并由多端智能软开关有功动作掩模层和无功动作掩模层进行合理化；

(5)动作A发送至多端智能软开关，多端智能软开关执行动作A，训练环境返回奖励R给智能体，训练环境进入下一状态S′，智能体执行第(6)步；

(6)储存经验＜S,A,R,S′＞，智能体通过经验回放进行学习，更新网络参数；

(7)返回第(3)步，直至达到最大训练次数M；

(8)计算智能体收敛指标σ：

式中，μ为第

次到第M次的训练奖励的平均值；M为训练次数；R_n为第n次训练的奖励；σ为收敛指标；

设收敛精度为ε，当σ<ε时，认为智能体收敛，停止离线训练，否则返回第(1)步重新设置训练超参数，再次训练。

4)依据步骤3)中训练完成的智能体，对配电网多端智能软开关进行调控，智能体依据实时输入的配电网状态，给出多端智能软开关的控制策略，并由步骤2)中的多端智能软开关有功动作掩模层和无功动作掩模层处理，下发至多端智能软开关执行。

为了验证本发明的基于深度强化学习的多端智能软开关电压控制方法的可行性与有效性，本实施例中，采取如下两种场景进行验证分析：

方案一：不对多端智能软开关进行控制，即各端口出力为零，得到配电网初始状态下的电压水平。

方案二：利用所提的一种基于深度强化学习的多端智能软开关电压控制方法对三端智能软开关进行控制。

首先对智能体进行训练，训练记录如图4所示；智能体参数如表4所示。训练完成后，选择一测试日对智能体进行测试，测试日负荷及分布式电源水平曲线如图5所示。

表4智能体参数

参数	大小
		Learning Rate	0.0001
Batch Size	32
		Episodes	4096
Memory Pool Size	10000
		Discount Factor	0.9
ε	0.01

执行训练及测试计算的计算机硬件环境为Intel(R)Xeon(R)W-2102CPU，主频为2.90GHz，内存为64GB；软件环境为Windows 10操作系统。

选取一天中各时刻电压幅值的最大值与最小值，绘制电压极值曲线如图6所示；选择MSOP接入点节点18，绘制该节点一天中电压分布如图7所示。进一步对一天中的电压分布进行数值分析，得到电压质量的各项指标如表5所示。

表5各方案优化结果

场景	最大电压(p.u.)	最小电压(p.u.)	平均电压偏差
				方案一	1.0427	0.9252	0.0177
场景二	1.0163	0.9548	0.0069

相比于不对多端智能软开关进行控制的方案一，方案二利用深度强化学习智能体对多端智能软开关进行控制，平均电压偏差降低了61.02％；方案一中不控制的电压最小值为0.9252，远低于安全运行约束下限，而方案二中的电压均位于安全运行约束范围以内，系统电压水平明显提升。

由方案一和二对比看出，利用本发明的基于深度强化学习的多端智能软开关电压控制方法，可以智能自适应的决策智能软开关的各端口有功传输功率及无功出力，改善了系统电压分布，提高了分布式电源的消纳能力。

Claims (2)

1.一种基于深度强化学习的多端智能软开关电压控制方法，其特征在于，包括如下步骤：

1)根据选定的含多端智能软开关的柔性配电网，输入柔性配电网基本参数信息，包括柔性配电网的拓扑及参数信息、多端智能软开关的接入位置、容量和观测节点、负荷和分布式电源的接入位置、柔性配电网基准电压和基准功率，以及输入光伏、风机和负荷曲线年历史运行数据；

2)依据步骤1)提供的柔性配电网基本参数信息，形成基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程，构建基于深度确定性策略梯度网络的智能体以及多端智能软开关有功动作掩模层和无功动作掩模层；其中：

所述的基于多端智能软开关的柔性配电网电压控制马尔科夫决策过程表示为：

Σ＝{V_i,P_i,Q_i|i∈Ω_O} (1)

其中，Σ表示状态空间集合；V_i、P_i和Q_i分别表示节点i的电压幅值、注入有功功率、注入无功功率；Ω_O表示观测节点的集合；Α表示动作空间集合；

表示多端智能软开关换流器端口1,…,N_S-1的直流侧有功功率，以智能软开关向交流侧节点注入有功功率为正方向；/>

为表示多端智能软开关换流器端口1,…,N_S-1的无功出力，以注入系统为正；r表示即时奖励；V₀表示系统基准电压幅值；

所述的多端智能软开关有功动作掩模层表示为：

式中，P^A表示多端智能软开关实际执行的有功动作向量；P表示智能体给出的原始有功动作向量；

表示多端智能软开关换流器端口1,…,N_S-1直流侧的有功功率大小，以多端智能软开关换流器端口向交流侧节点注入有功功率为正方向；/>

表示多端智能软开关换流器端口j的直流侧有功功率大小；N_S表示多端智能软开关换流器端口数量；Α_valid表示可行动作域；Α_invalid表示不可行动作域；

由有功动作掩模层对智能体给出的原始有功动作向量

通过公式(4)进行再处理，以满足多端智能软开关有功传输约束；其中，可行动作域是指智能体给出的有功动作向量中可行动作向量的集合，不可行动作域是指智能体给出的原始中不可行的动作向量的集合，可行动作域需要满足以下条件，反之，不可行动作域是指不满足如下条件的原始动作；/>

式中，A^SOP表示换流器的损耗系数；S^SOP表示换流器的容量；

表示多端智能软开关换流器j直流侧有功功率大小；N_s表示多端智能软开关换流器端口数量；

考虑到多端智能软开关换流器端口的损耗，有功功率为系统注入多端智能软开关时，多端智能软开关换流器端口直流侧的实际功率上限应当小于额定容量，故式(5)中将多端智能软开关换流器端口直流侧的有功功率上限设置为(1-A^SOP)S^SOP；

所述的多端智能软开关无功动作掩模层表示为：

式中，Q_bound,j为多端智能软开关换流器端口j确定有功出力下的无功出力边界，j＝1,…,N_S；N_S表示多端智能软开关换流器端口数量；S^SOP表示换流器的容量；

表示多端智能软开关换流器端口j的直流侧有功功率大小；/>

为智能体给出的多端智能软开关换流器端口j的原始无功出力；/>

为多端智能软开关换流器端口j的实际无功出力；

根据有功动作掩模层处理后的有功动作向量，由无功动作掩模层对无功动作向量

通过公式(6)进行处理，以满足多端智能软开关容量耦合约束；

3)依据步骤2)中基于深度确定性策略梯度网络的智能体与步骤1)中提供的光伏、风机和负荷曲线年历史运行数据，对智能体进行离线训练，得到训练完成的智能体；

4)依据步骤3)中训练完成的智能体，对配电网多端智能软开关进行调控，智能体依据实时输入的配电网状态，给出多端智能软开关的控制策略，并由步骤2)中的多端智能软开关有功动作掩模层和无功动作掩模层处理，下发至多端智能软开关执行。

2.根据权利要求1所述的基于深度强化学习的多端智能软开关电压控制方法，其特征在于，步骤3)包括：

(1)设置训练超参数，初始化当前动作网络参数θ、当前价值网络参数ω、目标动作网络参数θ′及目标价值网络参数ω′；

(2)设置最大训练次数M；

(3)智能体从柔性配电网模拟环境获取观测状态S；

(4)当前动作网络根据观测状态S给出动作A，并由多端智能软开关有功动作掩模层和无功动作掩模层进行合理化；

(5)动作A发送至多端智能软开关，多端智能软开关执行动作A，训练环境返回奖励R给智能体，训练环境进入下一状态S′，智能体执行第(6)步；

(6)储存经验<S,A,R,S′>，智能体通过经验回放进行学习，更新网络参数；

(7)返回第(3)步，直至达到最大训练次数M；

(8)计算智能体收敛指标σ：

式中，μ为第

次到第M次的训练奖励的平均值；M为训练次数；R_n为第n次训练的奖励；σ为收敛指标；

设收敛精度为ε，当σ<ε时，认为智能体收敛，停止离线训练，否则返回第(1)步重新设置训练超参数，再次训练。

Images