CN113962429A

CN113962429A - 一种求解负荷置换的优化方法、系统、装置及介质

Info

Publication number: CN113962429A
Application number: CN202111029784.7A
Authority: CN
Inventors: 邓柏荣; 李捷; 余涛; 丁巧宜
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2021-09-03
Filing date: 2021-09-03
Publication date: 2022-01-21
Anticipated expiration: 2041-09-03
Also published as: CN113962429B

Abstract

本发明公开了一种求解负荷置换的优化方法、系统、装置及介质，其中方法包括：获取历史数据，基于所述历史数据构建负荷置换模型；构建基于深度强化学习的实时负荷置换模型；根据预设的目标函数和所述负荷置换模型对所述实时负荷置换模型进行训练；针对实时故障情况，采用训练后的所述实时负荷置换模型生成负荷置换策略；以频率偏差成本、互联系统的电力调度成本、重要负荷停电时间成本、替换负荷的补偿成本以及被替换重要负荷的收益作为目标函数。本发明采用负荷置换模型对实时负荷置换模型进行训练以及映射，利用深度强化学习网络能够在线状态下实现高效快速负荷置换决策，可广泛应用于负荷置换技术领域。

Description

一种求解负荷置换的优化方法、系统、装置及介质

技术领域

本发明涉及负荷置换技术领域，尤其涉及一种求解负荷置换的优化方法、系统、装置及介质。

背景技术

随着电力系统特别是配电网面临着越来越多的不确定性扰动和冲击的影响，大力发展高效稳定控制手段和精准的在线辨识与负荷控制成为了构建新一代柔性、弹性化电力系统的重要趋势。以重要城市的高负荷密度电网为例，目前能与电网双向互动的电动汽车、储能、带有“源”和“荷”双重特征的新型负荷占比不断上升，部分传统负荷也能够在政策激励或者电价激励下调节自身的用电需求量从而参与电网调度。传统的电网稳控装置采取措施是直接切除220kV变电站的110kV出线，具有造价低、通信简单、响应速度快等优点。但重要城市电网作为高供电可靠性的城市电网，医院、港口等一、二级负荷，以及地铁、高铁、居民等敏感负荷众多，该模式在高负荷密度的城市电网应用也存在诸多缺点：

1)稳控装置直接切除110kV出线一次最大可能切除近400MW的负荷，基本切负荷单元颗粒度过大，易造成大量过切。

2)重要城市电网作为高供电可靠性的城市电网，医院、港口等一、二级负荷，以及地铁、高铁、居民等敏感负荷众多，直接切除110kV变电站可能造成大量上述重要客户失压，社会影响面大。

3)在新电改形势下，当前切负荷模式没有综合考虑时间、地点、不同售电公司用户等因素，涉及公平对待市场主体的法律风险。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种求解负荷置换的优化方法、系统、装置及介质。

本发明所采用的技术方案是：

一种求解负荷置换的优化方法，包括以下步骤：

获取历史数据，基于所述历史数据构建负荷置换模型；

构建基于深度强化学习的实时负荷置换模型；

根据预设的目标函数和所述负荷置换模型对所述实时负荷置换模型进行训练；

针对实时故障情况，采用训练后的所述实时负荷置换模型生成负荷置换策略；

其中，以负荷置换后，频率偏差成本、互联系统的电力调度成本、重要负荷停电时间成本、替换负荷的补偿成本以及被替换重要负荷的收益作为目标函数。

进一步地，所述目标函数的表达式为：

min[cost_frequency+cost_dispatch+cost_time+cost_compensate-profit]

其中，cost_frequency表示频率偏差成本，cost_dispatch表示互联系统的电力调度成本，cost_time表示重要负荷停电时间成本，cost_compensate表示替换负荷的补偿成本，profit表示被替换重要负荷的收益。

进一步地，所述频率偏差成本的计算公式如下：

cost_frequency＝a_frequencyΔf

式中，ΔP表示负荷置换前后有功功率差额；a_frequency表示频率偏差成本系数；K_G为发电机组的单位调节功率，K_D表示负荷的频率调节效应；

所述互联系统的电力调度成本的计算公式如下：

cost_dispatch＝a_dispatchΔP_trans

式中，ΔP_trans表示两个互联系统传输的有功功率；a_dispatch表示传输有功功率的成本系数；

所述重要负荷停电时间成本的计算公式如下：

式中，T_R为含有N个元素的行向量，表示优化变量；W_L为含有N个元素的行向量，表示停电区域内各节点的负荷重要性权重；S_L为N阶对角矩阵，设重要负荷节点对应的集合为al，当i∈al时，S_L(i,i)＝1，否则S_L(i,i)＝0；a_T表示重要负荷停电时间成本系数；

所述替换负荷的补偿成本的计算公式如下：

cost_compensate＝a_compP₁

P₁＝K₁₁P_cut+K₁₂P_shift+K₁₃P_out

式中，a_comp表示补偿成本系数，P_cut表示在某调度时段可削减负荷，但不可完全中断；P_shift表示可平移负荷为部分用电时段可中断的负荷；P_out表示重要等级较低负荷，可考虑完全舍弃；K₁₁,K₁₂,K₁₃分别表示离散控制的负荷调整等级；

所述被替换重要负荷的收益的计算公式如下：

profit＝a_proK₂P₂profit＝a_proK₂P₂

式中，a_pro表示补偿成本系数，K表示离散控制的负荷调整等级，P_N表示每等级负荷可调整的容量。

进一步地，构建所述负荷置换模型的过程中还需满足以下约束：负荷恢复时间约束、恢复节点电压幅值约束、恢复节点电压相角约束、恢复负荷功率限制约束以及频率偏差上下限约束。

进一步地，所述负荷恢复时间约束的表达式为：

式中，T_R,min ^T为含有N个元素的行向量，表示理想情况下最早的恢复时刻；

所述恢复节点电压幅值约束的表达式为：

V_min ^T≤V^T≤V_max ^T

式中，V,V_max,V_min为含有N个元素的行向量，分别表示局部停电区域内各节点的实际电压幅值、电压幅值上限和电压幅值下限；

所述恢复节点电压相角约束的表达式为：

θ_min ^T≤θ^T≤θ_max ^T

式中，θ,θ_max,θ_min为含有N个元素的行问量，分别表示局部停电区域内各节点的实际电压相角、电压相角上限和电压相角下限

所述恢复负荷功率限制约束的表达式为：

-P_l,max(t)≤P_in(l,t)≤min(P_l,max(t),ΔP_out,max(l,t))

式中，P_in(l,t)表示被替换负荷l在调度时刻t的恢复功率，P_l,max(t)表示恢复功率的上限，ΔP_out,max(l,t)表示对应替换负荷在时刻t的舍弃功率；

所述频率偏差上下限约束的表达式为：

Δf_min≤Δf≤Δf_max

式中，Δf,Δf_max,Δf_min分别表示系统实际频率偏差和允许频率偏差的上限和允许频率偏差的下限。

进一步地，所述实时负荷置换模型采用DQN算法进行求解；

在构建实时负荷置换模型的步骤中，包括选取状态空间S的步骤、选取动作空间A的步骤以及设置奖励函数的步骤；

其中，所述状态空间S包含对决策产生影响的因素，所述动作空间A包含实时负荷置换模型中的相关决策量。

进一步地，所述状态空间S的表达式为：

S＝{S_fre,S_L,S_L',W_L,S₀₁,ΔS}

式中，S_fre表示系统的频率值，S_L表示故障后的负荷数据，S_L'表示负荷的一次导数，W_L表示负荷的重要性权重矩阵，S₀₁替换负荷、被替换负荷是否投入的相关系数向量；ΔS表示负荷可向上、向下调整的档位等级；

所述动作空间A的表达式为：

A＝{S₀₁,a_k}

式中，S₀₁为替换负荷、被替换负荷是否投入的相关系数向量；a_k表示替换和被替换负荷所调整的档位；

采用所述目标函数作为奖励函数。

本发明所采用的另一技术方案是：

一种求解负荷置换的优化系统，包括：

历史数据模型构建模块，用于获取历史数据，基于所述历史数据构建负荷置换模型；

实时数据模型构建模块，用于构建基于深度强化学习的实时负荷置换模型；

模型训练模块，用于根据预设的目标函数和所述负荷置换模型对所述实时负荷置换模型进行训练；

负荷置换决策模块，用于针对实时故障情况，采用训练后的所述实时负荷置换模型生成负荷置换策略；

本发明所采用的另一技术方案是：

一种求解负荷置换的优化装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的另一技术方案是：

一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过构建负荷置换模型和实时负荷置换模型，采用负荷置换模型对实时负荷置换模型进行训练以及映射，利用深度强化学习网络能够在线状态下实现高效快速负荷置换决策。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例中一种求解负荷置换的优化方法的步骤流程图；

图2是本发明实施例中一种求解负荷置换的优化方法的步骤示意图；

图3是本发明实施例中深度强化学习负荷置换模型框架示意图；

图4是本发明实施例中节点负荷接入典型日负荷曲线示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

针对上述指出的痛点问题，需要探索一种利用负荷置换参与安全稳定过程的模式。为了保证响应速度足够快，在发生故障时仍先切除110kV变电站进行紧急控制，电网事故平息后，在非紧急控制下用有序用电负荷置换，恢复一些重要负荷的供电，再恢复切除的110kV变电站，这样通过紧急尺度切负荷粗，非紧急切负荷细，不同时间尺度相互配合，置换处理降低社会影响，避免民生和重要负荷长时间停电。强化学习通过学习模型与所处环境的不断交互，利用反馈信息逐步改进决策能力，在经济调度、负荷置换等不确定性问题发挥重要作用。基于此，本实施例提出一种在非紧急控制下的基于深度强化学习求解实时重要负荷置换的优化算法。该算法采用深度Q值网络(Deep Q Network，DQN)算法，自适应发生故障对重要负荷影响的不确定性，避免了对复杂的故障后供用电网络进行建模。利用DQN算法中的深度神经网络，对高维且非线性的状态动作空间进行合适定义，优化非紧急控制下的负荷置换决策，并利用人工智能算法较传统机理建模方法的优点——预学习训练，在离线状态下训练神经网络并能够在线状态下实现高效快速负荷置换决策。

该算法模型在先决条件上主要通过电力部门运用行政手段对用电情模式进行管理与整合，通过紧急拉闸、限电、避峰用电、错峰用电等办法，对供电量进行有效的控制，达到有序用电，从而实现负荷置换的效果。在对负荷置换问题进行研究时，关键在于如何在保证已平息故障的系统的有功功率平衡和频率稳定、无功功率平衡和电压稳定的前提下，尽可能多、尽可能快地置换敏感、重要负荷。

在这种工作模式下，考虑实际的配电网络下不同节点的负荷曲线及重要程度分级，对负荷停电时间进行优化时，也就需要适当考虑负荷的优先级。再考虑该负荷置换手段基于调控成本的需求响应，在非紧急控制下用有序用电负荷置换，恢复一些重要负荷的供电，再恢复切除的110kV变电站，实现在故障尚未恢复阶段减小重要负荷丢失电力供应的经济损耗，降低社会影响，避免民生和重要负荷长时间停电。

如图1和图2所示，本实施例提供一种求解负荷置换的优化方法，包括以下步骤：

S1、获取历史数据，基于历史数据构建负荷置换模型。

根据历史数据构建负荷置换模型，该负荷置换模型可通过求解器进行求解，由于求解的速度较慢，因此可用于求解非紧急控制下的最优负荷置换方案。建立好负荷置换模型后，在实时负荷置换模型的训练过程中，可将负荷置换模型求解的方案用于验证实时负荷置换模型的的预测能力，从而优化实时负荷置换模型的预测能力。构建负荷置换模型的步骤如下：

首先，以负荷置换后，分级调节负荷的功率差额引起的频率偏差成本、互联系统的电力调度成本、重要负荷停电时间成本、替换负荷的补偿成本以及被替换重要负荷的收益作为目标函数，在满足电力有功、无功功率平衡约束、替换负荷与被替换负荷出力约束、储能充放电约束和发电机爬坡运行约束等条件后构建经济负荷置换调度决策数学模型。

综上，负荷置换问题可用下述非线性优化模型描述，以下模型均以某时刻下的运行方程表示，即省略基于调度时刻叠加的函数表达。

1)最小化重要负荷置换成本目标函数

min[cost_frequency+cost_dispatch+cost_time+cost_compensate-profit]

式中，cost_frequency表示频率偏差成本，cost_dispatch表示互联系统的电力调度成本，cost_time表示重要负荷停电时间成本，cost_compensate表示替换负荷的补偿成本，profit表示被替换重要负荷的收益。

2)频率偏差成本

cost_frequency＝a_frequencyΔf

由于负荷调整往往是分级调整，替换负荷与被替换负荷之间往往存在功率差额，因此式中ΔP表示负荷置换前后有功功率差额；其中，a_frequency表示频率偏差成本系数，该系数往往取较大值；K_G为发电机组的单位调节功率，K_D表示负荷的频率调节效应。

3)互联系统的电力调度成本

cost_dispatch＝a_dispatchΔP

负荷替换往往发生在两个互联系统中。当第一个系统发生严重故障导致大规模负荷失去电力供应时，通过“限电”等手段调整互联系统中非重要负荷的供电量，达到有序用电、负荷置换的效果。式中，ΔP表示两个互联系统传输的有功功率；a_dispatch表示传输有功功率的成本系数。

4)互联电网交互约束

0≤ΔP≤P_{trans_max}

式中，ΔP表示两个互联系统传输的有功功率，P_{trans_max}表示两个互联系统传输的有功功率的上限

5)重要负荷停电时间成本

式中，T_R为含有N个元素的行向量，表示优化变量，其中包括停电区域内各节点的重要负荷实际置换时刻；W_L为含有N个元素的行向量，表示停电区域内各节点的负荷重要性权重，可通过负荷额定功率与负荷置换的优先级系数乘积计算；S_L为N阶对角矩阵，设重要负荷节点对应的集合为al，当i∈al时，S_L(i,i)＝1，否则S_L(i,i)＝0，a_T表示重要负荷停电时间成本系数

6)负荷恢复时间约束

S_LT_R ^T≥S_LT_R,min ^T

式中：T_R,min ^T为含有N个元素的行向量，表示理想情况下最早的恢复时刻，可根据矩阵Q和A求得

7)恢复节点电压幅值约束

V_min ^T≤V^T≤V_max ^T

式中：V,V_max,V_min为含有N个元素的行向量，分别表示局部停电区域内各节点的实际电压幅值、电压幅值上限和电压幅值下限。

8)恢复节点电压相角约束

θ_min ^T≤θ^T≤θ_max ^T

式中：θ,θ_max,θ_min为含有N个元素的行问量，分别表示局部停电区域内各节点的实际电压相角、电压相角上限和电压相角下限。

9)恢复负荷功率限制约束

-P_l,max(t)≤P_in(l,t)≤min(P_l,max(t),ΔP_out,max(l,t))

式中所表示的约束包含了具有冷负荷特性的重要负荷恢复特性。

10)频率偏差上下限约束

Δf_min≤Δf≤Δf_max

式中，Δf,Δf_max,Δf_min分别表示系统实际频率偏差和允许频率偏差的上下限

11)替换负荷的补偿成本

cost_compensate＝a_compP₁

P₁＝K₁₁P_cut+K₁₂P_shift+K₁₃P_out

式中，a_comp表示补偿成本系数，P_cut表示在某调度时段可削减负荷，可削减负荷为运行的时段不变，但功率在满足用户需求的情况下可进行部分削减，如照明设备的使用数量等；P_shift可平移负荷为用电时段连续不可中断的负荷，如洗碗机、洗衣机等，此类负荷可以挑选在电价相对较低的时段进行工作；P_out表示重要等级较低负荷，可以在非紧急控制下切除，直至恢复正常供电再重新投入；K₁₁,K₁₂,K₁₃分别表示离散控制的负荷调整等级。

12)被替换重要负荷的收益

profit＝a_proK₂P₂

式中，a_pro表示补偿成本系数，K表示离散控制的负荷调整等级，P_N表示每等级负荷可调整的容量

除此之外，为考虑调度问题的完整性，还可考虑功率平衡约束、潮流约束(如线性交流潮流约束等)。综上，构建出故障后非紧急控制下最优的负荷替换数学模型，即负荷置换模型。

S2、构建基于深度强化学习的实时负荷置换模型。

传统的基于机理模型求解的方法往往存在求解速度慢、模型构建复杂、模型难以求解或无解的情况。故障发生后若置换方案的决策所需时间太久，则这一模式将失去意义，且故障发生对重要负荷的影响的不确定性给负荷置换这一模式带来挑战，为此寻求一种基于人工智能的实时重要负荷置换的优化算法。故本实施例采用DQN算法求解实时负荷置换模型，首先需按照马尔可夫决策过程，将上述数学模型(即负荷置换模型)各约束定义为强化学习模型。

1)状态空间S的选取

状态空间应尽可能考虑会对决策产生影响的因素。对于本发明解决的问题，状态空间应包括非紧急控制下的网络负荷、负荷重要性权重、系统当前时刻频率值。同时，由于负荷预测值与变化时刻t紧密相关，因此仅仅依靠预测值无法唯一确定该调度时段的策略。因此在定义状态空间时必须考虑时序相关问题，否则算法的收敛性将受到影响。为此增设负荷的变化情况到状态空间，以其差分形式代替其一次导数S_L'，这种处理方式相当于对后续时刻不确定的预测值增加了维度，因此状态空间包含以下几个状态：

S＝{S_fre,S_L,S_L',W_L,S₀₁,ΔS}

式中，S_fre表示某时刻下系统的频率值，S_L表示故障后的负荷数据，S_L'表示负荷的一次导数，W_L表示负荷的重要性权重矩阵，S₀₁替换负荷、被替换负荷是否投入的相关系数向量；ΔS表示负荷可向上、向下调整的档位等级

2)动作空间A的选取

动作空间即为优化模型中的相关决策量。本发明中包括各调度时段内替换负荷、被替换负荷是否投入的相关系数向量、相对应的切除和投入的调整档次，以及负荷可向上、向下调整的档位等级。因此动作空间包含以下一个状态：

A＝{S₀₁,a_k}

式中，S₀₁替换负荷、被替换负荷是否投入的相关系数向量；a_k表示替换和被替换负荷所调整的档位。

每个调度时段t内，根据当前状态s_t，DQN算法的Actor网络从动作空间A输出动作a_t，用Q值评价这个决策的优劣。

3)奖励函数的设置

奖励函数即为步骤S1中构建的目标函数。训练初期，因为动作的不确定性，往往动作值会使得断供、恢复节点电压产生较大偏移，系统频率偏差出现较大差额，因此还需要设置关于节点电压偏差和频率偏差的惩罚项。

S3、根据预设的目标函数和负荷置换模型对实时负荷置换模型进行训练。其中，以负荷置换后，频率偏差成本、互联系统的电力调度成本、重要负荷停电时间成本、替换负荷的补偿成本以及被替换重要负荷的收益作为目标函数。

参见图3，针对某一故障后的电力断供情况，采用实时负荷置换模型生成实时的负荷置换策略。采用步骤S1构建的荷置换模型在求解器下求解最优负荷置换方案，通过比对验证，优化实时负荷置换模型。实验证明，实时负荷置换模型生成的负荷置换策略能够逼近最优解，且响应速度快，满足非紧急控制下迅速减少重要负荷丢失电力供应的影响。其中，图3中的目标模型代表步骤S1的负荷置换模型，图3中的预测模型代表实时负荷置换模型。

S4、针对实时故障情况，采用训练后的实时负荷置换模型生成负荷置换策略。

以下结合具体实施例对上述方法进行详细地解释说明。

本实施例采用IEEEcase14案例，并对节点负荷接入典型日负荷曲线，典型日负荷曲线见图4。其中负荷置换问题的非线性优化模型参数表1所示：

表1负荷置换非线性优化模型参数

表1中，a_lr和c_lr分别表示DQN的actor网络和critic网络的学习率。

该算例中实时成本系数每15分钟更新一次，假设时刻之间负荷出力动作偏差是0.5*Pmax，该出力偏差可分为多个调整档次，期望下是从进入非紧急控制状态到发生负荷置换的时间尽可能短，替换与被替换负荷的功率差额尽可能小。

下面具体说明基于深度强化学习求解实时重要负荷置换的优化算法的步骤：

第一步，输入配电网数据，包括故障前即正常运行网络拓扑、负荷。机组常规出力，表征负荷切除投入的状态矩阵，负荷重要性权重矩阵，负荷每档可调整调整容量，并以负荷调整档K作为变量做离散控制，同时满足功率平衡约束、线性交流潮流约束、频率偏差约束、恢复节点电压上下限约束、相角上下限约束等。根据输入的数据构建数学模型。

第二步，针对IEEE配电网络构建深度强化学习负荷置换算法，以故障后的负荷数据、负荷曲线的一次导数、负荷的重要性权重矩阵、负荷是否投入或切除的相关系数矩阵、负荷可调整的档位等级作为状态变量；再将各调度时段内替换负荷、被替换负荷是否投入的相关系数向量、相对应的切除和投入的调整档次，以及负荷可向上、向下调整的档位等级作为决策变量，并设置步骤一中的目标函数，开始离线训练并收集海量的状态——动作——奖励——下一时刻状态作为经验，当经验池容量满足所设阈值时，神经网络开始学习直至收敛。

第三步，利用求解器在足够时间允许条件下求出考虑负荷置换调度成本的最优解，比对离线训练的深度强化学习做出的决策，完善离线训练结果。

第四步，将所训练模型投入使用，当发生严重故障在紧急切除220kV变电站的110kV出线后，系统处于非紧急控制下，实现实时的负荷置换调度决策，减少重要负荷丢失电力供应的影响。

综上所述，本实施例方法相对于现有技术，具有如下有益效果：采用深度Q值网络(Deep Q Network，DQN)算法，自适应发生故障对重要负荷影响的不确定性，避免了对复杂的故障后供用电网络进行建模。利用DQN算法中的深度神经网络，对高维且非线性的状态动作空间进行合适定义，优化非紧急控制下的负荷置换决策，并利用人工智能算法较传统机理建模方法的优点——预学习训练，在离线状态下训练神经网络并能够在线状态下实现高效快速负荷置换决策。该算法能够逼近最优解，且响应速度快，满足非紧急控制下迅速减少重要负荷丢失电力供应的影响。

本实施例还提供一种求解负荷置换的优化系统，包括：

本实施例的一种求解负荷置换的优化系统，可执行本发明方法实施例所提供的一种求解负荷置换的优化方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供一种求解负荷置换的优化装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。

本实施例的一种求解负荷置换的优化装置，可执行本发明方法实施例所提供的一种求解负荷置换的优化方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种求解负荷置换的优化方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种求解负荷置换的优化方法，其特征在于，包括以下步骤：

获取历史数据，基于所述历史数据构建负荷置换模型；

构建基于深度强化学习的实时负荷置换模型；

2.根据权利要求1所述的一种求解负荷置换的优化方法，其特征在于，所述目标函数的表达式为：

min[cost_frequency+cost_dispatch+cost_time+cost_compensate-profit]

3.根据权利要求2所述的一种求解负荷置换的优化方法，其特征在于，所述频率偏差成本的计算公式如下：

cost_frequency＝a_frequencyΔf

所述互联系统的电力调度成本的计算公式如下：

cost_dispatch＝a_dispatchΔP_trans

式中，ΔP_trans表示两个互联系统传输的有功功率；a_dispatch表示传输有功功率的成本系数；所述重要负荷停电时间成本的计算公式如下：

式中，T_R为含有N个元素的行向量，表示优化变量；W_L为含有N个元素的行向量，表示停电区域内各节点的负荷重要性权重；S_L为N阶对角矩阵，设重要负荷节点对应的集合为al，当i∈al时，S_L(i,i)＝1，否则S_L(i,i)＝0；a_T表示重要负荷停电时间成本系数；所述替换负荷的补偿成本的计算公式如下：

cost_compensate＝a_compP₁

P₁＝K₁₁P_cut+K₁₂P_shift+K₁₃P_out

式中，a_comp表示补偿成本系数，P_cut表示在某调度时段可削减负荷；P_shift表示可平移负荷为部分用电时段可中断的负荷；P_out表示重要等级较低负荷，可考虑全部舍弃；K₁₁,K₁₂,K₁₃分别表示离散控制的负荷调整等级；

所述被替换重要负荷的收益的计算公式如下：

profit＝a_proK₂P₂ profit＝a_proK₂P₂

4.根据权利要求1所述的一种求解负荷置换的优化方法，其特征在于，构建所述负荷置换模型的过程中还需满足以下约束：负荷恢复时间约束、恢复节点电压幅值约束、恢复节点电压相角约束、恢复负荷功率限制约束以及频率偏差上下限约束。

5.根据权利要求4所述的一种求解负荷置换的优化方法，其特征在于，所述负荷恢复时间约束的表达式为：

S_LT_R ^T≥S_LT_R,min ^T

所述恢复节点电压幅值约束的表达式为：

V_min ^T≤V^T≤V_max ^T

所述恢复节点电压相角约束的表达式为：

θ_min ^T≤θ^T≤θ_max ^T

所述恢复负荷功率限制约束的表达式为：

-P_l,max(t)≤P_in(l,t)≤min(P_l,max(t),ΔP_out,max(l,t))

所述频率偏差上下限约束的表达式为：

Δf_min≤Δf≤Δf_max

式中，Δf,Δf_max,Δf_min分别表示系统实际频率偏差、允许频率偏差的上限和允许频率偏差的下限。

6.根据权利要求1所述的一种求解负荷置换的优化方法，其特征在于，所述实时负荷置换模型采用DQN算法进行求解；

7.根据权利要求6所述的一种求解负荷置换的优化方法，其特征在于，所述状态空间S的表达式为：

S＝{S_fre,S_L,S_L',W_L,S₀₁,ΔS}

所述动作空间A的表达式为：

A＝{S₀₁,a_k}

采用所述目标函数作为奖励函数。

8.一种求解负荷置换的优化系统，其特征在于，包括：

9.一种求解负荷置换的优化装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。

10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。