CN113312839A - 一种基于强化学习的电网紧急辅助切负荷决策方法及装置 - Google Patents

一种基于强化学习的电网紧急辅助切负荷决策方法及装置 Download PDF

Info

Publication number
CN113312839A
CN113312839A CN202110571292.4A CN202110571292A CN113312839A CN 113312839 A CN113312839 A CN 113312839A CN 202110571292 A CN202110571292 A CN 202110571292A CN 113312839 A CN113312839 A CN 113312839A
Authority
CN
China
Prior art keywords
load
load shedding
reinforcement learning
node
shedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110571292.4A
Other languages
English (en)
Other versions
CN113312839B (zh
Inventor
廖思阳
陈怡琳
徐箭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110571292.4A priority Critical patent/CN113312839B/zh
Publication of CN113312839A publication Critical patent/CN113312839A/zh
Application granted granted Critical
Publication of CN113312839B publication Critical patent/CN113312839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/04—Power grid distribution networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Water Supply & Treatment (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本申请涉及一种基于强化学习的电网紧急辅助切负荷决策方法及装置，包括步骤：根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定义最小切负荷代价的约束条件；基于强化学习算法对所述切负荷辅助决策模型中的参数进行优化，以使所述切负荷辅助决策模型在待切负荷节点存在重要负荷供电馈线时可根据当前环境因素自适应地输出切负荷策略以满足最小切负荷代价的约束条件。本发明在切负荷控制策略中考虑到环境因素的影响和存在少量重要负荷不能切除或无法切除等情况，能够在满足切除要求的可控负荷节点中自适应地决策出当前状态下切负荷代价最小的方案。

Description

一种基于强化学习的电网紧急辅助切负荷决策方法及装置
技术领域
本发明涉及电力系统运行与控制技术领域，特别涉及一种基于强 化学习的电网紧急辅助切负荷决策方法及装置。
背景技术
我国能源供应与电力消费呈逆向分布特征，这使得我国电力系统 逐渐向采用高电压、远距离输电方式的大区电网互联形式发展，电网 结构发生了很大的变化。当远方的大容量电源被切除，或者跨区域的 交直流送电通道出现故障而停运时，受端电网将出现大量功率缺额， 造成系统频率和母线电压的快速下降，严重时将导致全网的电压及频 率崩溃。紧急切负荷控制作为电力系统的第二道防线是防止系统失稳 崩溃的有效手段。随着大规模分布式电源并网，电动汽车等主动负荷 参与电力系统调度体系，未来电网的调控手段变得更加丰富，同时也 给紧急切负荷控制带来新的思考。
传统紧急切负荷多采用结合拉限电序位表，通过遥控方式对负荷 进行串行控制。这种控制方式存在以下问题：一是控制的负荷常常包 含工业、居民混合线路，并且大规模集中控制下可能包含少量重要负 荷；二是负荷控制精准度不高，基于电网典型运行方式的离线预案往 往与电网实时运行方式存在较大差别，有过控或欠控风险；三是在受 端系统含有大量分布式电源的情况下，不恰当的切负荷控制可能导致 分布式电源脱网，加大功率缺额。
发明内容
本发明实施例提供一种基于强化学习的电网紧急辅助切负荷决策 方法及装置，在切负荷控制策略中考虑到环境因素的影响和存在少量 重要负荷不能切除或无法切除等情况，能够在满足切除要求的可控负 荷节点中自适应地决策出当前状态下切负荷代价最小的方案。
一方面，提供一种基于强化学习的电网紧急辅助切负荷决策方法， 其特征在于，其包括步骤：
根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定 义最小切负荷代价的约束条件；
基于强化学习算法对所述切负荷辅助决策模型中的参数进行优 化，以使所述切负荷辅助决策模型在待切负荷节点存在重要负荷供电 馈线时可根据当前环境因素自适应地输出切负荷策略以满足最小切负 荷代价的约束条件。
一些实施例中，根据环境因素对切负荷代价的影响建立切负荷辅 助决策模型以定义最小切负荷代价的约束条件，包括步骤：
基于时间因素和气象因素定义切负荷代价的目标函数；
根据负荷节点与电网的净交换功率和切除率设置所述目标函数的 约束条件；
在目标函数满足所述约束条件且求解为最小切负荷代价时输出切 负荷策略。
一些实施例中，基于时间因素和气象因素定义切负荷代价的目标 函数，包括步骤：
根据第一公式确定第n个负荷节点的而实际负荷功率；
所述第一公式为：Pload,n＝Pc,n+PDG,n，其中，
n为负荷节点编号，PDG,n为第n个负荷节点的分布式电源出力，Pc,n为第n个负荷节点与电网的净交换功率；
根据第二公式确定所述切负荷代价；
所述第二公式为：
Figure BDA0003082790920000021
其中，
n的范围为1-N,且N为负荷节点总数，k是指用户的种类的总数， ci为第i种用户的单位功率切除代价值，εn,i为第i种用户在第n个负 荷节点中所占的功率比值，μn为第n个负荷节点的切除率，Pload,n为第n 个负荷节点的实际负荷功率。
一些实施例中，所述约束条件为使待切除的负荷量满足第一条件；
所述第一条件包括：
Figure BDA0003082790920000031
其中，
Pshed为待切除的负荷量。
一些实施例中，基于强化学习算法对所述切负荷辅助决策模型中 的参数进行优化，包括步骤：
基于Deep Q Network算法建立强化学习模型；
基于所述切负荷辅助决策模型定义所述强化学习模型的状态空 间、动作空间、奖励函数和收敛条件；
根据历史运行数据将所述状态空间、动作空间和奖励函数所对应 的数据样本输入到强化学习模型进行离线训练以优化所述切负荷辅助 决策模型中的参数；
基于优化后的参数使所述切负荷辅助决策模型输出最优切负荷策 略。
一些实施例中，基于所述切负荷辅助决策模型定义所述强化学习 模型的输入、输出、奖励函数和收敛条件，包括步骤：
以各负荷节点与电网的净交换功率Pc,n(n＝1,2,...,N)以及所述待 切除的负荷量Pshed建立状态空间；
以每个负荷节点对应M种不同比例的切除率μn，并以所述每个负 荷节点对应的M种不同比例的切除率μn建立动作空间，其中M为大于 或等于1的整数。
一些实施例中，所述奖励函数满足公式：R其中，
R为奖励值，Ft,median为每个训练样本下N个节点中切除单个节点的 代价估计值的中位数，p为按照M种不同比例的切除率μn组合出的能够 满足所述约束条件的最小实际切除节点个数。
另一方面，提供了一种基于强化学习的电网紧急辅助切负荷决策 装置，其特征在于，其包括：
切负荷辅助决策模块，其用于根据环境因素对切负荷代价的影响 建立切负荷辅助决策模型以定义最小切负荷代价的约束条件；
强化学习优化模块，其用于基于强化学习算法对所述切负荷辅助 决策模型中的参数进行优化，以使所述切负荷辅助决策模型在待切负 荷节点存在重要负荷供电馈线时可根据当前环境因素自适应地输出切 负荷策略以满足最小切负荷代价的约束条件。
一些实施例中，所述切负荷辅助决策模块还用于：
基于时间因素和气象因素定义切负荷代价的目标函数；
根据负荷节点与电网的净交换功率和切除率设置所述目标函数的 约束条件；
在目标函数满足所述约束条件且求解为最小切负荷代价时输出切 负荷策略；
所述强化学习优化模块还用于：
基于Deep Q Network算法建立强化学习模型；
基于所述述切负荷辅助决策模型定义所述强化学习模型的状态空 间、动作空间、奖励函数和收敛条件；
根据历史运行数据将所述状态空间、动作空间和奖励函数所对应 的数据样本输入到强化学习模型进行离线训练以优化所述切负荷辅助 决策模型中的参数；
基于优化后的参数使所述切负荷辅助决策模型输出最优切负荷策 略。
一些实施例中，所述切负荷辅助决策模块还用于：
根据第一公式确定第n个负荷节点的而实际负荷功率；
所述第一公式为：Pload,n＝Pc,n+PDG,n，其中，
n为负荷节点编号，PDG,n为第n个负荷节点的分布式电源出力，Pc,n为第n个负荷节点与电网的净交换功率；
根据第二公式确定所述切负荷代价；
所述第二公式为：
Figure BDA0003082790920000041
其中，
n的范围为1-N,且N为负荷节点总数，k是指用户的种类的总数， ci为第i种用户的单位功率切除代价值，εn,i为第i种用户在第n个负 荷节点中所占的功率比值，μn为第n个负荷节点的切除率，Pload,n为第n 个负荷节点的实际负荷功率；
所述约束条件为使待切除的负荷量满足第一条件；
所述第一条件包括：
Figure BDA0003082790920000051
其中，Pshed为待切除的负荷量；
所述强化学习优化模块还用于:
以各负荷节点与电网的净交换功率Pc,n(n＝1,2,...,N)以及所述待 切除的负荷量Pshed建立状态空间；
以每个负荷节点对应M种不同比例的切除率μn，并以所述每个负 荷节点对应的M种不同比例的切除率μn建立动作空间，其中M为大于 或等于1的整数；
所述奖励函数满足公式：R＝Ft，median·p，其中， R为奖励值，Ft,median为每个训练样本下N个节点中切除单个节点的代价 估计值的中位数，p为按照M种不同比例的切除率μn组合出的能够满足 所述约束条件的最小实际切除节点个数。
本实施例不同于相关技术中对电网紧急控制时将切负荷代价视作 确定且不变的值的思路，认为切负荷代价会随着环境因素的变化而变 化，并在辅助决策时考虑了环境因素对切负荷代价值的影响。同时， 考虑到人工在做决策替换时只能对规律进行粗糙估计，不能综合所有 因素共同分析，且在需要组合决策时因维度较高导致决策困难，以及 难以满足紧急负荷控制的时间需求等局限性，提出了利用人工智能的 方法(强化学习算法)从历史数据进行分析，扩展思考的维度与计算 的速度，对决策替换进行优化，可自适应地根据当前环境因素条件输 出代价值最低的决策，降低切负荷的损失。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的 附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于强化学习的电网紧急辅助切 负荷决策方法的流程示意图；
图2为本发明实施例提供的一种基于强化学习的电网紧急辅助切 负荷决策装置的示意图；
图3为本发明实施例提供的“智能体-环境”交互示意图；
图4为本发明实施例提供的三种负荷类型的工业负荷在总负荷中 的占比随时间的变化图；
图5为本发明实施例提供的负荷功率的增长倍数随日平均温度的 变化图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不 是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没 有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明 保护的范围。
如图1所示，本发明实施例提供了一种基于强化学习的电网紧急 辅助切负荷决策方法，其包括步骤：
S100:根据环境因素对切负荷代价的影响建立切负荷辅助决策模 型以定义最小切负荷代价的约束条件；
S200:基于强化学习算法对所述切负荷辅助决策模型中的参数进 行优化，以使所述切负荷辅助决策模型在待切负荷节点存在重要负荷 供电馈线时可根据当前环境因素自适应地输出切负荷策略以满足最小 切负荷代价的约束条件。
需要说明的是，步骤S100中所述的环境因素包括时间因素和气象 因素，具体而言，由于用户的活动具有时间性，各用户的用电时间规 律不同，导致在将一个区域的负荷作为一个整体进行研究时，其在不 同季节、不同时刻的成分组成不同。在对一个由多种性质用户组成的 混合负荷节点进行切负荷操作时，在不同的时间下切除该节点，实际 所切除的各类用户比例情况不同，导致切负荷操作造成的损失不同。 气象因素对切负荷代价的影响主要是通过影响分布式电源的出力。大 规模分布式风电、光伏并网，以清洁能源发电的形式，在一定程度上 满足了部分电力需求，能够保证一些本地负荷的供电，对电网具有一 定的调节作用。切除含分布式电源功率较高的节点，会增大原有的功 率缺额，导致损失更多的负荷。分布式电源的出力受到风速、太阳辐 照强度、天气状况等气象因素的影响，具有较强的波动性。在不同的 气象条件下，负荷节点的分布式电源出力情况不一样，导致切除的损 失不同。本实施例所述的技术方案考虑到气象因素的影响后，可在切 除负荷节点时，应尽量保留分布式电源出力高的节点，以保留更多的 本地负荷。
可以理解的是，步骤S200中所述的强化学习算法包括SARSA、 Q-learning、Deep QNetwork、Actor-Critic以及Deep Deterministic Policy Gradient等，是一种通过交互式学习方式进行策略优化的算 法。如图3所示，算法中包括进行学习及实施决策的智能体，以及智 能体之外所有与其作用的事物，智能体选择动作，智能体之外所有与 其作用的事物(一般称为环境)对动作做出响应，向智能体呈现出新 的状态，并将奖励值反馈给智能体，使智能体得到引导，调整在各个 状态下所选择的动作，使策略向着累计奖励最大的方向更新。智能体 与环境(智能体之外所有与其作用的事物)之间持续不断进行交互过 程，直到收敛到最优的策略。
步骤S200中，一般可首先由安全控制系统进行事故预想，并在核 验稳定性的情况下整定出能够保证电网安全稳定性的切除量与对应的 负荷控制策略。若在策略校核时出现待切负荷节点存在重要负荷供电 馈线的情况，则启动已在离线情况下由强化学习算法利用历史数据训 练好的切负荷辅助决策模型进行决策，以替换低电压等级节点，在保 证安控系统整定的切除量能够足量执行的同时，利用模型能够自适应 切负荷代价变化性的能力，输出当前情况下代价值最低的替换方法， 降低切负荷的损失。
本实施例不同于相关技术中对电网紧急控制时将切负荷代价视作 确定且不变的值的思路，认为切负荷代价会随着环境因素的变化而变 化，并在辅助决策时考虑了环境因素对切负荷代价值的影响。同时， 考虑到人工在做决策替换时只能对规律进行粗糙估计，不能综合所有 因素共同分析，且在需要组合决策时因维度较高导致决策困难，以及 难以满足紧急负荷控制的时间需求等局限性，提出了利用人工智能的 方法(强化学习算法)从历史数据进行分析，扩展思考的维度与计算 的速度，对决策替换进行优化，可自适应地根据当前环境因素条件输 出代价值最低的决策，降低切负荷的损失。
在一些实施例中，步骤S100还包括步骤：
S110:基于时间因素和气象因素定义切负荷代价的目标函数；
S120:根据负荷节点与电网的净交换功率和切除率设置所述目标 函数的约束条件；
S130:在目标函数满足所述约束条件且求解为最小切负荷代价时 输出切负荷策略。
本实施例中，根据负荷节点与电网的净交换功率和切除率设置所 述目标函数的约束条件，是为了使输出的切负荷策略满足电网所需的 切除量，以消除功率差额。
在一些实施例中，步骤S110还包括步骤：
S111:根据第一公式确定第n个负荷节点的而实际负荷功率；
所述第一公式为：Pload,n＝Pc,n+PDG,n，其中，
n为负荷节点编号，PDG,n为第n个负荷节点的分布式电源出力，Pc,n为第n个负荷节点与电网的净交换功率；
S112:根据第二公式确定所述切负荷代价；
所述第二公式为：
Figure BDA0003082790920000081
其中，
n的范围为1-N,且N为负荷节点总数，k是指用户的种类的总数， ci为第i种用户的单位功率切除代价值，εn,i为第i种用户在第n个负 荷节点中所占的功率比值，μn为第n个负荷节点的切除率，Pload,n为第n 个负荷节点的实际负荷功率。
需要说明的是，εn,i是一个受时间影响而发生变化的值，而PDG,n会 受到气象因素(太阳辐照强度、天气状况或温度等)的影响而变化， 因此导致Pload,n会随着环境因素的影响而发生变化。
因此本实施例提供了一个考虑环境因素的切负荷辅助决策模型， 当满足F值最小时即满足了切负荷代价值最小。
可优选地，步骤S120中，约束条件为使待切除的负荷量满足第一 条件；所述第一条件包括：
Figure BDA0003082790920000091
其中，Pshed为待切除的负荷 量。
在一些实施例中，步骤S200还包括步骤：
S210:基于Deep Q Network算法建立强化学习模型；
S220:基于所述述切负荷辅助决策模型定义所述强化学习模型的 状态空间、动作空间、奖励函数和收敛条件；
S230:根据历史运行数据将所述状态空间、动作空间和奖励函数所 对应的数据样本输入到强化学习模型进行离线训练以优化所述切负荷 辅助决策模型中的参数；
S240:基于优化后的参数使所述切负荷辅助决策模型输出最优切 负荷策略。
需要说明的是，如图3所示，基于Deep Q Network算法建立强化 学习模型可以是满足如下的公式：
Figure BDA0003082790920000092
其中，δt是个中间变量，st表示任意时间t对应的状态，αt表示 任意时间t对应的动作，st∈S，αt∈A，Rt+1表示t时刻执行该动作 能够获得的奖励值,S表示状态空间，A表示动作空间，R为奖励函数， γ表示计算累计奖励时的折扣因子，且γ∈[0,1]，a'为st+1状态下能够选 取的任意动作，Q为动作网络计算的结果，
Figure BDA0003082790920000101
为目标网络计算的结果，
Figure BDA0003082790920000102
为st+l状态下执行任意a′目标网络输出的最大值。
可以理解的是，考虑到紧急切负荷控制优化问题需要处理高维连 续状态输入，并输出离散的切负荷控制策略，为了提升模型对输入的 自适应性，可优选Deep Q Network算法。
本实施例通过基于Deep Q Network算法的训练模型(强化学习模 型)，考虑到在紧急负荷控制优化问题时能够自适应切负荷代价随机 性变化的特点，将组合决策问题考虑为分步决策问题的优势，以及通 过处理高维输入量能对多因素共同作用问题进行综合分析的能力，训 练后模型具有的泛化性及决策的快速性等要素，满足了紧急控制辅助 切负荷模型输出策略的有效性及稳定性。
在一些实施例中，步骤S220还包括步骤:
S221:以各负荷节点与电网的净交换功率Pc,n(n＝1,2,...,N)以及 所述待切除的负荷量Pshed建立状态空间；
S222:以每个负荷节点对应M种不同比例的切除率μn，并以所述每 个负荷节点对应的M种不同比例的切除率μn建立动作空间，其中M为 大于或等于1的整数。
需要说明的是，在实际的切负荷决策运行情况下，实时可以量测 的量是每个负荷节点的净交换功率，能够被选为备切节点的负荷在净 交换功率上是大致相等且满足当前的切负荷要求。因此，状态空间包 含各个负荷节点当前的净交换功率Pcn(n＝1,2,...,N)以及要求切除的负荷 量Pshed，因此决策时所考虑的维度为N+1。
步骤S222中可设置M为3，即对每个负荷节点设置三种切除比例， 分别可为切除30％、切除70％与切除100％，因此动作空间一共有3N个 维度。由于Deep Q Network算法的输出形式是离散的，可使强化学习 模型每一步在所有动作中选择一个，输出某个节点的切除比例，最终 策略为该次训练每一步输出动作的组合。
可以理解的是，强化学习模型输出动作后，得到第n个负荷节点 的切除比例μn，则下一个状态的净交换功率
Figure BDA0003082790920000111
与需要切除的负荷量
Figure BDA0003082790920000112
计算方式为：
Figure BDA0003082790920000113
当满足切负荷量要求时 状态转移终止，终止条件为Pshed≤0。
可优选地，所述步骤S220中，
所述奖励函数满足公式：R＝Ft，median·p，其中，
R为奖励值，Ft,median为每个训练样本下N个节点中切除单个节点的 代价估计值的中位数，p为按照M种不同比例的切除率μn组合出的能够 满足所述约束条件的最小实际切除节点个数。
需要说明的是，基于所述奖励函数公式，终态奖励值不是固定不 变的，而是随着训练样本与切负荷量要求进行动态地跟随变化。R取所 有节点代价估计值的中位数值使得一个回合内强化学习模型的总回报 有正有负。即时奖励高的状态转移过程获得正值总回报，即时奖励低 的状态转移过程获得的总回报为负值。这就使得强化学习模型在反向 传播时能够主动地向即时奖励高的状态转移过程更新，保证强化学习 模型每一步输出策略的良好性，提升回合结束时组合的策略效果。
本实施例通过对终态奖励值进行细化，克服了强化学习模型在组 合决策中过切量较大的问题，提升了强化学习模型在需要输出组合策 略时所输出策略的经济性与稳定性。
在一些实施例中，为了让强化学习模型不陷入局部最优从而导致 学习停滞，还涉及了衰减探索机制。包括步骤：
设置阈值λ，且λ∈[0,1]；
使所述强化学习模型每输出一次动作产生一个[0,1]内的随机数 a；使a满足：
当a≤λ时，所述强化学习模型选择当前Q值最大的动作(状态动 作价值)作为下一时刻的动作进行输出，当a＞λ时，所述强化学习模 型从所有动作中随机选择一个作为下一时刻的动作进行输出。
可优选地，使所述阈值λ满足公式：λ＝Δλ·step，其中，
step为所述强化学习模型与环境(智能体之外所有与其作用的事 物)交互次数，Δλ为所述强化学习模型每次输出动作后的变化量；
当λ增加到最大值λmax后，使λ保持为λmax不变，且λ≤λmax＜1。
本实施例通过设置衰减探索机制，能让强化学习模型最终的表现 更优，训练初期需要保证模型的充分探索，以得到更丰富多样的经历， 而在训练后期，为了加快策略的收敛，需要模型多多利用已经得到的 价值信息，选择当前状态下价值最优的动作。
在一个具体的实施例中，假设某地区电网有6个可供替换的负荷 节点，负荷成分划分为工业负荷与居民负荷，且分布式电源考虑分布 式光伏并网。工业负荷与居民负荷的比例随着时刻进行变化，存在一 定的规律，按照变化规律的不同，将负荷分为三种类型(类型1、类型 2和类型3)，三种负荷类型的工业负荷在总负荷中的占比在24小时 内的变化如图4所示。其中，每个负荷节点的类型及其变化范围如表1 所示：
表1区内各负荷的类型
Figure BDA0003082790920000121
当已知光伏电池板在标称条件(太阳辐照强度为800W/m2，电池 温度为20℃)下的输出功率Pstc时，每一时段内光伏组件的输出功率Ppv,t可由下式计算得到。
Figure RE-GDA0003166563520000122
式中，It为此时的太阳辐照强度，Istc＝800W/m2。
则区内六个负荷节点在标称条件下的光伏输出功率Pstc占负荷功 率Pload的比值ηstc如表2所示：
表2区内各负荷节点光伏输出功率占负荷功率的比值
Figure BDA0003082790920000131
在实际工程应用中，环境温度对光伏电池板的发电功率的影响通 常可以忽略不计，将日平均温度对负荷功率的影响如图5所示。
为使强化学习模型具有泛化性能，能够在任意环境状态下做出自 适应决策，采用了分情形训练方式，一共设置了52种场景。经过对Deep Q Network(DQN)超参数的调节，最终调整的结果如表3所示：
表3强化学习模型的试验参数
Figure BDA0003082790920000132
采用华北某地区2018年太阳辐照强度与温度随时间变化的数据生 成测试样本。测试结果表明，强化学习模型能够在该年任何一个时刻 下根据所需的负荷切除量输出良好的策略。限于篇幅，只选取部分时 刻，针对模型决策结果的有效性、稳定性与泛化性进行分别说明。
根据图5所示，负荷功率的增长倍数随日平均温度的变化情况， 选取2018年6月21日0：00时刻的数据，此时6个负荷节点的工业 负荷功率占总负荷功率的比值如表4所示：
表4夜晚时刻对照组中2018年6月21日0：00各负荷节点的工业负 荷功率占比
Figure BDA0003082790920000141
由于是在夜晚，太阳辐照强度为0，此刻所有节点的光伏输出功率 均为0。假设此刻出现需要决策替换的情况，需要替换量为100MW(假 设每个负荷节点的最大可切除量为100MW)，由强化学习模型进行决策， 模型输出的策略为对负荷节点2切除30MW，对负荷节点6切除70MW。 而从表5可以看出，此时节点6的工业负荷占比最小，其次是节点2。 其他负荷节点的工业负荷占比均远大于2和6。因此强化学习模型输出 的决策满足尽量保留生产负荷比值较大的节点的要求。
选取2018年6月21日12：00与2018年9月1日12：00的太阳 辐照强度数据与温度数据，如表5所示：
表5正午时刻对照组中测试样本信息
Figure BDA0003082790920000142
计算两个样本下各负荷节点的工业负荷功率占比与光伏输出功率 占负荷功率的比值(结果保留三位有效数字)分别如表6与表7所示：
表6正午时刻对照组中各负荷节点的工业负荷功率占比
Figure BDA0003082790920000143
表7正午时刻对照组中各负荷节点的光伏输出功率占比
Figure BDA0003082790920000151
由于两个样本处于的时刻相同，故两个样本的负荷节点的工业负 荷功率占比情况相同。而因为6月21日12：00的太阳辐照强度远高 于9月1日12：00，故两个样本的负荷节点的光伏输出功率占比相差 较大。假设出现需要决策替换的情况，需要替换量为200MW，令模型分 别在这两个样本下输出策略，并将模型输出的策略代价值与只考虑令 切除节点的分布式电源功率最小和只考虑令切除节点的工业负荷占比 最低得出的策略代价值进行对比，结果如表8所示：
表8正午时刻对照组中模型输出策略与单一维度决策策略代价值对比 由此得知，模型基于综合因素分析得出的策略的经济性优于只考
Figure BDA0003082790920000152
虑单种影响因素所得出的策略。
为了说明模型在多次输出下策略的有效性，在如表4至表7的测 试样本下令需要切除的负荷量从100MW以10MW的间隔变化到200MW， 在每一种切负荷量情况下做了一万次重复试验，统计每一种切负荷量 情况下每一次试验中各节点的切负荷量，对同一种切负荷量情况下同 一节点的一万次重复试验中的切负荷量进行相加，得到每一个节点在 每一种切负荷量情况下的总切除量。把相同切负荷量情况下的所有节 点总切除量相加，求得每一个节点在每一种切负荷量情况下的切除量 比值，结果可知，在2018年6月21日0：00情况下模型倾向于输出 节点6，其次是节点2。由表4可知此时节点6的工业负荷功率占比最 低，节点2次之，其他节点均远高于节点6和2。因此认为在多次输出 的情况下，模型仍然可以满足尽量保留生产负荷占比较高的节点的要 求。在2018年6月21日12：00情况下模型倾向于输出节点5和节点 3，在2018年9月1日12：00情况下倾向于输出节点2、3、6，对应 表6与表7，对两个样本进行对比可以看出，除了相同的输出节点3 之外，在光照条件良好的6月21日12：00样本下，模型倾向于选择 光伏输出功率较低的节点，而在光照条件较弱的9月1日12：00样本 下，模型选择的策略的工业负荷功率占比更低，而光伏输出功率占比 更大。因此可以认为模型输出的策略能够对生产负荷占比和分布式电 源功率两个维度进行综合考虑，在光照条件不同的情况下，能够根据 当前的环境因素调整自身策略，提升输出策略的经济性。
为了检测模型在不同情形下的表现效果，将2018年全年所有时刻 的数据作为测试样本，并记录模型输出，在需要决策替换的负荷量为 100MW情况下，模型在全年一共8760个时刻下有8168个时刻输出的策 略代价值低于当前时刻所有策略代价值的平均值，模型输出优于平均 水平策略的概率为93.2％。因此认为模型的泛化性能满足实际应用的需求。
此外，模型在训练过程中先设置终态奖励值为一个固定值，取值 为所有训练样本中切除单个节点的代价最大值的估计值。利用2018年 6月21日12：00样本数据进行测试，记录在各个切负荷量情况下，模 型在一万次重复试验中输出次数最多的策略组合形式，结果如表9所 示：
表9固定终态奖励下模型输出频率最高的策略组合形式
Figure BDA0003082790920000171
可以看出，在这种奖励形式下，只有在切除负荷量为100MW情况 下策略比较集中，在需要组合决策的情况下，输出策略过切严重而且 很分散。
在细化奖励值形式下同样利用2018年6月21日12：00样本数据 进行测试，得到模型在一万次重复试验中输出次数最多的策略组合形 式，结果如表10所示：
表10细化终态奖励下模型输出频率最高的策略组合形式
Figure BDA0003082790920000172
Figure BDA0003082790920000181
在该测试样本下切除代价值最小的节点为节点3，其次为节点5。 从表中可以看出，模型能够根据当前需要切除的负荷量在切除代价较 低的节点中组合出合适的策略，过切量比较小，并且输出的策略稳定。
如图2所示，另一方面，本发明实施例还提供了一种基于强化学 习的电网紧急辅助切负荷决策装置，其包括：
切负荷辅助决策模块，其用于根据环境因素对切负荷代价的影响 建立切负荷辅助决策模型以定义最小切负荷代价的约束条件；
强化学习优化模块，其用于基于强化学习算法对所述切负荷辅助 决策模型中的参数进行优化，以使所述切负荷辅助决策模型在待切负 荷节点存在重要负荷供电馈线时可根据当前环境因素自适应地输出切 负荷策略以满足最小切负荷代价的约束条件。
在一些实施例中，切负荷辅助决策模块还用于：
基于时间因素和气象因素定义切负荷代价的目标函数；
根据负荷节点与电网的净交换功率和切除率设置所述目标函数的 约束条件；
在目标函数满足所述约束条件且求解为最小切负荷代价时输出切 负荷策略。
同时，强化学习优化模块还用于：
基于Deep Q Network算法建立强化学习模型；
基于所述述切负荷辅助决策模型定义所述强化学习模型的状态空 间、动作空间、奖励函数和收敛条件；
根据历史运行数据将所述状态空间、动作空间和奖励函数所对应 的数据样本输入到强化学习模型进行离线训练以优化所述切负荷辅助 决策模型中的参数；
基于优化后的参数使所述切负荷辅助决策模型输出最优切负荷策 略。
在一些实施例中，切负荷辅助决策模块还用于：
根据第一公式确定第n个负荷节点的而实际负荷功率；
所述第一公式为：Pload,n＝Pc,n+PDG,n，其中，
n为负荷节点编号，PDG,n为第n个负荷节点的分布式电源出力，Pc,n为第n个负荷节点与电网的净交换功率；
根据第二公式确定所述切负荷代价；
所述第二公式为：
Figure BDA0003082790920000191
其中，
n的范围为1-N,且N为负荷节点总数，k是指用户的种类的总数， ci为第i种用户的单位功率切除代价值，εn,i为第i种用户在第n个负 荷节点中所占的功率比值，μn为第n个负荷节点的切除率，Pload,n为第n 个负荷节点的实际负荷功率；
所述约束条件为使待切除的负荷量满足第一条件；
所述第一条件包括：
Figure BDA0003082790920000192
其中，Pshed为待切除的负荷量。
同时，强化学习优化模块还用于:
以各负荷节点与电网的净交换功率Pc,n(n＝1,2,...,N)以及所述待 切除的负荷量Pshed建立状态空间；
以每个负荷节点对应M种不同比例的切除率μn，并以所述每个负 荷节点对应的M种不同比例的切除率μn建立动作空间，其中M为大于 或等于1的整数；
所述奖励函数满足公式：R＝Ft，median·p，其中，
R为奖励值，Ft,median为每个训练样本下N个节点中切除单个节点的 代价估计值的中位数，p为按照M种不同比例的切除率μn组合出的能够 满足所述约束条件的最小实际切除节点个数。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示 的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于 描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具 有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明 的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连 接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接， 或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连， 也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本 领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明 中的具体含义。
需要说明的是，在本发明中，诸如“第一”和“第二”等之类的 关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开 来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的 关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体 意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、 物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要 素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。 在没有更多限制的情况下，由语句“包括一个……”限定的要素，并 不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的 相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理 解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说 将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精 神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限 制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖 特点相一致的最宽的范围。

Claims (10)

1.一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，其包括步骤：
根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定义最小切负荷代价的约束条件；
基于强化学习算法对所述切负荷辅助决策模型中的参数进行优化，以使所述切负荷辅助决策模型在待切负荷节点存在重要负荷供电馈线时可根据当前环境因素自适应地输出切负荷策略以满足最小切负荷代价的约束条件。
2.如权利要求1所述的一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，
根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定义最小切负荷代价的约束条件，包括步骤：
基于时间因素和气象因素定义切负荷代价的目标函数；
根据负荷节点与电网的净交换功率和切除率设置所述目标函数的约束条件；
在目标函数满足所述约束条件且求解为最小切负荷代价时输出切负荷策略。
3.如权利要求2所述的一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，
基于时间因素和气象因素定义切负荷代价的目标函数，包括步骤：
根据第一公式确定第n个负荷节点的实际负荷功率；
所述第一公式为：Pload,n＝Pc,n+PDG,n，其中，
n为负荷节点编号，PDG,n为第n个负荷节点的分布式电源出力，Pc,n为第n个负荷节点与电网的净交换功率；
根据第二公式确定所述切负荷代价；
所述第二公式为：
Figure FDA0003082790910000011
其中，
n的范围为1-N,且N为负荷节点总数，k是指用户的种类的总数，ci为第i种用户的单位功率切除代价值，εn,i为第i种用户在第n个负荷节点中所占的功率比值，μn为第n个负荷节点的切除率，Pload,n为第n个负荷节点的实际负荷功率。
4.如权利要求3所述的一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，
所述约束条件为使待切除的负荷量满足第一条件；
所述第一条件包括：
Figure FDA0003082790910000021
其中，
Pshed为待切除的负荷量。
5.如权利要求4所述的一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，
基于强化学习算法对所述切负荷辅助决策模型中的参数进行优化，包括步骤：
基于Deep Q Network算法建立强化学习模型；
基于所述切负荷辅助决策模型定义所述强化学习模型的状态空间、动作空间、奖励函数和收敛条件；
根据历史运行数据将所述状态空间、动作空间和奖励函数所对应的数据样本输入到强化学习模型进行离线训练以优化所述切负荷辅助决策模型中的参数；
基于优化后的参数使所述切负荷辅助决策模型输出最优切负荷策略。
6.如权利要求5所述的一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，
基于所述切负荷辅助决策模型定义所述强化学习模型的输入、输出、奖励函数和收敛条件，包括步骤：
以各负荷节点与电网的净交换功率Pc,n(n＝1,2,...,N)以及所述待切除的负荷量Pshed建立状态空间；
以每个负荷节点对应M种不同比例的切除率μn，并以所述每个负荷节点对应的M种不同比例的切除率μn建立动作空间，其中M为大于或等于1的整数。
7.如权利要求6所述的一种基于强化学习的电网紧急辅助切负荷决策方法，其特征在于，
所述奖励函数满足公式：R＝Ft，median·p，其中，
R为奖励值，Ft,median为每个训练样本下N个节点中切除单个节点的代价估计值的中位数，p为按照M种不同比例的切除率μn组合出的能够满足所述约束条件的最小实际切除节点个数。
8.适用于权利要求1至7任一项所述方法的一种基于强化学习的电网紧急辅助切负荷决策装置，其特征在于，其包括：
切负荷辅助决策模块，其用于根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定义最小切负荷代价的约束条件；
强化学习优化模块，其用于基于强化学习算法对所述切负荷辅助决策模型中的参数进行优化，以使所述切负荷辅助决策模型在待切负荷节点存在重要负荷供电馈线时可根据当前环境因素自适应地输出切负荷策略以满足最小切负荷代价的约束条件。
9.如权利要求8所述的一种基于强化学习的电网紧急辅助切负荷决策装置，其特征在于，
所述切负荷辅助决策模块还用于：
基于时间因素和气象因素定义切负荷代价的目标函数；
根据负荷节点与电网的净交换功率和切除率设置所述目标函数的约束条件；
在目标函数满足所述约束条件且求解为最小切负荷代价时输出切负荷策略；
所述强化学习优化模块还用于：
基于Deep Q Network算法建立强化学习模型；
基于所述述切负荷辅助决策模型定义所述强化学习模型的状态空间、动作空间、奖励函数和收敛条件；
根据历史运行数据将所述状态空间、动作空间和奖励函数所对应的数据样本输入到强化学习模型进行离线训练以优化所述切负荷辅助决策模型中的参数；
基于优化后的参数使所述切负荷辅助决策模型输出最优切负荷策略。
10.如权利要求9所述的一种基于强化学习的电网紧急辅助切负荷决策装置，其特征在于，
所述切负荷辅助决策模块还用于：
根据第一公式确定第n个负荷节点的而实际负荷功率；
所述第一公式为：Pload,n＝Pc,n+PDG,n，其中，
n为负荷节点编号，PDG,n为第n个负荷节点的分布式电源出力，Pc,n为第n个负荷节点与电网的净交换功率；
根据第二公式确定所述切负荷代价；
所述第二公式为：
Figure FDA0003082790910000041
其中，
n的范围为1-N,且N为负荷节点总数，k是指用户的种类的总数，ci为第i种用户的单位功率切除代价值，εn,i为第i种用户在第n个负荷节点中所占的功率比值，μn为第n个负荷节点的切除率，Pload,n为第n个负荷节点的实际负荷功率；
所述约束条件为使待切除的负荷量满足第一条件；
所述第一条件包括：
Figure FDA0003082790910000042
其中，Pshed为待切除的负荷量；
所述强化学习优化模块还用于:
以各负荷节点与电网的净交换功率Pc,n(n＝1,2,...,N)以及所述待切除的负荷量Pshed建立状态空间；
以每个负荷节点对应M种不同比例的切除率μn，并以所述每个负荷节点对应的M种不同比例的切除率μn建立动作空间，其中M为大于或等于1的整数；
所述奖励函数满足公式：R＝Ft，median·p，其中，
R为奖励值，Ft,median为每个训练样本下N个节点中切除单个节点的代价估计值的中位数，p为按照M种不同比例的切除率μn组合出的能够满足所述约束条件的最小实际切除节点个数。
CN202110571292.4A 2021-05-25 2021-05-25 一种基于强化学习的电网紧急辅助切负荷决策方法及装置 Active CN113312839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571292.4A CN113312839B (zh) 2021-05-25 2021-05-25 一种基于强化学习的电网紧急辅助切负荷决策方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571292.4A CN113312839B (zh) 2021-05-25 2021-05-25 一种基于强化学习的电网紧急辅助切负荷决策方法及装置

Publications (2)

Publication Number Publication Date
CN113312839A true CN113312839A (zh) 2021-08-27
CN113312839B CN113312839B (zh) 2022-05-06

Family

ID=77374492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571292.4A Active CN113312839B (zh) 2021-05-25 2021-05-25 一种基于强化学习的电网紧急辅助切负荷决策方法及装置

Country Status (1)

Country Link
CN (1) CN113312839B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962429A (zh) * 2021-09-03 2022-01-21 华南理工大学 一种求解负荷置换的优化方法、系统、装置及介质
CN114094592A (zh) * 2021-11-17 2022-02-25 中国电力科学研究院有限公司 电网紧急切负荷控制方法、系统、设备及存储介质
CN115358534A (zh) * 2022-07-28 2022-11-18 河海大学 基于同态加密强化学习的电器负荷需求响应方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108964042A (zh) * 2018-07-24 2018-12-07 合肥工业大学 基于深度q网络的区域电网运行点调度优化方法
CN111200285A (zh) * 2020-02-12 2020-05-26 燕山大学 一种基于强化学习和多智能体理论的微电网混合协调控制方法
WO2021002966A1 (en) * 2019-07-02 2021-01-07 Microsoft Technology Licensing, Llc Power grid aware machine learning device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108964042A (zh) * 2018-07-24 2018-12-07 合肥工业大学 基于深度q网络的区域电网运行点调度优化方法
WO2021002966A1 (en) * 2019-07-02 2021-01-07 Microsoft Technology Licensing, Llc Power grid aware machine learning device
CN111200285A (zh) * 2020-02-12 2020-05-26 燕山大学 一种基于强化学习和多智能体理论的微电网混合协调控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAN XU等: "《Load Shedding and Restoration for Intentional Island with Renewable Distributed Generation》", 《JOURNAL OF MODERN POWER SYSTEMS AND CLEAN ENERGY》 *
SONGKAI LIU等: "《An integrated scheme for static voltage stability assessment based on correlation detection and random bits forest》", 《INTERNATIONAL JOURNAL OF ELECTRICAL POWER AND ENERGY SYSTEMS》 *
彭刘阳等: "《基于深度强化学习的自适应不确定性经济调度》", 《电力系统自动化》 *
徐陶阳: "《多直流馈入受端电网紧急切负荷控制研究》", 《万方学位论文》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962429A (zh) * 2021-09-03 2022-01-21 华南理工大学 一种求解负荷置换的优化方法、系统、装置及介质
CN113962429B (zh) * 2021-09-03 2024-04-05 华南理工大学 一种求解负荷置换的优化方法、系统、装置及介质
CN114094592A (zh) * 2021-11-17 2022-02-25 中国电力科学研究院有限公司 电网紧急切负荷控制方法、系统、设备及存储介质
CN115358534A (zh) * 2022-07-28 2022-11-18 河海大学 基于同态加密强化学习的电器负荷需求响应方法
CN115358534B (zh) * 2022-07-28 2024-04-23 河海大学 基于同态加密强化学习的电器负荷需求响应方法

Also Published As

Publication number Publication date
CN113312839B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN113312839B (zh) 一种基于强化学习的电网紧急辅助切负荷决策方法及装置
CN109768573B (zh) 基于多目标差分灰狼算法的配电网无功优化方法
CN112465181A (zh) 一种支持源-网-荷-储多元泛在协调的两阶段优化调度方法
CN114336702B (zh) 基于双层随机规划的风光储场站群功率分配协同优化方法
Hong et al. Optimal VAR planning considering intermittent wind power using Markov model and quantum evolutionary algorithm
CN110956324B (zh) 基于改进的moea/d的主动配电网日前高维目标优化调度方法
CN111969593A (zh) 基于混合储能的热电联供微网模型预测控制优化调度方法
CN109034587B (zh) 一种协调多种可控单元的主动配电系统优化调度方法
CN108808737A (zh) 促进可再生分布式电源消纳的主动配电网优化调度方法
CN113452033B (zh) 分区自治的含高比例光伏配电网电压控制方法及存储介质
Cheng et al. Adaptive robust method for dynamic economic emission dispatch incorporating renewable energy and energy storage
CN113224769B (zh) 考虑光伏多状态调节的多时间尺度配电网电压优化方法
CN113937825A (zh) 一种基于E-C-Kmeans聚类和SOP优化的DG双层优化配置方法
Yang et al. A selection hyper-heuristic algorithm for multiobjective dynamic economic and environmental load dispatch
Sayadi et al. Two‐layer volt/var/total harmonic distortion control in distribution network based on PVs output and load forecast errors
CN109038654B (zh) 一种考虑分布式风电高渗透并网的配电系统优化运行方法
CN114784831A (zh) 一种基于移动储能的主动配电网多目标无功优化方法
Pan et al. Dual-layer optimal dispatching strategy for microgrid energy management systems considering demand response
Saric et al. Optimal DG allocation for power loss reduction considering load and generation uncertainties
CN112202168A (zh) 多目标协调优化的多元电网超前控制供电方法及其系统
Wang et al. New method of reactive power compensation for oilfield distribution network
CN115276022A (zh) 考虑分布式光伏接入的配电网多目标潮流电压优化方法
CN113783213B (zh) 一种集中式储能电站选址定容两阶段优化方法
CN113410838B (zh) 一种配电网多目标鲁棒优化模型帕累托最优解分析方法
Wu et al. Voltage optimization model of distribution network based on cross-terminal data fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant