CN116805198A - 基于强化学习与预测分析的电网规划动态的方法及系统 - Google Patents

基于强化学习与预测分析的电网规划动态的方法及系统 Download PDF

Info

Publication number
CN116805198A
CN116805198A CN202310669908.0A CN202310669908A CN116805198A CN 116805198 A CN116805198 A CN 116805198A CN 202310669908 A CN202310669908 A CN 202310669908A CN 116805198 A CN116805198 A CN 116805198A
Authority
CN
China
Prior art keywords
power grid
data
reinforcement learning
model
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310669908.0A
Other languages
English (en)
Inventor
赵筑雨
何文仲
吕飞
陈华彬
吴俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Qianchi Information Co ltd
Original Assignee
Guizhou Qianchi Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Qianchi Information Co ltd filed Critical Guizhou Qianchi Information Co ltd
Priority to CN202310669908.0A priority Critical patent/CN116805198A/zh
Publication of CN116805198A publication Critical patent/CN116805198A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Water Supply & Treatment (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明涉及电网规划动态优化技术领域，本发明公开了基于强化学习与预测分析的电网规划动态的方法包括收集电网规划数据，并进行时序预测；运用强化学习算法对现状问题紧迫性和规划性目标实现两个维度进行综合分析与决策；将预测结果与强化学习算法进行结合，并进行模型训练与优化，得到最优策略；实时更新数据并自适应地调整模型。本发明方法基于动态优化方法可以通过实时做出决策来优化电网运营，从而提高其整体性能。通过使用预测分析，系统可以预测未来的需求和供应变化，并相应地调整电网，使资源利用更加高效，减少能源浪费。

Description

基于强化学习与预测分析的电网规划动态的方法及系统
技术领域
本发明涉及电网规划动态优化技术领域，尤其涉及基于强化学习与预测分析的电网规划动态的方法及系统。
背景技术
电力系统是现代工业和社会的重要组成部分。随着能源需求的增长和电网技术的不断发展，电力系统规划和运行面临着越来越多的挑战。
传统的电网规划方法主要依赖于经验和规则，缺乏对复杂动态环境的适应性。这种方法往往需要大量的计算和人工干预，难以满足电力系统日益增长的需求。
近年来，强化学习(Reinforcement Learning,RL)技术在电力系统领域得到了广泛的应用。RL通过自主学习和探索，可以逐步优化电力系统决策，提高效率和可靠性。同时，预测分析技术可以帮助预测未来的负荷需求和风力/光伏发电等可再生能源的产生量，为电力系统规划和运营提供更可靠的数据支持。
基于强化学习与预测分析的电网规划动态的方法，利用RL技术实现智能化决策，结合预测分析技术对未来的负荷需求和可再生能源发电进行预测，从而实现对电力系统的动态优化。这种方法可以自主学习和适应复杂的动态环境，提高电力系统的响应速度和灵活性，优化供需平衡和降低能源成本，对促进电力系统的可持续发展具有重要意义。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了基于强化学习与预测分析的电网规划动态的方法，能够解决传统的电网规划方法主要依赖于经验和规则，缺乏对复杂动态环境的适应性的问题。
为解决上述技术问题，本发明提供如下技术方案，基于强化学习与预测分析的电网规划动态的方法，包括：
收集电网规划数据，并进行时序预测；
运用强化学习算法对现状问题紧迫性和规划性目标实现两个维度进行综合分析与决策；
将预测结果与强化学习算法进行结合，并进行模型训练与优化，得到最优策略；
实时更新数据并自适应地调整模型。
作为本发明所述的基于强化学习与预测分析的电网规划动态的方法的一种优选方案，其中：所述电网规划数据包括，电力负荷数据、发电量数据、输电线路数据、变电站数据、用户用电数据。
作为本发明所述的基于强化学习与预测分析的电网规划动态的方法的一种优选方案，其中：所述时序预测包括，对收集的电网规划数据进行预处理，将处理结束的数据输入到Transformer模型中，使用训练数据对模型进行训练，通过训练好的Tranformer模型对未来的电网规划数据进行预测，计算预测结果的均方误差，并根据阈值评估预测结果的准确性，若预测结果的准确性不符合要求，则调整模型参数或优化特征工程。
作为本发明所述的基于强化学习与预测分析的电网规划动态的方法的一种优选方案，其中：所述强化学习算法包括，
π*＝argmaxE[∑tγtR(s_t,a_t)|π]
其中，E表示期望值，t表示时间步，γ为折扣因子，取值范围为[0,1]，用于平衡即时奖励与未来奖励，π*为最优策略，s为电网系统当前状态，a为强化学习算法采取的动作，π为强化学习算法在每个状态采取动作的概率分布；
当强化学习算法采取一种动作时，电网系统从一个状态转移到另一个状态的概率P(s'|s,a)，其中，s'为下一个状态，当在状态s采取动作a后获得的奖励为R(s,a)。
作为本发明所述的基于强化学习与预测分析的电网规划动态的方法的一种优选方案，其中：所述强化学习算法与时序预测进行结合包括，使用Tianshou库实现TD3算法，使用最小二乘法拟合法更新目标Q网络中的参数，计算目标Q值，计算公式表示为，
Q_Target(s′,a′)＝r+γmin[Q_1′(s′,μ′(s′)+ε,Q_2′(s′,μ(s′)+ε)]
其中，r是奖励，γ是折扣因子，μ(s′)是目标策略网络对新状态s′给出的动作，ε是服从正态分布的噪声，a′为强化学习算法采取的新动作；
使用均方误差损失，计算两个Q网络的更新梯度并更新参数，
当策略网络执行动作时，将动作添加到噪声并通过裁剪函数将其限制在动作空间内，在规定间隔内的时间步长更新策略网络，更新公式为，
其中，α为策略更新步长，是策略网络的梯度；
根据软更新方法更新目标Q网络和目标策略网络的参数，
θ_Target＝τθ+(1-τ)θ_Target
其中，τ为软更新因子，θ为网络参数；
当训练结束时，利用训练好的策略网络为给定的状态提供最优动作，并在每个年度根据最优动作，选择最佳项目组合并输出，针对不同的需求，通过调整奖励函数及在预处理阶段对项目进行筛选，生成个性化的项目出库计划，满足多样化的电网规划需求。
作为本发明所述的基于强化学习与预测分析的电网规划动态的方法的一种优选方案，其中：所述奖励函数包括，考虑电网稳定性指标、设备利用率、用电量增长需求满足程度、项目投资限制及项目实时的紧迫性的情况，设计奖励函数R，
其中，v为电网实际电网，vmin和vmax为电网的最低电压和最高电圧，c为设备剩余容量，ct为设备总容量，pd为预测用电增长需求，cmax为设备总容量上限，a为采取特定动作所需的实际投资，ab为预算中分配给项目的总投资，et为项目截止日期，t为当前日期，st为项目开始日期，w1为电网稳定性权重，w2为设备利用率权重，w3为用电量增加需求满足程度权重，w4为项目投资限制权重，w5为项目实施紧迫性权重。
作为本发明所述的基于强化学习与预测分析的电网规划动态的方法的一种优选方案，其中：所述模型训练与优化包括，对模型参数进行初始化并构建数据集，使用数据集输入模型，并使用损失函数计算出预测结果与实际结果之间的误差，基于损失函数的梯度，反向传播算法被用来计算每个参数对损失函数的影响大小，根据得到的梯度，对每个参数采用梯度下降法进行更新，若经过重复迭代后，模型的误差变化小于规定阈值时，模型收敛成功，迭代结束，若经过重复迭代后，模型的误差变化大于规定阈值时，继续进行迭代作业，直至误差变化小于规定阈值，迭代结束，模型收敛成功；
梯度下降法包括，
其中，wnew表示迭代后模型参数，wold表示迭代前更新参数，α为学习率，L表示损失函数。
本发明的另外一个目的是提供一种基于强化学习与预测分析的电网规划动态优化系统，减少计算时间和成本，对未来数据进行准确预测，为电网提供精确的数据支持。
基于强化学习与预测分析的电网规划动态的方法的动态优化系统，其特征在于：包括，
数据收集及处理模块，从电网系统中收集数据，并进行清洗和处理；
时序预测分析模块，利用历史数据和趋势分析方法对未来一段时间内发生的时间及数据变化进行预测；
强化模块，利用强化学习算法对当前问题紧迫性和规划性实现两个维度进行综合分析与决策；
系统优化及管理模块，负责对整个系统进行检测、管理及优化。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现基于强化学习与预测分析的电网规划动态的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现基于强化学习与预测分析的电网规划动态的方法的步骤。
本发明的有益效果：本发明方法基于动态优化方法可以通过实时做出决策来优化电网运营，从而提高其整体性能。通过使用预测分析，系统可以预测未来的需求和供应变化，并相应地调整电网，使资源利用更加高效，减少能源浪费。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的基于强化学习与预测分析的电网规划动态的方法流程示意图；
图2为本发明一个实施例提供的基于强化学习与预测分析的电网规划动态的系统流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的第一个实施例，该实施例提供了基于强化学习与预测分析的电网规划动态的方法，包括：
S1：收集电网规划数据，并进行时序预测；
更进一步的，所述电网规划数据包括，电力负荷数据、发电量数据、输电线路数据、变电站数据、数据。
应说明的是，所述时序预测包括，对收集的电网规划数据进行预处理，将处理结束的数据输入到Transformer模型中，使用训练数据对模型进行训练，通过训练好的Tranformer模型对未来的电网规划数据进行预测，计算预测结果的均方误差，并根据阈值评估预测结果的准确性，若预测结果的准确性不符合要求，则调整模型参数或优化特征工程。
S2：运用强化学习算法对现状问题紧迫性和规划性目标实现两个维度进行综合分析与决策；
更进一步的，所述强化学习算法包括，
π*＝argmaxE[∑tγtR(s_t,a_t)|π]
其中，E表示期望值，t表示时间步，γ为折扣因子，取值范围为[0,1]，用于平衡即时奖励与未来奖励，π*为最优策略，s为电网系统当前状态，a为强化学习算法采取的动作，π为强化学习算法在每个状态采取动作的概率分布；
当强化学习算法采取一种动作时，电网系统从一个状态转移到另一个状态的概率P(s'|s,a)，其中，s'为下一个状态，当在状态s采取动作a后获得的奖励为R(s,a)。
S3：将预测结果与强化学习算法进行结合，并进行模型训练与优化，得到最优策略；
更进一步的，所述强化学习算法与时序预测进行结合包括，使用Tianshou库实现TD3算法，使用最小二乘法拟合法更新目标Q网络中的参数，计算目标Q值，计算公式表示为，
Q_Target(s′,a′)＝r+γmin[Q_1′(s′,μ′(s′)+ε,Q_2′(s′,μ(s′)+ε)]
其中，r是奖励，γ是折扣因子，μ(s′)是目标策略网络对新状态s′给出的动作，ε是服从正态分布的噪声，a′为强化学习算法采取的新动作；
使用均方误差损失，计算两个Q网络的更新梯度并更新参数，
MSE＝(Q_Target(s′,a′)-Q(s,a))2
当策略网络执行动作时，将动作添加到噪声并通过裁剪函数将其限制在动作空间内，在规定间隔内的时间步长更新策略网络，更新公式为，
其中，α为策略更新步长，是策略网络的梯度；
根据软更新方法更新目标Q网络和目标策略网络的参数，
θ_Target＝τθ+(1-τ)θ_Target
其中，τ为软更新因子，θ为网络参数；
当训练结束时，利用训练好的策略网络为给定的状态提供最优动作，并在每个年度根据最优动作，选择最佳项目组合并输出，针对不同的需求，通过调整奖励函数及在预处理阶段对项目进行筛选，生成个性化的项目出库计划，满足多样化的电网规划需求。
应说明的是，所述奖励函数包括，考虑电网稳定性指标、设备利用率、用电量增长需求满足程度、项目投资限制及项目实时的紧迫性的情况，设计奖励函数R，
其中，v为电网实际电网，vmin和vmax为电网的最低电压和最高电圧，c为设备剩余容量，ct为设备总容量，pd为预测用电增长需求，cmax为设备总容量上限，a为采取特定动作所需的实际投资，ab为预算中分配给项目的总投资，et为项目截止日期，t为当前日期，st为项目开始日期，w1为电网稳定性权重，w2为设备利用率权重，w3为用电量增加需求满足程度权重，w4为项目投资限制权重，w5为项目实施紧迫性权重。
更进一步的，将奖励函数划分为不同的权重w1至w5是为了反映电网规划中各个因素的重要性，这些因素包括电网稳定性、设备利用率、用电需求满足度、项目投资限制以及项目实施紧迫性等。通过调整这些权重，我们可以根据实际情况和业务需求，优化电网规划的策略。
应说明的是，量化各因素的重要性，权重w1至w5可以帮助我们量化各个因素在决策中的重要性。在实际的电网规划中，我们可能面临多个相互冲突的目标，例如，我们可能既希望提高设备的利用率，又希望控制项目的成本。在这种情况下，我们可以通过调整这些权重来决定优先考虑哪个目标。
更进一步的，灵活性和可调整性，使用多个权重可以提供更高的灵活性和可调整性。我们可以根据实际的业务需求或环境变化，随时调整这些权重，以优化我们的决策。
应说明的是，所述模型训练与优化包括，对模型参数进行初始化并构建数据集，使用数据集输入模型，并使用损失函数计算出预测结果与实际结果之间的误差，基于损失函数的梯度，反向传播算法被用来计算每个参数对损失函数的影响大小，根据得到的梯度，对每个参数采用梯度下降法进行更新，若经过重复迭代后，模型的误差变化小于规定阈值时，模型收敛成功，迭代结束，若经过重复迭代后，模型的误差变化大于规定阈值时，继续进行迭代作业。
更近一步的，所述梯度下降法包括，
其中，wnew表示迭代后模型参数，wold表示迭代前更新参数，α为学习率，L表示损失函数。
更进一步的，在模型训练时，需要将数据集分为训练集和验证集，将数据集中的样本数据按照70％训练集和20％数据集、10％的测试集，在划分数据集之前，将数据集随机打乱，以避免训练集、验证集和测试集中出现同一类别的样本或相似样本，为了确保训练集、验证集和测试集中都包含各类别的样本，使用分层采样法，按照每类别的比例将数据集划分成若干子集，并从每个子集按照比例抽取样本到训练集、验证集和测试集中，在模型训练过程中，可以使用验证集来评估模型性能，并根据验证集的结果调整魔性的参数和超参数，但是在进行模型选择和调优时，不能使用测试集的信息，最终评估模型性能时，需要使用测试集的数据来验证模型的泛华能力。
更进一步的，在迭代计算过程中，还需要考虑以下约束条件，学习率决定了每次参数更新的幅度，过大或过小都会影响模型性能，需根据现场及实际问题对模型特点来设定合适的学习率。
S4：实时更新数据并自适应地调整模型。
更进一步的，收集实时的电网运行数据、气象数据、用电需求数据等。这些数据对于捕捉电网规划需求的变化和预测未来趋势至关重要。在线学习是指模型在接收到新数据时及时更新参数，以适应环境的变化。使用在线梯度下降算法、在线Q学习算法等在线学习方法。根据实时数据和模型的表现，可以动态调整模型参数，如学习率、折扣因子等。调整模型参数可以帮助模型更好地适应环境的变化，提高预测和决策效果。在每次迭代过程中，智能体根据当前状态和实时数据选择最优动作。随着环境的变化，智能体会不断更新其策略，以实现最佳的项目出库计划。在模型自适应调整过程中，需要平衡探索(尝试新策略)与利用(采用已知最优策略)之间的权衡。在整个自适应调整过程中，需要持续验证模型的性能和稳定性。使用交叉验证、模型评估指标(如准确率、召回率等)等方法对模型进行监控。若模型性能下降或出现异常，可以及时进行调整和优化。
应说明的是，不同地区可能存在不同的气候条件、资源分布、经济发展水平等因素，这些差异会影响电网规划需求。例如，丰水期和枯水期的水电站需求可能会有很大差别，太阳能资源丰富的地区可能需要更多的太阳能发电设备。
应说明的是，不同行业的用电需求和负荷特性可能不同。例如，重工业可能需要稳定的大功率电源，而数据中心则需要高质量的不间断电源。因此，针对不同行业的电网规划需求可能会有所不同。
实施例2
参照图2，为本发明的第一个实施例，该实施例提供了一种监控信息主站验证系统，包括：
数据收集及处理模块，从电网系统中收集数据，并进行清洗和处理，这些数据包括能源供需情况、市场价格信息、天气状况等，也包括电网规划历史数据等，这些数据将被用于时序预测分析模块进行预测。
时序预测分析模块，利用历史数据和趋势分析方法对未来一段时间内发生的时间及数据变化进行预测，可以使用时间序列分析、回归分析等方法对电网负荷、新能源发电量、电价等进行预测，并将预测结果提供给强化学习模块。
强化模块，利用强化学习算法对当前问题紧迫性和规划性实现两个维度进行综合分析与决策，得到最优策略，根据实时的检测数据和预测结果，调整电网的运行状态，以满足当前需求和最大化长期利益。
系统优化及管理模块，负责对整个系统进行检测、管理及优化，通过强化学习算法进行调参，更新模型等来提高系统性能，同时该模块还可以对整个系统进行监控，及时发现和解决潜在的问题。
数据收集及处理模块采集到的数据将有时序预测分析模块进行处理和预测，时序预测分析模块的预测结果将作为强化学习模块决策的依据，强化学习模块的决策结果将传递给系统优化及管理模块执行，同时系统优化及管理模块也会对整个系统进行监测和优化，以更好地满足电网的需求。
实施例3
本发明第三个实施例，其不同于前两个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
实施例4
为本发明的一个实施例，提供了基于强化学习与预测分析的电网规划动态的方法及系统，为了验证本发明的有益效果，通过实验进行科学论证。
需要收集历史数据，包括电流、电压、有功功率、无功功率等设备参数，以及相关时间如表1所示，
表1
时间 设备ID 电流 电压 有功功率 无功功率
2021-01-01 1 20 220 4.4 2.2
2021-01-01 1 21 219 4.6 2.3
…… …… …… …… …… ……
2021-01-01 1 25 218 5.5 2.8
将原始数据整理成适用于Transformer模型的格式。对于时间序列预测，可以将数据构建为多元时间序列。在这里，我们将设备参数作为特征，并将时间戳作为序列顺序。另外，我们需要将数据划分为训练集、验证集和测试集。
为了提高模型的性能，我们需要对数据进行标准化处理。这里，我们将使用标准化(StandardScaler)方法，使每个特征的均值为0，标准差为1。记得在训练集上拟合StandardScaler，然后将其应用于验证集和测试集，以防止数据泄露。
根据经验，创建一个合适的时间窗口(例如，24小时)，这将用于训练Transformer模型。该窗口应包含足够的信息来捕捉设备数据的短期和长期趋势。在本示例中，每天的数据点为24*60/15＝96。
在测试集上评估训练好的模型，计算模型的性能指标，如MAE(平均绝对误差)、MSE(均方误差)、RMSE(均方根误差)和MAPE(平均绝对百分比误差)。分析模型在预测未来用电量增长方面的准确性和稳定性。根据评估结果，对模型进行相应的调整，如更改超参数或采用不同的优化器等。
使用训练好的Transformer模型预测未来用电量增长情况。基于预测结果，可以进一步规划电网资源的投资、分配和优化。预测结果可用于制定合理的项目出库计划，以确保电网的稳定运行和满足未来用电需求。
根据以上步骤，我们可以使用Transformer模型对未来用电量增长进行预测。首先收集历史数据并进行预处理，然后标准化数据并创建时间窗口。接下来，构建并训练Transformer模型，进行模型评估与调优，最后根据预测结果进行电网规划。在实际应用中，定期更新和微调模型至关重要，以确保预测结果的准确性和可靠性。
应说明的是，以上实施例仅用于说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于强化学习与预测分析的电网规划动态的方法，其特征在于：包括，
收集电网规划数据，并进行时序预测；
运用强化学习算法对现状问题紧迫性和规划性目标实现两个维度进行综合分析与决策；
将预测结果与强化学习算法进行结合，并进行模型训练与优化，得到最优策略；
实时更新数据并自适应地调整模型。
2.如权利要求1所述的基于强化学习与预测分析的电网规划动态的方法，其特征在于：所述电网规划数据包括，电力负荷数据、发电量数据、输电线路数据、变电站数据、用户用电数据。
3.如权利要求2所述的基于强化学习与预测分析的电网规划动态的方法，其特征在于：所述时序预测包括，对收集的电网规划数据进行预处理，将处理结束的数据输入到Transformer模型中，使用训练数据对模型进行训练，通过训练好的Tranformer模型对未来的电网规划数据进行预测，计算预测结果的均方误差，并根据阈值评估预测结果的准确性，若预测结果的准确性不符合要求，则调整模型参数或优化特征工程。
4.如权利要求3所述的基于强化学习与预测分析的电网规划动态的方法，其特征在于：所述强化学习算法包括，
π*＝argmaxE[∑tγtR(s_t,a_t)|π]
其中，E表示期望值，t表示时间步，γ为折扣因子，取值范围为[0,1]，用于平衡即时奖励与未来奖励，π*为最优策略，s为电网系统当前状态，a为强化学习算法采取的动作，π为强化学习算法在每个状态采取动作的概率分布；
当强化学习算法采取一种动作时，电网系统从一个状态转移到另一个状态的概率P(s'|s,a)，其中，s'为下一个状态，当在状态s采取动作a后获得的奖励为R(s,a)。
5.如权利要求4所述的基于强化学习与预测分析的电网规划动态的方法，其特征在于：所述强化学习算法与时序预测进行结合包括，使用Tianshou库实现TD3算法，使用最小二乘法拟合法更新目标Q网络中的参数，计算目标Q值，计算公式表示为，
Q_Target(s′,a′)＝r+γmin[Q_1′(s′,μ′(s′)+ε,Q_2′(s′,μ(s′)+ε)]其中，r是奖励，γ是折扣因子，μ(s′)是目标策略网络对新状态s′给出的动作，ε是服从正态分布的噪声，a′为强化学习算法采取的新动作；
使用均方误差损失，计算两个Q网络的更新梯度并更新参数，
MSE＝(Q_Target(s′,a′)-Q(s,a))2
当策略网络执行动作时，将动作添加到噪声并通过裁剪函数将其限制在动作空间内，在规定间隔内的时间步长更新策略网络，更新公式为，
其中，α为策略更新步长，是策略网络的梯度；
根据软更新方法更新目标Q网络和目标策略网络的参数，
θ_Target＝τθ+(1-τ)θ_Target
其中，τ为软更新因子，θ为网络参数；
当训练结束时，利用训练好的策略网络为给定的状态提供最优动作，并在每个年度根据最优动作，选择最佳项目组合并输出，针对不同的需求，通过调整奖励函数及在预处理阶段对项目进行筛选，生成个性化的项目出库计划，满足多样化的电网规划需求。
6.如权利要求5所述的基于强化学习与预测分析的电网规划动态的方法，其特征在于：所述奖励函数包括，考虑电网稳定性指标、设备利用率、用电量增长需求满足程度、项目投资限制及项目实时的紧迫性的情况，设计奖励函数R，
其中，v为电网实际电网，vmin和vmax为电网的最低电压和最高电圧，c为设备剩余容量，ct为设备总容量，pd为预测用电增长需求，cmax为设备总容量上限，a为采取特定动作所需的实际投资，ab为预算中分配给项目的总投资，et为项目截止日期，t为当前日期，st为项目开始日期，w1为电网稳定性权重，w2为设备利用率权重，w3为用电量增加需求满足程度权重，w4为项目投资限制权重，w5为项目实施紧迫性权重。
7.如权利要求6所述的基于强化学习与预测分析的电网规划动态的方法，其特征在于：所述模型训练与优化包括，对模型参数进行初始化并构建数据集，使用数据集输入模型，并使用损失函数计算出预测结果与实际结果之间的误差，基于损失函数的梯度，反向传播算法被用来计算每个参数对损失函数的影响大小，根据得到的梯度，对每个参数采用梯度下降法进行更新，若经过重复迭代后，模型的误差变化小于规定阈值时，模型收敛成功，迭代结束，若经过重复迭代后，模型的误差变化大于规定阈值时，继续进行迭代作业，直至误差变化小于规定阈值，迭代结束，模型收敛成功；
梯度下降法包括，
其中，wnew表示迭代后模型参数，wold表示迭代前更新参数，α为学习率，L表示损失函数。
8.一种基于权利要求1-7任一所述的基于强化学习与预测分析的电网规划动态优化系统，其特征在于：包括，
数据收集及处理模块，从电网系统中收集数据，并进行清洗和处理；
时序预测分析模块，利用历史数据和趋势分析方法对未来一段时间内发生的时间及数据变化进行预测；
强化模块，利用强化学习算法对当前问题紧迫性和规划性实现两个维度进行综合分析与决策；
系统优化及管理模块，负责对整个系统进行检测、管理及优化。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310669908.0A 2023-06-07 2023-06-07 基于强化学习与预测分析的电网规划动态的方法及系统 Pending CN116805198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310669908.0A CN116805198A (zh) 2023-06-07 2023-06-07 基于强化学习与预测分析的电网规划动态的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310669908.0A CN116805198A (zh) 2023-06-07 2023-06-07 基于强化学习与预测分析的电网规划动态的方法及系统

Publications (1)

Publication Number Publication Date
CN116805198A true CN116805198A (zh) 2023-09-26

Family

ID=88079284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310669908.0A Pending CN116805198A (zh) 2023-06-07 2023-06-07 基于强化学习与预测分析的电网规划动态的方法及系统

Country Status (1)

Country Link
CN (1) CN116805198A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094478A (zh) * 2023-10-19 2023-11-21 深圳库博能源股份有限公司 能量调度管理方法、装置、设备及存储介质
CN117132089A (zh) * 2023-10-27 2023-11-28 邯郸欣和电力建设有限公司 用电策略优化调度方法及装置
CN117391890A (zh) * 2023-12-12 2024-01-12 无锡市德宁节能科技有限公司 一种物联网护栏的电能管理控制方法
CN117540938A (zh) * 2024-01-10 2024-02-09 杭州经纬信息技术股份有限公司 基于td3强化学习优化的集成式建筑能耗预测方法及系统
CN117728587A (zh) * 2024-02-07 2024-03-19 华能江苏综合能源服务有限公司 一种新能源发电设备运行数据的实时监控系统及方法
CN117973806A (zh) * 2024-03-28 2024-05-03 浙江大有实业有限公司杭州科技发展分公司 一种面向保电drs计划生成的方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094478A (zh) * 2023-10-19 2023-11-21 深圳库博能源股份有限公司 能量调度管理方法、装置、设备及存储介质
CN117094478B (zh) * 2023-10-19 2024-02-06 深圳库博能源股份有限公司 能量调度管理方法、装置、设备及存储介质
CN117132089A (zh) * 2023-10-27 2023-11-28 邯郸欣和电力建设有限公司 用电策略优化调度方法及装置
CN117132089B (zh) * 2023-10-27 2024-03-08 邯郸欣和电力建设有限公司 用电策略优化调度方法及装置
CN117391890A (zh) * 2023-12-12 2024-01-12 无锡市德宁节能科技有限公司 一种物联网护栏的电能管理控制方法
CN117391890B (zh) * 2023-12-12 2024-02-23 无锡市德宁节能科技有限公司 一种物联网护栏的电能管理控制方法
CN117540938A (zh) * 2024-01-10 2024-02-09 杭州经纬信息技术股份有限公司 基于td3强化学习优化的集成式建筑能耗预测方法及系统
CN117540938B (zh) * 2024-01-10 2024-05-03 杭州经纬信息技术股份有限公司 基于td3强化学习优化的集成式建筑能耗预测方法及系统
CN117728587A (zh) * 2024-02-07 2024-03-19 华能江苏综合能源服务有限公司 一种新能源发电设备运行数据的实时监控系统及方法
CN117728587B (zh) * 2024-02-07 2024-05-10 华能江苏综合能源服务有限公司 一种新能源发电设备运行数据的实时监控系统及方法
CN117973806A (zh) * 2024-03-28 2024-05-03 浙江大有实业有限公司杭州科技发展分公司 一种面向保电drs计划生成的方法及系统

Similar Documents

Publication Publication Date Title
CN116805198A (zh) 基于强化学习与预测分析的电网规划动态的方法及系统
US20190265768A1 (en) Method, system and storage medium for predicting power load probability density based on deep learning
Saber et al. Developing a multi-objective framework for expansion planning studies of distributed energy storage systems (DESSs)
US20230198258A1 (en) Apparatus and method for optimizing carbon emissions in a power grid
US11068820B2 (en) Avoiding peak energy demand times by managing consumer energy consumption
CN105740975A (zh) 一种基于数据关联关系的设备缺陷评估与预测方法
Zhao et al. A stochastic distribution system planning method considering regulation services and energy storage degradation
CN115511634A (zh) 基于结算收入的电力市场新能源日前交易决策方法和装置
Pinto et al. Coping with wind power uncertainty in unit commitment: A robust approach using the new hybrid metaheuristic deepso
CN112766535B (zh) 一种考虑负荷曲线特征的建筑负荷预测方法及系统
CN113468811B (zh) 含新能源机组的电网备用容量概率化动态评估方法及系统
CN116342176A (zh) 一种电力市场现货电能量交易规则的火电企业分段报价方法
CN115660500A (zh) 一种新能源发电项目弃电率评估方法
CN115796341A (zh) 一种基于碳效码的企业低碳经济表现的协同测度方法
CN115099534A (zh) 一种电源规划方案优选方法
KR102556093B1 (ko) 전력의 피크 부하를 저감하기 위한 보상 생성 방법 및 그 방법을 수행하는 동작 제어 장치
CN114759579A (zh) 一种基于数据驱动的电网有功优化控制系统、方法和介质
Zhao et al. An adaptive decision‐making approach for transmission expansion planning considering risk assessment of renewable energy extreme scenarios
CN113067329B (zh) 一种电力系统的可再生能源适应性优化方法及终端
Zhou et al. Capacity evaluation of hydropower for accommodating wind‐photovoltaic power generation in the dry season
CN114650190B (zh) 数据中心网络的节能方法、系统、终端设备及存储介质
EP4386638A1 (en) A method of managing resource flow between consumer and a resource supplier network
CN118133062A (zh) 一种智能县域配电网网格优化方法及系统
US20230063791A1 (en) Model management device and model managing method
CN116667315A (zh) 基于预测随机性气象-功率分区刻画的电力市场运行备用需求量化方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination