CN116070741A - 一种基于深度强化学习的调度优化决策系统及其存储介质 - Google Patents

一种基于深度强化学习的调度优化决策系统及其存储介质 Download PDF

Info

Publication number
CN116070741A
CN116070741A CN202211680717.6A CN202211680717A CN116070741A CN 116070741 A CN116070741 A CN 116070741A CN 202211680717 A CN202211680717 A CN 202211680717A CN 116070741 A CN116070741 A CN 116070741A
Authority
CN
China
Prior art keywords
power grid
grid
optimization decision
reinforcement learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211680717.6A
Other languages
English (en)
Inventor
李红
王伟
陆继翔
刘军君
张韬
张琪培
陈天宇
旷文腾
谢峰
唐宁恺
束蛟
伍林
严晴
王朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Technology Co Ltd
Original Assignee
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Technology Co Ltd filed Critical Nari Technology Co Ltd
Priority to CN202211680717.6A priority Critical patent/CN116070741A/zh
Publication of CN116070741A publication Critical patent/CN116070741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于深度强化学习的调度优化决策系统及其存储介质,包括:数据处理层,用于对电网采集的电网历史数据或电网实时数据进行相关性处理;还用于电网历史数据和电网实时数据的预处理;模型构建层,用于在电网运行的基本规则基础上融合专家经验形成调度优化决策强化学习模型的训练输入值,获得调度优化决策系统;系统应用层,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划。本发明设立了数据处理层、模型构建层和系统应用层,处理电网实时采集数据,融合专家经验提取特征值,训练调度优化决策强化学习模型,提高了新能源充分消纳下的电网安全稳定运行效率。

Description

一种基于深度强化学习的调度优化决策系统及其存储介质
技术领域
本发明涉及一种基于深度强化学习的调度优化决策系统及其存储介质,属于智能调度技术领域。
背景技术
随着特高压交直流系统建设,光伏风电等新能源发电基地的大规模接入,新型电力电子设备大量投入应用,电网调度人员面对电网安稳边界频繁调整,安稳边界制定工作面临日趋复杂和精细的新兴挑战。新能源高比例接入电网的发电侧受各类外界因素影响,表现出强随机性和波动性,电网运行趋势不确定性显著增强,增加了调度操作风险。针对电网源荷双侧波动性带来的平衡及消纳问题,需要借助人工智能技术实现调度优化决策系统,能够快速给出电网运行方式调整策略,在保证电网安全运行条件下最大程度消纳新能源。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,提供一种基于深度强化学习的调度优化决策系统及其存储介质。
为达到上述目的,本发明提供一种基于深度强化学习的调度优化决策系统,包括:
数据处理层,用于对电网采集的电网历史数据或电网实时数据进行相关性处理;还用于电网历史数据和电网实时数据的预处理;
模型构建层,用于在电网运行的基本规则基础上融合专家经验形成调度优化决策强化学习模型的训练输入值,获得调度优化决策系统;
系统应用层,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划。
优先地,所述数据处理层,包括:
数据相关性分析模块,用于分析电网实时数据之间的相关性;
数据预处理模块,用于对电网历史数据和电网实时数据的预处理;
数据价值权重分析模块,用于提取电网历史数据的特征值,将特征值作为调度优化决策强化学习模型的训练输入值,确定电网历史数据对电网安全稳定运行的影响权重,最终获得调度优化决策系统。
优先地,所述模型构建层,包括:
特征提取模块,依据专家经验与电网运行的基本规则,建立调度优化决策强化学习模型,提取电网历史数据的特征值;
模型训练模块,利用观测空间和动作空间的特征值做为调度优化决策强化学习模型的训练输入值。
优先地,所述系统应用层,包括:
新能源消纳模块,用于根据电网实时数据,制定新能源消纳计划;
调度计划生成模块,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划;
潮流优化模块,用于基于新能源消纳计划与电网调度计划,调整新能源与火电机组出力。
优先地,历史数据包括历史电网电压、历史电网电流、历史电网无功、历史电网有功、历史电网线损和历史电网线路热损值;
实时数据包括电网电压、电网电流、电网无功、电网有功、电网线损和电网线路热损值。
优先地,预处理包括查重和去误。
优先地,电网运行的基本规则包括电压安全约束和潮流安全约束。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本发明所达到的有益效果:
本发明提供的一种基于深度强化学习的调度优化决策系统分层设立了数据处理层、模型构建层和系统应用层,该架构可以处理电网实时采集数据,融合专家经验提取特征值,训练调度优化决策强化学习模型,在电网状态与专家经验的基础上提供一种调度计划辅助策略,提高了新能源充分消纳下的电网安全稳定运行效率。
附图说明
图1是本发明的原理框图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明提供一种基于深度强化学习的调度优化决策系统,包括:
数据处理层,用于对电网采集的电网历史数据或电网实时数据进行相关性处理;还用于电网历史数据和电网实时数据的预处理;还用于数据价值权重分析,最终提取特征值做为深度强化学习模型的输入;
模型构建层,用于在电网运行的基本规则基础上融合专家经验形成调度优化决策强化学习模型的训练输入值,获得调度优化决策系统;用于深度强化学习的模型参数设计与模型训练,最终形成调度优化决策系统。
系统应用层,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划;用于在充分消纳新能源的基础上,实现电网潮流优化的功能。
优先地,所述数据处理层,包括:
数据相关性分析模块,用于分析电网实时数据之间的相关性;
数据预处理模块,用于对电网历史数据和电网实时数据的预处理,从而提高电网状态的数据质量;
数据价值权重分析模块,用于提取电网历史数据的特征值,将特征值作为调度优化决策强化学习模型的训练输入值,确定电网历史数据对电网安全稳定运行的影响权重,为深度强化学习模型训练提供参考,最终获得调度优化决策系统。
优先地,所述模型构建层,包括:
特征提取模块,依据专家经验与电网运行的基本规则,建立调度优化决策强化学习模型,提取电网历史数据的特征值;
模型训练模块,利用观测空间和动作空间的特征值做为调度优化决策强化学习模型的训练输入值。在确定强化学习算法、网络模型层次、特征输入、目标输出的基础上,优化模型训练参数,实现精准学习。
优先地,所述系统应用层,包括:
新能源消纳模块,用于根据电网实时数据,制定新能源消纳计划;
调度计划生成模块,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划;
潮流优化模块,用于基于新能源消纳计划与电网调度计划,调整新能源与火电机组出力。在新能源与火电机组出力计划确定的基础上,基于深度强化学习的调度优化决策系统根据电网电压、潮流安全约束的规则调整新能源与火电机组出力,实现整个电网的安全、稳定、经济运行。
优先地,历史数据包括历史电网电压、历史电网电流、历史电网无功、历史电网有功、历史电网线损和历史电网线路热损值;
实时数据包括电网电压、电网电流、电网无功、电网有功、电网线损和电网线路热损值。
优先地,预处理包括查重和去误。
优先地,电网运行的基本规则包括电压安全约束和潮流安全约束。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
所述潮流优化模块是在新能源最大消纳和火电机组生产计划的基础上,依据电网实时采集的电压、电流、无功、有功、线损、线路热损值等数据基础上进行潮流优化,保障电网安全稳定运行。
调度优化决策强化学习模型的内部网络结构属于现有技术,在现有技术中可采用的很多,本领域技术人员可根据实际需求选用合适的,本实施例不再一一举例。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于深度强化学习的调度优化决策系统,其特征在于,包括:
数据处理层,用于对电网采集的电网历史数据或电网实时数据进行相关性处理;还用于电网历史数据和电网实时数据的预处理;
模型构建层,用于在电网运行的基本规则基础上融合专家经验形成调度优化决策强化学习模型的训练输入值,获得调度优化决策系统;
系统应用层,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划。
2.根据权利要求1所述的一种基于深度强化学习的调度优化决策系统,其特征在于,
所述数据处理层,包括:
数据相关性分析模块,用于分析电网实时数据之间的相关性;
数据预处理模块,用于对电网历史数据和电网实时数据的预处理;
数据价值权重分析模块,用于提取电网历史数据的特征值,将特征值作为调度优化决策强化学习模型的训练输入值,确定电网历史数据对电网安全稳定运行的影响权重,最终获得调度优化决策系统。
3.根据权利要求2所述的一种基于深度强化学习的调度优化决策系统,其特征在于,
所述模型构建层,包括:
特征提取模块,依据专家经验与电网运行的基本规则,建立调度优化决策强化学习模型,提取电网历史数据的特征值;
模型训练模块,利用观测空间和动作空间的特征值做为调度优化决策强化学习模型的训练输入值。
4.根据权利要求1所述的一种基于深度强化学习的调度优化决策系统,其特征在于,
所述系统应用层,包括:
新能源消纳模块,用于根据电网实时数据,制定新能源消纳计划;
调度计划生成模块,用于将电网实时数据输入训练获得的调度优化决策系统,输出电网调度计划;
潮流优化模块,用于基于新能源消纳计划与电网调度计划,调整新能源与火电机组出力。
5.根据权利要求1所述的一种基于深度强化学习的调度优化决策系统,其特征在于,
历史数据包括历史电网电压、历史电网电流、历史电网无功、历史电网有功、历史电网线损和历史电网线路热损值;
实时数据包括电网电压、电网电流、电网无功、电网有功、电网线损和电网线路热损值。
6.根据权利要求1所述的一种基于深度强化学习的调度优化决策系统,其特征在于,
预处理包括查重和去误。
7.根据权利要求1所述的一种基于深度强化学习的调度优化决策系统,其特征在于,
电网运行的基本规则包括电压安全约束和潮流安全约束。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202211680717.6A 2022-12-27 2022-12-27 一种基于深度强化学习的调度优化决策系统及其存储介质 Pending CN116070741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211680717.6A CN116070741A (zh) 2022-12-27 2022-12-27 一种基于深度强化学习的调度优化决策系统及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211680717.6A CN116070741A (zh) 2022-12-27 2022-12-27 一种基于深度强化学习的调度优化决策系统及其存储介质

Publications (1)

Publication Number Publication Date
CN116070741A true CN116070741A (zh) 2023-05-05

Family

ID=86174123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211680717.6A Pending CN116070741A (zh) 2022-12-27 2022-12-27 一种基于深度强化学习的调度优化决策系统及其存储介质

Country Status (1)

Country Link
CN (1) CN116070741A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094478A (zh) * 2023-10-19 2023-11-21 深圳库博能源股份有限公司 能量调度管理方法、装置、设备及存储介质
CN117498306A (zh) * 2023-10-08 2024-02-02 湖南第一师范学院 一种微电网优化调度方法、系统、介质、设备及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117498306A (zh) * 2023-10-08 2024-02-02 湖南第一师范学院 一种微电网优化调度方法、系统、介质、设备及终端
CN117094478A (zh) * 2023-10-19 2023-11-21 深圳库博能源股份有限公司 能量调度管理方法、装置、设备及存储介质
CN117094478B (zh) * 2023-10-19 2024-02-06 深圳库博能源股份有限公司 能量调度管理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Diao et al. Autonomous voltage control for grid operation using deep reinforcement learning
CN116070741A (zh) 一种基于深度强化学习的调度优化决策系统及其存储介质
CN104616069B (zh) 一种年度发电计划滚动分解优化方法
CN104882905B (zh) 一种考虑暂态安全约束的新能源接纳能力评估方法
CN107123988B (zh) 一种考虑恢复量不确定的停电电网负荷恢复二阶锥规划方法
Rubaai et al. Self-tuning load frequency control: multilevel adaptive approach
CN106600136B (zh) 一种电力断面越限控制效率评估方法
CN103455716B (zh) 一种基于超短期风电功率预测的电力系统电压稳定裕度计算方法
Bao et al. Field verification of frequency control by energy-intensive loads for isolated power systems with high penetration of wind power
CN103473393B (zh) 一种考虑随机概率的输电裕度控制模型建模方法
CN108695857A (zh) 风电场自动电压控制方法、装置及系统
CN109787243A (zh) 一种人工紧急减负荷在线优化决策方法、系统及存储介质
US20240006891A1 (en) Two-stage self-organizing optimized aggregation method and system for distributed resources of virtual power plant (vpp)
CN108879721A (zh) 一种基于风电消纳的频率控制方法
CN106549418A (zh) 一种风电场有功功率控制方法
CN104578050B (zh) 一种电网暂态稳定强相关输电断面的识别方法
CN107425605A (zh) 智能电网条件下配电自动化价值优化调控系统及方法
CN115549118A (zh) 配电网无功补偿设备出力平滑指数预测方法
CN104037813B (zh) 一种考虑电网安全的电力系统风电场自由发电控制方法
CN104361401B (zh) 一种实时发电计划闭环控制的分步优化方法
CN105576712B (zh) 一种基于自适应极点配置的风电场有功功率在线控制方法
Nakawiro et al. A combined GA-ANN strategy for solving optimal power flow with voltage security constraint
CN113346553A (zh) 一种可再生能源发电站出力占比的评估方法和装置
Uyioghosa et al. DMPC scheme for load frequency control with application to interconnected power system
CN105896590A (zh) 一种考虑清洁能源的发电优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination