CN113098073B - 一种考虑源荷双侧弹性空间的日前调度优化方法 - Google Patents

一种考虑源荷双侧弹性空间的日前调度优化方法 Download PDF

Info

Publication number
CN113098073B
CN113098073B CN202110366782.0A CN202110366782A CN113098073B CN 113098073 B CN113098073 B CN 113098073B CN 202110366782 A CN202110366782 A CN 202110366782A CN 113098073 B CN113098073 B CN 113098073B
Authority
CN
China
Prior art keywords
generating unit
formula
thermal power
power generating
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110366782.0A
Other languages
English (en)
Other versions
CN113098073A (zh
Inventor
唐昊
昌柯君
王正风
吴旭
李智
吕凯
谭琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
State Grid Anhui Electric Power Co Ltd
Original Assignee
Hefei University of Technology
State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, State Grid Anhui Electric Power Co Ltd filed Critical Hefei University of Technology
Priority to CN202110366782.0A priority Critical patent/CN113098073B/zh
Publication of CN113098073A publication Critical patent/CN113098073A/zh
Application granted granted Critical
Publication of CN113098073B publication Critical patent/CN113098073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • H02J3/144—Demand-response operation of the power transmission or distribution network
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
    • Y02B70/3225—Demand response systems, e.g. load shedding, peak shaving
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
    • Y04S20/20—End-user application control systems
    • Y04S20/222—Demand response systems, e.g. load shedding, peak shaving

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种考虑源荷双侧弹性空间的日前调度优化方法，首先建立包含火电机组、风力发电机组、刚性负荷以及柔性负荷在内的区域内电网的数学模型；然后将包含电网源荷双侧弹性可调度资源的区域内电网动态调度问题建立成相应的MDP数学模型；最后采用深度强化学习中的近端策略优化算法的对MDP数学模型进行策略求解，所得优化策略能够根据调度时刻电网的实际运行状态选取合理的行动方案，实现对电网的优化调度。本发明可充分利用电力系统中的弹性可调度资源解决电网的调峰需求问题，促进新能源的消纳，确保电力系统安全稳定运行。

Description

一种考虑源荷双侧弹性空间的日前调度优化方法
技术领域
本发明属于区域内电网调度领域，具体的说是一种考虑源荷双侧弹性可调度资源的日前调度优化方法。
背景技术
随着新能源的大规模并网，风电等清洁能源得到了快速发展，电力系统中风电渗透率逐年上升。但是，风电存在随机波动性强、间歇性强的特点。这些给新能源消纳和电网的资源配置带来了巨大挑战。新能源的反调峰特性也给电网的调峰带来了很大压力。柔性负荷作为一种负荷侧可调度资源可以起到优化负荷曲线的作用，火电机组的深度调峰能力也能够增强系统的调峰能力。因此，对源荷双侧可调度弹性资源进行深入研究，具有重要的理论意义和应用价值。
现有的负荷侧调度研究主要考虑将多类型负荷纳入调度范围，但对挖掘单一类型负荷可调度潜力的研究不足，不利于唤醒和激发负荷弹性，难以充分引导用户调整用电行为，无法完全发挥负荷在维持电力系统安全稳定运行中的深度调节作用。同时，对电源侧的研究也主要集中在火电机组的常规调峰范围，而忽视了火电机组的深度调峰能力，不能充分体现火电机组对新能源的消纳作用。针对源荷双侧资源不确定性的问题，现有研究主要是通过时间序列、神经网络、组合预测等手段提高预测准确性，将不确定性调度问题转化为确定性调度问题。这种方法对于电源和负荷比较单一的小规模系统比如微电网有一定效果，但当系统规模较大时，源荷双侧不确定的影响因素会变多，使得上述方法的效果有限。
发明内容
本发明针对现有技术中存在的不足之处，提出一种考虑源荷双侧弹性空间的日前调度优化方法，以期能利用电力系统中的弹性可调度资源解决电网的调峰需求问题，促进新能源的消纳，从而能保证电力系统安全稳定运行。
本发明为解决技术问题采用如下技术方案：
本发明一种考虑源荷双侧弹性空间的日前调度优化方法的特点是按如下步骤进行：
步骤1、构建区域内电网，包括：电网调度中心、火电机组、风力发电机组和用户负荷；所述火电机组包括常规发电机组、深度调峰机组；所述用户负荷包括刚性负荷和柔性负荷；
步骤2、针对所述区域内电网，通过预测获得在调度日内任意时刻t下各类功率的预测值；所述各类功率预测值包括时刻t下的风电出力预测值
Figure BDA0003007424120000011
以及负荷需求预测值
Figure BDA0003007424120000012
步骤3、风电的不确定性随机变量建模：
步骤3.1、令风力发电机组的风电出力在时刻t相对于与风电出力预测值
Figure BDA0003007424120000021
的随机误差
Figure BDA0003007424120000022
服从以均值为0，标准差为
Figure BDA0003007424120000023
的正态分布；其中，标准差
Figure BDA0003007424120000024
由式(1)表征：
Figure BDA0003007424120000025
式(1)中，
Figure BDA0003007424120000026
为在时刻t所有风力发电机组的装机容量；
Figure BDA0003007424120000027
和λ为不同的系数；
步骤3.2、利用式(2)建立时刻t风电出力的不确定模型：
Figure BDA0003007424120000028
式(2)中，
Figure BDA0003007424120000029
表示时刻t风电机组的功率；
步骤4、用户负荷的不确定性随机变量建模：
步骤4.1、令用户负荷在时刻t相对于负荷需求预测值
Figure BDA00030074241200000210
的随机误差
Figure BDA00030074241200000211
服从均值为0，标准差为
Figure BDA00030074241200000212
的正态分布；
步骤4.2、利用式(3)建立时刻t用户负荷的不确定性模型：
Figure BDA00030074241200000213
式(3)中，
Figure BDA00030074241200000214
表示时刻t的负荷功率；
步骤5、柔性负荷的弹性属性建模：
利用式(4)得到自弹性系数εhh和交叉弹性系数εhj，并分别用于表征用户对当前时段电价和其他时段电价所做出的响应；
Figure BDA00030074241200000215
式(4)中，Δqh和Δph分别为在第h个时段用户用电量qh和电价ph的相对增量；Δpj表示第j个时段的电价pj的相对增量；
对于n个时段，利用如式(5)所示的电量电价弹性矩阵E表征用户用电量对电价的响应特性：
Figure BDA00030074241200000216
利用式(6)得到用户在n个时段中用户用电量与电价变化的关系式：
Figure BDA0003007424120000031
步骤6、建立火电机组的调峰模型：
所述火电机组包含三种不同的运行状态，分别为常规调峰、不投油深度调峰和投油深度调峰；
利用式(7)得到火电机组常规调峰的运行约束：
Pmin＜P≤Pmax (7)
式(7)中，Pmax表示火电机组的最大技术出力；Pmin表示火电机组的最小技术出力；
利用式(8)得到火电机组不投油深度调峰的运行约束：
Pa＜P≤Pmin (8)
式(8)中，Pa表示火电机组不投油调峰阶段的最小出力；
利用式(9)得到火电机组不投油深度调峰的运行约束：
Pb＜P≤Pa (9)
式(9)中，Pb表示火电机组投油调峰阶段的最小出力；
步骤7、利用式(10)建立可中断负荷模型：
Figure BDA0003007424120000032
式(10)中，p表示调度机构发出的可中断负荷的控制信号量；pmin和pmax分别表示控制信号量的最小值和最大值；ω表示控制系数；α为幂；
Figure BDA0003007424120000033
表示可中断负荷的最大可调度量；PIDR表示负荷弹性；
步骤8、定义时段k为决策周期k，定义所述决策周期k的起始时刻tk为决策时刻tk；定义在决策时刻tk下的状态为sk，行动为ak，并有：
Figure BDA0003007424120000041
Figure BDA0003007424120000042
为火电机组在决策时刻tk的发电功率；
Figure BDA0003007424120000043
为决策时刻tk时的负荷功率；
Figure BDA0003007424120000044
为决策时刻tk时的风电功率；
Figure BDA0003007424120000045
为决策时刻tk时第N台火电机组的发电功率；
Figure BDA0003007424120000046
为火电机组在决策时刻tk的调整出力，
Figure BDA0003007424120000047
为决策时刻tk可中断负荷的中断量；
Figure BDA0003007424120000048
为决策时刻tk时第N台火电机组的调整出力；
步骤9、利用式(11)得到在初始状态s0下，行动策略π的性能评价标准Vπ(s0)：
Figure BDA0003007424120000049
式(11)中，π为行动策略，表示状态到行动的映射；E为期望；ck为运行代价；
步骤10、确定模型的优化目标：
利用式(12)获取考虑源荷双侧可调度弹性资源的区域内发输电动态调度模型的优化目标：
Figure BDA00030074241200000410
步骤11、采用深度强化学习中的近端策略优化算法在策略集Ω中寻找最优策略π*；在求解最优策略π*时以步骤8中的状态为输入，以步骤8中的行动作为输出，以步骤9中的性能评价标准对迭代过程中的各个策略进行评价，从而通过迭代更新策略，最终收敛得到最优策略π*，从而以所述最优策略π*作为优化后的日前调度策略。
本发明所述的考虑源荷双侧弹性空间的日前调度优化方法的特点也在于，所述步骤6中火电机组的各项约束条件包括：
利用式(13)得到火电机组的功率平衡约束：
Figure BDA00030074241200000411
式(13)中，
Figure BDA00030074241200000412
表示t时刻第i台火电机组的启停状态；
Figure BDA00030074241200000413
表示t时刻第i台火电机组的发电功率；N表示火电机组的数量；
利用式(14)得到火电机组的功率约束：
Figure BDA0003007424120000051
式(14)中，Pi，max表示第i台火电机组的最大技术出力；Pi，min表示第i台火电机组的最大技术出力；Pi,a表示第i台火电机组不投油调峰阶段的最小出力；Pi,b表示第i台火电机组投油调峰阶段的最小出力；
利用式(15)得到火电机组的爬坡约束：
Figure BDA0003007424120000052
式(15)中，
Figure BDA0003007424120000053
分别表示第i台火电机组的上、下爬坡速率；
Figure BDA0003007424120000054
表示t-1时刻第i台火电机组的发电功率；Δt表示相邻两次决策之间的时间长度；
利用式(16)得到火电机机组的启停时间约束：
Figure BDA0003007424120000055
式(16)中，
Figure BDA0003007424120000056
表示t-1时刻第i台火电机组的启停状态；
Figure BDA0003007424120000057
和
Figure BDA0003007424120000058
表示第i台火电机组的最小开、停机时间，
Figure BDA0003007424120000059
分别表示截止t-1时刻第i台火电机组已经开、停机的时间。
在智能电网的建设背景下，调度也在向智能化方向不断发展，将机器学习技术引入电力系统调度领域，可以有效利用电网中的大数据，为电网调度提供智能化解决方案，提高电力系统运行的稳定性和安全性。与现有技术相比，本发明的效益成果在于：
1、本发明将源荷双侧可调度弹性资源均纳入调度范围，可以有效优化负荷曲线，提高系统调峰能力，增强系统的供电能力；
2、本发明可以有效应对区域内电网中新能源发电存在的随机性，所得优化策略可以根据系统各单元的情况选择合适的发电计划，提高了新能源消纳能力；
3、本发明采用了深度强化学习中的近端策略优化算法，与传统优化算法相比，深度强化学习算法可以有效解决维数灾问题，增强了算法的实用性，与深度Q网络等深度强化学习算法相比，近端策略优化算法既可以应用于离散动作控制，也可以应用于连续动作控制，使得调度机构能够在决策时刻根据系统的状态信息，选择最优策略调整发电机功率，从而提高了电网的运行效率。
附图说明
图1为本发明区域内电网的架构示意图；
图2为本发明解决区域内电网发输电系统动态调度问题的近端策略优化算法的流程图。
具体实施方式
本实施例中的区域内电网日前调度优化方法应用于图1所示的电力系统，包括：区域内的火电机组、风力发电机组、柔性负荷；调度机构在决策时刻获得当前火电机组的发电功率、风电机组的预测功率和负荷需求，并按照电量电价弹性矩阵得到采用分时电价后的负荷曲线，然后根据区域内电网日前调度优化方法所得的策略选择最优行动来调整发电机组功率，提高电网的运行效益。参见图2，该日前调度优化方法按如下步骤进行：
步骤1、构建区域内电网，包括：电网调度中心、火电机组、风力发电机组和用户负荷；火电机组包括常规发电机组、深度调峰机组；用户负荷包括刚性负荷和柔性负荷；电源侧的弹性资源包括火电机组的深度调峰功能，负荷侧的弹性资源为柔性负荷，包括价格型需求响应和可中断负荷；
步骤2、针对区域内电网，通过预测获得在调度日内任意时刻t下各类功率的预测值；各类功率预测值包括时刻t下的风电出力预测值
Figure BDA0003007424120000061
以及负荷需求预测值
Figure BDA0003007424120000062
步骤3、风电的不确定性随机变量建模：
步骤3.1、令风力发电机组的风电出力在时刻t相对于与风电出力预测值
Figure BDA0003007424120000063
的随机误差
Figure BDA0003007424120000064
服从以均值为0，标准差为
Figure BDA0003007424120000065
的正态分布；其中，标准差
Figure BDA0003007424120000066
由式(1)表征：
Figure BDA0003007424120000067
式(1)中，
Figure BDA0003007424120000068
为在时刻t所有风力发电机组的装机容量；
Figure BDA0003007424120000069
和λ为不同的系数；
步骤3.2、利用式(2)建立时刻t风电出力的不确定模型：
Figure BDA00030074241200000610
式(2)中，
Figure BDA00030074241200000611
表示时刻t风电机组的功率；
步骤4、用户负荷的不确定性随机变量建模：
步骤4.1、令用户负荷在时刻t相对于负荷需求预测值
Figure BDA00030074241200000612
的随机误差
Figure BDA00030074241200000613
服从均值为0，标准差为
Figure BDA0003007424120000071
的正态分布；
步骤4.2、利用式(3)建立时刻t用户负荷的不确定性模型：
Figure BDA0003007424120000072
式(3)中，
Figure BDA0003007424120000073
表示时刻t的负荷功率；
步骤5、柔性负荷的弹性属性建模：
需求响应受价格引导参与调度，用户根据电价的变化调整用电计划，用户负荷将不再呈现必须得到满足的刚性特性，而是表现出在一个带状范围内上下可调的弹性特性。利用式(4)得到自弹性系数εhh和交叉弹性系数εhj，并分别用于表征用户对当前时段电价和其他时段电价所做出的响应；
Figure BDA0003007424120000074
式(4)中，Δqh和Δph分别为在第h个时段用户用电量qh和电价ph的相对增量；Δpj表示第j个时段的电价pj的相对增量；
对于n个时段，利用如式(5)所示的电量电价弹性矩阵E表征用户用电量对电价的响应特性：
Figure BDA0003007424120000075
利用式(6)得到用户在n个时段中用户用电量与电价变化的关系式：
Figure BDA0003007424120000076
步骤6、建立火电机组的调峰模型：
火电机组包含三种不同的运行状态，分别为常规调峰、不投油深度调峰和投油深度调峰；
利用式(7)得到火电机组常规调峰的运行约束：
Pmin＜P≤Pmax (7)
式(7)中，Pmax表示火电机组的最大技术出力；Pmin表示火电机组的最小技术出力；
利用式(8)得到火电机组不投油深度调峰的运行约束：
Pa＜P≤Pmin (8)
式(8)中，Pa表示火电机组不投油调峰阶段的最小出力；
利用式(9)得到火电机组不投油深度调峰的运行约束：
Pb＜P≤Pa (9)
式(9)中，Pb表示火电机组投油调峰阶段的最小出力；
步骤7、利用式(10)建立可中断负荷模型：
Figure BDA0003007424120000081
式(10)中，p表示调度机构发出的可中断负荷的控制信号量；pmin和pmax分别表示控制信号量的最小值和最大值；ω表示控制系数；α为幂；
Figure BDA00030074241200000811
表示可中断负荷的最大可调度量；PIDR表示负荷弹性；
步骤8、定义时段k为决策周期k，定义决策周期k的起始时刻tk为决策时刻tk；定义在决策时刻tk下的状态为sk，行动为ak，并有：
Figure BDA0003007424120000082
Figure BDA0003007424120000083
为火电机组在决策时刻tk的发电功率；
Figure BDA0003007424120000084
为决策时刻tk时的负荷功率；
Figure BDA0003007424120000085
为决策时刻tk时的风电功率；
Figure BDA0003007424120000086
为决策时刻tk时第N台火电机组的发电功率；
Figure BDA0003007424120000087
为火电机组在决策时刻tk的调整出力，
Figure BDA0003007424120000088
为决策时刻tk可中断负荷的中断量；
Figure BDA0003007424120000089
为决策时刻tk时第N台火电机组的调整出力；
步骤9、利用式(11)得到在初始状态s0下，行动策略π的性能评价标准Vπ(s0)：
Figure BDA00030074241200000810
式(11)中，π为行动策略，表示状态到行动的映射；E为期望；ck为运行代价；
步骤10、确定模型的优化目标：
利用式(12)获取考虑源荷双侧可调度弹性资源的区域内发输电动态调度模型的优化目标：
Figure BDA0003007424120000091
步骤11、采用深度强化学习中的近端策略优化算法在策略集Ω中寻找最优策略π*；在求解最优策略π*时以步骤8中的状态为输入，以步骤8中的行动作为输出，以步骤9中的性能评价标准对迭代过程中的各个策略进行评价，从而通过迭代更新策略，最终收敛得到最优策略π*，从而以最优策略π*作为优化后的日前调度策略；
步骤11.1、构造两个actor网络和一个critic网络，并初始化网络参数、模型参数和学习参数。actor网络以环境状态s为输入，输出为动作a的概率分布，两个actor网络分别表示新策略和旧策略，以actor-new和actor-old指代。critic网络以状态s为输入，输出为状态价值v(s)。设置最大训练次数M和单条样本轨道最大步数B，初始化训练次数m＝0；
步骤11.2、设置当前学习步数b＝0，当前决策周期k＝0；
步骤11.3、将决策时刻的环境信息sk输入到actor-new网络，得到动作的概率分布，然后通过对这个分布采样得到一个具体的动作ak，再将这个动作输入到环境中得到奖励rk和下一步的状态sk+1，并将样本(sk,ak,rk)存储起来；
步骤11.4、重复步骤11.3中的上述过程，每重复一次，学习步数的值加1。当b＝B或者到达终止状态时，结束循环，训练次数m的值加1。在上述过程中网络均不更新；
步骤11.5、将11.4中的最后一个状态sT输入到critic网络中，得到状态价值v(sT)；
步骤11.6、利用式(13)计算各个状态的价值：
v(sk)＝rk+γrk+1+γ2rk+2+…+γK-kv(sT) (13)
步骤11.7、将存储的所有状态s的组合输入到critic网络中得到所有状态的价值v'(s)。
步骤11.8、利用式(14)计算优势函数：
Ak＝v(sk)-v′(sk) (14)
步骤11.9、critic网络的损失函数closs为Ak 2的均值，通过最小化损失函数反向传播更新critic网络；
步骤11.10、将存储的所有状态s的组合分别输入到actor-new和actor-old网络，得到两个动作的概率分布，将存储的所有动作a的组合分别输入给这两个概率分布，得到两个动作的概率
Figure BDA0003007424120000101
和
Figure BDA0003007424120000102
则重要性采样比率为：
Figure BDA0003007424120000103
步骤11.11、利用式(16)计算actor-new网络的损失函数
Figure BDA0003007424120000104
Figure BDA0003007424120000105
式(16)中，mean表示均值；χ表示偏移量；clip表示截取操作，将wk的取值限定在[1-χ,1+χ]之间。通过最小化损失函数反向传播更新actor-new网络；
步骤11.12、每隔10个样本轨道训练次数，将actor-new网络的参数复制给actor-old网络实现actor-old网络的更新；
步骤11.13、循环步骤11.2-步骤11.12，直到m＝M时结束训练得到收敛的策略网络。
具体实施中，步骤6中系统实际运行过程中的各项约束条件为：
利用式(16)得到火电机组的功率平衡约束：
Figure BDA0003007424120000106
式(16)中，
Figure BDA0003007424120000107
表示t时刻第i台火电机组的启停状态；
Figure BDA0003007424120000108
表示t时刻第i台火电机组的发电功率；
利用式(17)得到火电机组的功率约束：
Figure BDA0003007424120000109
式(17)中，Pi，max表示第i台火电机组的最大技术出力；Pi，min表示第i台火电机组的最大技术出力；Pi,a表示第i台火电机组不投油调峰阶段的最小出力；Pi,b表示第i台火电机组投油调峰阶段的最小出力；
利用式(18)得到火电机组的爬坡约束：
Figure BDA0003007424120000111
式(18)中，
Figure BDA0003007424120000112
分别表示第i台火电机组的上、下爬坡速率；
Figure BDA0003007424120000113
表示t-1时刻第i台火电机组的发电功率；Δt表示相邻两次决策之间的时间长度；
利用式(19)得到火电机组的启停时间约束：
Figure BDA0003007424120000114
式(19)中，
Figure BDA0003007424120000115
表示t-1时刻第i台火电机组的启停状态；
Figure BDA0003007424120000116
和
Figure BDA0003007424120000117
表示第i台火电机组的最小开、停机时间，
Figure BDA0003007424120000118
分别表示截止t-1时刻第i台火电机组已经开、停机的时间。
综上所述，本方法解决了区域内电网的动态调度问题，所得调度策略可有效应对新能源的随机性，增强了系统的调峰能力，促进了新能源的消纳，提高了电网运行的安全性和稳定性。采用深度强化学习方法可以处理连续状态，能有效避免“维数灾”问题，加快求解速度。

Claims (2)

1.一种考虑源荷双侧弹性空间的日前调度优化方法，其特征是按如下步骤进行：
步骤1、构建区域内电网，包括：电网调度中心、火电机组、风力发电机组和用户负荷；所述火电机组包括常规发电机组、深度调峰机组；所述用户负荷包括刚性负荷和柔性负荷；
步骤2、针对所述区域内电网，通过预测获得在调度日内任意时刻t下各类功率的预测值；所述各类功率预测值包括时刻t下的风电出力预测值
Figure FDA0003007424110000011
以及负荷需求预测值
Figure FDA0003007424110000012
步骤3、风电的不确定性随机变量建模：
步骤3.1、令风力发电机组的风电出力在时刻t相对于与风电出力预测值
Figure FDA0003007424110000013
的随机误差
Figure FDA0003007424110000014
服从以均值为0，标准差为
Figure FDA0003007424110000015
的正态分布；其中，标准差
Figure FDA0003007424110000016
由式(1)表征：
Figure FDA0003007424110000017
式(1)中，
Figure FDA0003007424110000018
为在时刻t所有风力发电机组的装机容量；
Figure FDA0003007424110000019
和λ为不同的系数；
步骤3.2、利用式(2)建立时刻t风电出力的不确定模型：
Figure FDA00030074241100000110
式(2)中，
Figure FDA00030074241100000111
表示时刻t风电机组的功率；
步骤4、用户负荷的不确定性随机变量建模：
步骤4.1、令用户负荷在时刻t相对于负荷需求预测值
Figure FDA00030074241100000112
的随机误差
Figure FDA00030074241100000113
服从均值为0，标准差为
Figure FDA00030074241100000114
的正态分布；
步骤4.2、利用式(3)建立时刻t用户负荷的不确定性模型：
Figure FDA00030074241100000115
式(3)中，
Figure FDA00030074241100000116
表示时刻t的负荷功率；
步骤5、柔性负荷的弹性属性建模：
利用式(4)得到自弹性系数εhh和交叉弹性系数εhj，并分别用于表征用户对当前时段电价和其他时段电价所做出的响应；
Figure FDA00030074241100000117
式(4)中，Δqh和Δph分别为在第h个时段用户用电量qh和电价ph的相对增量；Δpj表示第j个时段的电价pj的相对增量；
对于n个时段，利用如式(5)所示的电量电价弹性矩阵E表征用户用电量对电价的响应特性：
Figure FDA0003007424110000021
利用式(6)得到用户在n个时段中用户用电量与电价变化的关系式：
Figure FDA0003007424110000022
步骤6、建立火电机组的调峰模型：
所述火电机组包含三种不同的运行状态，分别为常规调峰、不投油深度调峰和投油深度调峰；
利用式(7)得到火电机组常规调峰的运行约束：
Pmin＜P≤Pmax (7)
式(7)中，Pmax表示火电机组的最大技术出力；Pmin表示火电机组的最小技术出力；
利用式(8)得到火电机组不投油深度调峰的运行约束：
Pa＜P≤Pmin (8)
式(8)中，Pa表示火电机组不投油调峰阶段的最小出力；
利用式(9)得到火电机组不投油深度调峰的运行约束：
Pb＜P≤Pa (9)
式(9)中，Pb表示火电机组投油调峰阶段的最小出力；
步骤7、利用式(10)建立可中断负荷模型：
Figure FDA0003007424110000031
式(10)中，p表示调度机构发出的可中断负荷的控制信号量；pmin和pmax分别表示控制信号量的最小值和最大值；ω表示控制系数；α为幂；
Figure FDA0003007424110000032
表示可中断负荷的最大可调度量；PIDR表示负荷弹性；
步骤8、定义时段k为决策周期k，定义所述决策周期k的起始时刻tk为决策时刻tk；定义在决策时刻tk下的状态为sk，行动为ak，并有：
Figure FDA0003007424110000033
Figure FDA0003007424110000034
为火电机组在决策时刻tk的发电功率；
Figure FDA0003007424110000035
为决策时刻tk时的负荷功率；
Figure FDA0003007424110000036
为决策时刻tk时的风电功率；
Figure FDA0003007424110000037
为决策时刻tk时第N台火电机组的发电功率；
Figure FDA0003007424110000038
Figure FDA0003007424110000039
为火电机组在决策时刻tk的调整出力，
Figure FDA00030074241100000310
为决策时刻tk可中断负荷的中断量；
Figure FDA00030074241100000311
为决策时刻tk时第N台火电机组的调整出力；
步骤9、利用式(11)得到在初始状态s0下，行动策略π的性能评价标准Vπ(s0)：
Figure FDA00030074241100000312
式(11)中，π为行动策略，表示状态到行动的映射；E为期望；ck为运行代价；
步骤10、确定模型的优化目标：
利用式(12)获取考虑源荷双侧可调度弹性资源的区域内发输电动态调度模型的优化目标：
Figure FDA00030074241100000313
步骤11、采用深度强化学习中的近端策略优化算法在策略集Ω中寻找最优策略π*；在求解最优策略π*时以步骤8中的状态为输入，以步骤8中的行动作为输出，以步骤9中的性能评价标准对迭代过程中的各个策略进行评价，从而通过迭代更新策略，最终收敛得到最优策略π*，从而以所述最优策略π*作为优化后的日前调度策略。
2.根据权利要求1所述的考虑源荷双侧弹性空间的日前调度优化方法，其特征是所述步骤6中火电机组的各项约束条件包括：
利用式(13)得到火电机组的功率平衡约束：
Figure FDA0003007424110000041
式(13)中，
Figure FDA0003007424110000042
表示t时刻第i台火电机组的启停状态；Pi t表示t时刻第i台火电机组的发电功率；N表示火电机组的数量；
利用式(14)得到火电机组的功率约束：
Figure FDA0003007424110000043
式(14)中，Pi，max表示第i台火电机组的最大技术出力；Pi，min表示第i台火电机组的最大技术出力；Pi,a表示第i台火电机组不投油调峰阶段的最小出力；Pi,b表示第i台火电机组投油调峰阶段的最小出力；
利用式(15)得到火电机组的爬坡约束：
Figure FDA0003007424110000044
式(15)中，ri up、ri down分别表示第i台火电机组的上、下爬坡速率；Pi t-1表示t-1时刻第i台火电机组的发电功率；Δt表示相邻两次决策之间的时间长度；
利用式(16)得到火电机机组的启停时间约束：
Figure FDA0003007424110000045
式(16)中，
Figure FDA0003007424110000046
表示t-1时刻第i台火电机组的启停状态；
Figure FDA0003007424110000047
和
Figure FDA0003007424110000048
表示第i台火电机组的最小开、停机时间，Ti, t-1,on、Ti, t-1,off分别表示截止t-1时刻第i台火电机组已经开、停机的时间。
CN202110366782.0A 2021-04-06 2021-04-06 一种考虑源荷双侧弹性空间的日前调度优化方法 Active CN113098073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110366782.0A CN113098073B (zh) 2021-04-06 2021-04-06 一种考虑源荷双侧弹性空间的日前调度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110366782.0A CN113098073B (zh) 2021-04-06 2021-04-06 一种考虑源荷双侧弹性空间的日前调度优化方法

Publications (2)

Publication Number Publication Date
CN113098073A CN113098073A (zh) 2021-07-09
CN113098073B true CN113098073B (zh) 2022-09-27

Family

ID=76674041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110366782.0A Active CN113098073B (zh) 2021-04-06 2021-04-06 一种考虑源荷双侧弹性空间的日前调度优化方法

Country Status (1)

Country Link
CN (1) CN113098073B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114389262B (zh) * 2022-01-21 2024-01-09 合肥工业大学 一种弹性环境下基于鲁棒优化的区域电网调度方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100983A4 (en) * 2019-11-14 2020-07-16 Shandong University Multi-energy complementary system two-stage optimization scheduling method and system considering source-storage-load cooperation
CN111740413A (zh) * 2020-06-28 2020-10-02 东北电力大学 一种考虑火电调峰主动性与需求响应的含储能电力系统优化调度方法
CN112101607A (zh) * 2019-06-18 2020-12-18 华北电力大学（保定） 一种考虑需求响应时间效应的主动配电网滚动优化调度方法
CN112186743A (zh) * 2020-09-16 2021-01-05 北京交通大学 一种基于深度强化学习的动态电力系统经济调度方法
CN112202207A (zh) * 2020-09-16 2021-01-08 南京邮电大学 基于新能源出力随机特性的电网深度调峰运行优化方法
CN112508221A (zh) * 2020-09-24 2021-03-16 国网天津市电力公司电力科学研究院 一种有限储能下考虑源-荷不确定性的日前调度决策方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101607A (zh) * 2019-06-18 2020-12-18 华北电力大学（保定） 一种考虑需求响应时间效应的主动配电网滚动优化调度方法
AU2020100983A4 (en) * 2019-11-14 2020-07-16 Shandong University Multi-energy complementary system two-stage optimization scheduling method and system considering source-storage-load cooperation
CN111740413A (zh) * 2020-06-28 2020-10-02 东北电力大学 一种考虑火电调峰主动性与需求响应的含储能电力系统优化调度方法
CN112186743A (zh) * 2020-09-16 2021-01-05 北京交通大学 一种基于深度强化学习的动态电力系统经济调度方法
CN112202207A (zh) * 2020-09-16 2021-01-08 南京邮电大学 基于新能源出力随机特性的电网深度调峰运行优化方法
CN112508221A (zh) * 2020-09-24 2021-03-16 国网天津市电力公司电力科学研究院 一种有限储能下考虑源-荷不确定性的日前调度决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
考虑源侧灵活性改造及可调节电热负荷的电热联合调度模型;周升彧 等;《电网技术》;20200630;第2254-2262页 *

Also Published As

Publication number Publication date
CN113098073A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Wu et al. Deep learning adaptive dynamic programming for real time energy management and control strategy of micro-grid
Ju et al. Multi-objective stochastic scheduling optimization model for connecting a virtual power plant to wind-photovoltaic-electric vehicles considering uncertainties and demand response
Machlev et al. A review of optimal control methods for energy storage systems-energy trading, energy balancing and electric vehicles
CN112633571B (zh) 源网荷互动环境下基于lstm的超短期负荷预测方法
CN111340274A (zh) 一种基于虚拟电厂参与的综合能源系统优化方法和系统
CN111047097B (zh) 一种综合能源系统日中滚动优化方法
CN113792953A (zh) 一种虚拟电厂优化调度方法及系统
CN113326994A (zh) 一种考虑源荷储互动的虚拟电厂能量协同优化方法
Yu et al. Joint optimization and learning approach for smart operation of hydrogen-based building energy systems
Wang et al. An improved harmony search algorithm for solving day-ahead dispatch optimization problems of integrated energy systems considering time-series constraints
CN113809780B (zh) 一种基于改进q学习惩罚选择的微电网优化调度方法
Wu et al. Electric vehicle charging scheduling considering infrastructure constraints
CN115759610A (zh) 一种电力系统源网荷储协同的多目标规划方法及其应用
CN114723230A (zh) 面向新能源发电和储能的微电网双层调度方法及系统
CN113098073B (zh) 一种考虑源荷双侧弹性空间的日前调度优化方法
CN115795992A (zh) 一种基于运行态势虚拟推演的园区能源互联网在线调度方法
Liu et al. Multi-agent quantum-inspired deep reinforcement learning for real-time distributed generation control of 100% renewable energy systems
Nourianfar et al. Economic emission dispatch considering electric vehicles and wind power using enhanced multi-objective exchange market algorithm
Sarkar et al. Concurrent carbon footprint reduction (c2fr) reinforcement learning approach for sustainable data center digital twin
CN117543581A (zh) 考虑电动汽车需求响应的虚拟电厂优化调度方法及其应用
Pang et al. A bi-objective low-carbon economic scheduling method for cogeneration system considering carbon capture and demand response
Zhang et al. A double-deck deep reinforcement learning-based energy dispatch strategy for an integrated electricity and district heating system embedded with thermal inertial and operational flexibility
Zhang et al. Flexible selection framework for secondary frequency regulation units based on learning optimisation method
Li et al. Aggregator’s scheduling and offering strategy for renewable integration based on information gap decision theory
CN115115145B (zh) 分布式光伏智能住宅的需求响应调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220803

Address after: Tunxi road in Baohe District of Hefei city of Anhui Province, No. 193 230009

Applicant after: Hefei University of Technology

Applicant after: State Grid Anhui Electric Power Company

Address before: Tunxi road in Baohe District of Hefei city of Anhui Province, No. 193 230009

Applicant before: Hefei University of Technology

GR01 Patent grant
GR01 Patent grant