CN114036825A - 多虚拟电厂的协同优化调度方法、装置、设备及存储介质 - Google Patents

多虚拟电厂的协同优化调度方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114036825A
CN114036825A CN202111252332.5A CN202111252332A CN114036825A CN 114036825 A CN114036825 A CN 114036825A CN 202111252332 A CN202111252332 A CN 202111252332A CN 114036825 A CN114036825 A CN 114036825A
Authority
CN
China
Prior art keywords
virtual power
power plant
kth
optimization scheduling
collaborative optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111252332.5A
Other languages
English (en)
Inventor
周保荣
李江南
程兰芬
禤培正
苏祥瑞
周尚筹
唐翀
郑晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSG Electric Power Research Institute
Original Assignee
CSG Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSG Electric Power Research Institute filed Critical CSG Electric Power Research Institute
Priority to CN202111252332.5A priority Critical patent/CN114036825A/zh
Publication of CN114036825A publication Critical patent/CN114036825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Water Supply & Treatment (AREA)
  • Strategic Management (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Public Health (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开一种多虚拟电厂的协同优化调度方法，包括：通过构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；针对构建的多虚拟电厂协同优化调度模型，进行状态变量、动作变量和奖赏函数的定义，以构建马尔科夫决策过程，进而根据多虚拟电厂协同优化调度模型和马尔科夫决策过程，基于分布式深度Q网络算法训练智能体，最终求解多虚拟电厂协同优化调度问题。由此可见，本发明实施例采用深度强化学习算法，适应系统中的可再生能源出力和负荷等的不确定性，能够对多虚拟电厂的协同优化调度问题进行快速且精准的求解。

Description

多虚拟电厂的协同优化调度方法、装置、设备及存储介质
技术领域
本发明涉及虚拟电厂技术领域，尤其涉及一种多虚拟电厂的协同优化调度方法、装置、设备及存储介质。
背景技术
全球资源日益严峻的形势推动了以分布式能源为主的发电行业的发展，虚拟电厂(Virtual Power Plant，VPP)是一种通过边缘智能和物联网技术，调配可再生能源发电、储能系统等分布式能源，实现各类资源的聚合和协调优化的电源协调管理系统，能够为新能源电力的安全高效利用开辟新的路径。
传统的虚拟电厂管理方法主要以收益最大的目标函数，采用线性方式来进行求解，但是这种方式的求解时间长且在可再生能源出力和负荷等不确定的情况下，求解结果不准确。因此需要在大量虚拟电厂协同优化调度的场景下，提供一种能够快速且精准求解多虚拟电厂协同优化调度的方法。
发明内容
本发明实施例的目的是提供一种多虚拟电厂的协同优化调度方法、装置、设备及存储介质，能够通过利用深度强化学习对多虚拟电厂的协同优化调度问题进行快速且精准的求解。
为实现上述目的，本发明实施例提供了一种多虚拟电厂的协同优化调度方法，
构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
作为上述方案的改进，所述运行成本函数具体为：
Figure BDA0003322832510000021
其中，Ck(t)为t时段第k个虚拟电厂的运行成本，σP2P(t)为t时段虚拟电厂之间P2P交易的交易价格，ωd(t)为配电网的过网价格，σ(t)为主网的实时电价，δ为向主网购电和售电价格与实时电价的差额比例，ak,bk,ck分别为第K个虚拟电厂内部柴油机组的三个成本系数，
Figure BDA0003322832510000022
ρ分别为柴油机组温室气体排放成本的二阶系数和一阶系数，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，
Figure BDA0003322832510000023
为t时段第k个虚拟电厂内部柴油机组的有功出力，M为虚拟电厂个数。
作为上述方案的改进，所述各个虚拟电厂的运行约束条件包括：
各个虚拟电厂内部柴油机组的运行约束条件、各个虚拟电厂内部储能系统的运行约束条件、各个虚拟电厂之间的电能交易约束条件、各个虚拟电厂与主网的电能交易约束条件，以及各个虚拟电厂内部的功率平衡约束条件。
作为上述方案的改进，所述柴油机组的运行约束条件，具体为:
Figure BDA0003322832510000024
其中，
Figure BDA0003322832510000025
表示t时段第k个虚拟电厂内部柴油机组的有功出力，
Figure BDA0003322832510000026
表示第k个虚拟电厂内部柴油机组的最小有功功率，
Figure BDA0003322832510000027
表示第k个虚拟电厂内部柴油机组的最大有功功率。
作为上述方案的改进，所述各个虚拟电厂之间的电能交易约束条件和所述各个虚拟电厂与主网的电能交易约束条件，具体为：
Figure BDA0003322832510000031
|Pki(t)|≤Bki；
其中，M为虚拟电厂个数，Pk(t)为t时段第k个虚拟电厂向其他虚拟电厂和主网的总有功功率输出，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，Bki为传输线最大容量；
作为上述方案的改进，所述各个虚拟电厂内部储能系统的运行约束条件，具体为：
Figure BDA0003322832510000032
Figure BDA0003322832510000033
Figure BDA0003322832510000034
Figure BDA0003322832510000035
Figure BDA0003322832510000036
其中，
Figure BDA0003322832510000037
分别为t时段第k个虚拟电厂内部储能系统的充电功率和放电功率；
Figure BDA0003322832510000038
分别为第k个虚拟电厂内部储能系统允许的最大充电和最大放电功率；
Figure BDA0003322832510000039
为t时段第k个虚拟电厂内部储能系统的荷电状态；ηch,ηdis分别为储能系统的充电效率和放电效率；
Figure BDA00033228325100000310
为第k个虚拟电厂内部储能系统的容量；
Figure BDA00033228325100000311
分别为第k个虚拟电厂内部储能系统允许的最小荷电状态和最大荷电状态；
作为上述方案的改进，所述各个虚拟电厂内部的功率平衡约束条件，具体为：
Figure BDA00033228325100000312
其中，
Figure BDA0003322832510000041
为第k个虚拟电厂内部负荷的预测值，
Figure BDA0003322832510000042
为第k个虚拟电厂内部可再生能源出力的预测值，ζk,υk分别为第k个虚拟电厂内部负荷的预测误差和可再生能源出力的预测误差。
作为上述方案的改进，所述状态变量和所述动作变量具体为：
Figure BDA0003322832510000043
ξk(t)＝[sk(t-p),...,sk(t-1),sk(t)]；
其中，sk(t)为t时段第k个虚拟电厂的状态变量，ξk(t)为t时段第k个虚拟电厂的动作变量，由当前的状态变量和过去p个时段的状态变量组成；
所述奖赏函数为：
Rk(t)＝-Ck(t)-τk|Pk(t)|-fk(t)；
其中，Rk(t)为t时段第k个虚拟电厂的奖赏函数，Ck(t)为t时段第k个虚拟电厂的运行成本，τk|Pk(t)|为第k个虚拟电厂内部供需不平衡量的惩罚项，τk为惩罚系数，fk(t)为第k个虚拟电厂内部储能系统老化的惩罚项；
第k个虚拟电厂内部储能系统老化的惩罚项，具体为：
Figure BDA0003322832510000044
Figure BDA0003322832510000045
其中，qk(t)为t时段第k个虚拟电厂的充放电转换次数。
为实现上述目的，本发明实施例还提供了一种多虚拟电厂的协同优化调度装置，包括：
调度模型构建模块，用于构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
马尔科夫决策过程构建模块，用于定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
求解模块，用于基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
为实现上述目的，本发明实施例还提供了一种多虚拟电厂的协同优化调度设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的多虚拟电厂的协同优化调度方法。
为实现上述目的，本发明实施例还提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如上述任一实施例所述的多虚拟电厂的协同优化调度方法。
与现有技术相比，本发明实施例公开的多虚拟电厂的协同优化调度方法、装置、设备和存储介质，通过构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；并且针对构建的多虚拟电厂协同优化调度模型，进行状态变量、动作变量和奖赏函数的定义，以构建马尔科夫决策过程，进而根据多虚拟电厂协同优化调度模型和马尔科夫决策过程，基于分布式深度Q网络算法训练智能体，最终求解多虚拟电厂协同优化调度问题。由此可见，本发明实施例采用深度强化学习算法，能够应用于高维乃至连续状态空间，适应系统中的可再生能源出力和负荷等的不确定性，能够对多虚拟电厂的协同优化调度问题进行快速且精准的求解。
附图说明
图1是本发明一实施例提供的一种多虚拟电厂电能交易示意图；
图2是本发明一实施例提供的一种多虚拟电厂的协同优化调度方法的流程图；
图3是本发明一实施例提供的另一种多虚拟电厂的协同优化调度方法的流程图；
图4是本发明一实施例提供的一种多虚拟电厂的协同优化调度装置的结构框图；
图5是本发明一实施例提供的一种多虚拟电厂的协同优化调度设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的一种多虚拟电厂电能交易示意图，参见图2，是本发明实施例提供的一种多虚拟电厂的协同优化调度方法的流程图，所述多虚拟电厂的协同优化调度方法包括步骤S11～S13：
S11、构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
S12、定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
S13、基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
具体地，获取各个虚拟电厂的性能参数，根据性能参数建立各个虚拟电厂的运行约束条件以及目标函数，其中目标函数为运行成本函数，从而构建出多虚拟电厂协同优化调度模型；针对多虚拟电厂协同优化调度模型，构建马尔科夫决策过程，其中包括状态变量、动作变量和奖赏函数的定义；基于分布式深度Q网络训练智能体，进而求解多虚拟电厂协同优化调度问题。
与现有技术相比，本发明实施例公开的多虚拟电厂的协同优化调度方法，通过构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；并且针对构建的多虚拟电厂协同优化调度模型，进行状态变量、动作变量和奖赏函数的定义，以构建马尔科夫决策过程，进而根据多虚拟电厂协同优化调度模型和马尔科夫决策过程，基于分布式深度Q网络算法训练智能体，最终求解多虚拟电厂协同优化调度问题。由此可见，本发明实施例采用深度强化学习算法，能够应用于高维乃至连续状态空间，适应系统中的可再生能源出力和负荷等的不确定性，能够对多虚拟电厂的协同优化调度问题进行快速且精准的求解。
在一种实施方式中，所述运行成本函数具体为：
Figure BDA0003322832510000071
其中，Ck(t)为t时段第k个虚拟电厂的运行成本，σP2P(t)为t时段虚拟电厂之间P2P交易的交易价格，ωd(t)为配电网的过网价格，σ(t)为主网的实时电价，δ为向主网购电和售电价格与实时电价的差额比例，ak,bk,ck分别为第K个虚拟电厂内部柴油机组的三个成本系数，
Figure BDA0003322832510000072
ρ分别为柴油机组温室气体排放成本的二阶系数和一阶系数，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，
Figure BDA0003322832510000073
为t时段第k个虚拟电厂内部柴油机组的有功出力，M为虚拟电厂个数。
具体地，本发明实施例的运行成本函数综合考虑了各个虚拟电厂与其他虚拟电厂的电能交易成本、配电网的过网成本、与主网的电能交易成本、虚拟电厂内部柴油机组的发电成本以及温室气体的排放成本，具体为：
Figure BDA0003322832510000081
其中，Ck(t)为t时段第k个虚拟电厂的运行成本，σP2P(t)为t时段虚拟电厂之间P2P交易的交易价格，ωd(t)为配电网的过网价格，σ(t)为主网的实时电价，δ为向主网购电和售电价格与实时电价的差额比例，ak,bk,ck分别为第K个虚拟电厂内部柴油机组的三个成本系数，
Figure BDA0003322832510000082
ρ分别为柴油机组温室气体排放成本的二阶系数和一阶系数，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，
Figure BDA0003322832510000083
为t时段第k个虚拟电厂内部柴油机组的有功出力，M为虚拟电厂个数。
值得说明的是，运行成本函数中的δ为向主网购电和售电价格与实时电价的差额比例，目的是抬高向主网购电的价格、降低向主网售电的价格，以鼓励虚拟电厂内部的功率平衡，降低虚拟电厂功率波动对主网的负面影响。
在另一种实施方式中，步骤S11中的所述各个虚拟电厂的运行约束条件包括：
各个虚拟电厂内部柴油机组的运行约束条件、各个虚拟电厂内部储能系统的运行约束条件、各个虚拟电厂之间的电能交易约束条件、各个虚拟电厂与主网的电能交易约束条件，以及各个虚拟电厂内部的功率平衡约束条件。
在另一种实施方式中，所述柴油机组的运行约束条件，具体为：
Figure BDA0003322832510000084
其中，
Figure BDA0003322832510000085
表示t时段第k个虚拟电厂内部柴油机组的有功出力，
Figure BDA0003322832510000086
表示第k个虚拟电厂内部柴油机组的最小有功功率，
Figure BDA0003322832510000087
表示第k个虚拟电厂内部柴油机组的最大有功功率。
在另一种实施方式中，所述各个虚拟电厂之间的电能交易约束条件和所述各个虚拟电厂与主网的电能交易约束条件，具体为：
Figure BDA0003322832510000091
|Pki(t)|≤Bki；
其中，M为虚拟电厂个数，Pk(t)为t时段第k个虚拟电厂向其他虚拟电厂和主网的总有功功率输出，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，Bki为第i个虚拟电厂和第k个虚拟电厂之间的传输线的最大容量，当i＝0时，表示为主网。
具体地，总共包括M个虚拟电厂，第k个虚拟电厂向其他虚拟电厂和主网的总有功功率输出包括第k个虚拟电厂向其他(M-1)个虚拟电厂传输的有功功率，还包括第k个虚拟电厂向主网传输的有功功率，虚拟电厂两两之间，以及虚拟电厂与主网之间相互传输的有功功率受到对应的传输线的限制，不能超过传输线的最大容量。
在另一种实施方式中，所述各个虚拟电厂内部储能系统的运行约束条件，具体为：
Figure BDA0003322832510000092
Figure BDA0003322832510000093
Figure BDA0003322832510000094
Figure BDA0003322832510000095
Figure BDA0003322832510000096
其中，
Figure BDA0003322832510000097
分别为t时段第k个虚拟电厂内部储能系统的充电功率和放电功率；
Figure BDA0003322832510000098
分别为第k个虚拟电厂内部储能系统允许的最大充电和最大放电功率；
Figure BDA0003322832510000099
为t时段第k个虚拟电厂内部储能系统的荷电状态；ηch,ηdis分别为储能系统的充电效率和放电效率；
Figure BDA00033228325100000910
为第k个虚拟电厂内部储能系统的容量；
Figure BDA0003322832510000101
分别为第k个虚拟电厂内部储能系统允许的最小荷电状态和最大荷电状态。
具体地，各个虚拟电厂内部储能系统的运行约束条件考虑了虚拟电厂内部储能系统的充电功率和放电功率受到储能系统所连接换流器的容量限制，也考虑了储能系统的充电操作和放电操作不同时进行的情况，也考虑了储能系统在下一时刻的荷电状态与当前时刻的荷电状态、当前时刻充放电功率之间的关系，同时也限制了储能系统过充过放，避免了可能造成储能系统寿命衰减的过充、过放情况。
在另一种实施方式中，所述各个虚拟电厂内部的功率平衡约束条件，具体为：
Figure BDA0003322832510000102
其中，
Figure BDA0003322832510000103
为第k个虚拟电厂内部负荷的预测值，
Figure BDA0003322832510000104
为第k个虚拟电厂内部可再生能源出力的预测值，ζk,υk分别为第k个虚拟电厂内部负荷和可再生能源出力的预测误差。
值得说明的是，可再生能源包括风电和光伏。
在另一种实施方式中，所述状态变量和所述动作变量具体为：
Figure BDA0003322832510000105
ξk(t)＝[sk(t-p),...,sk(t-1),sk(t)]；
其中，sk(t)为t时段第k个虚拟电厂的状态变量，ξk(t)为t时段第k个虚拟电厂的动作变量，由当前的状态变量和过去p个时段的状态变量组成；
所述奖赏函数为：
Rk(t)＝-Ck(t)-τk|Pk(t)|-fk(t)；
其中，Rk(t)为t时段第k个虚拟电厂的奖赏函数，Ck(t)为t时段第k个虚拟电厂的运行成本，τk|Pk(t)|为第k个虚拟电厂内部供需不平衡量的惩罚项，τk为惩罚系数，fk(t)为第k个虚拟电厂内部储能系统老化的惩罚项；
第k个虚拟电厂内部储能系统老化的惩罚项，具体为：
Figure BDA0003322832510000111
Figure BDA0003322832510000112
其中，qk(t)为t时段第k个虚拟电厂的充放电转换次数。
具体地，定义马尔科夫决策过程的状态变量和动作变量分别为：
Figure BDA0003322832510000113
ξk(t)＝[sk(t-p),...,sk(t-1),sk(t)]；
其中，sk(t)为t时段第k个虚拟电厂的状态变量，包含t时段第k个虚拟电厂内部负荷的预测值、可再生能源(包括风电、光伏)出力的预测值、储能系统的荷电状态、柴油机组出力、虚拟电厂之间及与主网的交易电价、虚拟电厂之间及与主网的交换功率；ξk(t)为t时段第k个虚拟电厂的动作变量，由当前状态变量和过去p个时段的状态变量组成。
定义马尔科夫决策过程的奖赏函数为：
Rk(t)＝-Ck(t)-τk|Pk(t)|-fk(t)；
其中，Rk(t)为t时段第k个虚拟电厂的奖赏函数，共包含三项：(1)Ck(t)为前述t时段虚拟电厂k的运行成本，(2)τk|Pk(t)|为虚拟电厂k内部供需不平衡量的惩罚项，其中τk为惩罚系数，(3)fk(t)为虚拟电厂k内部储能系统老化的惩罚项。根据充放电转换次数qk(t)，定义储能系统老化的惩罚项fk(t)：
Figure BDA0003322832510000114
Figure BDA0003322832510000115
马尔科夫决策过程可构建为元组(S,A,T,R)，其中，S为状态空间，A为动作空间，R为奖赏函数，T为状态转移概率：
T(sk(t),ξk(t),sk(t+1))＝P(sk(t+1)|sk(t),ξk(t)＝A)；
在强化学习中，智能体感知到当前环境状态s(t)，并基于当前策略π选取动作ξ(t)，此时根据状态转移概率，环境转移到下一状态s(t+1)，智能体获得奖赏R(t+1)。智能体的训练目标是最大化长期累积奖赏的期望，即：
Figure BDA0003322832510000121
其中，γ为折扣因子，反映智能体所获短期和长期奖赏的折中。因此，将奖赏函数定义为运行成本、不平衡量惩罚、储能系统老化惩罚之和的负值，目的是在最小化运行成本的同时，提高虚拟电厂内部消纳的能力，并减少频繁充放电带来的电池老化。
步骤S13中的基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题包括步骤S131～S134：
步骤S131，构建人工神经网络，用于近似动作值函数，并随机初始化参数；
步骤S132，在每一调度周期中，感知环境当前状态sk(t)，智能体根据∈-贪心策略选择动作ξk(t)，由奖赏函数计算奖赏R(t)，环境转移到下一状态sk(t+1)，将元组(sk(t),ξk(t),R(t),sk(t+1))存储至经验回放池中，重复上述过程中的“感知当前环境→选择动作→计算奖赏→环境的状态的转移”(状态转移过程)至该调度周期结束；其中，一般情况下，通过设置时间阈值来控制每一调度周期的结束，比如设置15分钟，在该调度周期达到15分钟时，结束该重复过程；
步骤S133，在每一调度周期的每一步(每一状态转移过程)，从经验回放池中随机抽取一定量的样本，根据构建的损失函数，基于梯度下降法更新网络参数；
步骤S134，重复所述步骤S132～S133，直至得到稳定的周期奖赏；其中，稳定的周期奖赏指的是当前的周期奖赏的方差小于奖赏阈值。
具体地，在步骤S131中，首先采用人工神经网络将动作值函数近似为：
Q(sk(t),ξk(t))≈Q(sk(t),ξk(t)；θk(t))；
其中，Q(sk(t),ξk(t))为近似前的动作值函数，Q(sk(t),ξk(t)；θk(t))为由人工神经网络近似的动作值函数，θk(t)为t时段虚拟电厂k对应的神经网络的权重参数。在训练开始前，神经网络的权重参数需进行随机初始化。
智能体的训练过程由许多调度周期构成。在每一调度周期内，给定初始状态，依据∈-贪心策略选择动作，计算奖赏，转移到下一状态，并将该元组存储至经验回放池中，重复上述过程，直至到达该调度周期的终止状态，之后进入下一周期。∈-贪心策略定义为：
Figure BDA0003322832510000131
其中，π(sk(t))为状态sk(t)下的策略(即所选动作)，以∈的概率任意选择动作，以1-∈的概率选择当前网络参数下使得值函数最大的动作，从而实现探索与利用的均衡。
每次向经验回放池中存储新的元组后，也从经验回放池中随机抽取一定量的样本，根据构建的损失函数，基于梯度下降法更新网络参数。损失函数定义为动作值函数估计的均方误差：
Lk(θk(t))＝E[(yk(t)-Q(sk(t),ξk(t)；θk(t)))2]；
其中，Lk(θk(t))为参数θk(t)下的损失函数，yk(t)为神经网络训练的标签，根据Bellman等式定义为：
Figure BDA0003322832510000132
其中，θk(t-1)为t-1时段虚拟电厂k对应的神经网络的权重参数。
基于梯度下降的网络参数更新式如下：
Figure BDA0003322832510000141
其中，α为学习率。
值得说明的是，上述发明实施例的具体步骤还可参见图3。
本发明实施例的有益效果在于：采用免模型的强化学习方法，通过与环境交互学习最优策略，能够处理难以通过基于模型的传统方法求解的复杂问题，适应系统中的可再生能源出力和负荷等不确定性，并提供实时优化调度方案，其与深度学习相结合的深度强化学习算法，能够应用于高维乃至连续状态空间，再辅以分布式框架，适用于多虚拟电厂协同优化调度。
参见图4，是本发明实施例提供的一种多虚拟电厂的协同优化调度装置的结构框图，所述多虚拟电厂的协同优化调度装置包括：
调度模型构建模块21，用于构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
马尔科夫决策过程构建模块22，用于定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
求解模块23，用于基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
具体地，调度模型构建模块21获取各个虚拟电厂的性能参数，根据性能参数建立各个虚拟电厂的运行约束条件以及目标函数，其中目标函数为运行成本函数，从而构建出多虚拟电厂协同优化调度模型；马尔科夫决策过程构建模块22针对多虚拟电厂协同优化调度模型，构建马尔科夫决策过程，其中包括状态变量、动作变量和奖赏函数的定义；求解模块23基于分布式深度Q网络训练智能体，进而求解多虚拟电厂协同优化调度问题。
值得说明的是，具体的所述多虚拟电厂的协同优化调度装置的工作过程可参考上述实施例中所述多虚拟电厂的协同优化调度方法的工作过程，在此不再赘述。
与现有技术相比，本发明实施例公开的多虚拟电厂的协同优化调度装置，通过构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；并且针对构建的多虚拟电厂协同优化调度模型，进行状态变量、动作变量和奖赏函数的定义，以构建马尔科夫决策过程，进而根据多虚拟电厂协同优化调度模型和马尔科夫决策过程，基于分布式深度Q网络算法训练智能体，最终求解多虚拟电厂协同优化调度问题。由此可见，本发明实施例采用深度强化学习算法，能够应用于高维乃至连续状态空间，适应系统中的可再生能源出力和负荷等的不确定性，能够对多虚拟电厂的协同优化调度问题进行快速且精准的求解。
参见图5，图5是本发明实施例提供的一种多虚拟电厂的协同优化调度设备的结构示意图。所述多虚拟电厂的协同优化调度设备包括处理器31、存储器32以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，例如行驶控制程序。所述处理器31执行所述计算机程序时实现上述多虚拟电厂的协同优化调度方法实施例中的步骤，例如图1中所示的步骤S1～S3。或者，所述处理器31执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如调度模型构建模块11。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器32中，并由所述处理器31执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述多虚拟电厂的协同优化调度设备中的执行过程。例如，所述计算机程序可以被分割成调度模型构建模块21、马尔科夫决策过程构建模块22和求解模块23，各模块具体功能如下：
调度模型构建模块，用于构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
马尔科夫决策过程构建模块，用于定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
求解模块，用于基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
各个模块具体的工作过程可参考上述实施例所述的多虚拟电厂的协同优化调度装置的工作过程，在此不再赘述。
所述多虚拟电厂的协同优化调度设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述多虚拟电厂的协同优化调度设备可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，所述示意图仅仅是多虚拟电厂的协同优化调度设备的示例，并不构成对多虚拟电厂的协同优化调度设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述多虚拟电厂的协同优化调度设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器31是所述多虚拟电厂的协同优化调度设备的控制中心，利用各种接口和线路连接整个多虚拟电厂的协同优化调度设备的各个部分。
所述存储器32可用于存储所述计算机程序和/或模块，所述处理器31通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述多虚拟电厂的协同优化调度设备的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述多虚拟电厂的协同优化调度设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种多虚拟电厂的协同优化调度方法，其特征在于，包括：
构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
2.如权利要求1所述的多虚拟电厂的协同优化调度方法，其特征在于，所述运行成本函数具体为：
Figure FDA0003322832500000011
其中，Ck(t)为t时段第k个虚拟电厂的运行成本，σP2P(t)为t时段虚拟电厂之间P2P交易的交易价格，ωd(t)为配电网的过网价格，σ(t)为主网的实时电价，δ为向主网购电和售电价格与实时电价的差额比例，ak,bk,ck分别为第K个虚拟电厂内部柴油机组的三个成本系数，
Figure FDA0003322832500000013
ρ分别为柴油机组温室气体排放成本的二阶系数和一阶系数，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，
Figure FDA0003322832500000012
为t时段第k个虚拟电厂内部柴油机组的有功出力，M为虚拟电厂个数。
3.如权利要求1所述的多虚拟电厂的协同优化调度方法，其特征在于，所述各个虚拟电厂的运行约束条件包括：
各个虚拟电厂内部柴油机组的运行约束条件、各个虚拟电厂内部储能系统的运行约束条件、各个虚拟电厂之间的电能交易约束条件、各个虚拟电厂与主网的电能交易约束条件，以及各个虚拟电厂内部的功率平衡约束条件。
4.如权利要求3所述的多虚拟电厂的协同优化调度方法，其特征在于，所述柴油机组的运行约束条件，具体为:
Figure FDA0003322832500000021
其中，
Figure FDA0003322832500000022
表示t时段第k个虚拟电厂内部柴油机组的有功出力，
Figure FDA0003322832500000023
表示第k个虚拟电厂内部柴油机组的最小有功功率，
Figure FDA0003322832500000024
表示第k个虚拟电厂内部柴油机组的最大有功功率。
5.如权利要求3所述的多虚拟电厂的协同优化调度方法，其特征在于，所述各个虚拟电厂之间的电能交易约束条件和所述各个虚拟电厂与主网的电能交易约束条件，具体为：
Figure FDA0003322832500000025
|Pki(t)|≤Bki；
其中，M为虚拟电厂个数，Pk(t)为t时段第k个虚拟电厂向其他虚拟电厂和主网的总有功功率输出，Pki(t)为t时段第k个虚拟电厂向第i个虚拟电厂传输的有功功率，Pk0(t)为t时段第k个虚拟电厂向主网传输的有功功率，Bki为传输线最大容量。
6.如权利要求3所述的多虚拟电厂的协同优化调度方法，其特征在于，所述各个虚拟电厂内部储能系统的运行约束条件，具体为：
Figure FDA0003322832500000026
Figure FDA0003322832500000027
Figure FDA0003322832500000031
Figure FDA0003322832500000032
Figure FDA0003322832500000033
其中，
Figure FDA0003322832500000034
分别为t时段第k个虚拟电厂内部储能系统的充电功率和放电功率；
Figure FDA0003322832500000035
分别为第k个虚拟电厂内部储能系统允许的最大充电和最大放电功率；
Figure FDA0003322832500000036
为t时段第k个虚拟电厂内部储能系统的荷电状态；ηch,ηdis分别为储能系统的充电效率和放电效率；
Figure FDA0003322832500000037
为第k个虚拟电厂内部储能系统的容量；
Figure FDA0003322832500000038
分别为第k个虚拟电厂内部储能系统允许的最小荷电状态和最大荷电状态；
所述各个虚拟电厂内部的功率平衡约束条件，具体为：
Figure FDA0003322832500000039
其中，
Figure FDA00033228325000000310
为第k个虚拟电厂内部负荷的预测值，
Figure FDA00033228325000000311
为第k个虚拟电厂内部可再生能源出力的预测值，ζk,υk分别为第k个虚拟电厂内部负荷的预测误差和可再生能源出力的预测误差。
7.如权利要求1所述的多虚拟电厂的协同优化调度方法，其特征在于，所述状态变量和所述动作变量具体为：
Figure FDA00033228325000000312
ξk(t)＝[sk(t-p),...,sk(t-1),sk(t)]；
其中，sk(t)为t时段第k个虚拟电厂的状态变量，ξk(t)为t时段第k个虚拟电厂的动作变量，由当前的状态变量和过去p个时段的状态变量组成；
所述奖赏函数为：
Rk(t)＝-Ck(t)-τk|Pk(t)|-fk(t)；
其中，Rk(t)为t时段第k个虚拟电厂的奖赏函数，Ck(t)为t时段第k个虚拟电厂的运行成本，τk|Pk(t)|为第k个虚拟电厂内部供需不平衡量的惩罚项，τk为惩罚系数，fk(t)为第k个虚拟电厂内部储能系统老化的惩罚项；
第k个虚拟电厂内部储能系统老化的惩罚项，具体为：
Figure FDA0003322832500000041
Figure FDA0003322832500000042
其中，qk(t)为t时段第k个虚拟电厂的充放电转换次数。
8.一种多虚拟电厂的协同优化调度装置，其特征在于，包括：
调度模型构建模块，用于构建多虚拟电厂协同优化调度模型；其中，所述多虚拟电厂协同优化调度模型包括各个虚拟电厂的运行成本函数和各个虚拟电厂的运行约束条件；
马尔科夫决策过程构建模块，用于定义状态变量、动作变量和奖赏函数，针对所述多虚拟电厂协同优化调度模型构建马尔科夫决策过程；
求解模块，用于基于分布式深度Q网络算法训练智能体，求解多虚拟电厂协同优化调度问题。
9.一种多虚拟电厂的协同优化调度设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的多虚拟电厂的协同优化调度方法。
10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至7中任意一项所述的多虚拟电厂的协同优化调度方法。
CN202111252332.5A 2021-10-27 2021-10-27 多虚拟电厂的协同优化调度方法、装置、设备及存储介质 Pending CN114036825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111252332.5A CN114036825A (zh) 2021-10-27 2021-10-27 多虚拟电厂的协同优化调度方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111252332.5A CN114036825A (zh) 2021-10-27 2021-10-27 多虚拟电厂的协同优化调度方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114036825A true CN114036825A (zh) 2022-02-11

Family

ID=80142035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111252332.5A Pending CN114036825A (zh) 2021-10-27 2021-10-27 多虚拟电厂的协同优化调度方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114036825A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115879983A (zh) * 2023-02-07 2023-03-31 长园飞轮物联网技术(杭州)有限公司 虚拟电厂调度方法及其系统
CN117541030A (zh) * 2024-01-09 2024-02-09 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115879983A (zh) * 2023-02-07 2023-03-31 长园飞轮物联网技术(杭州)有限公司 虚拟电厂调度方法及其系统
CN117541030A (zh) * 2024-01-09 2024-02-09 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质
CN117541030B (zh) * 2024-01-09 2024-04-26 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108960510B (zh) 一种基于两阶段随机规划的虚拟电厂优化交易策略装置
CN112614009B (zh) 一种基于深度期望q-学习的电网能量管理方法及系统
CN112529727A (zh) 基于深度强化学习的微电网储能调度方法及装置及设备
CN114036825A (zh) 多虚拟电厂的协同优化调度方法、装置、设备及存储介质
CN108429256B (zh) 电力系统运行优化方法及终端设备
CN112491094B (zh) 一种混合驱动的微电网能量管理方法、系统及装置
CN111553750A (zh) 一种计及电价不确定性和损耗成本的储能竞价策略方法
CN115498623A (zh) 多微电网的储能配置优化方法、装置、设备及存储介质
CN115271397A (zh) 一种电力日前市场出清的计算方法、装置及储存介质
CN114156951B (zh) 一种源网荷储系统的控制优化方法和装置
CN116739158A (zh) 一种基于强化学习的自适应优化储能方法
CN115513984A (zh) 储能系统日前充放电功率的确定方法、装置、存储介质
CN112510690B (zh) 考虑风火储联合和需求响应奖惩的优化调度方法及系统
CN113011101B (zh) 一种储能参与调频辅助服务优化的控制方法及其系统
CN117172486A (zh) 一种基于强化学习的虚拟电厂光储资源聚合调控方法
CN116502832A (zh) 一种多微电网联合规划方法、系统、存储介质及电子设备
CN113555887B (zh) 电网能源控制方法、装置、电子设备及存储介质
CN116054270A (zh) 电网调度优化方法、装置和非易失性存储介质
CN115764936A (zh) 电网储能配置的优化方法、装置、设备及存储介质
CN115360768A (zh) 基于muzero和深度强化学习的电力调度方法、装置及存储介质
CN114792974A (zh) 一种互联微电网能源优化管理的方法和系统
CN112909932A (zh) 一种调峰型虚拟电厂的优化方法及终端
CN111445154A (zh) 一种电力市场资源自调度优化方法、系统以及设备
CN117526376B (zh) 一种虚拟电厂的光伏发电与储能聚合管理方法及装置
CN116451880B (zh) 一种基于混合学习的分布式能源优化调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination