CN113379104A - 微能源网实时调控方法和系统、电子设备及可读存储介质 - Google Patents

微能源网实时调控方法和系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113379104A
CN113379104A CN202110557731.6A CN202110557731A CN113379104A CN 113379104 A CN113379104 A CN 113379104A CN 202110557731 A CN202110557731 A CN 202110557731A CN 113379104 A CN113379104 A CN 113379104A
Authority
CN
China
Prior art keywords
action
real
micro
optimal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110557731.6A
Other languages
English (en)
Inventor
陈颖
司杨
陈来军
黄少伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Qinghai University
Original Assignee
Tsinghua University
Qinghai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Qinghai University filed Critical Tsinghua University
Priority to CN202110557731.6A priority Critical patent/CN113379104A/zh
Publication of CN113379104A publication Critical patent/CN113379104A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/0047—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries with monitoring or indicating devices or circuits
    • H02J7/0048—Detection of remaining charge capacity or state of charge [SOC]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Power Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种微能源网实时调控方法和系统、电子设备及可读存储介质，所述微能源网实时调控的动作空间包含远视动作和短视动作，其中所述方法包括：基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。本发明实施例利用双层RL，使累积报酬最大化。

Description

微能源网实时调控方法和系统、电子设备及可读存储介质
技术领域
本发明涉及微能源网控制领域，尤其涉及一种微能源网实时调控方法和系统、电子设备及可读存储介质。
背景技术
微能源网中通常会集成热、电等多种能源形式，可以实现多种能源形式的相互转化与能量耦合互补利用，其经济调度面临两大挑战，挑战之一来自于可再生能源出力和负荷需求的不确定性。由于天气、人类行为等因素的影响，风能、太阳能等可再生能源的生产和负荷需求具有强烈不确定性，给微能源网的调度增添了难度。另一个挑战是微能源网中紧密复杂的能量耦合关系。能量耦合其一是冷热气电等各种能源形式之间的转换所引起的能源形式耦合；其二是储能系统导致的时间轴上的能源生产消费耦合，储能系统的充放电会影响系统未来能量状态；此两种能量耦合关系使微能源网的经济调度更加复杂。
强化学习或深度强化学习等机器学习方法中，智能体通过和环境的交互从而选择动作序列以最大化累计收益。在时刻t，智能体观察环境状态st，执行动作at作用于环境，并接收到一个奖励信号rt反应动作好坏，之后环境进入下一状态st+1,一条经验(st,at,rt,st+1)被记录下并放进经验池中供RL训练学习使用。微能源网经济调度问题是一个具有复杂约束的离散连续混合动作空间的问题。
发明内容
本发明提供一种微能源网实时调控方法和系统、电子设备及可读存储介质，用以解决现有技术中存在的技术缺陷。
本发明提供一种微能源网实时调控方法，所述微能源网实时调控的动作空间包含远视动作和短视动作，所述微能源网实时调控方法包括：
基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
根据本发明实施例所述的微能源网实时调控方法，所述方法还包括：利用所述上层RL智能体对所述微能源网中的电池进行RL奖励，所述上层RL智能体的奖励函数为：
Figure BDA0003077927520000021
Figure BDA0003077927520000022
其中，
Figure BDA0003077927520000023
是所述下层优化解算器在接收到所述上层RL智能体给出的最佳远视动作后求得的最优即时经济调度成本；Ι(x)为指示函数，x为真时其值为1，否则为0；SOC表示电池SOC；λ为惩罚因子，C(t)为t时段的调度成本。
根据本发明实施例所述的微能源网实时调控方法，所述方法还包括：利用所述上层RL智能体对所述微能源网中的RL状态进行设计，所述RL状态包括做出合理决策需要的信息：
st＝(ce(t),cg(t),pl(t)，ph(t)，pre(t)，SOC(t))
式中，ce(t)是实时电价，cg(t)是实时燃气价格，pl(t)是实时电负荷，ph(t)是实时热负荷，pre(t)是新能源可提供出力，SOC(t)是实时电池SOC。
根据本发明实施例所述的微能源网实时调控方法，所述下层优化解算器采用以下优化方法进行优化：
Figure BDA0003077927520000031
并满足以下功率平衡约束条件、微燃机约束条件、热交换器约束条件、电池动作和SOC约束条件、电锅炉约束条件以及可再生能源出力约束条件；
所述功率平衡约束条件包括电力功率平衡和热能功率平衡，所述电力功率平衡为发电量实时等于消耗量，所述热能功率平衡包括所产生的热量应不少于消耗量；
所述微燃机约束条件包括使微型燃气轮机遵循以热发电的方式；
所述热交换器约束条件包括热交换器和微燃机进行热量交换为负荷供热；
所述电池动作和SOC约束条件包括将电池SOC限制在[0.2,0.8]，且放电功率为正；
所述电锅炉约束条件为电锅炉将电能转换为热能；
所述可再生能源出力约束条件为可在生能源的消纳不超过其出力。
根据本发明实施例所述的微能源网实时调控方法，所述功率平衡约束条件根据以下公式实现：
pe(t)+pre,u(t)+δg(t)pge(t)-δeb(t)peb(t)-pl(t)+pb(t)＝0
δg(t)phe(t)+δeb(t)peb(t)ηeb-ph(t)≥0
式中，δg(t)表示微燃机开关状态，pge(t)表示微燃机输出电功率，δeb(t)表示电锅炉开关状态，peb(t)表示电锅炉输入电功率，ηeb(t)表示电锅炉电热转换效率，pl(t)表示电负荷，pb(t)表示电池出力，phe(t)表示热交换器输出功率，ph(t)表示热负荷。
根据本发明实施例所述的微能源网实时调控方法，所述微燃机约束条件根据以下公式实现：
Figure BDA0003077927520000041
Figure BDA0003077927520000042
Figure BDA0003077927520000043
δg(t)∈{0,1}
式中，ΔT表示单位计算时间，ηge表示微燃机发电效率，RLHVT表示天然气低位热值，pgh(t)为微燃机输出热功率，ηL表示微燃机散热损失率，∈ge为微燃机最小负荷率，
Figure BDA0003077927520000044
表示微燃机额定功率。
根据本发明实施例所述的微能源网实时调控方法，所述热交换器约束条件根据以下公式实现：
phe(t)＝pgh(t)ηhe
Figure BDA0003077927520000045
式中，ηhe表示热交换机热交换效率，
Figure BDA0003077927520000046
表示热交换机额定功率。
本发明还提供了一种微能源网实时调控系统，所述微能源网实时调控的动作空间包含远视动作和短视动作，所述微能源网实时调控系统包括：
最佳远视动作确定模块，用于基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
最佳短视动作确定模块，用于利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
实时调控模块，用于将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述微能源网实时调控方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述微能源网实时调控方法的步骤。
本发明实施例的利用双层RL实现微能源网实时调控方法，RL利用和环境交互试错的方式学习，不依赖于对日前可再生能源出力、负荷等数据的精准预测，可以采用无模型算法处理系统中难以准确建模的因素，具有良好的实时决策性能，可用于微能源网在线实时经济调度，提升能源利用效率。下层优化解算器负责在动作空间的某维(如远视动作)固定时求出最佳的短视动作；上层RL智能体负责在各时刻选择适当的远视动作，使累积报酬最大化。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的微能源网实时调控方法的流程示意图；
图2是本发明一实施例提供的微能源网实时调控系统的示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种微能源网实时调控方法，所述微能源网实时调控的动作空间包含远视动作和短视动作，电池的动作会影响未来的能量状态，称此类动作为远视动作。其他可控装置的动作不影响系统未来能量状态，只影响即时经济调度成本，称此类为短视动作。参见图1，所述微能源网实时调控方法包括：
S1、基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
S2、利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
每一时刻t，下层实现了对短视动作的最优搜索，避免了短视动作空间的无效探索。
S3、将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
所有的动作组成一个全动作空间，下层负责在动作空间的某维(如远视动作)固定时求出最佳的短视动作；上层负责在各时刻选择适当的远视动作，使累积报酬最大化。由于在短视动作维度上的每次搜索都是最优的，因此RL的学习效率可显著提高，加速模型训练和收敛。
双层RL模型还有助于处理复杂的动作约束问题。下层利用经典优化方法来保证不违反短视动作的约束；当上层存在违反远视动作的约束时，可以在奖励中增加适当惩罚。这种设计降低了当短视动作违反约束时的奖励设计复杂性。
本发明实施例的利用双层RL实现微能源网实时调控方法，RL利用和环境交互试错的方式学习，不依赖于对日前可再生能源出力、负荷等数据的精准预测，可以采用无模型算法处理系统中难以准确建模的因素，具有良好的实时决策性能，可用于微能源网在线实时经济调度，提升能源利用效率。下层优化解算器负责在动作空间的某维(如远视动作)固定时求出最佳的短视动作；上层RL智能体负责在各时刻选择适当的远视动作，使累积报酬最大化。
模型上层是RL智能体，主要负责电池调度，进行RL状态、动作及奖励的设计。
根据本发明实施例所述的微能源网实时调控方法，所述方法还包括：利用所述上层RL智能体对所述微能源网中的电池进行RL奖励，所述上层RL智能体的奖励函数为：
Figure BDA0003077927520000071
Figure BDA0003077927520000072
其中，
Figure BDA0003077927520000073
是所述下层优化解算器在接收到所述上层RL智能体给出的最佳远视动作后求得的最优即时经济调度成本；Ι(x)为指示函数，x为真时其值为1，否则为0；SOC表示电池SOC；λ为惩罚因子，是一个很大的数，对SOC约束的违反将被引入到奖励设计中。C(t)为t时段的调度成本。
根据本发明实施例所述的微能源网实时调控方法，所述方法还包括：利用所述上层RL智能体对所述微能源网中的RL状态进行设计，所述RL状态包括做出合理决策需要的信息：
st＝(ce(t),cg(t),pl(t)，ph(t)，pre(t)，SOC(t))
式中，ce(t)是实时电价，cg(t)是实时燃气价格，pl(t)是实时电负荷，ph(t)是实时热负荷，pre(t)是新能源可提供出力，SOC(t)是实时电池SOC。
上层RL智能体管理电池的充放电，为降低训练难度，将电池充放电离散为5个动作，设计如下：
Figure BDA0003077927520000081
根据本发明实施例所述的微能源网实时调控方法，所述下层优化解算器采用以下优化方法进行优化，下层的目标为在上层给定远视动作后最小化即时调度成本，即：
Figure BDA0003077927520000082
在时刻t，除电池出力外的决策变量即短视动作，将留给下层优化模型求解。下层模型为一个MILP模型，需要满足以下功率平衡约束条件、微燃机约束条件、热交换器约束条件、电池动作和SOC约束条件、电锅炉约束条件以及可再生能源出力约束条件；
所述功率平衡约束条件包括电力功率平衡和热能功率平衡，所述电力功率平衡为发电量实时等于消耗量，所述热能功率平衡包括所产生的热量应不少于消耗量；
所述微燃机约束条件包括使微型燃气轮机遵循以热发电的方式；
所述热交换器约束条件包括热交换器和微燃机进行热量交换为负荷供热；
所述电池动作和SOC约束条件包括将电池SOC限制在[0.2,0.8]，且放电功率为正；
所述电锅炉约束条件为电锅炉将电能转换为热能；
所述可再生能源出力约束条件为可在生能源的消纳不超过其出力。
可以采用scipy工具包求解下层MILP问题。求解后得到的最优即时经济调度成本和此时最佳短视动作将返回给上层。
根据本发明实施例所述的微能源网实时调控方法，所述功率平衡约束条件根据以下公式实现：
pe(t)+pre,u(t)+δg(t)pge(t)-δeb(t)peb(t)-pl(t)+pb(t)＝0
δg(t)phe(t)+δeb(t)peb(t)ηeb-ph(t)≥0
式中，δg(t)表示微燃机开关状态，pge(t)表示微燃机输出电功率，δeb(t)表示电锅炉开关状态，peb(t)表示电锅炉输入电功率，ηeb(t)表示电锅炉电热转换效率，pl(t)表示电负荷，pb(t)表示电池出力，phe(t)表示热交换器输出功率，ph(t)表示热负荷。
根据本发明实施例所述的微能源网实时调控方法，所述微燃机约束条件根据以下公式实现：
Figure BDA0003077927520000091
pgh(t)＝pge(t)(1-ηge-ηL)/ηge
Figure BDA0003077927520000092
δg(t)∈{0,1}
式中，ΔT表示单位计算时间，ηge表示微燃机发电效率，RLHVT表示天然气低位热值，pgh(t)为微燃机输出热功率，ηL表示微燃机散热损失率，∈ge为微燃机最小负荷率，
Figure BDA0003077927520000101
表示微燃机额定功率。
根据本发明实施例所述的微能源网实时调控方法，所述热交换器约束条件根据以下公式实现：
phe(t)＝pgh(t)ηhe
Figure BDA0003077927520000102
式中，ηhe表示热交换机热交换效率，
Figure BDA0003077927520000103
表示热交换机额定功率。
电池动作和SOC约束条件为：为保护电池，减缓电池快速老化，将电池的SOC限制在[0.2,0.8]，并在充放电过程中考虑充放电效率。设电池功率以放电功率为正。
Figure BDA0003077927520000104
0.2≤SOC(t)≤0.8
|pb(t)|≤Pb N
式中ηb表示电池转化效率，Pb N为电池额定功率。
电锅炉约束条件是电锅炉将电能转换为热能。
Figure BDA0003077927520000105
δeb(t)∈{0,1}
式中∈eb表示电锅炉最小负荷率，
Figure BDA0003077927520000106
表示电锅炉额定功率，δeb(t)表示电锅炉开关状态。
可再生能源出力约束条件为可在生能源的消纳不应超过其出力。
0≤pre,u(t)≤pre(t)
上述优化问题的可控变量包括零一和连续型变量。零一变量包括燃气轮机启停状态δg(t)和电锅炉启停状态δeb(t)。连续型变量包括电池输出量pb(t)、燃气轮机发电量pge(t)、电锅炉功率peb(t)、可容纳可再生能源pre,u(t)、电网购电量pe(t)、燃气轮机热输出量pgh(t)和换热器输出量phe(t)，连续型变量都具有等式或不等式约束。
以DDPG为代表的策略梯度方法可以解决连续动作控制的RL问题，但在动作维数较低时其收敛性较离散动作控制的RL算法更差。为减小RL训练难度，提升算法收敛性及训练速度，本节将电池出力动作离散化，以收敛性能更好的DQN算法为基础，设计了双层DRL模型算法。在时刻t，上层RL智能体观察环境的状态，并根据其策略选择一个远视动作。将远视动作输入到下层，下层利用MILP求解器求出最佳短视动作及相应奖励。全部动作一起作用于环境，并得到下一状态，存储经验到经验池中供RL训练使用。双层DRL模型完整算法参见下表1。
表1
Figure BDA0003077927520000111
Figure BDA0003077927520000121
本发明实施例公开了一种微能源网实时调控系统，所述微能源网实时调控的动作空间包含远视动作和短视动作，参见图2，包括：
最佳远视动作确定模块10，用于基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
最佳短视动作确定模块20，用于利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
实时调控模块30，用于将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
图3示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行一种微能源网实时调控方法，所述微能源网实时调控的动作空间包含远视动作和短视动作，该方法包括：
S1、基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
S2、利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
S3、将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行一种微能源网实时调控方法，所述微能源网实时调控的动作空间包含远视动作和短视动作，该方法包括：
S1、基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
S2、利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
S3、将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行一种微能源网实时调控方法，所述微能源网实时调控的动作空间包含远视动作和短视动作，该方法包括：
S1、基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
S2、利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
S3、将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种微能源网实时调控方法，其特征在于，所述微能源网实时调控的动作空间包含远视动作和短视动作，所述微能源网实时调控方法包括：
基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
2.根据权利要求1所述的微能源网实时调控方法，其特征在于，所述方法还包括：利用所述上层RL智能体对所述微能源网中的电池进行RL奖励，所述上层RL智能体的奖励函数为：
Figure FDA0003077927510000011
Figure FDA0003077927510000012
其中，
Figure FDA0003077927510000013
是所述下层优化解算器在接收到所述上层RL智能体给出的最佳远视动作后求得的最优即时经济调度成本；Ι(x)为指示函数，x为真时其值为1，否则为0；SOC表示电池SOC；λ为惩罚因子，C(t)为t时段的调度成本。
3.根据权利要求2所述的微能源网实时调控方法，其特征在于，所述方法还包括：利用所述上层RL智能体对所述微能源网中的RL状态进行设计，所述RL状态包括做出合理决策需要的信息：
st＝(ce(t),cg(t),pl(t),ph(t),pre(t),SOC(t))
式中，ce(t)是实时电价，cg(t)是实时燃气价格，pl(t)是实时电负荷，ph(t)是实时热负荷，pre(t)是新能源可提供出力，SOC(t)是实时电池SOC。
4.根据权利要求3所述的微能源网实时调控方法，其特征在于，所述下层优化解算器采用以下优化方法进行优化：
Figure FDA0003077927510000021
并满足以下功率平衡约束条件、微燃机约束条件、热交换器约束条件、电池动作和SOC约束条件、电锅炉约束条件以及可再生能源出力约束条件；
所述功率平衡约束条件包括电力功率平衡和热能功率平衡，所述电力功率平衡为发电量实时等于消耗量，所述热能功率平衡包括所产生的热量应不少于消耗量；
所述微燃机约束条件包括使微型燃气轮机遵循以热发电的方式；
所述热交换器约束条件包括热交换器和微燃机进行热量交换为负荷供热；
所述电池动作和SOC约束条件包括将电池SOC限制在[0.2,0.8]，且放电功率为正；
所述电锅炉约束条件为电锅炉将电能转换为热能；
所述可再生能源出力约束条件为可在生能源的消纳不超过其出力。
5.根据权利要求4所述的微能源网实时调控方法，其特征在于，所述功率平衡约束条件根据以下公式实现：
pe(t)+pre,u(t)+δg(t)pge(t)-δeb(t)peb(t)-pl(t)+pb(t)＝0
δg(t)phe(t)+δeb(t)peb(t)ηeb-ph(t)≥0
式中，δg(t)表示微燃机开关状态，pge(t)表示微燃机输出电功率，δeb(t)表示电锅炉开关状态，peb(t)表示电锅炉输入电功率，ηeb(t)表示电锅炉电热转换效率，pl(t)表示电负荷，pb(t)表示电池出力，phe(t)表示热交换器输出功率，ph(t)表示热负荷。
6.根据权利要求4所述的微能源网实时调控方法，其特征在于，所述微燃机约束条件根据以下公式实现：
Figure FDA0003077927510000031
pgh(t)＝pge(t)(1-ηge-ηL)/ηge
Figure FDA0003077927510000032
δg(t)∈{0，1}
式中，ΔT表示单位计算时间，ηge表示微燃机发电效率，RLHVT表示天然气低位热值，pgh(t)为微燃机输出热功率，ηL表示微燃机散热损失率，∈ge为微燃机最小负荷率，
Figure FDA0003077927510000033
表示微燃机额定功率。
7.根据权利要求4所述的微能源网实时调控方法，其特征在于，所述热交换器约束条件根据以下公式实现：
phe(t)＝pgh(t)ηhe
Figure FDA0003077927510000034
式中，ηhe表示热交换机热交换效率，
Figure FDA0003077927510000035
表示热交换机额定功率。
8.一种微能源网实时调控系统，其特征在于，所述微能源网实时调控的动作空间包含远视动作和短视动作，所述微能源网实时调控系统包括：
最佳远视动作确定模块，用于基于所述微能源网实时环境的状态，利用上层RL智能体在各个时刻选择累积报酬最大化的最佳远视动作；
最佳短视动作确定模块，用于利用下层优化解算器接收由所述上层RL智能体选择的最佳远视动作，使用优化方法在动作空间的至少一维固定时求解出最优即时经济调度成本和对应的最佳短视动作，并将所述最优即时经济调度成本和对应的最佳短视动作返回至上层；
实时调控模块，用于将所述最佳远视动作及最佳短视动作共同作用于所述微能源网实时环境。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的微能源网实时调控方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的微能源网实时调控方法的步骤。
CN202110557731.6A 2021-05-21 2021-05-21 微能源网实时调控方法和系统、电子设备及可读存储介质 Pending CN113379104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110557731.6A CN113379104A (zh) 2021-05-21 2021-05-21 微能源网实时调控方法和系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110557731.6A CN113379104A (zh) 2021-05-21 2021-05-21 微能源网实时调控方法和系统、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113379104A true CN113379104A (zh) 2021-09-10

Family

ID=77571577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110557731.6A Pending CN113379104A (zh) 2021-05-21 2021-05-21 微能源网实时调控方法和系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113379104A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248811A (zh) * 1998-09-24 2000-03-29 郭美雄 大规模收集分散式电能的网路收集方法与装置
US20080189069A1 (en) * 2007-01-18 2008-08-07 James Hans Beck Comprehensive workflow management system for creating and managing closed-loop tasks for businesses and organizations
US20140058571A1 (en) * 2012-08-27 2014-02-27 Nec Laboratories America, Inc. Multi-objective energy management methods for micro-grids
CN108964048A (zh) * 2018-08-15 2018-12-07 国家电网有限公司 微电网容量配置与运行调度方法及装置
CN109088442A (zh) * 2018-10-29 2018-12-25 国网山东省电力公司日照供电公司 多时间尺度下考虑多种储能的微能源网优化调度模型
CN110161369A (zh) * 2019-04-11 2019-08-23 华北电力大学 一种基于架空线路rl模型的直流电网双极短路故障定位方法
CN110391655A (zh) * 2018-04-20 2019-10-29 中国电力科学研究院有限公司 一种含多能源耦合的微能源网经济优化调度方法及装置
CN110703045A (zh) * 2019-11-20 2020-01-17 国网江苏省电力有限公司南通供电分公司 一种基于rl模型算法的直流配电网故障测距方法
CN110728410A (zh) * 2019-10-16 2020-01-24 重庆大学 一种计及需求响应灵活性和不确定性的负荷聚合商经济调度方法
CN111181201A (zh) * 2020-02-21 2020-05-19 清华大学 基于双层强化学习的多能园区调度方法及系统
CN112117760A (zh) * 2020-08-13 2020-12-22 国网浙江省电力有限公司台州供电公司 基于双q值网络深度强化学习的微电网能量调度方法
CN112529277A (zh) * 2020-12-02 2021-03-19 清华大学 一种基于资源调配的热电耦合系统灾前预防方法
CN112560221A (zh) * 2020-11-13 2021-03-26 清华大学 含增强地热系统的设施农业能源网容量分配方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248811A (zh) * 1998-09-24 2000-03-29 郭美雄 大规模收集分散式电能的网路收集方法与装置
US20080189069A1 (en) * 2007-01-18 2008-08-07 James Hans Beck Comprehensive workflow management system for creating and managing closed-loop tasks for businesses and organizations
US20140058571A1 (en) * 2012-08-27 2014-02-27 Nec Laboratories America, Inc. Multi-objective energy management methods for micro-grids
CN110391655A (zh) * 2018-04-20 2019-10-29 中国电力科学研究院有限公司 一种含多能源耦合的微能源网经济优化调度方法及装置
CN108964048A (zh) * 2018-08-15 2018-12-07 国家电网有限公司 微电网容量配置与运行调度方法及装置
CN109088442A (zh) * 2018-10-29 2018-12-25 国网山东省电力公司日照供电公司 多时间尺度下考虑多种储能的微能源网优化调度模型
CN110161369A (zh) * 2019-04-11 2019-08-23 华北电力大学 一种基于架空线路rl模型的直流电网双极短路故障定位方法
CN110728410A (zh) * 2019-10-16 2020-01-24 重庆大学 一种计及需求响应灵活性和不确定性的负荷聚合商经济调度方法
CN110703045A (zh) * 2019-11-20 2020-01-17 国网江苏省电力有限公司南通供电分公司 一种基于rl模型算法的直流配电网故障测距方法
CN111181201A (zh) * 2020-02-21 2020-05-19 清华大学 基于双层强化学习的多能园区调度方法及系统
CN112117760A (zh) * 2020-08-13 2020-12-22 国网浙江省电力有限公司台州供电公司 基于双q值网络深度强化学习的微电网能量调度方法
CN112560221A (zh) * 2020-11-13 2021-03-26 清华大学 含增强地热系统的设施农业能源网容量分配方法及装置
CN112529277A (zh) * 2020-12-02 2021-03-19 清华大学 一种基于资源调配的热电耦合系统灾前预防方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂欢欢; 张家琦; 陈颖; 肖谭南: "《基于双层强化学习方法的多能园区实时经济调度》", 《电网技术》 *

Similar Documents

Publication Publication Date Title
Lu et al. Optimization model for the short-term joint operation of a grid-connected wind-photovoltaic-hydro hybrid energy system with cascade hydropower plants
Wu et al. Dynamic economic dispatch of a microgrid: Mathematical models and solution algorithm
CN109165788B (zh) 一种冷热电联供系统的优化方法
CN109473976B (zh) 一种冷热电联供型微网能量调度方法及系统
Yin et al. Hybrid metaheuristic multi-layer reinforcement learning approach for two-level energy management strategy framework of multi-microgrid systems
CN111242388B (zh) 一种考虑冷热电联供的微电网优化调度方法
CN111181201B (zh) 基于双层强化学习的多能园区调度方法及系统
CN112068436A (zh) 工业园区的综合能源系统分层分布式控制方法及系统
Zhang et al. Regional integrated energy system dispatch strategy considering advanced adiabatic compressed air energy storage device
Hou et al. Data-driven economic dispatch for islanded micro-grid considering uncertainty and demand response
CN114611772B (zh) 一种基于多智能体强化学习的多微网系统协同优化方法
CN115986834A (zh) 基于近端策略优化算法的光储充电站运行优化方法及系统
He et al. Biobjective optimization-based frequency regulation of power grids with high-participated renewable energy and energy storage systems
Nourianfar et al. Economic emission dispatch considering electric vehicles and wind power using enhanced multi-objective exchange market algorithm
An et al. Real-time optimal operation control of micro energy grid coupling with electricity-thermal-gas considering prosumer characteristics
CN116914821A (zh) 一种基于改进粒子群算法的微电网低碳优化调度方法
CN113379104A (zh) 微能源网实时调控方法和系统、电子设备及可读存储介质
CN115693779A (zh) 一种多虚拟电厂与配网协同优化调度方法及设备
CN112713590B (zh) 计及idr的冷热电联供微网与主动配电网联合优化调度方法
Yu et al. Application of fuzzy spiking neural dP systems in energy coordinated control of multi-microgrid
CN112801813A (zh) 一种确定虚拟电厂系统源-荷协同优化模型的方法及系统
Feng et al. Flexible Coordinated Optimal Operation Model of" source-grid-load-storage" in Smart Distribution Network
CN117498467B (zh) 一种基于多层级虚拟电厂的能量协调控制分配方法及系统
Shao et al. Optimal dispatch of grid-connected microgrid considering incentive-based demand response
Liu et al. A hybrid crossover multi-agent multi-objective evolutionary algorithm and its application in microgrid operation optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910

RJ01 Rejection of invention patent application after publication