CN112580867B - 一种基于q学习的园区综合能源系统低碳运行方法 - Google Patents
一种基于q学习的园区综合能源系统低碳运行方法 Download PDFInfo
- Publication number
- CN112580867B CN112580867B CN202011479246.3A CN202011479246A CN112580867B CN 112580867 B CN112580867 B CN 112580867B CN 202011479246 A CN202011479246 A CN 202011479246A CN 112580867 B CN112580867 B CN 112580867B
- Authority
- CN
- China
- Prior art keywords
- chp
- power
- pies
- time
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000009471 action Effects 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims abstract description 48
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000013486 operation strategy Methods 0.000 claims abstract description 25
- 229910002092 carbon dioxide Inorganic materials 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 239000001569 carbon dioxide Substances 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 16
- 241001137251 Corvidae Species 0.000 claims abstract 19
- 235000015108 pies Nutrition 0.000 claims abstract 19
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 62
- 230000005611 electricity Effects 0.000 claims description 58
- 239000007789 gas Substances 0.000 claims description 36
- 239000003345 natural gas Substances 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000007599 discharging Methods 0.000 claims description 27
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 13
- 238000010248 power generation Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- RZZGGSCKACYXBQ-UHFFFAOYSA-N 3,5,6,7,8,9-hexahydro-2h-cyclohepta[c]pyridazin-3-ylhydrazine Chemical compound C1CCCCC2=CC(NN)NN=C21 RZZGGSCKACYXBQ-UHFFFAOYSA-N 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 230000020169 heat generation Effects 0.000 claims description 11
- RZGZMLICFFEUIQ-UHFFFAOYSA-N 5-[(1-phenylcyclohexyl)amino]pentanoic acid Chemical compound C=1C=CC=CC=1C1(NCCCCC(=O)O)CCCCC1 RZGZMLICFFEUIQ-UHFFFAOYSA-N 0.000 claims description 10
- 239000003795 chemical substances by application Substances 0.000 claims description 9
- 239000013256 coordination polymer Substances 0.000 claims description 9
- 238000004146 energy storage Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 7
- 238000001816 cooling Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011423 initialization method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
- G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及一种基于Q学习的园区综合能源系统低碳运行方法，包括步骤：基于能量枢纽的概念建立园区综合能源系统的模型PIES；计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型；建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数；采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进。本发明能够实现园区综合能源系统的低碳运行。
Description
技术领域
本发明涉及电力系统低碳运行技术领域，特别是一种基于Q学习的园区综合能源系统低碳运行方法。
背景技术
随着能源短缺和环境污染问题日益凸显，如何通过节能减排、提高能源利用率、增加新能源占比等方式来实现可持续的发展是当前研究中较为关注的问题。园区综合能源系统(Park-level Integrated Energy System,PIES)在此背景下应运而生，PIES直接面向终端能源用户，利用光伏发电、热电联产、制冷机等多种能源转化装置，将太阳能等清洁能源转化为用户所需的能源形式，继而提高能源利用率并提高清洁能源在终端能源的占比。在恰当的能源运行策略下，PIES可以实现多能互补和能量的梯级利用，最终实现能源的高效灵活利用。但PIES中负荷的波动性、风力和光伏的不确定性、以及能流的多样性的存在，使得制定经济合理的运行策略具有较大的挑战。
目前国内外关于PIES的运行策略已有一定的研究成果。相关研究为了寻求PIES的有效运行策略，或建立了混合整数线性模型，调用Cplex、Gurobi求解器进行求解；或建立混合整数非线性模型，采用粒子群算法、遗传算法等启发式算法进行求解。但PIES中能源的转化存在较强的耦合性，可能会使得PIES运行策略的求解模型变得非凸、非线性，此时调用求解器的方法便不再适用，同时启发式算法在求解时长方面也存在一定的缺陷。
发明内容
有鉴于此，本发明的目的是提出一种基于Q学习的园区综合能源系统低碳运行方法，能够实现园区综合能源系统的低碳运行。
本发明采用以下方案实现：一种基于Q学习的园区综合能源系统低碳运行方法，具体包括以下步骤：
基于能量枢纽的概念建立园区综合能源系统的模型PIES；
计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型；
建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数；
采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进。
进一步地，所述基于能量枢纽的概念建立园区综合能源系统的模型PIES具体为：
建立光伏发电装置、能源转化装置以及电储装置建立运行时的数学模型，并确定各类装置的能源转化关系、装置输入输出范围；所述能源转化装置包括热电联产、燃气锅炉、压缩式制冷机；
1)光伏发电装置PV：PV的输出电功率满足以下约束：
0≤PPV(t)≤PPV,max；
式中，PPV(t)表示t时刻PV发电机输出的电功率，PPV,max表示PV输出电功率的最大值；
2)热电联产CHP的模型及运行条件如下：
PCHP(t)＝ηCHP,eGCHP(t)；
HCHP(t)＝ηCHP,hGCHP(t)；
式中，PCHP(t)和HCHP(t)分别表示t时刻CHP输出的电功率和热功率；ηCHP,e和ηCHP,h分别表示CHP的产电效率和产热效率；GCHP(t)表示t时刻输入CHP的天然气功率；P CHP和
分别表示CHP输出电功率的下限和上限；H CHP和
分别表示CHP输出热功率的下限和上限，输出功率的上下限由装置的额定容量所决定；
3)燃气锅炉GB的模型及其运行约束条件如下：
HGB(t)＝ηGBGGB(t)；
式中，HGB(t)表示t时刻GB输出的热功率；GGB(t)表示t时刻输入GB的天然气功率；ηGB表示GB的产热效率；H GB和
分别表示GB输出热功率的下限和上限；
4)压缩式制冷机CR的模型及其运行约束条件如下：
FCR(t)＝ηCRPCR(t)；
式中，FCR(t)表示t时刻CR输出的冷功率；PCR(t)表示t时刻输入CR的电功率；F CR和
分别表示CR输出冷功率的下限和上限；ηCR表示压缩式制冷机的能源转化效率。
5)电储装置ES的模型及其约束条件如下：
PES,dis(t)·PES,cha(t)＝0；
SOCmin≤SOC(t)≤SOCmax；
式中，PES,cha(t)和PES,dis(t)分别表示t时刻ES的充电和放电功率；
表示ES的充放电功率上限；SOC(t)表示t时刻ES的荷电状态；ηES表示ES的充放电效率；SES表示ES的额定容量；SOCmin和SOCmax分别表示ES荷电的下限和上限；
接着，基于EH概念建立PIES的模型，将PIES抽象为一个多输入-多输出的二端口网络，该双端口网络的输入来自上级电网、上级气网和光伏发电，输入直接面向用户，满足用户的多种能源需求，双端口网络的内部则由能源转化装置和储能装置组成，实现多种能源之间的转化。
进一步地，所述计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型具体为：
以不轻易切掉负荷，计及碳排放治理费用的PIES日运行费用最小为目标函数：
F＝OpeP+OpeG+OpeC；
其中，
式中，F表示目标函数；OpeP、OpeG和OpeC分别表示PIES向上级电网购电费用、向上级天然气网购气费用和二氧化碳的治理费用；P(t)和G(t)分别表示t时刻PIES向上级电网的购电功率和向上级气网的购气功率；fP(t)和fG(t)分别表示t时刻的电价和气价，将一天划分为24个周期，Δt取为1小时；C(t)表示t时刻PIES的CO2排放量；fC表示单位CO2排放量的治理价格；
其中，C(t)的具体表达式如下：
C(t)＝CP(t)+CCHP(t)+CGB(t)；
其中，
CP(t)＝P(t)Δtβe；
CGB(t)＝HGB(t)Δtβh；
式中，CP(t)、CCHP(t)和CGB(t)分别表示t时刻购电、CHP、GB的CO2排放量；βe和βh分别表示单位产电量和单位产热量所产生的CO2排放量；
表示单位产电量向单位产热量的折算系数。
进一步地，基于所述目标函数，包括两类约束，一是各类装置的运行约束，二是电、热、气、冷功率平衡的约束，以达到供需平衡的目的。
其中，电、热、气、冷功率平衡的约束如下：
1)电功率平衡约束如下：
P(t)+PPV(t)+PCHP(t)＝Pload(t)+PCR(t)+PES,cha(t)-PES,dis(t)；
式中，Pload(t)表示t时刻电负荷的功率大小
2)热功率平衡约束如下：
HCHP(t)+HGB(t)＝Hload(t)；
式中，Hload(t)表示t时刻热负荷的功率大小；
3)天然气平衡约束如下：
G(t)＝GCHP(t)+GGB(t)；
4)冷功率平衡约束如下：
FCR(t)＝Fload(t)；
式中，Fload(t)表示t时刻冷负荷的功率大小。
进一步地，所述建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数具体为：
动作空间如下：
A＝[GCHP(t),GGB(t),PCR(t),PES(t),P(t),G(t)]；
式中，PES(t)表示ES的充放电功率，其取值为正时表示ES充电，取值为负时表示ES放电；进一步将动作空间简化为：
A＝[GCHP(t),PES(t)]；
状态空间具体为将ES的荷电状态作为MDP问题的状态空间，如下：
S＝[SOC(t)]；
奖励函数如下：
R＝-(F+F2)；
其中，
式中：x用于判断ES的荷电状态是否越限；t时刻采取动作后，ES荷电状态变为SOC(t+1)，若ES荷电状态越限，将按照越限量乘以当前时刻电价的100倍来进行惩罚。
进一步地，所述采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进具体包括以下步骤：
将动作空间和状态空间离散化；
将Q值表初始化为每个动作对(st,at)相应的奖励函数值，并进行Q值迭代。
其中，所述Q值迭代具体包括以下步骤：
1)初始化Q值表，迭代次数n＝1；
2)决策周期t初始化为0，并初始化PIES在开始时刻的取值；
3)根据PIES当前的状态st，基于ε-greedy贪心算法选择合适的动作at：首先初始化ε的取值，智能体在学习过程以ε的概率进行探索，以(1-ε)的概率利用，探索即将所有的尝试机会均匀地分到每个可以执行的动作中去，利用即选择奖赏最大的动作；为了在探索和利用中实现较好的折中，首先将ε设置为一个较大的值(本发明设置其初始值为0.999，其值随迭代次数n的增加而以幂函数的形式逐渐减小，即0.999n)以获得多个动作的奖赏经验值，然后随着迭代次数的增加逐渐减小ε的取值，以选取奖赏最大的动作；执行动作at后获得下一决策周期的状态；
4)根据步骤3)所选择的动作at，按照奖励函数的计算公式计算相应的奖赏r(st,at)，并按照Q值表的更新公式更新动作对(st,at)的Q值；
5)令t＝t+1，T＝24表示总的决策周期数，若t≤T则返回步骤4)，否则进入步骤6)；
6)令n＝n+1，N表示迭代次数最大值，若n＞N或者学习过程已收敛，则结束迭代，得到最终的Q值表和运行策略，否则返回步骤2)。
与现有技术相比，本发明有以下有益效果：首先，利用本发明给出的改进Q学习算法来求解园区综合能源系统的运行策略，算法能较快地收敛；其次，本发明针对园区综合能源系统所建立的运行策略，可以通过合理配置多种能源转化装置和储能装置的输出功率，来达到充分发挥园区综合能源系统多能互补优势的目的，进而实现能源的高效利用；再者，本发明计及二氧化碳排放，把二氧化碳排放的治理费用考虑进园区综合能源系统的日运行总费用中，虽然总费用因此而增加，但是园区综合能源系统可以因此以相对低碳的模式运行，即可以在一定程度上兼顾经济性与低碳性。
附图说明
图1为本发明实施例的PIES结构示意图。
图2为本发明实施例的基于Q学习算法的求解流程图。
图3为本发明实施例的PIES在过度季典型日的负荷、PV出力曲线图。
图4为本发明实施例的仿真的算法收敛过程图。
图5为本发明实施例的PIES能源购买量示意图。
图6为本发明实施例的优化后的电功率结果。
图7为本发明实施例的优化后的天然气结果示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种基于Q学习的园区综合能源系统低碳运行方法，具体包括以下步骤：
利用热电联产(CombinedHeat andProduction,CHP)装置、燃气锅炉(Gas Boiler,GB)、压缩式制冷机(CompressionRefrigerator,CR)等能源转化装置，以及电储(Electricity Storage,ES)等储能装置，基于能量枢纽(Energy Hub,EH)的概念建立园区综合能源系统(Park-level Integrated Energy Systems,PIES)的模型，以充分发挥PIES的多能互补优势；
计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型；
建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数；
采用改进的Q学习算法对所述的MDP问题进行求解，并针对传统Q学习初始化方法存在的收敛速度慢等缺陷，利用奖励函数对Q值表进行初始化的改进。
在本实施例中，所述基于能量枢纽的概念建立园区综合能源系统的模型PIES具体为：
如图1所示，针对PIES中所涉及的光伏(Photovoltaic,PV)发电装置，能源转化装置：热电联产、燃气锅炉、压缩式制冷机，以及电储装置，建立各类装置在运行时的数学模型，确定各类装置的能源转化关系、装置输入输出范围等；
1)光伏发电装置PV：光伏发电具有较强的不确定性和波动性，PV的输出电功率满足以下约束：
0≤PPV(t)≤PPV,max；
式中，PPV(t)表示t时刻PV发电机输出的电功率，PPV,max表示PV输出电功率的最大值；
2)热电联产CHP：CHP的输入是天然气，输出既有电能，又有热能，其模型及运行约束条件如下：
PCHP(t)＝ηCHP,eGCHP(t)；
HCHP(t)＝ηCHP,hGCHP(t)；
式中，PCHP(t)和HCHP(t)分别表示t时刻CHP输出的电功率和热功率；ηCHP,e和ηCHP,h分别表示CHP的产电效率和产热效率；GCHP(t)表示t时刻输入CHP的天然气功率；P CHP和
分别表示CHP输出电功率的下限和上限；H CHP和
分别表示CHP输出热功率的下限和上限，输出功率的上下限由装置的额定容量所决定；
3)燃气锅炉GB：GB的输入是天然气，在本发明中，GB输出的热能与CHP输出的热能共同为PIES的热负荷供热，GB的模型及其运行约束条件如下所示：
HGB(t)＝ηGBGGB(t)；
式中，HGB(t)表示t时刻GB输出的热功率；GGB(t)表示t时刻输入GB的天然气功率；ηGB表示GB的产热效率；H GB和
分别表示GB输出热功率的下限和上限；
4)压缩式制冷机CR：CR的输入是电能，输出冷功率。在本发明中，PIES的冷负荷全由CR供应。CR的模型及其运行约束条件如下所示：
FCR(t)＝ηCRPCR(t)；
式中，FCR(t)表示t时刻CR输出的冷功率；PCR(t)表示t时刻输入CR的电功率；F CR和
分别表示CR输出冷功率的下限和上限；ηCR表示压缩式制冷机的能源转化效率。
5)电储装置ES：ES有充放电两种状态，合理配置ES的充放电功率，可有效缓解用电高峰期的用电压力。ES的模型及运行约束条件如下所示：
PES,dis(t)·PES,cha(t)＝0；
SOCmin≤SOC(t)≤SOCmax；
式中，PES,cha(t)和PES,dis(t)分别表示t时刻ES的充电和放电功率；
表示ES的充放电功率上限；本发明取值为ES容量的25％；式(12)表示ES的充电、放电行为不能同时进行；SOC(t)表示t时刻ES的荷电状态；ηES表示ES的充放电效率，本发明取1；SES表示ES的额定容量；SOCmin和SOCmax分别表示ES荷电的下限和上限；
接着，基于EH概念建立PIES的模型，将PIES抽象为一个多输入-多输出的二端口网络，如图1所示，该双端口网络的输入来自上级电网、上级气网和光伏发电，输入直接面向用户，满足用户的多种能源需求，双端口网络的内部则由能源转化装置和储能装置组成，实现多种能源之间的转化。
在本实施例中，所述计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型具体为：本发明以经济性和低碳性为目标，建立了PIES低碳运行的数学模型，决策PIES向上级电网、天然气网的购买量以及能源转化装置出力等变量，最终实现PIES的多能互补以及协同效益。该数学优化模型以计及碳排放治理费用的PIES日运行费用最小为目标函数，建立设备的运行约束、功率平衡约束等约束条件，决策向上级电网、气网的购买量以及各类装置的运行策略，来满足用户的多种用能形式需求以及实现能源的高效利用：
关于目标函数：本发明基于不轻易改变PIES用户侧消费意愿的原则，即不轻易切掉负荷，以计及碳排放治理费用的PIES日运行费用最小为目标函数，该目标函数由PIES向上级电网购电费用、向上级天然气网购气费用、二氧化碳的治理费用组成。目标函数的具体表述如下所示：
F＝OpeP+OpeG+OpeC；
其中，
式中，F表示目标函数；OpeP、OpeG和OpeC分别表示PIES向上级电网购电费用、向上级天然气网购气费用和二氧化碳的治理费用；P(t)和G(t)分别表示t时刻PIES向上级电网的购电功率和向上级气网的购气功率；fP(t)和fG(t)分别表示t时刻的电价和气价，将一天划分为24个周期，Δt取为1小时；C(t)表示t时刻PIES的CO2排放量；fC表示单位CO2排放量的治理价格；
其中，C(t)的具体表达式如下：
C(t)＝CP(t)+CCHP(t)+CGB(t)；
PIES向上级电网所购买的电量大多通过燃烧煤炭而产生，此产电过程会排放CO2。因此本发明考虑PIES的CO2治理成本由向上级电网购电、CHP、GB构成。C(t)的具体表达式如下所示：
CP(t)＝P(t)Δtβe；
CGB(t)＝HGB(t)Δtβh；
式中，CP(t)、CCHP(t)和CGB(t)分别表示t时刻购电、CHP、GB的CO2排放量；βe和βh分别表示单位产电量和单位产热量所产生的CO2排放量；
表示单位产电量向单位产热量的折算系数。
在本实施例中，基于所述目标函数，包括两类约束，一是各类装置的运行约束，二是电、热、气、冷功率平衡的约束，以达到供需平衡的目的。
其中，各类装置的运行约束如下：
1)光伏(PV)运行约束
光伏发电具有较强的不确定性和波动性，PV的输出电功率应该满足以下约束：
0≤PPV(t)≤PPV,max
式中：PPV(t)表示t时刻PV发电机输出的电功率，PPV,max表示PV输出电功率的最大值。
2)热电联产(CHP)运行约束
CHP的输入是天然气，输出既有电能，又有热能，其模型及运行约束条件如下：
PCHP(t)＝ηCHP,eGCHP(t)
HCHP(t)＝ηCHP,hGCHP(t)
式中：PCHP(t)和HCHP(t)分别表示t时刻CHP输出的电功率和热功率；ηCHP,e和ηCHP,h分别表示CHP的产电效率和产热效率；GCHP(t)表示t时刻输入CHP的天然气功率；P CHP和
分别表示CHP输出电功率的下限和上限；H CHP和
分别表示CHP输出热功率的下限和上限，输出功率的上下限由装置的额定容量所决定。
3)燃气锅炉(GB)运行约束
GB的输入是天然气，在发明中，GB输出的热能与CHP输出的热能共同为PIES的热负荷供热，GB的模型及其运行约束条件如下所示：
HGB(t)＝ηGBGGB(t) (28)
式中：HGB(t)表示t时刻GB输出的热功率；GGB(t)表示t时刻输入GB的天然气功率；ηGB表示GB的产热效率；H GB和
分别表示GB输出热功率的下限和上限。
4)压缩式制冷机(CR)运行约束
CR的输入是电能，输出冷功率。在本发明中，PIES的冷负荷全由CR供应。CR的模型及其运行约束条件如下所示：
FCR(t)＝ηCRPCR(t) (30)
式中：FCR(t)表示t时刻CR输出的冷功率；PCR(t)表示t时刻输入CR的电功率；F CR和
分别表示CR输出冷功率的下限和上限。
5)电储(ES)运行约束
ES有充放电两种状态，合理配置ES的充放电功率，可有效缓解用电高峰期的用电压力。ES的模型及运行约束条件如下所示：
PES,dis(t)·PES,cha(t)＝0 (34)
SOCmin≤SOC(t)≤SOCmax (36)
式中：PES,cha(t)和PES,dis(t)分别表示t时刻ES的充电和放电功率；
表示ES的充放电功率上限，本发明取值为ES容量的25％；第三个式子表示ES的充电、放电行为不能同时进行；SOC(t)表示t时刻ES的荷电状态；ηES表示ES的充放电效率，本发明取1；SES表示ES的额定容量；SOCmin和SOCmax分别表示ES荷电的下限和上限。
其中，电、热、气、冷功率平衡的约束如下：
1)电功率平衡约束如下：
P(t)+PPV(t)+PCHP(t)＝Pload(t)+PCR(t)+PES,cha(t)-PES,dis(t)；
式中，Pload(t)表示t时刻电负荷的功率大小
2)热功率平衡约束如下：
HCHP(t)+HGB(t)＝Hload(t)；
式中，Hload(t)表示t时刻热负荷的功率大小；
3)天然气平衡约束如下：
G(t)＝GCHP(t)+GGB(t)；
4)冷功率平衡约束如下：
FCR(t)＝Fload(t)；
式中，Fload(t)表示t时刻冷负荷的功率大小。
在本实施例中，所述建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数具体为：
本发明建立的PIES低碳运行策略，在满足供需平衡的前提下，通过决策优化能源转化装置的出力、购电量、购气量，来达到PIES低碳经济运行的目的。在MDP问题中，PIES智能体在当前状态下所采取的下一步动作仅仅与其当前状态有关，即当前时刻下的负荷功率大小、ES的荷电状态、PV出力等，当智能体执行某一决策动作后，会获得与该动作相对应的奖赏。具体来说，MDP问题的动作空间、状态空间以及奖励函数的表述如下所示：
动作空间：PIES的运行策略目的在于优化装置的出力、电和气的购买量，本发明考虑MDP的动作空间由CHP/GB/CR三类能源转化装置的输入、ES充放电功率、向上级电网购电量、向上级气网购气量组成，如下面式子所示：
A＝[GCHP(t),GGB(t),PCR(t),PES(t),P(t),G(t)]；
式中，PES(t)表示ES的充放电功率，其取值为正时表示ES充电，取值为负时表示ES放电；
由于电、热、冷负荷以及PV出力可以通过预测而在决策周期前得知，因此结合天然气平衡约束式和热功率平衡约束式，若CHP的天然气输入已知，GB的天然气输入、天然气购买量可以通过平衡式由CHP天然气输入推算出来。同理，冷负荷仅仅由CR提供，CR的电输入功率可由冷功率平衡约束式推算而得；若ES的充放电功率已知，通过电功率平衡式，同样可以推算出PIES的购电量。因此，若动作空间A仅由CHP的天然气输入、ES的充放电功率组成，动作空间的其余变量均可由上述两个变量根据相应约束条件推算而得。因此，进一步将动作空间简化为：
A＝[GCHP(t),PES(t)]；
状态空间具体为将ES的荷电状态作为MDP问题的状态空间，如下：
S＝[SOC(t)]；
奖励函数：本发明的奖励函数和模型的目标函数有关，同时，动作空间的确定考虑到了CHP、GB、CR的设备约束条件以及电、热、气、冷的功率平衡，却没有涉及ES的荷电状态约束。因此本发明考虑对ES荷电状态越限进行惩罚，MDP问题的奖励函数也和该惩罚函数有关。Q学习考虑最终的奖赏最大化，本发明构建的奖励函数R的具体表达如下所示：
R＝-(F+F2)；
其中，
式中：x用于判断ES的荷电状态是否越限；t时刻采取动作后，ES荷电状态变为SOC(t+1)，若ES荷电状态越限，将按照越限量乘以当前时刻电价的100倍来进行惩罚。
在本实施例中，所述采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进具体包括以下步骤，如图2所示：
将动作空间和状态空间离散化；
将Q值表初始化为每个动作对(st,at)相应的奖励函数值，并进行Q值迭代。
其中，将动作空间和状态空间离散化具体为：
动作空间涉及CHP的输入和ES充放电功率两个变量，若CHP的输入离散为(a+1)个值，ES的充放电功率离散为(2b+1)个值，则动作空间共有(a+1)*(2b+1)维。CHP的天然气输入应当在其所能承受的最小值(即0)和最大值
之间取值，因此本发明将最小值和最大值组成的区间等量离散为(a+1)个值，如下面第一个式子所示；同样的，ES有充电和放电两种行为，允许的最大充电功率和最大放电功率取值一致，都为
因此ES的充放电功率可以按下面第二个式子进行离散。
状态空间仅含ES的荷电状态一个变量，在SOCmin和SOCmax之间取值，ES的荷电状态按照下面的式子离散为(c+1)个值。
其中，Q值表的初始化为：传统的Q学习算法将Q值表的全部元素初始化为零，本发明的目标函数为PIES的日运行费用最小，将奖励函数R定义为负值，如此一来则需要把Q值表的全部元素初始化为一个较小的负值。无论是初始化为零还是一个较小的负值，收敛的速度都会较慢，为了提高算法的收敛速度，本发明将Q值表初始化为每个动作对(st,at)相应的奖励函数值，即：
Qini(st,at)＝r(st,at)；
式中：Qini(st,at)表示动作对(st,at)对应的初始Q值。
其中，Q学习算法中，智能体通过不断与外部环境进行交互学习获得经验，如果智能体在当前状态下采取的某个动作导致环境给予积极的奖赏，则智能体后续再次处于这个状态时，选中该行为的趋势增强。总的来说，Q学习算法是一种基于值函数迭代的在线学习和动态最优技术。Q值的迭代表达式如下式所示：
Q*(st,at)＝(1-α)Q(st,at)+α[r(st,at)+γmaxQ(st+1,a′)]
式中：(st,at)表示t时刻的状态-动作对；Q(st,at)表示采取动作at之前的Q值；Q*(st,at)表示执行动作at之后更新的Q值；maxQ(st+1,a′)表示执行动作at进入状态st+1后，在st+1状态下能执行的所有动作中的最大Q值；α为学习率，其值越大，表明智能体学习新经验的概率越大，保留以往经验的概率越小；γ为折现因子；r(st,at)表示动作对(st,at)所对应的奖励函数值。
其中，所述Q值迭代具体包括以下步骤：
1)初始化Q值表，迭代次数n＝1；
2)决策周期t初始化为0，并初始化PIES在开始时刻的取值；本发明认为ES在0点时储有ES额定容量的10％电量。
3)根据PIES当前的状态st，基于ε-greedy贪心算法选择合适的动作at：首先初始化ε的取值，智能体在学习过程以ε的概率进行探索，以(1-ε)的概率利用，探索即将所有的尝试机会均匀地分到每个可以执行的动作中去，利用即选择奖赏最大的动作；为了在探索和利用中实现较好的折中，首先将ε设置为一个较大的值(本发明设置其初始值为0.999，其值随迭代次数n的增加而以幂函数的形式逐渐减小，即0.999n)以获得多个动作的奖赏经验值，然后随着迭代次数的增加逐渐减小ε的取值，以选取奖赏最大的动作；执行动作at后获得下一决策周期的状态；
4)根据步骤3)所选择的动作at，按照奖励函数的计算公式计算相应的奖赏r(st,at)，并按照Q值表的更新公式更新动作对(st,at)的Q值；
5)令t＝t+1，T＝24表示总的决策周期数，若t≤T则返回步骤4)，否则进入步骤6)；
6)令n＝n+1，N表示迭代次数最大值，若n＞N或者学习过程已收敛，则结束迭代，得到最终的Q值表和运行策略，否则返回步骤2)。
下面本实施例以一具体算例进行说明：
本实施例采用的PIES仿真结构如图1所示。图3为过度季典型日PIES的日负荷、PV出力曲线，电、热、冷负荷的最大值分别为100kW、175kW、75kW。PIES采用分时电价模式，峰时段、平价时段和谷时段的电价分别是1.35元/kWh、0.9元/kWh、0.47元/kWh，峰时段为11:00-16:00、19:00-21:00，平价时段为8:00-11:00、16:00-19:00、21:00-0:00，谷时段为0:00-8:00。天然气价为0.35元/kWh，二氧化碳的治理费用为100元/吨。能源转化装置的额定容量、能源转化效率等参数见表1，碳排放的相关参数见表2，Q学习算法的相关参数见表3。
表1设备参数
表2碳排放相关参数
表3Q学习算法相关参数
储能ES的额定容量为200kWh，最大的充放电功率为容量的25％，荷电状态的取值在0.1-0.9之间，因此本发明将荷电状态以0.025为区间长度按照离散公式离散为33个值，作为MDP问题的状态空间，即状态空间共有33×24＝792维。ES的最大充放电功率为50kW，本发明以5kW为区间长度，按照离散公式将动作空间的充放电功率离散为21个取值；同理，在0/200kW之间以5kW为区间长度将CHP的输入离散为41个取值，则共有21×41＝861种动作组合。
算法的收敛过程如图4所示，图4给出了Q学习算法在学习过程中的最佳动作序列奖励和平均最佳序列奖励的迭代过程。本发明设定的最大迭代次数为100000次，在最终的最终动作序列下，PIES的日运行费用为2603.0元。而通过观察图4可以发现，基于奖励函数的初始化方法相较于传统的初始化方法要更快收敛，经过7000次迭代之后，最佳动作序列奖励和平均最佳序列奖励已基本收敛，说明Q学习算法已基本收敛，同时也证明Q学习算法可以有效解决本发明所提出能量运行策略问题，为园区综合能源系统的低碳经济运行提供一定的思路。
利用Q学习算法得到最终的园区综合能源系统的运行策略如图5-图7所示。图5展示了在过度季的典型日下，PIES向上级电网、上级气网的购电量和购气量，以及电储装置在24小时内的充放电状态及充放电功率大小。分析图5所展示的结果可以发现，相比于电价的平价时段和谷时段，PIES在电价的高峰时段(11:00-16:00、19:00-21:00)，购电量较少，购气量较多，并且电储装置基本处于“低储高发”的状态。
对比分析和观察图5和图6优化结果，在满足供需平衡的前提下，在电价的高峰时段，PIES不仅减少了向上级电网的购电量，还可以通过增加天然气的购买量进而增大CHP机组输出的电功率大小；同时，ES在电价的高峰时段基本处于放电状态，进一步减少了PIES向上级电网的购电量，甚至可以向电网售电，提高PIES运行时的经济性。说明通过合理配置CHP、ES的运行策略，可以充分发挥PIES的多能互补优势，进而实现PIES的经济运行。
图7给出了在最佳动作序列下，热功率的平衡情况。从图7可以看出，CHP机组的输出热功率与GB的热输出功率一起满足用户的热负荷需求。结合图5-图6一起分析可知，合理配置CHP、ES、GB等装置的运行策略，是实现PIES供需平衡和多能互补的基本前提。总的来说，本发明采用改进Q学习算法学习得到的运行策略具有以下特点：
1)电储能在低负荷的谷时段或者平价时段利用光伏和谷价电能充电，然后在电价高峰时段集中放电，可以提升PIES运行时的经济性能，也能在一定程度上可以起到缓解主网供电压力的作用。
2)在电价的高峰时段，除了电储放电，PIES的购气量也相对其他时段有一定的增长，天然气输入CHP，CHP输出电功率和热功率，CHP的电能输出增加，可以进一步减少PIES的购电量，甚至可以和电储配合向主网售电。
3)利用Q学习算法得到的PIES运行策略可以在满足供需平衡的基础上充分发挥PIES的多能互补优势。
为了分析PIES运行策略的低碳性，本发明分析比较了不考虑二氧化碳排放治理成本、二氧化碳的治理费用为100元/吨两种情况下的PIES总运行成本、PIES与上级电/气网的能源交易成本、碳治理费用以及二氧化碳排放量，两种情况下的优化结果见表4所示。对比表4中两种情形下的优化结果可以发现，如果以100元/吨的治理费用来处理情形1下的二氧化碳排放，则情形1的总成本为2380+2.648×100＝2634.8元，高于情形2下的总成本，说明本发明利用Q学习算法得到的PIES运行策略可以在一定程度上兼顾系统的经济性和低碳性。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (6)
1.一种基于Q学习的园区综合能源系统低碳运行方法，其特征在于，包括以下步骤：
基于能量枢纽的概念建立园区综合能源系统的模型PIES；
计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型；
建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数；
采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进；
所述基于能量枢纽的概念建立园区综合能源系统的模型PIES具体为：
建立光伏发电装置、能源转化装置以及电储装置建立运行时的数学模型，并确定各类装置的能源转化关系、装置输入输出范围；所述能源转化装置包括热电联产、燃气锅炉、压缩式制冷机；
1)光伏发电装置PV：PV的输出电功率满足以下约束：
0≤PPV(t)≤PPV,max；
式中，PPV(t)表示t时刻PV发电机输出的电功率，PPV,max表示PV输出电功率的最大值；
2)热电联产CHP的模型及运行条件如下：
PCHP(t)＝ηCHP,eGCHP(t)；
HCHP(t)＝ηCHP,hGCHP(t)；
式中，PCHP(t)和HCHP(t)分别表示t时刻CHP输出的电功率和热功率；ηCHP,e和ηCHP,h分别表示CHP的产电效率和产热效率；GCHP(t)表示t时刻输入CHP的天然气功率；P CHP和
分别表示CHP输出电功率的下限和上限；H CHP和
分别表示CHP输出热功率的下限和上限，输出功率的上下限由装置的额定容量所决定；
3)燃气锅炉GB的模型及其运行约束条件如下：
HGB(t)＝ηGBGGB(t)；
式中，HGB(t)表示t时刻GB输出的热功率；GGB(t)表示t时刻输入GB的天然气功率；ηGB表示GB的产热效率；H GB和
分别表示GB输出热功率的下限和上限；
4)压缩式制冷机CR的模型及其运行约束条件如下：
FCR(t)＝ηCRPCR(t)；
式中，FCR(t)表示t时刻CR输出的冷功率；PCR(t)表示t时刻输入CR的电功率；F CR和
分别表示CR输出冷功率的下限和上限；ηCR表示压缩式制冷机的能源转化效率；
5)电储装置ES的模型及其约束条件如下：
PES,dis(t)·PES,cha(t)＝0；
SOCmin≤SOC(t)≤SOCmax；
式中，PES,cha(t)和PES,dis(t)分别表示t时刻ES的充电和放电功率；
表示ES的充放电功率上限；SOC(t)表示t时刻ES的荷电状态；ηES表示ES的充放电效率；SES表示ES的额定容量；SOCmin和SOCmax分别表示ES荷电的下限和上限；
接着，基于EH概念建立PIES的模型，将PIES抽象为一个多输入-多输出的双端口网络，该双端口网络的输入来自上级电网、上级气网和光伏发电，输入直接面向用户，满足用户的多种能源需求，双端口网络的内部则由能源转化装置和储能装置组成，实现多种能源之间的转化；
所述计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型具体为：
以不轻易切掉负荷，计及碳排放治理费用的PIES日运行费用最小为目标函数：
F＝OpeP+OpeG+OpeC；
其中，
式中，F表示目标函数；OpeP、OpeG和OpeC分别表示PIES向上级电网购电费用、向上级天然气网购气费用和二氧化碳的治理费用；P(t)和G(t)分别表示t时刻PIES向上级电网的购电功率和向上级气网的购气功率；fP(t)和fG(t)分别表示t时刻的电价和气价，将一天划分为24个周期，Δt取为1小时；C(t)表示t时刻PIES的CO2排放量；fC表示单位CO2排放量的治理价格；
其中，C(t)的具体表达式如下：
C(t)＝CP(t)+CCHP(t)+CGB(t)；
其中，
CP(t)＝P(t)Δtβe；
CGB(t)＝HGB(t)Δtβh；
式中，CP(t)、CCHP(t)和CGB(t)分别表示t时刻购电、CHP、GB的CO2排放量；βe和βh分别表示单位产电量和单位产热量所产生的CO2排放量；
表示单位产电量向单位产热量的折算系数。
2.根据权利要求1所述的一种基于Q学习的园区综合能源系统低碳运行方法，其特征在于，基于所述目标函数，包括两类约束，一是各类装置的运行约束，二是电、热、气、冷功率平衡的约束，以达到供需平衡的目的。
3.根据权利要求2所述的一种基于Q学习的园区综合能源系统低碳运行方法，其特征在于，电、热、气、冷功率平衡的约束如下：
1)电功率平衡约束如下：
P(t)+PPV(t)+PCHP(t)＝Pload(t)+PCR(t)+PES,cha(t)-PES,dis(t)；
式中，Pload(t)表示t时刻电负荷的功率大小
2)热功率平衡约束如下：
HCHP(t)+HGB(t)＝Hload(t)；
式中，Hload(t)表示t时刻热负荷的功率大小；
3)天然气平衡约束如下：
G(t)＝GCHP(t)+GGB(t)；
4)冷功率平衡约束如下：
FCR(t)＝Fload(t)；
式中，Fload(t)表示t时刻冷负荷的功率大小。
4.根据权利要求1所述的一种基于Q学习的园区综合能源系统低碳运行方法，其特征在于，所述建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数具体为：
动作空间如下：
A＝[GCHP(t),GGB(t),PCR(t),PES(t),P(t),G(t)]；
式中，PES(t)表示ES的充放电功率，其取值为正时表示ES充电，取值为负时表示ES放电；
进一步将动作空间简化为：
A＝[GCHP(t),PES(t)]；
状态空间具体为将ES的荷电状态作为MDP问题的状态空间，如下：
S＝[SOC(t)]；
奖励函数如下：
R＝-(F+F2)；
其中，
式中：x用于判断ES的荷电状态是否越限；t时刻采取动作后，ES荷电状态变为SOC(t+1)，若ES荷电状态越限，将按照越限量乘以当前时刻电价的100倍来进行惩罚。
5.根据权利要求1所述的一种基于Q学习的园区综合能源系统低碳运行方法，其特征在于，所述采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进具体包括以下步骤：
将动作空间和状态空间离散化；
将Q值表初始化为每个动作对(st,at)相应的奖励函数值，并进行Q值迭代。
6.根据权利要求5所述的一种基于Q学习的园区综合能源系统低碳运行方法，其特征在于，所述Q值迭代具体包括以下步骤：
1)初始化Q值表，迭代次数n＝1；
2)决策周期t初始化为0，并初始化PIES在开始时刻的取值；
3)根据PIES当前的状态st，基于ε-greedy贪心算法选择合适的动作at：首先初始化ε的取值，智能体在学习过程以ε的概率进行探索，以(1-ε)的概率利用，探索即将所有的尝试机会均匀地分到每个可以执行的动作中去，利用即选择奖赏最大的动作；首先将ε的初始值设置为0.999，其值随迭代次数n的增加而以幂函数的形式逐渐减小，即0.999n，以获得多个动作的奖赏经验值，然后随着迭代次数的增加逐渐减小ε的取值，以选取奖赏最大的动作；执行动作at后获得下一决策周期的状态；
4)根据步骤3)所选择的动作at，按照奖励函数的计算公式计算相应的奖赏r(st,at)，并按照Q值表的更新公式更新动作对(st,at)的Q值；
5)令t＝t+1，T＝24表示总的决策周期数，若t≤T则返回步骤4)，否则进入步骤6)；
6)令n＝n+1，N表示迭代次数最大值，若n＞N或者学习过程已收敛，则结束迭代，得到最终的Q值表和运行策略，否则返回步骤2)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011479246.3A CN112580867B (zh) | 2020-12-15 | 2020-12-15 | 一种基于q学习的园区综合能源系统低碳运行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011479246.3A CN112580867B (zh) | 2020-12-15 | 2020-12-15 | 一种基于q学习的园区综合能源系统低碳运行方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580867A CN112580867A (zh) | 2021-03-30 |
| CN112580867B true CN112580867B (zh) | 2022-06-03 |
Family
ID=75135207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011479246.3A Active CN112580867B (zh) | 2020-12-15 | 2020-12-15 | 一种基于q学习的园区综合能源系统低碳运行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580867B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469839A (zh) * | 2021-06-30 | 2021-10-01 | 国网上海市电力公司 | 一种基于深度强化学习的智慧园区优化策略 |
| CN113824116B (zh) * | 2021-11-25 | 2022-03-11 | 国网江西省电力有限公司电力科学研究院 | 一种基于混合时间尺度drl的综合能源在线调度方法 |
| CN115147007B (zh) * | 2022-08-01 | 2023-04-18 | 东南大学溧阳研究院 | 一种基于电-碳信息和nsga-ii的园区低碳经济用能方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016143336A (ja) * | 2015-02-04 | 2016-08-08 | 川崎重工業株式会社 | 分散型エネルギーシステムの構成最適化方法及び装置 |
| CN107609676A (zh) * | 2017-08-17 | 2018-01-19 | 国网浙江省电力公司经济技术研究院 | 一种基于能源消费结构优化的碳排放峰值计算方法及系统 |
| CN110990785A (zh) * | 2019-11-27 | 2020-04-10 | 江苏方天电力技术有限公司 | 一种基于多目标的智慧园区综合能源系统优化调度方法 |
| CN111291963A (zh) * | 2019-12-30 | 2020-06-16 | 天津大学 | 一种协调经济性与可靠性的园区综合能源系统规划方法 |
| CN111767621A (zh) * | 2020-07-13 | 2020-10-13 | 国网江苏省电力有限公司南通供电分公司 | 一种基于知识迁移q学习算法的多能源系统优化调度方法 |
-
2020
- 2020-12-15 CN CN202011479246.3A patent/CN112580867B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016143336A (ja) * | 2015-02-04 | 2016-08-08 | 川崎重工業株式会社 | 分散型エネルギーシステムの構成最適化方法及び装置 |
| CN107609676A (zh) * | 2017-08-17 | 2018-01-19 | 国网浙江省电力公司经济技术研究院 | 一种基于能源消费结构优化的碳排放峰值计算方法及系统 |
| CN110990785A (zh) * | 2019-11-27 | 2020-04-10 | 江苏方天电力技术有限公司 | 一种基于多目标的智慧园区综合能源系统优化调度方法 |
| CN111291963A (zh) * | 2019-12-30 | 2020-06-16 | 天津大学 | 一种协调经济性与可靠性的园区综合能源系统规划方法 |
| CN111767621A (zh) * | 2020-07-13 | 2020-10-13 | 国网江苏省电力有限公司南通供电分公司 | 一种基于知识迁移q学习算法的多能源系统优化调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| 园区多能源系统优化运行策略;卢锦玲等;《电力科学与工程》;20200928(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580867A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580867B (zh) | 一种基于q学习的园区综合能源系统低碳运行方法 | |
| Xin-gang et al. | Economic-environmental dispatch of microgrid based on improved quantum particle swarm optimization | |
| WO2022048127A1 (zh) | 一种电热泵-热电联合系统的优化调控方法及系统 | |
| CN109165788B (zh) | 一种冷热电联供系统的优化方法 | |
| CN109659927B (zh) | 一种考虑储能参与度的综合能源微网储能容量配置方法 | |
| Shen et al. | Energy storage optimization method for microgrid considering multi-energy coupling demand response | |
| CN102184475B (zh) | 基于多时间尺度协调的微网经济运行优化调度方法 | |
| CN105071389B (zh) | 计及源网荷互动的交直流混合微电网优化运行方法及装置 | |
| CN107316125A (zh) | 一种基于经济运行域的主动配电网经济运行评价方法 | |
| CN110705776A (zh) | 能源优化调度方法 | |
| CN104065072A (zh) | 一种基于动态电价的微电网运行优化方法 | |
| CN112365021A (zh) | 一种基于混合储能的区域综合能源系统规划优化方法 | |
| CN110994694A (zh) | 计及差异化需求响应的微电网源荷储协调优化调度方法 | |
| CN111047097B (zh) | 一种综合能源系统日中滚动优化方法 | |
| Ren et al. | A novel planning method for design and dispatch of hybrid energy systems | |
| Xiao et al. | Optimal scheduling of regional integrated energy system considering multiple uncertainties and integrated demand response | |
| CN114155103A (zh) | 基于区块链合作博弈的能量共享联盟灵活性交易方法 | |
| CN111668878A (zh) | 一种可再生微能源网的优化配置方法和系统 | |
| Hou et al. | Data-driven economic dispatch for islanded micro-grid considering uncertainty and demand response | |
| CN112131712B (zh) | 客户侧多能源系统多目标优化方法和系统 | |
| Dimitroulis et al. | Residential energy management system utilizing fuzzy based decision-making | |
| CN116826752A (zh) | 一种台区用能多目标低碳降损优化调度策略方法 | |
| Ren et al. | Multitime scale coordinated scheduling for electric vehicles considering photovoltaic/wind/battery generation in microgrid | |
| CN115146868A (zh) | 电热气耦合的农村微能源系统协同规划方法及终端设备 | |
| CN110991764A (zh) | 一种综合能源系统日前滚动优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |