CN114943448A - 一种微电网优化调度模型的构建方法和系统 - Google Patents
一种微电网优化调度模型的构建方法和系统 Download PDFInfo
- Publication number
- CN114943448A CN114943448A CN202210565552.1A CN202210565552A CN114943448A CN 114943448 A CN114943448 A CN 114943448A CN 202210565552 A CN202210565552 A CN 202210565552A CN 114943448 A CN114943448 A CN 114943448A
- Authority
- CN
- China
- Prior art keywords
- model
- parameters
- microgrid
- theoretical
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000007613 environmental effect Effects 0.000 claims abstract description 22
- 230000002787 reinforcement Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000004146 energy storage Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 7
- 230000005611 electricity Effects 0.000 description 5
- 239000003344 environmental pollutant Substances 0.000 description 5
- 239000000446 fuel Substances 0.000 description 5
- 239000007789 gas Substances 0.000 description 5
- 231100000719 pollutant Toxicity 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011217 control strategy Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000009417 prefabrication Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/007—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
- H02J3/0075—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source according to economic or energy efficiency considerations, e.g. economic dispatch
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Water Supply & Treatment (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Power Engineering (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明属于电力领域，尤其涉及微电网优化调度模型的构建方法和系统，包括根据输入输出参数，建立调度的理论运行模型；通过理论运行模型和历史运行数据得到实际运行样本集合；基于监督学习处理实际运行样本集合得到离线运行模型；基于环境反馈的强化学习优化离线运行模型得到微电网优化调度模型。通过理论运行模型，能够结合微电网的具体情况设置输入输出参数以解释调度的过程；基于监督学习处理通过理论运行模型和历史运行数据得到实际运行样本集合,可以根据实际结果修正理论运行模型，提高解释调度过程的能力；基于环境反馈的强化学习优化离线运行模型，能够进一步优化得到微电网优化调度模型来解释微电网调度的过程。
Description
技术领域
本发明属于电力领域，尤其涉及一种微电网优化调度模型的构建方法和系统。
背景技术
社会上已经开展了大量的针对微电网的研究工作，如微电网的构架、并网/离网运行模式及其保护、微电网协调控制策略、孤岛控制策略、能量管理与经济调度、微电网运行标准的研究以及智能微电网工程建设与运营模式等等相关研究，且具有广泛的工程实践经验。微电网的有功优化调度问题本质上是一种非线性、多约束、多目标的复杂系统优化问题。
长久以来电网调度机构都是通过“离线计算、在线匹配”的模式来解决传统电力系统绝大部分的运行问题，现有的微电网能量管理控制策略实质上也是基于工程人员经验和认知。随着微电网的发展，强间歇性可再生能源高比例接入、高渗透率电力电子装备、多能源耦合、能源市场交易多参与主体博弈行为、多时间尺度动态互相影响等因素将深刻改变甚至颠覆传统的系统运行控制模式。以现有的微电网调度运行方法以及工程实践经验，并不足以面对微电网发展带来的挑战。
发明内容
为了解决或者改善上述问题，本发明提供了一种微电网优化调度模型的构建方法和系统，具体技术方案如下：
本发明提供一种微电网优化调度模型的构建方法，包括：根据微电网相关的输入输出参数，建立调度的理论运行模型；通过所述理论运行模型和历史运行数据得到实际运行样本集合；基于监督学习处理所述实际运行样本集合得到离线运行模型；基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型。
优选的，所述根据微电网相关的输入输出参数，建立调度的理论运行模型包括：以所述输入输出参数作为所述理论运行模型的输入输出参数；以发电机组约束参数、负荷约束参数、存储约束参数和系统约束参数作为所述理论运行模型的约束条件；以经济调度参数、环境影响参数和安全运行风险参数作为所述理论运行模型的目标函数。
优选的，所述实际运行样本集合包括不同输入输出参数之间的组合的运行样本；对应的，所述基于监督学习处理所述实际运行样本集合得到离线运行模型包括：基于马尔可夫决策过程描述所述理论运行模型，基于监督学习建立关于所述组合的运行样本的所述离线运行模型。
优选的，所述基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型包括：结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型；采集并解析所述实时运行数据，得到当前运行状态信息、上一时刻状态信息和对应的策略回报值，以形成经验样本；通过所述经验样本训练所述决策模型以更新对应参数。
优选的，所述通过所述经验样本训练所述决策模型以更新对应参数包括：根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数；更新主策略网络的参数、目标网络的策略网络和评价网络的参数。
本发明提供一种微电网优化调度模型的构建系统，包括：第一单元，用于根据微电网相关的输入输出参数，建立调度的理论运行模型；第二单元，用于通过所述理论运行模型和历史运行数据得到实际运行样本集合；第三单元，用于基于监督学习处理所述实际运行样本集合得到离线运行模型；第四单元，用于基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型。
优选的，所述根据微电网相关的输入输出参数，建立调度的理论运行模型包括：以所述输入输出参数作为所述理论运行模型的输入输出参数；以发电机组约束参数、负荷约束参数、存储约束参数和系统约束参数作为所述理论运行模型的约束条件；以经济调度参数、环境影响参数和安全运行风险参数作为所述理论运行模型的目标函数。
优选的，所述实际运行样本集合包括不同输入输出参数之间的组合的运行样本；对应的，所述基于监督学习处理所述实际运行样本集合得到离线运行模型包括：基于马尔可夫决策过程描述所述理论运行模型，基于监督学习建立关于所述组合的运行样本的所述离线运行模型。
优选的，所述基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型包括：结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型；采集并解析所述实时运行数据，得到当前运行状态信息、上一时刻状态信息和对应的策略回报值，以形成经验样本；通过所述经验样本训练所述决策模型以更新对应参数。
优选的，所述通过所述经验样本训练所述决策模型以更新对应参数包括：根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数；更新主策略网络的参数、目标网络的策略网络和评价网络的参数。
本发明的有益效果为：根据微电网相关的输入输出参数，建立调度的理论运行模型，能够结合微电网的具体情况设置合适的输入输出参数以建立理论运行模型来解释调度的过程；通过理论运行模型和历史运行数据得到实际运行样本集合，基于监督学习处理实际运行样本集合得到离线运行模型,可以根据实际结果修正理论运行模型，提高解释调度过程的能力；基于环境反馈的强化学习优化离线运行模型，能够进一步优化得到微电网优化调度模型来解释微电网调度的过程。
附图说明
图1是根据本发明的微电网优化调度模型的构建方法的示意图；
图2是根据本发明的微电网优化调度模型的构建系统的示意图。
主要附图标记说明：
1-第一单元，2-第二单元，3-第三单元，4-第四单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为了解决或者改善电力系统的网络安全问题，提出如图1所示的本发明提供一种微电网优化调度模型的构建方法，包括：S1、根据微电网相关的输入输出参数，建立调度的理论运行模型；S2、通过所述理论运行模型和历史运行数据得到实际运行样本集合；S3、基于监督学习处理所述实际运行样本集合得到离线运行模型；S4、基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型。
微电网由于电网结构和接入负载的不同，微电网在运行过程中，产生的主要输入和输出参数的类型和各自的重要性也不一样。以微电网相关的输入/输出参数，作为合适的数学模型的输入/输出参数，上建立理论运行模型，用于解释微电网的有功优化调度的原理/过程/结构。
历史运行数据为采集微电网过往的运行数据得到的数据。结合历史运行数据和理论运行模型，可以得到在理论运行模型处理下的实际运行样本集合。其原理在于，通过处理算法/数学模型，将采集到的大量按照一定规则进行处理，以验证数据是否符合一定的规律或者从数据中得到一些结论。在本方案中，通过理论运行模型处理历史运行数据，得到的有关于微电网在运行过程中产生的说明数据关联性的数据样本的集合，即实际运行样本集合。
监督学习是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练。其中，样本的类型已经由实际运行样本集合得到。通过监督学习处理实际运行样本集合得到离线运行模型，能够提高解释调度的能力。
环境反馈的强化学习主要是通过微电网的实时反馈来优化离线运行模型以强化解释调度的能力。
所述根据微电网相关的输入输出参数，建立调度的理论运行模型包括：以所述输入输出参数作为所述理论运行模型的输入输出参数；以发电机组约束参数、负荷约束参数、存储约束参数和系统约束参数作为所述理论运行模型的约束条件；以经济调度参数、环境影响参数和安全运行风险参数作为所述理论运行模型的目标函数。
所述实际运行样本集合包括不同输入输出参数之间的组合的运行样本；对应的，所述基于监督学习处理所述实际运行样本集合得到离线运行模型包括：基于马尔可夫决策过程描述所述理论运行模型，基于监督学习建立关于所述组合的运行样本的所述离线运行模型。
所述基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型包括：结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型；采集并解析所述实时运行数据，得到当前运行状态信息、上一时刻状态信息和对应的策略回报值，以形成经验样本；通过所述经验样本训练所述决策模型以更新对应参数。
所述通过所述经验样本训练所述决策模型以更新对应参数包括：根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数；更新主策略网络的参数、目标网络的策略网络和评价网络的参数。
本发明提供如图2所示一种微电网优化调度模型的构建系统，包括：第一单元1，用于根据微电网相关的输入输出参数，建立调度的理论运行模型；第二单元2，用于通过所述理论运行模型和历史运行数据得到实际运行样本集合；第三单元3，用于基于监督学习处理所述实际运行样本集合得到离线运行模型；第四单元4，用于基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型。
系统运行的流程包括：
步骤1：构建微电网调度预制数学模型(同理论运行模型)
确定微电网通用的输入输出向量，输入向量通常包含柴油机组、燃气机组、燃料电池机组、小水电机组、风电机组、光伏机组、可调节负荷、可中断负荷、储能机组、以及环境及系统相关向量，Xi为柴油机组的输入向量，参数包含柴油机组的数量、燃料成本参数、启动成本、停机成本、上一时段柴油机组的出力、最短启动时间、最短停机时间、初始运行时间、初始停运时间、初始运行状态；Xj为微型燃气轮机机组的输入向量，参数包含微型燃气轮机机组的数量、工作效率、天然气的价格、低热值；Xk为燃料电池机组的输入向量，参数包含燃料电池机组的数量、工作效率；Xs为小水电机组的输入向量，参数包含小水电机组的数量、维护成本、单位运行成本、单位电价补偿、经济发电功率；Xw为风电机组的输入向量，参数包含风电机组的数量、单位弃风补偿电价；Xv为光伏机组的输入向量，参数包含风电机组的数量、单位弃风补偿电价；Xf为可调节负荷的输入向量，参数包含可调节负荷的数量、单位损失成本；Xh为可中断负荷的输入向量，参数包含可中断负荷的数量、单位损失成本；Xm为储能设备的输入向量，参数包含储能的数量、充电效率、放电效率、充放电成本、最大容量、最大最小荷电状态；Xn为与环境影响相关的输入向量，参数包括污染物的种类、治理污染物的费用和排污系数；Xp为与系统相关的输入向量，参数包括大电网的购售电价、微网与大电网联络线交换功率的上下限、目标函数的权重向量、固定联络线功率控制二进制参数、固定联络线功率数值。
输出向量中的参数包括各柴油机组、微型燃气轮机机组、燃料电池机组、小水电机组等可控机组的出力，以及风电机组弃风功率、光伏机组弃光功率、储能设备的充放电功率、微电网与大电网的交换功率。
之后考虑经济调度、环境影响、安全运行风险系数三个目标，确定目标函数：minF＝ω1·F1+ω2·F2+ω3·F3。其中，F为总目标函数，ω1、ω2、ω3为权重，F1、F2、F3为三个目标函数。其中微电网有功经济优化调度目标函数考虑柴油机组的运行成本、启动成本和停机成本，燃气轮机机组的运行成本，燃料电池机组的运行成本，小水电机组的运行成本，风电机组的弃电成本，光伏机组的弃电成本，可调节负荷和可削减负荷的成本，储能元件的退化成本，微电网系统与大电网之间的购售电成本等，给出以经济调度为目标的函数表达式。环境成本主要考虑碳排放以及其它污染气体及颗粒物排放对环境的影响，主要考虑微电网中的可控分布式发电机组污染物的排放，可再生能源和能源储存造成的污染物排放认为是零，需要使微电网对于排污花费的费用越小越好。光伏和风电属于清洁能源，但是作为微电源，它具有不可控性，很容易受气候影响。但是微电网系统中含有这两种电源，所以会影响整个系统的稳定性，而储能系统的备用容量可以增加系统的稳定性，微电网系统运行风险系数越小越好。
最后，确定约束条件，包括可控分布式发电机组约束(可控分布式发电机组的爬坡约束、可控分布式发电机组的出力约束、柴油机组的机组状态指示变量约束、最小启停时间约束等)、可再生能源机组约束(风电机组和光伏发电机组的运行约束等)、负荷元件约束(可调节负荷和可中断负荷的上下限约束等)、储能元件约束(储能元件充放电状态约束、储能元件充放电功率的上下限约束、储能元件的容量约束等)、以及系统约束(微电网系统与外部电网联络线功率约束、功率平衡约束等)，形成微电网的通用有功优化调度预制模型，为之后基于监督学习的有功调度离线训练提供监督模型。
步骤2：基于监督学习的微电网有功调度离线训练
微电网有功优化调度预制数学模型为特定微电网提供了一系列的输入、输出数据集，通过输入微电网真实机组的运行数据，生成相应时刻的机组组合状态与可控分布式发电系统的出力、微电网与电网交互的电量、储能电池的充电功率和放电功率、风电机组和光伏的实际出力、可调节负荷的负荷调节量和可中断负荷的负荷削减量，为微电网有功调度离线训练提供大量的监督学习模型样本(即实际运行样本集合)。
在监督学习模型离线训练样本库构建的基础上，构建离线训练模型，具体地，先将微电网实时有功优化调度描述为离散时间步长的马尔可夫决策过程，包括环境、智能体、状态、动作、状态转移、奖励、动作价值函数的具体表达，接着基于所建立的微电网有功调度人工智能模型离线训练样本库得到监督学习模型，构造XGBoost、GBDT、随机森林等基于监督学习的人工智能模型。
最终实现输入当前微电网实时运行数据后，实时生成微电网有功优化调度的动作决策信息。(即结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型)
步骤3：基于环境反馈强化学习的微电网有功实时在线决策
基于DDPG等强化算法的微电网有功优化调度的学习流程：具体地，后台数据处理收集当前微电网运行状态信息，以及上一时刻回报值和状态信息，形成样本单元存入数据池中。从样本存储数据池中重采样D个样本单元(st,at,rt,st+1),(t＝1,2,L,D)存入经验池用于训练，即经验样本回放，以此来打破数据之间地关联性。
优化过程中，首先，根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数。然后，更新主策略网络的参数、目标网络的策略网络和评价网络的参数。通过训练深度神经网络，更新主网络和目标网络的参数。当前网络的参数是随着训练而不断更新的，目标网络不进行训练，它的参数是一段时间前的当前网络的参数。根据更新后的目标网络得到当前动作值，并输出到主动配电网中潮流控制模块和各个微电网控制模块。采集t+1时刻微电网的状态信息st+1作为新的样本，并进行下一个时刻的学习和计算。DDPG优化过程运用深度卷积神经网络处理微电网运行数据，具有强大的自主寻优能力。
所述根据微电网相关的输入输出参数，建立调度的理论运行模型包括：以所述输入输出参数作为所述理论运行模型的输入输出参数；以发电机组约束参数、负荷约束参数、存储约束参数和系统约束参数作为所述理论运行模型的约束条件；以经济调度参数、环境影响参数和安全运行风险参数作为所述理论运行模型的目标函数。
所述实际运行样本集合包括不同输入输出参数之间的组合的运行样本；对应的，所述基于监督学习处理所述实际运行样本集合得到离线运行模型包括：基于马尔可夫决策过程描述所述理论运行模型，基于监督学习建立关于所述组合的运行样本的所述离线运行模型。
所述基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型包括：结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型；采集并解析所述实时运行数据，得到当前运行状态信息、上一时刻状态信息和对应的策略回报值，以形成经验样本；通过所述经验样本训练所述决策模型以更新对应参数。
所述通过所述经验样本训练所述决策模型以更新对应参数包括：根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数；更新主策略网络的参数、目标网络的策略网络和评价网络的参数。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种微电网优化调度模型的构建方法，其特征在于，包括：
根据微电网相关的输入输出参数，建立调度的理论运行模型；
通过所述理论运行模型和历史运行数据得到实际运行样本集合；
基于监督学习处理所述实际运行样本集合得到离线运行模型；
基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型。
2.根据权利要求1所述微电网优化调度模型的构建方法，其特征在于，所述根据微电网相关的输入输出参数，建立调度的理论运行模型包括：
以所述输入输出参数作为所述理论运行模型的输入输出参数；
以发电机组约束参数、负荷约束参数、存储约束参数和系统约束参数作为所述理论运行模型的约束条件；
以经济调度参数、环境影响参数和安全运行风险参数作为所述理论运行模型的目标函数。
3.根据权利要求2所述微电网优化调度模型的构建方法，其特征在于，所述实际运行样本集合包括不同输入输出参数之间的组合的运行样本；
对应的，所述基于监督学习处理所述实际运行样本集合得到离线运行模型包括：
基于马尔可夫决策过程描述所述理论运行模型，基于监督学习建立关于所述组合的运行样本的所述离线运行模型。
4.根据权利要求3所述微电网优化调度模型的构建方法，其特征在于，所述基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型包括：
结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型；
采集并解析所述实时运行数据，得到当前运行状态信息、上一时刻状态信息和对应的策略回报值，以形成经验样本；
通过所述经验样本训练所述决策模型以更新对应参数。
5.根据权利要求4所述微电网优化调度模型的构建方法，其特征在于，所述通过所述经验样本训练所述决策模型以更新对应参数包括：
根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数；
更新主策略网络的参数、目标网络的策略网络和评价网络的参数。
6.一种微电网优化调度模型的构建系统，其特征在于，包括：
第一单元，用于根据微电网相关的输入输出参数，建立调度的理论运行模型；
第二单元，用于通过所述理论运行模型和历史运行数据得到实际运行样本集合；
第三单元，用于基于监督学习处理所述实际运行样本集合得到离线运行模型；
第四单元，用于基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型。
7.根据权利要求6所述微电网优化调度模型的构建系统，其特征在于，所述根据微电网相关的输入输出参数，建立调度的理论运行模型包括：
以所述输入输出参数作为所述理论运行模型的输入输出参数；
以发电机组约束参数、负荷约束参数、存储约束参数和系统约束参数作为所述理论运行模型的约束条件；
以经济调度参数、环境影响参数和安全运行风险参数作为所述理论运行模型的目标函数。
8.根据权利要求7所述微电网优化调度模型的构建系统，其特征在于，所述实际运行样本集合包括不同输入输出参数之间的组合的运行样本；
对应的，所述基于监督学习处理所述实际运行样本集合得到离线运行模型包括：
基于马尔可夫决策过程描述所述理论运行模型，基于监督学习建立关于所述组合的运行样本的所述离线运行模型。
9.根据权利要求8所述微电网优化调度模型的构建系统，其特征在于，所述基于环境反馈的强化学习优化所述离线运行模型得到所述微电网优化调度模型包括：
结合所述微电网的实时运行数据和所述离线运行模型，形成决策模型；
采集并解析所述实时运行数据，得到当前运行状态信息、上一时刻状态信息和对应的策略回报值，以形成经验样本；
通过所述经验样本训练所述决策模型以更新对应参数。
10.根据权利要求9所述微电网优化调度模型的构建系统，其特征在于，所述通过所述经验样本训练所述决策模型以更新对应参数包括：
根据当前未更新的目标网络参数计算动作预估值以及相应的目标评价值，得到评价网络训练的损失函数L，更新主评价网络的参数；
更新主策略网络的参数、目标网络的策略网络和评价网络的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210565552.1A CN114943448A (zh) | 2022-05-23 | 2022-05-23 | 一种微电网优化调度模型的构建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210565552.1A CN114943448A (zh) | 2022-05-23 | 2022-05-23 | 一种微电网优化调度模型的构建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114943448A true CN114943448A (zh) | 2022-08-26 |
Family
ID=82909371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210565552.1A Pending CN114943448A (zh) | 2022-05-23 | 2022-05-23 | 一种微电网优化调度模型的构建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943448A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116451880A (zh) * | 2023-06-16 | 2023-07-18 | 华北电力大学 | 一种基于混合学习的分布式能源优化调度方法及装置 |
-
2022
- 2022-05-23 CN CN202210565552.1A patent/CN114943448A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116451880A (zh) * | 2023-06-16 | 2023-07-18 | 华北电力大学 | 一种基于混合学习的分布式能源优化调度方法及装置 |
| CN116451880B (zh) * | 2023-06-16 | 2023-09-12 | 华北电力大学 | 一种基于混合学习的分布式能源优化调度方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Multi-objective complementary scheduling of hydro-thermal-RE power system via a multi-objective hybrid grey wolf optimizer | |
| CN110957758B (zh) | 一种基于广域态势感知的综合能源能效评价与控制性能优化方法 | |
| Moghaddam et al. | Multi-operation management of a typical micro-grids using Particle Swarm Optimization: A comparative study | |
| CN104616069B (zh) | 一种年度发电计划滚动分解优化方法 | |
| CN111144728A (zh) | 基于深度强化学习的热电联产系统经济调度方法 | |
| CN110518580A (zh) | 一种考虑微网主动优化的主动配电网运行优化方法 | |
| CN115241923A (zh) | 一种基于蛇优化算法的微电网多目标优化配置方法 | |
| CN114943448A (zh) | 一种微电网优化调度模型的构建方法和系统 | |
| CN110994790A (zh) | 一种企业电网调度知识决策分析系统 | |
| Kavousi-Fard et al. | Effect of wind turbine on the economic load dispatch problem considering the wind speed uncertainty | |
| Das et al. | Aggregating learning agents for microgrid energy scheduling during extreme weather events | |
| CN114971270A (zh) | 一种微电网调度方法和系统 | |
| Gamez et al. | Optimal operation via a recurrent neural network of a wind-solar energy system | |
| Zile | Smart energy management in solar/wind power stations using artificial neural networks | |
| Patil et al. | Soft Computing Techniques for the Integration of Distributed Energy Resources (DERs) | |
| Wenyue et al. | Optimal scheduling strategy for virtual power plant considering voltage control | |
| Das et al. | An efficient distributed reinforcement learning for enhanced multi-microgrid management | |
| Chen et al. | Application of ant colony system to optimal thermal unit commitment | |
| Zhao et al. | A Wind Power/Photovoltaic/Hydropower/Pumped Storage Power Station System Sizing Strategy | |
| CN114336749B (zh) | 一种配电网优化方法、系统、装置及存储介质 | |
| Yang et al. | Microgrid based on ICA and improved cuckoo search algorithm optimizing scheduling methods | |
| Li et al. | A novel graph reinforcement learning approach for stochastic dynamic economic dispatch under high penetration of renewable energy | |
| Ma et al. | Cooperative scheduling strategy of distributed energy storage system in regional grid with high proportion of renewable energy | |
| Cao et al. | Fuzzy Based Decision-Making of Energy Management for Regional Energy Systems with Renewable Generation and Installed Storage Systems | |
| Fan et al. | Research on Optimal Operation and Capacity Configuration of Energy Storage Based on Pumped Storage Station |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |