CN112600256B - 微网电力控制方法 - Google Patents

微网电力控制方法 Download PDF

Info

Publication number
CN112600256B
CN112600256B CN202011406917.3A CN202011406917A CN112600256B CN 112600256 B CN112600256 B CN 112600256B CN 202011406917 A CN202011406917 A CN 202011406917A CN 112600256 B CN112600256 B CN 112600256B
Authority
CN
China
Prior art keywords
micro
energy storage
grid
state quantity
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011406917.3A
Other languages
English (en)
Other versions
CN112600256A (zh
Inventor
张华赢
李鸿鑫
汪清
李艳
游奕弘
秦兆铭
曹军威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202011406917.3A priority Critical patent/CN112600256B/zh
Publication of CN112600256A publication Critical patent/CN112600256A/zh
Application granted granted Critical
Publication of CN112600256B publication Critical patent/CN112600256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本申请涉及一种微网电力控制方法，微网包括发电装置、负载以及储能装置，包括：建立发电装置的状态量模型，发电装置的状态量模型采用随机微分方程形式；建立负载的状态量模型；建立储能装置的状态量模型；建立微网的电价的状态量模型；根据发电装置、负载、储能装置以及微网的电价的状态量模型，获取微网的状态向量以及目标函数；将状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至目标函数的控制器的控制效果达到预设效果；输入实际的观测参数值，且根据完成训练的神经网络产生电能交易策略。本申请可以使得控制器的控制效果较为准确，可以使微网期望收益最大化，符合电力市场交易的目标。

Description

微网电力控制方法
技术领域
本申请涉及电力技术领域，特别是涉及一种微网电力控制方法。
背景技术
微网，即分布式的微电网，其为能源互联网中的局域网。在微网系统中，风、光等可再生新能源具有不可持续性，间歇性，随机性等缺陷。例如，风的方向、大小都是随时间不停地变化的；太阳光照也随时间、天气变化而改变。
在微网的传统控制方法中，用常微分方程给微网模型建模，并利用粒子群算法、遗传算法等求解微网控制和能量交易问题。
然而，传统的常微分方程不能刻画可再生能源功率的随机性，在其基础上的设计的控制器的控制效果较为粗糙。
发明内容
基于此，有必要针对上述技术问题，提供一种能够.......的XX装置及其控制方法、控制装置和存储介质。
一种微网电力控制方法，所述微网包括发电装置、负载以及储能装置，其特征在于，
建立所述发电装置的状态量模型，所述发电装置的状态量模型采用随机微分方程形式；
建立所述负载的状态量模型；
建立所述储能装置的状态量模型；
建立所述微网的电价的状态量模型；
根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型，获取所述微网的状态向量以及目标函数；
将所述状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至所述目标函数的控制器的控制效果达到预设效果；
输入实际的观测参数值，且根据完成训练的所述神经网络产生电能交易策略。
在其中一个实施例中，所述建立所述发电装置的状态量模型，包括：
用线性常微分方程模拟所述发电装置的发电功率，获取所述发电装置的初步模型；
模拟所述发电装置发电的随机性；
根据所述发电装置的初步模型以及所述发电装置发电的随机性，获取所述发电装置的状态量模型。
在其中一个实施例中，所述建立所述负载的状态量模型，包括：
用线性常微分方程模拟所述负载的用电功率，获取所述负载的初步模型；
模拟所述负载用电的随机性；
根据所述负载的初步模型以及所述负载用电的随机性，获取所述负载的状态量模型。
在其中一个实施例中，所述目标函数的控制器控制所述储能装置的功率，所述储能装置的状态量模型包括储能功率模型，所述建立所述储能装置的状态量模型，包括：
将所述控制器引入所述储能装置的功率，获取所述储能功率模型。
在其中一个实施例中，所述储能装置的状态量模型还包括储能电量模型，所述将所述控制器引入所述储能装置的功率，获取所述储能功率模型之后，还包括：
根据所述储能功率模型，获取所述储能电量模型。
在其中一个实施例中，所述建立所述微网的电价的状态量模型，包括：
将非线性的CIR模型作为所述微网的电价的状态量模型。
在其中一个实施例中，所述根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型，获取所述微网的状态向量以及目标函数，包括：
根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型，获取所述微网的状态向量以及约束条件；
根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型以及所述约束条件获取所述目标函数。
在其中一个实施例中，所述神经网络包括动作网络与评价网络，所述将所述状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至所述目标函数的控制器的控制效果达到预设效果，包括：
将所述状态向量的各个分量以及时间作为观测参数值，输入到神经网络中，以使得所述动作网络与评价网络分别获取所述目标函数的奖励值与评估值；
根据所述奖励值与所述评估值进行反向传播，更新累计梯度；
根据所述累计梯度更新所述神经网络的观测参数值，直至所述目标函数的控制器的控制效果达到预设效果。
在其中一个实施例中，所述将所述状态向量的各个分量以及时间作为观测参数值，输入到神经网络中，以使得所述动作网络与评价网络分别获取所述目标函数的奖励值与评估值，包括：
将所述状态向量的各个分量以及时间作为观测参数值，输入到神经网络中；
由所述动作网络，获取所述控制器的决策值的正态分布，且根据所述正态分布进行采样，获取控制器的决策值；
根据所述控制器的决策值获取所述目标函数的奖励值；
根据所述评价网络获取所述目标函数的评价值。
在其中一个实施例中，所述发电装置包括负载以及光伏发电机，所述储能装置包括电池。
上述微网电力控制方法，在为能源互联网场景下的单个微网系统建立数学模型时，考虑了可再生发电设备功率的随机性，该数学模型相较于传统定常模型更接近真实的物理场景，进而使得控制器的控制效果较为准确。
同时，考虑随机性的最优控制问题求解十分困难，而本申请通过强化学习算法，可以成功解决该复杂的数学算法问题，得到最优的控制器，从而可以得到最优的电能交易策略。因此，本申请可以使微网期望收益最大化，符合电力市场交易的目标。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中微网所在的能源互联网的流程示意图；
图2为一个实施例中微网电力控制方法的结构示意图；
图3为一个实施例中建立发电装置的状态量模型的流程示意图；
图4为另一个实施例中建立负载的状态量模型的流程示意图；
图5为一个实施例中神经网络学习训练的流程示意图；
图6为另一个实施例中神经网络学习训练的流程示意图；
图7为一个实施例中神经网络学习训练的结构框图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述约束条件，但这些元件不受这些术语限制。这些术语仅用于将第一个约束条件与另一个约束条件区分。
在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
目前人类在能源领域正面临着多项挑战：能源需求在持续增长，而有限的不可再生资源仍是主要的发电来源；不可再生能源的大量使用带来严重的气候问题。发展可再生能源被视为解决能源问题的主要办法。对此，李夫金(Rifkin)提出了能源互联网的概念，利用先进的通信和信息处理技术，实现信息、能量充分融合和双向流动，进而实现可再生能源的高效利用。此后全球学者对能源互联网进行了一系列相关研究，并提出了能量路由器的概念。在典型能源互联网场景中，目前存在的大电网被视为主干网，分布式的微电网(简称微网)被视为是局域网，而能量路由器被视为协调沟通主干网和各个微网之间能量交换的媒介。
在未来的能源互联网场景下，依赖大型发电厂的集中式电力系统并不适合可再生能源的发展，因此，纯粹的生产者(producer)和消费者(consumer)将会被同时扮演生产和消费两种角色的产消者(prosumer)取代。产消者是具备发电能力的消费者，并且可以将剩余的电能出售给主干网或是其他消费者，产消者的一种实现形式是微网。通常情况下，一个典型的微网系统包含以下元素中的几种：负载，风力发电机(简称风机)，光伏发电机(简称光伏)，微型燃气轮机(简称微机)，柴油发电机，燃料电池，飞轮储能，电池储能。其中，负载，光伏，微机，柴油发电机，燃料电池负责给微网系统供电；飞轮储能和电池储能可以吸收系统多余电能，也可以在系统需要能量的时候释放之前存储的电能。
电力交易问题也是能源互联网研究的热点。目前国内电力收费仅有普通的峰-谷-平电价，更加多样和更加灵活的可变电价机制尚未实现，且峰谷电价差并不具有吸引力，需求响应相关收益相对较少，导致无法吸引用户更加积极的参与网络生产和运营，能源互联网的部分先进功能无法有效实现，如需求响应等，从而导致相关的商业模式无法有效建立和开展。相比于传统电网的固定电价机制，未来能源互联网可以根据生产成本以及生产容量动态变动价格，并基于对用户用电数据的分析，根据其用电特征，为其提供合适的电力服务，以最大化的体现用电价值。
基于此，我们设计的发明在如下特殊场景显得尤为重要。在能源互联网场景中，我们假设某个微网与外部电网相连，它们可以进行信息和能源交换。对该微网，如何在保证功率平衡的条件下，利用电价的变动情况以及微网的储能情况，实现电能交易的利益最大化。
在一个实施例中，提供了一种微网电力控制方法。微网包括发电装置、负载以及储能装置。本实施例微网所在的能源互联网可以参考图1。
参考图2，微网电力控制方法，包括：
步骤S1，建立发电装置的状态量模型，发电装置的状态量模型采用随机微分方程形式。
作为示例，发电装置可以包括但不限于为负载以及光伏发电机。发电装置的状态量模型采用随机微分方程形式，进而可以有效地引入各个发电装置负载的功率的随机性。
步骤S2，建立负载的状态量模型。
在微网系统中，负载消耗电能通常也具有随机性。因此，作为示例，这里也可以设计负载的状态量模型采用随机微分方程形式。
步骤S3，建立储能装置的状态量模型。
储能装置可以包括但不限于为电池。
步骤S4，建立微网的电价的状态量模型。
这里的电价的状态量模型所基于的电机机制并不限于为某种机制。其可以基于电价具有波动的的电价机制(该电价机制下，电价可以具有不确定性和非线性)，也可以基于普通的峰-谷-平电价机制。
可以基于实际电价机制，也可以基于。本申请对此并没有限制。
步骤S5，根据发电装置、负载、储能装置以及微网的电价的状态量模型，获取微网的状态向量以及目标函数。
微网的状态向量的各个分量即各个发电装置、负载、储能装置以及微网的电价的状态量。由此可以形成以非线性随机微分方程组表示的微网系统的状态模型。
微网的目标函数为关于微网的电能交易成本的损失函数，其可以通过控制器进行控制。最小化目标函数可以使得微网的购电成本最小。
步骤S6，将状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至目标函数的控制器的控制效果达到预设效果。
这里，可以通过网络神经的不断强化学习，使得目标函数的控制器的控制效果越来越好。直至控制效果达到预设效果，而停止学习，以完成神经网络的学习训练。
预设效果即所需要达到的控制效果，其可以根据实际情况进行设定。例如，可以设置当控制效果长时间不发生变化，神经网络训练完成。
步骤S7，输入实际的观测参数值，且根据完成训练的神经网络产生电能交易策略。
当对微网系统完成神经网络的学习训练后，输入一组实际的观测参数值，即会产生一个动作，也即会获得一个控制器，从而可以产生一个电能交易策略。
在本实施例中，在为能源互联网场景下的单个微网系统建立数学模型时，考虑了可再生发电设备功率的随机性，该数学模型相较于传统定常模型更接近真实的物理场景。
同时，考虑随机性的最优控制问题求解十分困难，而本申请通过强化学习算法，可以成功解决该复杂的数学算法问题，得到最优的控制器，从而可以得到最优的电能交易策略。因此，本申请可以使微网期望收益最大化，符合电力市场交易的目标。
在一个实施例中，参考图3，步骤S1，建立发电装置的状态量模型，包括：
步骤S11，用线性常微分方程模拟发电装置的发电功率，获取发电装置的初步模型。
步骤S12，模拟发电装置发电的随机性；
步骤S13，根据发电装置的初步模型以及发电装置发电的随机性，获取发电装置的状态量模型。
作为示例，当发电装置包括风力发电机时，具体地：
在步骤S11中，可以为用线性常微分方程模拟风力发电机的发电功率。关键在于测量其时间惯性常数。在一系列反馈逼近后，得到其初步模型，如
dPWTG(t)＝-θ1(PWTG(t)-μ1)dt
其中θ1为风力发电机时间常数的倒数,μ1为风力发电机功率的平均值，PWTG(t)为t时刻风力发电机功率。风力发电机功率即风力发电机的发电功率。
在步骤S12中，开始引入随机项。可以用布朗运动(Brownian Motion)来模拟风力发电机发电的随机性。
在步骤S13中，用布朗运动(Brownian Motion)来模拟随机性后，在一系列反馈逼近后，将步骤S11的线性常微分方程改写为线性随机微分方程，如
dPWTG(t)＝-θ1(PWTG(t)-μ1)dt+σ1PWTG(t)dW1(t)，
其中W1(t)为布朗运动,σ1是衡量随机性的剧烈程度的参数。
由此，即可以建立风力发电机的状态量模型，其采用随机微分方程形式。
当发电装置还包括其他类型的发电机时，可以与风力发电机同样的方式，获取相应的状态量模型。
例如，当发电装置还包括光伏发电机时，将上述操作流程应用到光伏发电机上，以得到光伏发电机的线性随机微分方程形式的状态量模型：
dPPV(t)＝-θ2(PPV(t)-μ2)dt+σ2PPV(t)dW2(t)
其中，W2(t)为布朗运动,σ2是衡量随机性的剧烈程度的参数，θ2为光伏发电机时间常数的倒数,μ2为光伏发电机功率的平均值，PPV(t)为t时刻光伏发电机功率。光伏发电机功率即光伏发电机的用电功率。
在一个实施例中，参考图4，步骤S2，建立负载的状态量模型，包括：
步骤S21，用线性常微分方程模拟负载的用电功率，获取负载的初步模型；
步骤S22，模拟负载用电的随机性；
步骤S23，根据负载的初步模型以及负载用电的随机性，获取负载的状态量模型。
这里负载的状态量模型的建立过程类似于发电装置的状态量模型的建立。具体地：
在步骤S21中，可以为用线性常微分方程模拟负载的用电功率。关键在于测量其时间惯性常数。在一系列反馈逼近后，得到其初步模型，如
dPLoad(t)＝-θ3(PLoad(t)-μ3)dt
其中θ2为负载时间常数的倒数,μ2为负载功率的平均值，PLoad(t)为t时刻负载功率。负载功率即负载的用电功率。
在步骤S22中，开始引入随机项。可以用布朗运动(Brownian Motion)来模拟负载用电的随机性。
在步骤S23中，用布朗运动(Brownian Motion)来模拟随机性后，在一系列反馈逼近后，将步骤S21的线性常微分方程改写为线性随机微分方程，如
dPLoad(t)＝-θ3(PLoad(t)-μ3)dt+σ3PLoad(t)dW3(t)
其中W3(t)为布朗运动,σ3是衡量随机性的剧烈程度的参数。
由此，即可以建立负载的状态量模型，其采用随机微分方程形式。
在一个实施例中，目标函数的控制器控制储能装置的功率，储能装置的状态量模型包括储能功率模型。此时，步骤S3，建立储能装置的状态量模型，包括：
步骤S31，将控制器引入储能装置的功率，获取储能功率模型。
具体地，储能装置的功率可以表示为PBES(t)，其引入控制器u。储能装置的储能功率模型可以表示为：
dPBES(t)＝-θ4(PBES(t)-bBESu(t))dt
其中，θ4为储能装置(如电池)时间常数的倒数，bBES表示储能装置的最大功率。
进一步地，储能装置的状态量模型还可以包括储能电量模型。此时，步骤S31，将控制器引入储能装置的功率，获取储能功率模型之后，还包括：
步骤S32，根据储能功率模型，获取储能电量模型。
储能装置与其他可再生发电装置的不同之处在于其电量有限制条件，而储能装置的电量SBES(t)与储能装置的功率PBES(t)有关。因此，储能装置的储能电量模型可以用微分方程表示为
dSBES(t)＝ηPBES(t)dt
其中，参数η与储能装置的充放电效率有关，可以通过实验测试得到。
在一个实施例中，步骤S4，建立微网的电价的状态量模型，包括：
步骤S41，将非线性的CIR模型作为微网的电价的状态量模型。
在电力市场交易中，电价具有波动性时，为了刻画这种波动性，用非线性的CIR模型为电价建模，从而获取的电价的状态量模型可以表示为：
Figure BDA0002818869240000121
其中，λ(t)表示t时刻的电价，μ6表示电价的平均期望，σ6用来刻画波动的剧烈性。W4(t)为布朗运动。
在本实施例中，为动态电价建立数学模型时，考虑了电价的不确定性和非线性，该电价模型是可以有效模拟具有波动电价的能源互联网场景下电力市场交易价格。
在一个实施例中，步骤S5，根据发电装置、负载、储能装置以及微网的电价的状态量模型，获取微网的状态向量以及目标函数，包括：
步骤S51，根据发电装置、负载、储能装置以及微网的电价的状态量模型，获取微网的状态向量以及约束条件。
作为示例，可以根据上述实施例所得的多个微分方程，获取微网的状态向量：
x(t)＝[PWTG(t)，PPV(t)，PLoad(t)，PBES(t)，SWTG(t)，λ(t)]T
将上述实施例所得的多个微分方程联列，合并，得到如下综合系统(微网系统)：
dx(t)＝[Ax(t)+Bu(t)+C]dt+D(x(t))W(t)，
其中，矩阵A，B，C，D为系统参数，W(t)＝[W1(t)，W2(t)，W3(t)]T。至此，本实施例将复杂的能源互联网领域中单个微网系统的状态模型，以非线性随机微分方程组表示。
微网系统的约束条件可以包括第一约束条件以及第二约束条件，其中，
第一约束条件可以表示为：
PWTG(t)+PPV(t)-PLoad(t)-PBES(t)-Pout(t)＝0
第二约束条件可以表示为：
0≤SBES(t)≤1，-1≤u(t)≤1
第一约束条件代表功率平衡，Pout(t)表示从微网向外部电网传递的功率大小(若微网从外电网购买电能，则该项为负值)；第二约束条件是对储能装置电量和控制器大小的不等式约束。
步骤S52，根据发电装置、负载、储能装置以及微网的电价的状态量模型以及约束条件获取目标函数。
微网的最优控制问题可以写为：
Figure BDA0002818869240000131
满足0≤SBES(t)≤1，-1≤u(t)≤1
其中
Figure BDA0002818869240000132
表示数学期望，目标函数表示在0到T时间内电力交易成本的期望，也即收益的负数，其利用第一约束条件形成最小化控制器u，从而进行目标函数的最小化。
在目标函数中，所有变量均是微网的状态向量中的分量，因此可以用状态x(t)表示。
在一个实施例中，参考图5、图6以及图7，神经网络包括动作网络与评价网络。
步骤S6，将状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至目标函数的控制器的控制效果达到预设效果，包括：
步骤S61，将状态向量的各个分量以及时间作为观测参数值，输入到神经网络中，以使得动作网络与评价网络分别获取目标函数的奖励值与评估值。
参考图，将运行过程中的状态向量x(t)和时间t作为一组观测参数值，输入到神经网络中。
在动作网络中，根据输入的观测参数值，可以获取目标函数的奖励值r(x(t))。
在评价网络中，根据输入的观测参数值，可以获取目标函数的评估值V(x(t))。
步骤S62，根据奖励值与评估值进行反向传播，更新累计梯度。
具体地，可以不断通过优势函数梯度下降地调整神经网络的观测参数值。
参考图，作为示例，更新累计梯度后，可以判断k是否等于k_max。k是网络更新的步数，k_max是网络更新的最大步数。如果k等于k_max，则进行下一步骤(步骤S63)。否则，使得k＝k+1，重新将运行过程中的状态向量x(t)和时间t作为一组观测参数值，输入到神经网络中。
步骤S63，根据累计梯度更新神经网络的观测参数值，直至目标函数的控制器的控制效果达到预设效果。
具体地，控制器的控制效果是否达到预设效果，可以根据目标函数的奖励值r(x(t))与目标函数的评估值V(x(t))之间的差值的变化进行判断。例如，当目标函数的奖励值r(x(t))与目标函数的评估值V(x(t))之间的差值不再变化(具体可以设置变化在预设范围内，可以认定是不再变化)时，判定控制器的达到了预设效果，从而停止更新累计梯度，结束训练。
而控制器的达到了预设效果时，继续参考图，作为示例，更新神经网络的观测参数值后，可以判断T是否等于T_max。T是网络训练的步数，T_max是网络训练的最大步数。如果T未等于T_max，则使得k清零，且使得T＝T+1，将更新过的神经网络的观测参数值向量x(t)和时间t作为一组观测参数值，输入到神经网络中。而当T达到T_max后，则结束训练。
在一个实施例中，参考图6，步骤S61将状态向量的各个分量以及时间作为观测参数值，输入到神经网络中，以使得动作网络与评价网络分别获取目标函数的奖励值与评估值，包括：
步骤S611，将状态向量的各个分量以及时间作为观测参数值，输入到神经网络中。
输入的观测参数值(状态向量x(t)和时间t)可以进一步输入至神经网络的动作网络以及评价网络。
步骤S612，由动作网络，获取控制器的决策值的正态分布，且根据所述正态分布进行采样，获取控制器的决策值。
动作网络接收到输入的观测参数值(状态向量x(t)和时间t)后，进行处理，可以获取控制器的决策值的正态分布的期望μ以及标准差σ，从而获取控制器的决策值的正态分布。
在控制器的决策值的正态分布中，可以进行随机取样，进而获取控制器的决策值u。
步骤S613，根据控制器的决策值获取目标函数的奖励值。
在微网中执行动作步骤S613获取的控制器的决策值u(t)，得到新的状态x(t+1)以及目标函数的奖励值r(x(t))。
步骤S614，根据评价网络获取目标函数的评价值。
动作网络接收到输入的观测参数值(状态向量x(t)和时间t)后，进行处理，可以获取目标函数的评价值V(x(t))。
应该理解的是，虽然图2-图6流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种微网电力控制方法，所述微网包括发电装置、负载以及储能装置，其特征在于，包括：
建立所述发电装置的状态量模型，所述发电装置的状态量模型采用随机微分方程形式；
建立所述负载的状态量模型；
建立所述储能装置的状态量模型；
建立所述微网的电价的状态量模型；
根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型，获取所述微网的状态向量以及目标函数，微网的目标函数为关于微网的电能交易成本的损失函数，其可以通过控制器进行控制，最小化目标函数可以使得微网的购电成本最小；
将所述状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至所述目标函数的控制器的控制效果达到预设效果，微网的状态向量的各个分量即各个发电装置、负载、储能装置以及微网的电价的状态量；
输入实际的观测参数值，且根据完成训练的所述神经网络产生电能交易策略；
电价的状态量模型表示为：
Figure QLYQS_1
其中，λ(t)表示t时刻的电价，μ6表示电价的平均期望，σ6用来刻画波动的剧烈性，W4(t)为布朗运动。
2.根据权利要求1所述的微网电力控制方法，其特征在于，所述建立所述发电装置的状态量模型，包括：
用线性常微分方程模拟所述发电装置的发电功率，获取所述发电装置的初步模型；
模拟所述发电装置发电的随机性；
根据所述发电装置的初步模型以及所述发电装置发电的随机性，获取所述发电装置的状态量模型。
3.根据权利要求1所述的微网电力控制方法，其特征在于，所述建立所述负载的状态量模型，包括：
用线性常微分方程模拟所述负载的用电功率，获取所述负载的初步模型；
模拟所述负载用电的随机性；
根据所述负载的初步模型以及所述负载用电的随机性，获取所述负载的状态量模型。
4.根据权利要求1所述的微网电力控制方法，其特征在于，所述目标函数的控制器控制所述储能装置的功率，所述储能装置的状态量模型包括储能功率模型，所述建立所述储能装置的状态量模型，包括：
将所述控制器引入所述储能装置的功率，获取所述储能功率模型。
5.根据权利要求4所述的微网电力控制方法，其特征在于，所述储能装置的状态量模型还包括储能电量模型，所述将所述控制器引入所述储能装置的功率，获取所述储能功率模型之后，还包括：
根据所述储能功率模型，获取所述储能电量模型。
6.根据权利要求1所述的微网电力控制方法，其特征在于，所述建立所述微网的电价的状态量模型，包括：
将非线性的CIR模型作为所述微网的电价的状态量模型。
7.根据权利要求1所述的微网电力控制方法，其特征在于，所述根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型，获取所述微网的状态向量以及目标函数，包括：
根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型，获取所述微网的状态向量以及约束条件；
根据所述发电装置、所述负载、所述储能装置以及所述微网的电价的状态量模型以及所述约束条件获取所述目标函数。
8.根据权利要求1所述的微网电力控制方法，其特征在于，所述神经网络包括动作网络与评价网络，所述将所述状态向量的各个分量以及时间作为观测参数值，输入神经网络进行学习训练，直至所述目标函数的控制器的控制效果达到预设效果，包括：
将所述状态向量的各个分量以及时间作为观测参数值，输入到神经网络中，以使得所述动作网络与评价网络分别获取所述目标函数的奖励值与评估值；
根据所述奖励值与所述评估值进行反向传播，更新累计梯度；
根据所述累计梯度更新所述神经网络的观测参数值，直至所述目标函数的控制器的控制效果达到预设效果。
9.根据权利要求8所述的微网电力控制方法，其特征在于，所述将所述状态向量的各个分量以及时间作为观测参数值，输入到神经网络中，以使得所述动作网络与评价网络分别获取所述目标函数的奖励值与评估值，包括：
将所述状态向量的各个分量以及时间作为观测参数值，输入到神经网络中；
由所述动作网络，获取所述控制器的决策值的正态分布，且根据所述正态分布进行采样，获取控制器的决策值；
根据所述控制器的决策值获取所述目标函数的奖励值；
根据所述评价网络获取所述目标函数的评价值。
10.根据权利要求1所述的微网电力控制方法，其特征在于，所述发电装置包括负载以及光伏发电机，所述储能装置包括电池。
CN202011406917.3A 2020-12-04 2020-12-04 微网电力控制方法 Active CN112600256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011406917.3A CN112600256B (zh) 2020-12-04 2020-12-04 微网电力控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011406917.3A CN112600256B (zh) 2020-12-04 2020-12-04 微网电力控制方法

Publications (2)

Publication Number Publication Date
CN112600256A CN112600256A (zh) 2021-04-02
CN112600256B true CN112600256B (zh) 2023-06-09

Family

ID=75188225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011406917.3A Active CN112600256B (zh) 2020-12-04 2020-12-04 微网电力控制方法

Country Status (1)

Country Link
CN (1) CN112600256B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113659600A (zh) * 2021-08-16 2021-11-16 国网上海市电力公司 基于社区微网电能交易的储能设备控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997062A (zh) * 2014-05-28 2014-08-20 天津大学 一种微网能量管理控制方法
CN104993516A (zh) * 2015-07-16 2015-10-21 河南行知专利服务有限公司 一种基于光伏发电单元的微网系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025359A (ja) * 2011-07-15 2013-02-04 Sony Corp 電力制御装置、電力管理装置、電力制御方法および電力管理システム
US9568901B2 (en) * 2012-08-27 2017-02-14 Nec Corporation Multi-objective energy management methods for micro-grids
CN106026152B (zh) * 2016-05-19 2017-06-06 合肥工业大学 一种电动汽车接入微电网的充放电调度方法
CN109245138A (zh) * 2018-10-22 2019-01-18 四川华泰电气股份有限公司 一种在孤岛微网场景内延长储能设备使用寿命的方法
CN109462231B (zh) * 2018-11-15 2020-09-01 合肥工业大学 居民微电网的负荷优化调度方法、系统和存储介质
CN109934332A (zh) * 2018-12-31 2019-06-25 中国科学院软件研究所 基于评论家和双经验池的深度确定性策略梯度学习方法
CN110011422A (zh) * 2019-05-05 2019-07-12 苏州华天国科电力科技有限公司 基于人工神经网络的智能配电运行监测系统及调控方法
CN110417015A (zh) * 2019-06-18 2019-11-05 湖北追日电气股份有限公司 基于模型预测控制的微电网多目标优化调度方法及系统
CN111311012A (zh) * 2020-02-27 2020-06-19 南京邮电大学 基于多智能体的微电网电力市场双层竞价优化方法
CN111682563A (zh) * 2020-05-12 2020-09-18 天津大学 一种基于电储能系统的微电网智能频率控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997062A (zh) * 2014-05-28 2014-08-20 天津大学 一种微网能量管理控制方法
CN104993516A (zh) * 2015-07-16 2015-10-21 河南行知专利服务有限公司 一种基于光伏发电单元的微网系统

Also Published As

Publication number Publication date
CN112600256A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Cheng et al. Comparison of particle swarm optimization and dynamic programming for large scale hydro unit load dispatch
Yi et al. Deep reinforcement learning based optimization for a tightly coupled nuclear renewable integrated energy system
Khare et al. A novel hybrid MOL–TLBO optimized techno-economic-socio analysis of renewable energy mix in island mode
Nweye et al. MERLIN: Multi-agent offline and transfer learning for occupant-centric operation of grid-interactive communities
Bagheri et al. Stochastic optimization and scenario generation for peak load shaving in Smart District microgrid: sizing and operation
Haddad et al. Mixed integer linear programming approach to optimize the hybrid renewable energy system management for supplying a stand-alone data center
CN112600256B (zh) 微网电力控制方法
Maulén et al. Optimization-based expansion planning for power and hydrogen systems with feedback from a unit commitment model
CN114595891A (zh) 一种配电网电压及潮流越界风险评估方法、系统及设备
Gómez et al. A renewable energy optimisation approach with production planning for a real industrial process: An application of genetic algorithms
Hasan et al. Electricity cost optimization for large loads through energy storage and renewable energy
Ji et al. Optimal microgrid energy management integrating intermittent renewable energy and stochastic load
CN112670982A (zh) 一种基于奖励机制的微电网有功调度控制方法及系统
Kang et al. Multi-objective sizing and real-time scheduling of battery energy storage in energy-sharing community based on reinforcement learning
Bai et al. Energy arbitrage optimization of lithium-ion battery considering short-term revenue and long-term battery life loss
Delamare et al. Development of a smart grid simulation environment
CN113988403A (zh) 一种电动汽车充电负荷预测方法及系统
Fang et al. Energy scheduling and decision learning of combined cooling, heating and power microgrid based on deep deterministic policy gradient
Wang et al. Self-organizing maps for scenario reduction in long-term hydropower scheduling
Cruz-De-Jesús et al. Optimal scheduling for local energy communities using stochastic and robust optimization
Franco et al. MIMO auto-regressive modeling-based generalized predictive control for grid-connected hybrid systems
Yammani et al. Optimal placement and sizing of DER's with load models using a modified teaching learning based optimization algorithm
Awan et al. Economic dispatch in microgrids using compromise solution method
Krichen et al. ANN for multi-objective optimal reactive compensation of a power system with wind generators
Dolatabadi et al. SFNAS-DDPG: A Biomass-based Energy Hub Dynamic Scheduling Approach via Connecting Supervised Federated Neural Architecture Search and Deep Deterministic Policy Gradient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant