CN115358783A - 一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统 - Google Patents
一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统 Download PDFInfo
- Publication number
- CN115358783A CN115358783A CN202211010385.0A CN202211010385A CN115358783A CN 115358783 A CN115358783 A CN 115358783A CN 202211010385 A CN202211010385 A CN 202211010385A CN 115358783 A CN115358783 A CN 115358783A
- Authority
- CN
- China
- Prior art keywords
- power
- electric vehicle
- micro
- energy
- transaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000006870 function Effects 0.000 claims abstract description 32
- 230000008901 benefit Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 20
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims abstract description 17
- 229910052799 carbon Inorganic materials 0.000 claims abstract description 17
- 238000007599 discharging Methods 0.000 claims abstract description 10
- 238000010206 sensitivity analysis Methods 0.000 claims abstract description 5
- 230000005611 electricity Effects 0.000 claims description 48
- 238000010248 power generation Methods 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 34
- 230000035945 sensitivity Effects 0.000 claims description 24
- 239000000243 solution Substances 0.000 claims description 14
- 230000002146 bilateral effect Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 13
- 230000015556 catabolic process Effects 0.000 claims description 12
- 238000006731 degradation reaction Methods 0.000 claims description 12
- 238000002347 injection Methods 0.000 claims description 12
- 239000007924 injection Substances 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000001737 promoting effect Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004146 energy storage Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000003763 carbonization Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 241001149231 Arachnis x Vanda Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0206—Price or cost determination based on market factors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/008—Circuit arrangements for ac mains or ac distribution networks involving trading of energy or energy transmission rights
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/28—Arrangements for balancing of the load in a network by storage of energy
- H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
- H02J3/322—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means the battery being on-board an electric or hybrid vehicle, e.g. vehicle to grid arrangements [V2G], power aggregation, use of the battery for network load balancing, coordinated or cooperative battery charging
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/22—The renewable source being solar energy
- H02J2300/24—The renewable source being solar energy of photovoltaic origin
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/28—The renewable source being wind energy
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Technology Law (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于强化学习考虑多重约束的多电动车辆与多微电网的博弈的能源交易方法及系统，方法包括：首先建立电动车辆充放电过程中的随机变量模型，并利用贝叶斯博弈通过信息的不确定性(包括电动车辆的随机特性)对参与者的角色进行建模；其次确定多微电网内部的调度结果，确定每个时刻点对点分布式交易环境下各台微电网的市场角色；然后本发明基于灵敏性分析的方法评估多方参与的能源交易博弈对节点网络的影响，并且电力交换保证不违反网络约束以及碳排放标准；最后建立点对点分布式交易环境下多微电网与多电动车辆进行多方博弈的效用函数模型，以最大化交易双方的利益为目的，多次博弈，最终达到博弈均衡，从而实现多方博弈的点对点分布式交易。本发明能够从低碳排放以及经济效益的角度对多微电网与多电动车辆的能源进行合理有效的调度控制，除此之外，本发明利用电动车辆充放电的特点，缓解负荷高峰期微电网的电力负担，实现削峰填谷的作用。促使多微电网与多电动车辆在多方能源交易的系统中获得的更优的经济效益。
Description
技术领域
本发明涉及电力系统领域，尤其是涉及一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统。
背景技术
具有分布式能源(DERs)的微型电网(MGs)是电力系统未来的特征。风力涡轮机(WTs)、光伏(PVs)、储能系统(ESS)和电动车辆(EVs)是传统地区消费者的一部分。随着电动车辆的普及，未来将有更多的电动车辆接入电网或微电网，这将在电网或微电网中产生额外的负荷流。在这样的背景下能源交易的概念出现在未来的智能电网运营中，这是一种基于市场的方法，系统地协调网络实体之间的能源生产和消费。因此，电动车辆(电动车辆到电动车辆，V2V)之间以及多微电网和多电动车辆的直接能源交易可以减轻负荷高峰期对电网的影响，也成为研究热点。维持功率平衡是MGs和电动车辆运行的主要条件，通常是通过平衡其自身的负载或与其他MGs或电动车辆交换能量来实现的。MGs或电动车辆之间的区域能源交易是领域电力系统面临的新挑战或机遇之一。
与传统电力系统单一的经济环境不同，传统的静态电价联动模型已经很难描述复杂的交易市场。近年来，运用博弈论描述微电网、电动车辆中各个主体的经济行为，从而提出更符合实际需求的响应机制，制定更加优化的价格策略，成为电力交易研究的一个热点。目前，已有不少文献从博弈均衡的角度对电力交易模型进行了研究。
文献1(Palma-Behnke R，Benavides C，Aranda E，et al.Energy managementsystem for a renewable based microgrid with a demand side managementmechanism，Computational Intelligence Applications In Smart Grid(CIASG)，2011IEEE Symposium on IEEE，2011:1-8)通过博弈方法建立了供电侧和多用户侧的博弈分时电价(GT-TOU)模型，并且严格地证明了GT-TOU模型Nash均衡(NE)的存在，并且采用逆向归纳法求解该模型的NE。但是，文献中提及的多用户，仍然只包含负载用户，而未计及分布式储能用户、分布式发电用户和EV。文献2(I.A. Umoren,S.S.A.Jaffary,M.Z.Shakir,K.Katzis and H.Ahmadi,"Blockchain-Based Energy Trading in Electric-Vehicle-Enabled Microgrids,"in IEEE Consumer Electronics Magazine,vol.9,no.6,pp. 66-71,1Nov.2020)利用5G网络提供的构建模块，建立了一个区块链支持的架构，促进了逻辑网络中的P2P(点对点)能源交易，从而开发了电动车辆和MGs技术的能源交易，但是，该文献中的模型架构并未将电动车辆视为能源供应商和消费者。文献3(A.Paudel,K.Chaudhari,C.Long and H.B.Gooi,"Peer-to-Peer Energy Trading in Prosumer-Based CommunityMicrogrid:A Game-Theoretic Model,"in IEEE Transactions on IndustrialElectronics,vol.66,no.8,pp.6087- 6097,Aug.2019)利用M-leader和N-follower的Stackelberg博弈方法，提出了社区中MG之间点对点(P2P)能量交易的博弈模型。但是该文献的模型没有考虑V2V的应用场景。文献4 (M.H.Ullah and J.-D.Park,"A Two-TierDistributed Market Clearing Scheme for Peer-to-Peer Energy Sharing in SmartGrid,"in IEEE Transactions on Industrial Informatics,vol.18,no.1,pp.66- 76,Jan.2022)通过分析不同用户角色的相应变化，以及与电力生产去中心化相关的一些激励模型，介绍了P2P能源市场的潜在多层架构，但未考虑到多个微电网与多个电动车辆之间的博弈。
发明内容
有鉴于此，本发明的目的在于提供一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法及系统，解决多方博弈时电力合理有效分配与电价合理确定的技术问题。
为了实现上述发明目的，本发明具体提供了一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易的技术实现方案，一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，包括：
针对电动车辆的随机特性带来的能源交易的不确定性问题，建立了关于电动车辆随机特性的随机变量模型并利用贝叶斯博弈通过信息的不确定性对交易参与者的类型组合进行建模；其次采用天气预测和Weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各台微电网在点对点分布式交易下的市场角色；最后本发明基于灵敏性分析的方法评估多方参与的能源交易博弈对节点网络的影响，并且电力交换保证不违反网络约束以及碳排放标准，建立点对点分布式交易环境下多微电网与多电动车辆进行多方博弈的效用函数模型，将定价机制纳入系统内的能源调度问题，以最大化交易双方的利益为目的，多次博弈，最终达到博弈均衡，从而实现多方博弈的点对点分布式交易。
优选的，所述电动车辆随机特性主要体现在24小时内荷电状态的不同以及电动车辆到达微电网与离开微电网的时间不确定：在一天开始时，电动车辆在一定的荷电状态下从微电网离开，荷电状态会随着行驶距离的增加而降低。当电动车辆在一天结束后到达该微电网时，其到达后的荷电状态与出发时的荷电状态不相同，因此在多方博弈的能源交易系统电动车辆的到达微电网时的荷电状态与出发前的SOC有关，还与一天的行驶距离有关，即：
其中PoS表示电动车辆离开微电网时的荷电状态，Dr表示1KWh的能量电动车辆能行驶的距离，依据前面的研究Dr＝6.7km/KWh，
表示最低SOC的限制，电池在行驶或者放电时不应低于最低SOC，否则电池将被损坏。D我们主要采用2017年美国全国家庭旅行调查旅游趋势中的统计每日行程长度；其次，我们采用统计建模的方式处理电动车辆时间的不确定性，即确定了这些不确定参数之后，我们将电动车辆的插入状态建模为马尔科夫链模型，它是一个动态系统，在状态空间上随机的从一个状态过渡到另一个状态，并且状态的变化都是独立的。即：
Φxy＝Pr[ωt+1＝x∣ωt＝y,t],x,y∈{0,1}
其中ωt表示电动车辆是否插入微电网，ε(t)和δ(t)分别为PiT和PoT的跃迁概率。；最后，基于贝叶斯博弈定义了
用来判断电动车辆n在交易系统中的角色类型；
表示电动车辆和微电网在时间t内的所有类型组合，
和
分别表示电动车辆n以及微电网的类型空间以及所有电动车辆和微电网的每种类型组合，因此
和rt∈Rt被定义。
优选的，所述采用天气预测和Weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各个微电网和电动车辆在点对点分布式交易下的市场角色。
一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法，包括以下步骤：
S101：确定点对点分布式交易环境下各个微电网和各个电动车辆的市场角色
S102：输入初始电压条件、节点注入功率；其次，给定初始价格以及每个交易对象能进行交易的初始功率；
S103：根据输入的初始电压条件以及节点注入功率将其进行聚类，求解电压变化；其次测量节点功率变化量计算总线上的输电分配系数、输入与输出间的损耗灵敏度；根据初始电价和功率迭代计算各方收益；
S104：根据步骤S102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
S105：根据电网内部分布式能源输出和多方博弈的情况预测微型汽轮机的出力情况以及电动车辆充放电对电池的影响，考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，促使环境效益达到最优。
S106：根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型，并证明该效用函数是否存在唯一解，若存在则达成Nash均衡；
S107：根据迭代优化后的购电电价和富余电量求取整个多方博弈的过程中各方的收益情况，促使整个交易系统的顺利进行。
优选的，所述步骤S101中确定点对点分布式交易环境下多微电网与多电动车辆在能源交易系统下的市场角色。其方法主要为：微电网在正常运行情况下，由于分布式可再生能源设备出力以及电力负荷需求的波动性，微电网在会面临电能不足或过剩的情况，在不同时刻微电网会充当买方或卖方的不同角色。除此之外，电动车辆则是根据权利1中随机变量模型求得插入微电网时的荷电状态以及离开微电网时的荷电状态，进而根据驾驶员第二天的行程需求，判断其在不同时刻充当的角色。
优选的，所述步骤S103中对包括电压敏感系数(VSCs)、输电分配系数(PTDFs)和损耗敏感系数(LSFs)在内的网络约束进行建模，进一步根据以下公式进行计算：
电压敏感系数计算如下：
有功功率的偏导数满足以下方程组：
由于整个系统不是线性的，但是相对于
和
它是线性的，因此该系统相对于直角坐标在实数上是线性的。此外，代入节点数据，它具有唯一的解，从而用来求解直角坐标下的偏导数。当我们获得
和
时，电压幅值的偏导数可以表示为：
输电分配系数计算如下：
注入移位因子(ISF)量化了在特点母线上的发电量或负荷发生变化后通过每条支路的功率再分配。它反映了通过支路的流量对发电量或负荷变化的敏感性。因此，我们主要通过计算ISF,进而获得PTDFs。
为了计算ISF，我们使用简化的节点电纳矩阵，分支(k,l)关于总线i∈N的ISF，即为：在总线k处测量的从总线k到l的正有功功率流。用
表示。
计算如下：
一旦得到各交易对象所处总线处的ISF，就可以计算PTDFs.即：
提供了支路(k,l)中的有功功率流相对于从母线i到j的给定功率量ΔPij的有功功率传输的灵敏度。关于在总线j处提取的总线i上的注入的分支(k，l)的PTDF直接从ISFs中计算如下：
损耗灵敏度因子计算如下：
由于本发明的能源交易系统是双边交易，因此本文定义了双边交易系数用于关联双边交易带来的损失：
优选的，所述步骤S104中考虑网络约束之后将其损耗内部化为交易成本进一步根据以下公式进行计算：
式中，
表示考虑不同节点处交易后节点电压变化引起的网络低压负担成本；
节点复电压(表示为复共轭)相对于在前一个时间周期作为总线k中的能量供应商的EVn和MG m提供的有功功率的偏导数；λVSC定义为低电压惩罚因子，主要指在低压网络下微电网以及电动车辆充当能源供应商时需考虑的电压变化的额外成本；
是由IEEE 33总线标准定义的总线k的原始功率。
优选的，所述步骤S105中依据现有能源交易系统存在的问题考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，进一步根据以下公式确定多电动车辆与多微电网在多方博弈中碳排放成本、电池降解成本以及电池维护成本。
通过天气预测以及Weibull分布预测光伏发电单元以及风力发电单元的出力，同时依据微电网本身负荷需求预测微型汽轮机的出力情况；除此之外，由于电动车辆数量增多，充放电行为和调度不协调，对电池本身存在一定的损害.
其中，多方博弈中售电方集合为J，j为多方博弈中的售电方，j∈J，
为多微电网中售电方j的负荷，t为时间，
和
分别为多微电网中售电方j的光伏发电单元(PV)出力和风力发电单元(WT)出力以及微型汽轮机发电单元(GT)出力。
微型汽轮机的碳排放成本以及电动车辆的电池降解成本公式计算如下：
其中，
δ分别表示微电网和电动车辆的能量排放成本的参数因子。
电池维护成本计算：
其中，φ n,η表示为随机条件下估算电动车辆和电动车辆成本的参数，主要由风力发电、光伏发电、电动车辆插入电动车辆时的SOC、插入电动车辆的时间段以及参与交易的买卖双方数量决定。
优选的，所述步骤S106中根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型计算如下：
其中
用来表示MGs和电动车辆作为卖方时从能源交换中获得的利益；
则表示MGs 和电动车辆作为买方时需要承担的购电成本；
用于反映MG和EV的功率状况，以区分MG和EV是消费者还是能源供应商；
用于表示微电网、电动车辆在不同随机因素的影响过程中产生的成本；
表示微电网、电动车辆在交易过程中的能量排放成本；
定义为满意度函数，其计算公式为：
α、β和λs为满意度函数参数。购电和预期用电满意率平衡，防止因电价过高导致交易失败。网络损耗内部化交易成本用
表示，其中
效用约束条件：
其中
和
表示交易对象向宏观电网的购买价格和销售价格；卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易；
表示电动车辆、微电网处于电力充足时的功率策略集；
表示售电方能售出的最大能量；约束3则表示微电网内部的功率平衡；约束4则表示电动车辆的负荷状态必须满足驾驶员要求。
由于本发明是基于贝叶斯博弈来处理交易方的不确定性信息的影响，我们所求的多方博弈的效益值为预期值(包含了受联合分布的不同类型概率对应的各种完全对策组合)。其公式如下所示：
通过证明纳什均衡的存在性，证明了所建的效用函数模型存在唯一解。
优选的，所述步骤S107中依据迭代优化的购电电价与售电量求取参与博弈的交易对象的最优收益，根据以下公式计算：
通过实施上述本发明提供的基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统及方法的技术方案，具有如下有益效果：
(1)本发明解决了多电动车辆与多微电网多方能源博弈的过程中电力合理有效分配的技术问题；
(2)本发明将定价机制纳入能源调度问题，考虑了多个微电网和多个电动车辆自由市场下的多方点对点分布式交易，解决了每台微电网与每辆电动车辆在多方能源交易系统中以不同角色参与博弈时的收益问题；
(3)本发明从低碳化和网络损耗角度考虑了多方能源博弈过程中产生的交易成本问题，有效降低了微电网内部汽轮机在负荷高峰期时的出力，并在不违反网络约束的情况下获得令人满意的利润；解决了各个参与点对点交易的用户在交易时能量损失的技术问题。
(4)本发明解决了多方博弈时博弈角色难以统一确定的技术问题；
(5)本发明相比于传统电力分配系统及方法，在相同的条件下，整个系统总负荷的分布相对更加平缓，起到了明显的稳定负荷和调节峰值的作用，削峰填谷的作用十分明显。
(6)本发明相比于传统能源交易系统及方法，参与交易的用户增多，其交易方式更偏向于自由市场下双边交易，由模型本身自行调整意外情况的发生，适当增加人为干预。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式的系统结构图；
图2是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式的系统结构组成框图；
图3是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式中多方能源博弈简易示意图；
图4是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式中多方能源博弈实施流程图；
图5是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式中多方能源博弈控制框图；
图6是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统及方法与传统电力分配系统及方法的收益对比示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1至附图6所示，给出了本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统的具体实施例，下面结合附图和具体实施例对本发明作进一步说明。
实施例1
如附图1和附图2所示，基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统的具体实施例，包括：
针对电动车辆的随机特性带来的能源交易的不确定性问题，建立了关于电动车辆随机特性的随机变量模型并利用贝叶斯博弈通过信息的不确定性对交易参与者的类型组合进行建模；其次采用天气预测和Weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各台微电网在点对点分布式交易下的市场角色；最后本发明基于灵敏性分析的方法评估多方参与的能源交易博弈对节点网络的影响，并且电力交换保证不违反网络约束以及碳排放标准，建立点对点分布式交易环境下多微电网与多电动车辆进行多方博弈的效用函数模型，将定价机制纳入系统内的能源调度问题，以最大化交易双方的利益为目的，多次博弈，最终达到博弈均衡，从而实现多方博弈的点对点分布式交易。
多个微电网和多个电动车辆之间的能源交易场景如附图1所示，博弈方包括：微电网中的售电方j与购电方i、电动车辆中的售电方j与购电方i。该系统包括了一个区域配电网、多个微电网以及多个电动车辆聚合器，分别位于微电网所处区域中；其微电网内部包含风力发电单元WT、光伏发电单元PV和燃气轮机发电单元GT等分布式发电装置。图中实线箭头方向为功率流方向，在时间段t内，燃气轮机发电单元GT的出力总和采用
表示，其中风力发电单元WT与光伏发电单元PV为不可控微源，出力分别为
能够参与调度的微源为燃气轮机发电单元GT。储能单元ES的出力采用
表示，
表示电动车辆EV 的出力。微电网中的用户负荷为Lt。在该能源交易系统中必须保持功率平衡，否则会影响交易的进行。
接入V2M微电网后，如果V2M微电网的负荷大于或等于发电单元DG的出力总和，通过调度储能单元ES后仍然无法满足需求时，则该微电网向其他电力充足的微电网或者电动车辆购入电力Lt以满足功率平衡的要求。如果V2M微电网的负荷小于发电单元DG的出力总和，富余的电力可以选择存入储能单元ES或出售给电动车辆单元EV和电力不足的微电网。从而达到获利的目的。
其中，多方能源博弈的简易示意图如附图3所示，在考虑了网络中物理线路在功率交换中所引起的不同变化(在这里是距离)之后，我们将其分为上下两层，上层主要为微电网之间的电力交换，下层主要为电动车辆间的电力交换，当然上下两层之间在可以穿插交易；分层的目的主要在于能清晰体现存在多个微电网、多个电动车辆能源交易的情况。
如附图4,5所示，一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统的具体实施例，包括以下步骤：
S101：确定点对点分布式交易环境下各个微电网和各个电动车辆的市场角色
S102：输入初始电压条件、节点注入功率；其次，给定初始价格以及每个交易对象能进行交易的初始功率；
S103：根据输入的初始电压条件以及节点注入功率将其进行聚类，求解电压变化；其次测量节点功率变化量计算总线上的输电分配系数、输入与输出间的损耗灵敏度；根据初始电价和功率迭代计算各方收益；
S104：根据步骤S102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
S105：根据电网内部分布式能源输出和多方博弈的情况预测微型汽轮机的出力情况以及电动车辆充放电对电池的影响，考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，促使环境效益达到最优。
S106：根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型，并证明该效用函数是否存在唯一解，若存在则达成Nash均衡；
S107：根据迭代优化后的购电电价和富余电量求取整个多方博弈的过程中各方的收益情况，促使整个交易系统的顺利进行。
步骤S101中确定点对点分布式交易环境下多微电网与多电动车辆在能源交易系统下的市场角色。其方法主要为：微电网在正常运行情况下，由于分布式可再生能源设备出力以及电力负荷需求的波动性，微电网在会面临电能不足或过剩的情况，在不同时刻微电网会充当买方或卖方的不同角色。除此之外，电动车辆则是根据权利1中随机变量模型求得插入微电网时的荷电状态以及离开微电网时的荷电状态，进而根据驾驶员第二天的行程需求，判断其在不同时刻充当的角色。
优选的，所述步骤S103中对包括电压敏感系数(VSCs)、输电分配系数(PTDFs)和损耗敏感系数(LSFs)在内的网络约束进行建模，进一步根据以下公式进行计算：
电压敏感系数计算如下：
有功功率的偏导数满足以下方程组：
由于整个系统不是线性的，但是相对于
和
它是线性的，因此该系统相对于直角坐标在实数上是线性的。此外，代入节点数据，它具有唯一的解，从而用来求解直角坐标下的偏导数。当我们获得
和
时，电压幅值的偏导数可以表示为：
输电分配系数计算如下：
注入移位因子(ISF)量化了在特点母线上的发电量或负荷发生变化后通过每条支路的功率再分配。它反映了通过支路的流量对发电量或负荷变化的敏感性。因此，我们主要通过计算ISF,进而获得PTDFs。
为了计算ISF，我们使用简化的节点电纳矩阵，分支(k,l)关于总线i∈N的ISF，即为：在总线k处测量的从总线k到l的正有功功率流。用
表示。
计算如下：
一旦得到各交易对象所处总线处的ISF，就可以计算PTDFs.即：
提供了支路(k,l)中的有功功率流相对于从母线i到j的给定功率量ΔPij的有功功率传输的灵敏度。关于在总线j处提取的总线i上的注入的分支(k，l)的PTDF直接从ISFs中计算如下：
损耗灵敏度因子计算如下：
由于本发明的能源交易系统是双边交易，因此本文定义了双边交易系数用于关联双边交易带来的损失：
本发明具体实施例主要基于IEEE33节点考虑网络约束条件进行潮流计算。采用基于敏感性分析的方法评估点对点式交易方式对网络的影响，在各个微电网以及电动车辆之间不合作的前提下对需求响应及定价策略进行基于贝叶斯博弈的建模，博弈的参与者V2M微电网以及V2V电动车辆都只具有个体理性，它们的目的都是自身利益最大化。由于在能源交易系统中所有参与者的市场角色难以确定，我们通过该贝叶斯博弈模型将不同参与者角色状态的所有组合来描述信息不完整的MG、EV之间的博弈行为。进而双方在博弈过程中根据自身的电量情况进行售电与购电，争取自身最大利益。
博弈参与方、策略集和参与方的收益是一场博弈中的三个要素。在本发明具体实施例设置的贝叶斯博弈场景中，博弈参与者为微电网、电动车辆，在某一时刻，如果微电网和电动车辆电力富余通过电力分配平台向电力市场售电，则属于博弈中的售电方。如果微电网和电动车辆电力缺乏，需要通过电力分配平台向电力市场购电，则属于博弈中的购电方。按照该分类，可以分为：微电网、电动车辆的售电方和微电网、电动车辆的购电方。设电力充足的微电网以及电动车辆的售电方集合为J，电力不足的微电网与电动车辆的购电方集合为I。因此，博弈为多方博弈，博弈参与方包括：微电网以及电动车辆的售电方j，j∈J和微电网以及电动车辆的购电方i，i∈I。
假设在整个充放电过程中，忽略损耗且储能单元ES系统端口电压基本维持不变，对于任意时间段t，售电方j的策略集可表示为：
多方能源交换中，
和
代表其中电动车辆、微电网i作为买家时的报价以及电动车辆、微电网j作为卖家时的售电量。
根据上述集合的
定义和
定义，我们可以看出，卖方主要根据买方提供的购买价格以出售多余的能源，而买方则需要从卖方那里购买相应的能源才能正常运行；因此，从水平方向看矩阵时，每一行代表电价由单个买家i提供给所有卖家提供的电价。相反，从垂直方向看，每一列是所有买家给同一个卖家的能源单价；同理，
是指卖方给予买方对应的能量；本文中，电动车辆在分层结构中位于同一总线处的微电网的底部，微电网在分层结构中位于上层；因此，整个分层结构下的系统必须满足交易过程中的功率约束：
对于电动车辆、微电网n(n∈I)电力不足时建立的相关策略集用(1)表示，当电动车辆、微电网n为卖方时，对电动车辆、微电网j的放电报价采用
和
分别为电动车辆向宏观电网的购买价格和销售价格。
注意：卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易。与此同时，若整个系统出现总体放电功率大于充电功率时，则在满足微电网、电动车辆多方之间的交易时，其剩余部分能量将与电网之间进行功率转移，即：
步骤S104根据步骤S102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
式中，
表示考虑不同节点处交易后节点电压变化引起的网络低压负担成本；
节点复电压(表示为复共轭)相对于在前一个时间周期作为总线k中的能量供应商的EVn和MG m提供的有功功率的偏导数；λVSC定义为低电压惩罚因子，主要指在低压网络下微电网以及电动车辆充当能源供应商时需考虑的电压变化的额外成本；
是由IEEE 33总线标准定义的总线k的原始功率。
步骤S105中依据现有能源交易系统存在的问题考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，进一步根据以下公式确定多电动车辆与多微电网在多方博弈中碳排放成本、电池降解成本以及电池维护成本。
通过天气预测以及Weibull分布预测光伏发电单元以及风力发电单元的出力，同时依据微电网本身负荷需求预测微型汽轮机的出力情况；除此之外，由于电动车辆数量增多，充放电行为和调度不协调，对电池本身存在一定的损害；
微型汽轮机的碳排放成本以及电动车辆的电池降解成本公式计算如下：
其中，
δ分别表示微电网和电动车辆的能量排放成本的参数因子。
电池维护成本计算：
其中，φ n,η表示为随机条件下估算电动车辆和电动车辆成本的参数，主要由风力发电、光伏发电、电动车辆插入电动车辆时的SOC、插入电动车辆的时间段以及参与交易的买卖双方数量决定。
步骤S106中根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型计算如下：
其中
用来表示MGs和电动车辆作为卖方时从能源交换中获得的利益；
则表示MGs和电动车辆作为买方时需要承担的购电成本；
用于反映MG和EV 的功率状况，以区分MG和EV是消费者还是能源供应商；
用于表示微电网、电动车辆在不同随机因素的影响过程中产生的成本；
表示微电网、电动车辆在交易过程中的能量排放成本；网络损耗内部化交易成本用
表示，其中
效用约束条件：
其中
和
表示交易对象向宏观电网的购买价格和销售价格；卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易；
表示电动车辆、微电网处于电力充足时的功率策略集；
表示售电方能售出的最大能量；约束3则表示微电网内部的功率平衡；约束 4则表示电动车辆的负荷状态必须满足驾驶员要求。
由于本发明是基于贝叶斯博弈来处理交易方的不确定性信息的影响，我们所求的多方博弈的效益值为预期值(包含了受联合分布的不同类型概率对应的各种完全对策组合)。其公式如下所示：
通过证明纳什均衡的存在性，证明了所建的效用函数模型存在唯一解。
基于强化学习的考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法贝叶斯博弈均衡点存在的条件为：
(1)策略集(1)是欧式空间的非空凸集；
(2)收益函数(12)对策略集(1)连续且拟凹。
由于策略集(1)与(2)约束条件为线性不等式，因此条件(1)能够得到满足。
而收益函数
为凹集的充要条件是式(10)的Hessian矩阵
半正定：
首先，联立式(7)，(8)，(9)，(10)，(11)与式(12)，求取
的一阶偏导数：
然后，求取
的二阶偏导数：
由式(14)可知，
的对角线元素非正，非对角线元素全0，
为半正定得到满足。收益函数
满足条件(2)，因此条件(a)得到满足。
贝叶斯博弈的纳什均衡可以参考完全信息博弈的计算得到。在微电网、电动车辆的初始条件确定后,组合类型rn被固定。从而确认效用函数的最优解是存在的，根据完全博弈纳什均衡的推导，
很容易得到。得到了贝叶斯方程的纳什均衡。
采用
表示该能源交易过程中的满意度，其计算公式为：
其中，α、β和λs为满意度函数参数。购电和预期用电满意率平衡，防止因电价过高导致交易失败。
的设置不仅满足了实际电价设置的需要，满意度函数的设置也为系统找到Nash均衡点起到了重要的作用，满意度函数的设置规则需要满足下列要求：
(1)
是一个非减函数；
(2)
是一个凹函数，随着变量的两端变化，
的终值逐渐趋向饱和。
步骤S107中依据迭代优化的购电电价与售电量求取参与博弈的交易对象的最优收益，根据以下公式计算：
本发明具体实施例建立了包括分布式发电、分布式储能、多辆电动车辆和普通用户的多个V2M微电网共同参与的电力分配场景，同时考虑V2M微电网以及电动车辆之间多方博弈的售电与购电两种工作模式，提出了一中基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法，证实了系统NE均衡点的存在性，并求取了NE均衡点。在考虑多重约束的多电动车辆与多微电网的多方博弈的电力分配系统中，是各自采取行动应对对方的策略。通过对算例进行模拟仿真分析，对比现有技术中的相关技术方案，证明了本发明具体实施例应用于多电动车辆与多微电网的多方博弈中电力分配的合理性和有效性。如附图 6所示，为本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统及方法与传统电力分配系统及方法的收益对比示意图，从图中可以明显看出，从图中可以看出，随着突发事件概率的不同，本文提出的方法下的收益比分层二分图匹配算法下的收益更稳定、更令人满意。通过实施本发明具体实施例描述的考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法的技术方案，能够产生如下技术效果：
(1)本发明解决了多电动车辆与多微电网多方能源博弈的过程中电力合理有效分配的技术问题；
(2)本发明将定价机制纳入能源调度问题，考虑了多个微电网和多个电动车辆自由市场下的多方点对点分布式交易，解决了每台微电网与每辆电动车辆在多方能源交易系统中以不同角色参与博弈时的收益问题；
(3)本发明从低碳化和网络损耗角度考虑了多方能源博弈过程中产生的交易成本问题，有效降低了微电网内部汽轮机在负荷高峰期时的出力，并在不违反网络约束的情况下获得令人满意的利润；解决了各个参与点对点交易的用户在交易时能量损失的技术问题。
(4)本发明解决了多方博弈时博弈角色难以统一确定的技术问题；
(5)本发明相比于传统电力分配系统及方法，在相同的条件下，整个系统总负荷的分布相对更加平缓，起到了明显的稳定负荷和调节峰值的作用，削峰填谷的作用十分明显。
(6)本发明相比于传统能源交易系统及方法，参与交易的用户增多，其交易方式更偏向于自由市场下双边交易，由模型本身自行调整意外情况的发生，适当增加人为干预。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明的精神实质和技术方案的情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的简单修改、等同替换、等效变化及修饰，均仍属于本发明技术方案保护的范围。
Claims (10)
1.一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，包括：
针对电动车辆的随机特性带来的能源交易的不确定性问题，建立了关于电动车辆随机特性的随机变量模型并利用贝叶斯博弈通过信息的不确定性对交易参与者的类型组合进行建模；其次采用天气预测和Weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各台微电网在点对点分布式交易下的市场角色；最后本发明基于灵敏性分析的方法评估多方参与的能源交易博弈对节点网络的影响，并且电力交换保证不违反网络约束以及碳排放标准，建立点对点分布式交易环境下多微电网与多电动车辆进行多方博弈的效用函数模型，将定价机制纳入系统内的能源调度问题，以最大化交易双方的利益为目的，多次博弈，最终达到博弈均衡，从而实现多方博弈的点对点分布式交易。
2.根据权利要求1所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于：所述电动车辆随机特性主要体现在24小时内荷电状态的不同以及电动车辆到达微电网与离开微电网的时间不确定：在一天开始时，电动车辆在一定的荷电状态下从微电网离开，荷电状态会随着行驶距离的增加而降低。当电动车辆在一天结束后到达该微电网时，其到达后的荷电状态与出发时的荷电状态不相同，因此在多方博弈的能源交易系统电动车辆的到达微电网时的荷电状态与出发前的SOC有关，还与一天的行驶距离有关，即：
其中PoS表示电动车辆离开微电网时的荷电状态，Dr表示1KWh的能量电动车辆能行驶的距离，依据前面的研究Dr＝6.7km/KWh，
表示最低SOC的限制，电池在行驶或者放电时不应低于最低SOC，否则电池将被损坏。D我们主要采用2017年美国全国家庭旅行调查旅游趋势中的统计每日行程长度；其次，我们采用统计建模的方式处理电动车辆时间的不确定性，即确定了这些不确定参数之后，我们将电动车辆的插入状态建模为马尔科夫链模型，它是一个动态系统，在状态空间上随机的从一个状态过渡到另一个状态，并且状态的变化都是独立的。即：
Φxy＝Pr[ωt+1＝x∣ωt＝y,t],x,y∈{0,1}
其中ωt表示电动车辆是否插入微电网，ε(t)和δ(t)分别为PiT和PoT的跃迁概率。；最后，基于贝叶斯博弈定义了
用来判断电动车辆n在交易系统中的角色类型；rt＝[rt 1,...,rt n,...,rt N]表示电动车辆和微电网在时间t内的所有类型组合，
和
分别表示电动车辆n以及微电网的类型空间以及所有电动车辆和微电网的每种类型组合，因此
和rt∈Rt被定义。
3.根据权利要求2所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，采用天气预测和Weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各个微电网和电动车辆在点对点分布式交易下的市场角色。
4.一种基于权利要求1至3中任一项所述系统的基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法，其特征在于，包括以下步骤：
S101：确定点对点分布式交易环境下各个微电网和各个电动车辆的市场角色
S102：输入初始电压条件、节点注入功率；其次，给定初始价格以及每个交易对象能进行交易的初始功率；
S103：根据输入的初始电压条件以及节点注入功率将其进行聚类，求解电压变化；其次测量节点功率变化量计算总线上的输电分配系数、输入与输出间的损耗灵敏度；根据初始电价和功率迭代计算各方收益；
S104：根据步骤S102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
S105：根据电网内部分布式能源输出和多方博弈的情况预测微型汽轮机的出力情况以及电动车辆充放电对电池的影响，考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，促使环境效益达到最优。
S106：根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型，并证明该效用函数是否存在唯一解，若存在则达成Nash均衡；
S107：根据迭代优化后的购电电价和富余电量求取整个多方博弈的过程中各方的收益情况，促使整个交易系统的顺利进行。
5.根据权利要求4所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，所述步骤S101中确定点对点分布式交易环境下多微电网与多电动车辆在能源交易系统下的市场角色。其方法主要为：微电网在正常运行情况下，由于分布式可再生能源设备出力以及电力负荷需求的波动性，微电网在会面临电能不足或过剩的情况，在不同时刻微电网会充当买方或卖方的不同角色。除此之外，电动车辆则是根据权利1中随机变量模型求得插入微电网时的荷电状态以及离开微电网时的荷电状态，进而根据驾驶员第二天的行程需求，判断其在不同时刻充当的角色。
6.根据权利要求5所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，所述步骤S103中对包括电压敏感系数(VSCs)、输电分配系数(PTDFs)和损耗敏感系数(LSFs)在内的网络约束进行建模，进一步根据以下公式进行计算：
电压敏感系数计算如下：
有功功率的偏导数满足以下方程组：
由于整个系统不是线性的，但是相对于
和
它是线性的，因此该系统相对于直角坐标在实数上是线性的。此外，代入节点数据，它具有唯一的解，从而用来求解直角坐标下的偏导数。当我们获得
和
时，电压幅值的偏导数可以表示为：
输电分配系数计算如下：
注入移位因子(ISF)量化了在特点母线上的发电量或负荷发生变化后通过每条支路的功率再分配。它反映了通过支路的流量对发电量或负荷变化的敏感性。因此，我们主要通过计算ISF,进而获得PTDFs。
为了计算ISF，我们使用简化的节点电纳矩阵，分支(k,l)关于总线i∈N的ISF，即为：在总线k处测量的从总线k到l的正有功功率流。用
表示。
计算如下：
一旦得到各交易对象所处总线处的ISF，就可以计算PTDFs.即：
提供了支路(k,l)中的有功功率流相对于从母线i到j的给定功率量ΔPij的有功功率传输的灵敏度。关于在总线j处提取的总线i上的注入的分支(k，l)的PTDF直接从ISFs中计算如下：
损耗灵敏度因子计算如下：
由于本发明的能源交易系统是双边交易，因此本文定义了双边交易系数用于关联双边交易带来的损失：
7.根据权利要求6所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，所述步骤S104中考虑网络约束之后将其损耗内部化为交易成本进一步根据以下公式进行计算：
式中，ft VSC表示考虑不同节点处交易后节点电压变化引起的网络低压负担成本；
节点复电压(表示为复共轭)相对于在前一个时间周期作为总线k中的能量供应商的EVn和MGm提供的有功功率的偏导数；λVSC定义为低电压惩罚因子，主要指在低压网络下微电网以及电动车辆充当能源供应商时需考虑的电压变化的额外成本；
是由IEEE33总线标准定义的总线k的原始功率。
ft PTDF表示总线处功率变化导致的线路功率拥堵成本；
两个节点间的有功功率交换导致的流量的变化与交易量的比值；λPTDF基于能源交易分配拥塞费用以评估网络利用率的惩罚因子。
表示在分支(x,y)的有功功率相对于总线k处注入的有功功率线性近似。
ft LSF表示考虑双方交易后功率在传输过程中的成本；
关于多方博弈中售电方在总线k处的注入功率和购电方在总线k’处的功率输出的损耗灵敏度；λLSF则是双边交换系数。
8.根据权利要求7所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，所述步骤S105中依据现有能源交易系统存在的问题考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，进一步根据以下公式确定多电动车辆与多微电网在多方博弈中碳排放成本、电池降解成本以及电池维护成本。
通过天气预测以及Weibull分布预测光伏发电单元以及风力发电单元的出力，同时依据微电网本身负荷需求预测微型汽轮机的出力情况；除此之外，由于电动车辆数量增多，充放电行为和调度不协调，对电池本身存在一定的损害；
其中，多方博弈中售电方集合为J，j为多方博弈中的售电方，j∈J，
为多微电网中售电方j的负荷，t为时间，Pt MGn,pv和Pt MGn,wT、Pt MGn,GT分别为多微电网中售电方j的光伏发电单元(PV)出力和风力发电单元(WT)出力以及微型汽轮机发电单元(GT)出力。
微型汽轮机的碳排放成本以及电动车辆的电池降解成本公式计算如下：
其中，
δ分别表示微电网和电动车辆的能量排放成本的参数因子。
电池维护成本计算：
其中，φn,η表示为随机条件下估算电动车辆和电动车辆成本的参数，主要由风力发电、光伏发电、电动车辆插入电动车辆时的SOC、插入电动车辆的时间段以及参与交易的买卖双方数量决定。
9.根据权利要求8所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，所述步骤S106中根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型计算如下：
其中
用来表示MGs和电动车辆作为卖方时从能源交换中获得的利益；
则表示MGs和电动车辆作为买方时需要承担的购电成本；
用于反映MG和EV的功率状况，以区分MG和EV是消费者还是能源供应商；
用于表示微电网、电动车辆在不同随机因素的影响过程中产生的成本；
表示微电网、电动车辆在交易过程中的能量排放成本；
定义为满意度函数，其计算公式为：
α、β和λs为满意度函数参数。购电和预期用电满意率平衡，防止因电价过高导致交易失败。网络损耗内部化交易成本用
表示，其中
效用约束条件：
其中
和
表示交易对象向宏观电网的购买价格和销售价格；卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易；
表示电动车辆、微电网处于电力充足时的功率策略集；
表示售电方能售出的最大能量；约束3则表示微电网内部的功率平衡；约束4则表示电动车辆的负荷状态必须满足驾驶员要求。
由于本发明是基于贝叶斯博弈来处理交易方的不确定性信息的影响，我们所求的多方博弈的效益值为预期值(包含了受联合分布的不同类型概率对应的各种完全对策组合)。其公式如下所示：
通过证明纳什均衡的存在性，证明了所建的效用函数模型存在唯一解。
10.根据权利要求9所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，其特征在于，所述步骤S107中依据迭代优化的购电电价与售电量求取参与博弈的交易对象的最优收益，根据以下公式计算：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211010385.0A CN115358783A (zh) | 2022-08-23 | 2022-08-23 | 一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211010385.0A CN115358783A (zh) | 2022-08-23 | 2022-08-23 | 一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115358783A true CN115358783A (zh) | 2022-11-18 |
Family
ID=84002603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211010385.0A Pending CN115358783A (zh) | 2022-08-23 | 2022-08-23 | 一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115358783A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117335439A (zh) * | 2023-11-30 | 2024-01-02 | 国网浙江省电力有限公司 | 一种多元负荷资源联合调度方法及系统 |
-
2022
- 2022-08-23 CN CN202211010385.0A patent/CN115358783A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117335439A (zh) * | 2023-11-30 | 2024-01-02 | 国网浙江省电力有限公司 | 一种多元负荷资源联合调度方法及系统 |
| CN117335439B (zh) * | 2023-11-30 | 2024-02-27 | 国网浙江省电力有限公司 | 一种多元负荷资源联合调度方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tushar et al. | A coalition formation game framework for peer-to-peer energy trading | |
| Sabounchi et al. | Towards resilient networked microgrids: Blockchain-enabled peer-to-peer electricity trading mechanism | |
| Zhou et al. | Peer-to-peer energy sharing and trading of renewable energy in smart communities─ trading pricing models, decision-making and agent-based collaboration | |
| Wang et al. | A game-theoretic approach to energy trading in the smart grid | |
| Shafie-khah et al. | A stochastic multi-layer agent-based model to study electricity market participants behavior | |
| Luo et al. | Distributed peer-to-peer energy trading based on game theory in a community microgrid considering ownership complexity of distributed energy resources | |
| Maity et al. | Simulation and pricing mechanism analysis of a solar-powered electrical microgrid | |
| Chen et al. | Research on day-ahead transactions between multi-microgrid based on cooperative game model | |
| Zhao et al. | Hierarchical optimal configuration of multi-energy microgrids system considering energy management in electricity market environment | |
| Sabounchi et al. | A decentralized P2P electricity market model for microgrids | |
| Parastegari et al. | Joint operation of wind farms and pump-storage units in the electricity markets: Modeling, simulation and evaluation | |
| Yan et al. | Two-stage flexible power sales optimization for electricity retailers considering demand response strategies of multi-type users | |
| Yu et al. | A game theoretical pricing mechanism for multi-microgrid energy trading considering electric vehicles uncertainty | |
| CN115587668A (zh) | 多园区综合能源系统分布式协同优化调度方法 | |
| Heilmann et al. | Trading algorithms to represent the wholesale market of energy communities in Norway and England | |
| Li et al. | An aggregator-oriented hierarchical market mechanism for multi-type ancillary service provision based on the two-loop Stackelberg game | |
| Zhao et al. | A secure intra-regional-inter-regional peer-to-peer electricity trading system for electric vehicles | |
| CN112580850A (zh) | 一种电力调峰市场的出清方法及系统 | |
| CN115358783A (zh) | 一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统 | |
| Fernandez et al. | An efficient P2P energy trading platform based on evolutionary games for prosumers in a community | |
| CN114757710A (zh) | 一种用于负荷聚合商投标的评估方法 | |
| Aminlou et al. | Activating demand side flexibility market in a fully decentralized P2P transactive energy trading framework using ADMM algorithm | |
| CN114372641A (zh) | 一种基于合作博弈的微网端对端电力交易阻塞管理方法 | |
| Qiu et al. | Decentralized trading mechanism of shared energy storage in a residential community considering preference of trading subjects | |
| CN117200173A (zh) | 基于微网联盟与共享储能的双层博弈调度方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |