CN117650553A - 基于多智能体深度强化学习的5g基站储能电池充放电调度方法 - Google Patents
基于多智能体深度强化学习的5g基站储能电池充放电调度方法 Download PDFInfo
- Publication number
- CN117650553A CN117650553A CN202311390904.5A CN202311390904A CN117650553A CN 117650553 A CN117650553 A CN 117650553A CN 202311390904 A CN202311390904 A CN 202311390904A CN 117650553 A CN117650553 A CN 117650553A
- Authority
- CN
- China
- Prior art keywords
- base station
- agent
- energy storage
- power
- storage battery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004146 energy storage Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002787 reinforcement Effects 0.000 title claims abstract description 15
- 229910052799 carbon Inorganic materials 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000007599 discharging Methods 0.000 claims abstract description 13
- 239000003795 chemical substances by application Substances 0.000 claims description 95
- 230000009471 action Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000006872 improvement Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000010248 power generation Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000003245 coal Substances 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 abstract description 6
- 238000013178 mathematical model Methods 0.000 abstract description 2
- 230000007704 transition Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000012614 Monte-Carlo sampling Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Charge And Discharge Circuits For Batteries Or The Like (AREA)
Abstract
本发明提供一种基于多智能体深度强化学习的5G通信基站储能电池充放电调度方法。该以最小化配电网运行成本(计及碳排放成本)为目标，针对配电网状态信息复杂、难以建立精确数学模型、低感知度的特性和5G通信基站数目繁多的问题，将配电网划分成多个电气子区域，利用MATD3多智能体算法使各智能体独立学习配电网各电气子区域下的5G通信基站储能充放电策略，各智能体仅需采集其所属电气子区域的电气信息和基站信息即可完成合理调度，而不必采集系统全部信息，也不必实现各部位的通信；而且，该方法能够在满足5G通信基站平稳运行的前提下，通过控制储能的充放电过程优化电力系统的低碳经济调度，提高可再生能源利用率，实现低碳减排。
Description
技术领域
本发明涉及电力调度技术领域，特别涉及一种基于多智能体深度强化学习的5G基站储能电池充放电调度方法。
背景技术
在共享经济，提高能源利用效率，减少电力系统的碳排放量，已成为电力系统建设的时代命题。而实现电力系统的碳减排，根本手段是能源替代——通过大规模的可再生能源替代煤炭等化石能源进行发电以有效减少碳排放。
利用储能系统，可极大地提升电力系统的调度性能。随着5G基站渗透率迅速提高，基站群的储能电池容量不可小觑，同时，5G基站内部储能锂电池具有响应速度快、接入系统的时间长等特点，具有进行灵活调度的巨大潜力，此外考虑到基站备用储能的不可移动性、闲置时间长，故将5G通信基站作为储能机构，不仅能够降低储能系统的建造成本，而且对提高能源利用效率、减少碳排放、降低宏观上电力系统传输线路两侧的压降(大规模基站接入电网使节点增多，相当于降低了电阻，从而降低功耗)，提高电力质量颇有益处。
不过，对于大规模通信基站的储能电池接入电力系统，仍面临以下技术问题：
1、鉴于配电网的低感知度特性，作为调度主体的电力系统无法同时对所有对象进行感知并发布调度策略。接入电网的各节点相互独立，从属于不同单位，无法站在总主体者的位置对其进行采样，而采样信息收集得不全，导致无法对系统进行准确稳定的数学建模(只能采集到部分观测数据，少量偏差就会对模型的准确性和稳定性造成影响)。
2、存在多个利益主体，包括配电网、不同的通信运营商等，不同的基站面临不同的利益主体，导致不能将基站群当成对单个基站的简单复制累加。
发明内容
基于大规模通信基站的储能电池接入电力系统所面临的技术问题，本发明提供一种基于多智能体深度强化学习的5G基站储能电池充放电调度方法；该方法以最小化配电网运行成本为目标，并使用MATD3多智能体算法，利用各智能体独立学习配电网各电气子区域下的5G通信基站储能机构充放电策略，各智能体仅需采集其所属电气子区域的电气信息和基站信息即可完成合理调度，而不必采集系统全部信息，也不必实现各部位的通信；而且，该方法能够在满足5G通信基站平稳运行的前提下，通过控制储能的充放电过程优化电力系统的低碳经济调度，提高可再生能源利用率，实现低碳减排。
本发明提供的基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其包括以下步骤：
S1：将配电网系统划分d个电气子区域，利用智能体A1、A2、…、Ad分别观测各自所属电气子区域的状态信息；
S2：每经过一个决策周期，智能体Ai获取电气子区域i在当前时刻t对应的状态信息st,i＝{gt,i,et,i,t}，gt,i代表智能体Ai在当前时刻t可获取的电力系统的局部基本信息；et,i代表智能体Ai在当前时刻t可获取的部分5G基站的信息；
S3：将获取的智能体Ai对应的状态信息st,i＝{gt,i,et,i,t}输入至训练完成的多智能体调度模型，并输出相应的调度策略；其中，所述多智能体调度模型被配置为以最小化电力系统运行成本为目标，并基于MATD3算法训练各个的智能体Ai；
S4：根据所述调度策略，执行相应的控制动作，以控制各个5G基站储能电池的充放电动作。
根据一种可能的实施方式，以最小化电力系统运行成本为目标，其目标函数被配置为：
其中，F为电力系统运行成本；FGi为第i台发电机的发电成本；FBj为第j台基站的调度运行成本；FC为系统的碳排放成本；Pi为用于约束智能体输出的惩罚项，为基站i动作的辅助向量、/>为当前策略下智能体控制基站i的动作向量；(agi,bgi,cgi)分别代表第i台火电机组发电成本的二次、一次和常数项系数，其可通过对发电机在不同功率水平下的运行成本进行统计求得；pgi代表第i台火电机组的发电功率；(aci,bci,cci)分别代表第i台火电机组在不同功率水平下的煤耗量的二次、一次和常数项系数；/>代表第i台火电机组的发电功率关于其自身的百分比；α代表基站储能电池的折旧成本系数；β代表基站储能电池的调节成本系数；pbj代表第j台基站的储能电池的运行功率；Δpbj代表第j台基站的储能电池的功率变化值；pc代表碳交易价格；η代表碳排放因子。
根据一种可能的实施方式所述状态信息st,i＝{gt,i,et,i,t}中，其中，/> 分别代表智能体Ai所属电气子区域i节点的电压幅值、有功功率以及无功功率值；/>代表智能体Ai所属电气子区域i中的风电机组出力；{Vl i(t)}l＝1,...,e代表智能体Ai所属电气子区域i中的光伏机组出力；et,i＝{esys,esoc,ecap,α,β,ech,edis,eload,ew,ξ}；其中；esys代表维持5G基站正常运行所必要的设备的功率数据；esoc代表5G基站储能电池当前的SoC水平；ecap代表5G基站基站储能电池容量；ech代表5G基站储能电池充电功率；edis代表5G基站储能电池放电功率；ξ代表基站储能电池充/放电效率，eload代表5G基站过去k个统计周期及当前时刻的通信负载率；ew代表5G基站所在的地区。。
根据一种可能的实施方式，基于MATD3算法训练智能体过程中，算法交替进行策略评估和策略改进；其中，
在策略评估阶段，需要计算状态-动作价值，即该Q函数可以由Bellman方程表示为：
利用神经网络将Q函数参数化后，通过最小化Bellman残差来近似Q函数：
其中，分别代表第i个智能体的Q网络和Target Q网络的参数；st代表在t时刻由全部智能体的观测量st,i拼接得到的向量；
在策略改进阶段，利用神经网络将Q函数参数化后，将最小化目标函数Jβi(μ)用于更新网络参数的梯度，即：
根据一种可能的实施方式，MATD3算法训练智能体过程中，还通过两个初始参数不同的Target Q网络来进行目标价值评估，并选择其中的较小值作为目标价值，因此，需最小化的Bellman残差修正为：
其中，为带噪音的动作；/>和/>为两个不同的Target Q网络的参数；
以及，使用目标策略平滑正则化，以增强策略的稳定性并平滑Q函数；即在计算Bellman残差时，在下一状态st+1所采取的动作at+1将被选取为：
其中，μ表示Target策略网络；ε为添加的噪音，一般选为高斯噪音，并对其幅值进行剪切以限制在一个较小的范围。
根据一种可能地的实施方式，配置智能体输出参数aμ和astd，并以此作为Q网络的输入，实际动作a'te选取为：
a'te＝tanh(aμ+astd·ε)
基于上述方案，本发明的有益效果为：
1、本发明以最小化电力系统运行成本为目标，将配电网系统划分多个电气子区域，并使用MATD3多智能体算法，利用各智能体独立学习配电网各电气子区域下的5G通信基站储能机构充放电策略，各智能体仅需采集其所属电气子区域的电气信息和基站信息即可完成合理调度，而不必采集系统全部信息，也不必实现各部位的通信，从而解决配电网状态信息复杂、难以建立精确数学模型、低感知度的特性和5G通信基站数目繁多以及不同区域主体间数据无法共享的问题。
2、本发明考虑潜在的多种利益主体(如配电网侧、通信运营商侧)，用多智能体来处理多主体问题(利益侧的多主体和信息侧的多主体)；同时，在最小化电力系统运行成本的目标函数中，不仅计及各利益主体的成本，还把用碳量折算为碳价参与目标函数构造，能够在满足5G通信基站平稳运行的前提下通过控制储能的充放电过程优化电力系统的低碳经济调度，大幅降低储能系统建设成本，提高可再生能源利用率，实现低碳减排。
附图说明：
图1为本发明方法的流程示意图；
图2为火电机组发电标准耗煤率与机组负荷的关系示意图；
图3仿真实验中的配电系统的物理系统直观示意图；
图4为系统额外收益和目标函数随训练次数的变化示意图；
图5为调度过程中当前电量和允许最小电量变化图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
在本发明的一个实施例中，如图1所示，本发明基于深度强化学习的5G基站储能电池多智能体调度方法，其包括以下步骤：
S1：将配电网系统划分d个电气子区域(d＝3)，利用智能体A1、A2、…、Ad分别观测各自所属电气子区域的状态信息；
S2：每经过一个决策周期，智能体Ai获取电气子区域i在当前时刻t对应的状态信息st,i＝{gt,i,et,i,t}，gt,i代表智能体Ai在当前时刻t可获取的电力系统的局部基本信息；et,i代表智能体Ai在当前时刻t可获取的部分5G基站的信息；
S3：将获取的智能体Ai对应的状态信息st,i＝{gt,i,et,i,t}输入至训练完成的多智能体调度模型，并输出相应的调度策略；其中，所述多智能体调度模型被配置为以最小化电力系统运行成本为目标，并基于MATD3算法训练各个的智能体Ai；
S4：根据所述调度策略，执行相应的控制动作，以控制各个5G基站储能电池的充放电动作。
在本实施例中，由于马尔科夫决策过程能够用于描述一系列历史无关的状态转移过程，下一状态仅取决于当前状态和当前所执行的动作。对于本发明所研究的联合调度问题，若将每个决策周期内的电源、负载及其它不受调度策略控制的量近似视为常数，则调度模型成为一个序贯模型，并能够进一步转化为一个MDP模型，从而能够使用强化学习算法求解。
具体的，一个典型的马尔科夫决策过程可以用一个五元组{S,A,R,P,γ}表示，其中S代表状态空间集合，A代表动作空间集合，R代表回报空间集合，P代表状态转移概率集合，γ代表回报折扣率；本发明以系统运行成本(计及碳排放成本)为最小的联合调度问题，可确定MDP对应的五元组为：
(1)S：State是智能体能够感知到的环境信息，该信息将被作为智能体的输入信息以生成一个策略或动作。定义在时刻t的State为：
st＝{gt,et,t}
其中，gt代表当前时刻t电力系统的基本信息，et代表当前时刻t基站储能电池的信息。
(2)A：Action是智能体在感知到状态st后能够输出的策略(或动作)，并将被输入到环境中以推动状态过渡到下一帧。定义状态st下智能体输出的动作
at＝{ate,atb}
其中，ate代表每座5G基站的充放电动作；atb代表基站储能电池的充放电功率。
(3)R：当智能体执行策略(或动作)后，能够从环境获得一定的回报，该回报值将被用以评估所采取的策略(或动作)的好坏。本发明中，Reward被定义为：
rt＝pt+ct
其中，pt代表基于调度策略导致的结果而产生的成本，包括了不同5G基站运营厂商的成本总和，由一系列辅助策略生成；ct代表调度以及发电过程中产生的碳排放量。
(4)P：Probability代表状态转移概率。当智能体生成并执行一个策略(或动作)后，环境将根据该策略控制其中的各个对象进行交互，并过渡到下一状态。在这个过程中，由于环境自身存在的不确定性，将导致交互过程和过渡到的下一状态产生变化，因此，一般用一个状态转移概率矩阵P表示执行策略后转移到各个状态的概率。在本发明研究的模型中，由于下一时刻接入系统的基站储能电池机构是不确定的，因此即便采取相同的策略，下一时刻的状态对于智能体而言依旧是不确定的。该概率矩阵P通过对环境进行蒙特卡洛采样隐式地生成。
(5)λ：折扣因子λ用以描述在未来能够获得的回报的重要性。当经历一个完整的马尔科夫决策过程后，对应的将产生一条马尔科夫链，或等价地形成一条“轨迹”，经历这条“轨迹”将产生一个回报：
需要指出的是，一方面，由于存在状态转移概率，未来的回报是难以准确估计的，因此其重要性略低于当前的回报，而另一方面，当存在稀疏奖励时，一个状态的价值与最终结果密切相关，所以，在较远之后的回报需要乘以一个折扣因子，从而得到：
式中，λ的取值范围为[0，1]。λ的取值越小，表示智能体越关心当前策略(或动作)能够获得的回报，表现为短视，但训练过程收敛相对较快；γ的取值越大，智能体越注重策略(或动作)在未来能够获得的回报，表现为远见，但训练过程收敛缓慢，且可能存在饱和的问题。
一般地，γ可取值为0.9，或设轨迹的平均步长为n，则推荐的γ取值为：
在本实施例中，为了满足5G通信基站平稳运行的前提下，通过控制储能的充放电过程优化电力系统的低碳经济调度，大幅降低储能系统建设成本，提高可再生能源利用率，实现低碳减排；因而，本发明除了计及火电机组运行的发电成本，还进一步计及碳排放成本；考虑到火电机组在运行过程中将消耗燃料并产生一定的碳排放，并受到运行功率的影响。一般地，机组在低功率运行时生产一单位电力将消耗更多的燃料，如图2所示的火电机组的煤耗率与机组负荷的关系，通过该曲线，可以折算出一定负荷下火电机组的碳排放成本。
因此，可以得到火电机组运行的发电成本和碳排放成本分别为：
FGi＝agipgi 2+bgipgi+cgi
式中：(agi,bgi,cgi)分别代表第i台火电机组发电成本的二次、一次和常数项系数，其可通过对发电机在不同功率水平下的运行成本进行统计求得；pgi代表第i台火电机组的发电功率；(aci,bci,cci)分别代表第i台火电机组在不同功率水平下的煤耗量的二次、一次和常数项系数；代表第i台火电机组的发电功率关于其自身的百分比；pc代表碳交易价格；η代表碳排放因子。
同时，对于智能体Ai所属电气子区域内基站储能的调度运行成本为：
式中：FBi为智能体Ai所属电气子区域内基站储能的调度运行成本，N为智能体Ai所控制的基站储能数量；α代表基站储能电池的折旧成本系数；β代表基站储能电池的调节成本系数；pbj代表第j台基站的储能电池的运行功率；Δpbj代表第j台基站的储能电池的功率变化值；
因此，本发明，以最小化电力系统运行成本为目标，其目标函数被配置为：
式中：F为电力系统运行成本；Pi为用于约束智能体Ai动作输出的惩罚项，为基站i动作的辅助向量、/>为当前策略下智能体控制基站i的动作向量。
在本实施例中，智能体Ai获取电气子区域i在当前时刻t对应的状态信息st,i＝{gt,i,et,i,t}，gt,i代表智能体Ai在当前时刻t可获取的电力系统的局部基本信息，具体为：其中，分别代表智能体Ai所属电气子区域i节点的电压幅值、有功功率以及无功功率值；/>代表智能体Ai所属电气子区域i中的风电机组出力；{Vl i(t)}l＝1,...,e代表智能体Ai所属电气子区域i中的光伏机组出力；而et,i代表智能体Ai在当前时刻t可获取的部分5G基站的信息，具体为：et,i＝{esys,esoc,ecap,α,β,ech,edis,eload,ew,ξ}；其中，esys代表维持5G基站正常运行所必要的设备(如AUU、BUU、温控系统等)的功率数据；esoc代表5G基站储能电池当前的SoC水平；ecap代表5G基站基站储能电池容量；ech代表5G基站储能电池充电功率；edis代表5G基站储能电池放电功率；ξ代表基站储能电池充/放电效率，eload代表5G基站过去k个统计周期及当前时刻的通信负载率；ew代表5G基站所在的地区(如商业区、居住区、工业区、校园等)。
而且，本发明对于上述状态信息，将5G基站储能电池的充放电过程分别由以下方程描述：
在本实施例中，基于MATD3算法训练智能体过程中，算法交替进行策略评估和策略改进；其中，
在策略评估阶段，需要计算状态-动作价值，即该Q函数可以由Bellman方程表示为：
利用神经网络将Q函数参数化后，通过最小化Bellman残差来近似Q函数：
其中，分别代表第i个智能体的Q网络和Target Q网络的参数；st代表在t时刻，由全部智能体的观测量st,i拼接得到的向量，即st＝{{st,1},{st,2},{st,3}}。
在策略改进阶段，利用神经网络将Q函数参数化后，将最小化目标函数Jβi(μ)用于更新网络参数的梯度，即：
同时在MATD3算法训练智能体过程中，还通过两个初始参数不同的Target Q网络来进行目标价值评估，并选择其中的较小值作为目标价值，因此，需最小化的Bellman残差修正为：
其中，为带噪音的动作；/>和/>为两个不同的Target Q网络的参数；
以及，使用目标策略平滑正则化，以增强策略的稳定性并平滑Q函数；即在计算Bellman残差时，在下一状态st+1所采取的动作at+1将被选取为：
其中，μ表示Target策略网络；ε为添加的噪音，一般选为高斯噪音，并对其幅值进行剪切以限制在一个较小的范围。
配置智能体输出参数aμ和astd，并以此作为Q网络的输入，实际动作a'te选取为：
a'te＝tanh(aμ+astd·ε)
同时，为了减小因Q函数尚未稳定就更新策略引起的震荡和误差，采用策略延迟更新技术，令策略改进阶段发生的频率低于策略评估阶段发生的频率，即智能体每次和环境进行交互时都进行策略评估，但仅在行一定次数的交互后再进行一次策略改进。
在本实施例中，基于MATD3算法训练智能体过程中，为了解决训练过程中Q值网络的过估计问题和平滑Q函数，使用双Q值网络和目标策略平滑正则化技术。具体的，通过两个初始参数不同的Target Q网络来进行目标价值评估，并选择其中的较小值作为目标价值。
其中，μ表示Target策略网络；ε为添加的噪音，一般选为高斯噪音，并对其幅值进行剪切以限制在一个较小的范围。通过为动作添加噪音，使计算动作的Q值能够收敛到邻域内动作的Q值的期望，从而平滑Q函数。利用经平滑的Q函数引导策略网络更新，能够有效避免因Q函数梯度过大导致的策略网络参数更新过快，从而增强策略网络的稳定性。
为进一步验证本发明基于深度强化学习的5G基站储能电池多智能体调度方法的有效性，进行仿真实验。具体的，选择IEEE 33节点配电系统作为仿真计算的原型，并在此基础上做出部分调整。如图3所示，分别在第9、16、24、19、27节点设置一风力发电机组和光伏发电系统，在第9、16、19、24、27节点各设置5G基站加基站储能设备；同时，将配电网划分为3个电气子区域。
其中，风力发电机组和光伏发电系统的出力数据来自于Elia.be对AggregateBelgian Wind Farms和Belgium地区在01/06/2021-30/06/2021期间的预测，并乘以适当的比例系数以适应配电系统的容量；基准电量边际排放因子根据《2019年度减排项目中国区域电网基准线排放因子》取为0.8953t/MWh，碳价格按照欧洲气候交易所21/02/2022-23/02/2022的交易均价取为91.38€/t，并按照国际汇率6.99￥/€进行折算。
实验中仿真步长取为1h，Actor、Critic网络的学习率及Target网络的更新权重分别设置为10-5，3.0×10-5，10-3，折扣因子γ取为0.98，batch size设置为128，Buffer Size取为105。
本实验基于Python及Tensorflow 2.0框架进行，所使用的计算机配置AMD Ryzen75800H with Radeon Graphics CPU@3.20GHz及1张NVIDIA RTX 3060 GPU。
对多智能体调度模型进行为期一周的仿真训练(系统容量5MW，有64台19.2kWh/4.0kW的基站)，经1000个训练回合后，模型收敛；如图4所示，在训练初期，控制策略变化较为剧烈，系统相较于不使用基站调度时产生的额外收益具有较强的波动。在约500个训练回合后，模型逐渐稳定并开始收敛，系统的碳排放量下降至200元附近，对比200个训练回合前，使用基站调度时产生的额外收益两者相差较大。出现这种现象的原因在于，MATD3算法在训练过程中需要引入噪声进行策略探索。
图5所示，使用的数据来自于基站内部的检测装置采样到的设备当前数据(SOC)。该图像代表调度过程中某个时刻基站的当前电量和允许的最小电量(即用于保证停电时能够在一定时间内供电)。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其特征在于，包括以下步骤：
S1：将配电网系统划分d个电气子区域，利用智能体A1、A2、…、Ad分别观测各自所属电气子区域的状态信息；
S2：每经过一个决策周期，智能体Ai获取电气子区域i在当前时刻t对应的状态信息st,i＝{gt,i,et,i,t}，gt,i代表智能体Ai在当前时刻t可获取的电力系统的局部基本信息；et,i代表智能体Ai在当前时刻t可获取的部分5G基站的信息；
S3：将获取的智能体Ai对应的状态信息st,i＝{gt,i,et,i,t}输入至训练完成的多智能体调度模型，并输出相应的调度策略；其中，所述多智能体调度模型被配置为以最小化电力系统运行成本为目标，并基于MATD3算法训练各个的智能体Ai；
S4：根据所述调度策略，执行相应的控制动作，以控制各个5G基站储能电池的充放电动作。
2.如权利要求1所述的基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其特征在于，以最小化电力系统运行成本为目标，其目标函数被配置为：
其中，F为电力系统运行成本；FGi为第i台发电机的发电成本；FBj为第j台基站的调度运行成本；FC为系统的碳排放成本；Pi为用于约束智能体输出的惩罚项，为基站i动作的辅助向量、/>为当前策略下智能体控制基站i的动作向量；(agi,bgi,cgi)分别代表第i台火电机组发电成本的二次、一次和常数项系数，其可通过对发电机在不同功率水平下的运行成本进行统计求得；pgi代表第i台火电机组的发电功率；(aci,bci,cci)分别代表第i台火电机组在不同功率水平下的煤耗量的二次、一次和常数项系数；/>代表第i台火电机组的发电功率关于其自身的百分比；α代表基站储能电池的折旧成本系数；β代表基站储能电池的调节成本系数；pbj代表第j台基站的储能电池的运行功率；Δpbj代表第j台基站的储能电池的功率变化值；pc代表碳交易价格；η代表碳排放因子。
3.如权利要求2所述的基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其特征在于，所述状态信息st,i＝{gt,i,et,i,t}中，其中，/> 分别代表智能体Ai所属电气子区域i节点的电压幅值、有功功率以及无功功率值；/>代表智能体Ai所属电气子区域i中的风电机组出力；{Vl i(t)}l＝1,...,e代表智能体Ai所属电气子区域i中的光伏机组出力；et,i＝{esys,esoc,ecap,α,β,ech,edis,eload,ew,ξ}；其中；esys代表维持5G基站正常运行所必要的设备的功率数据；esoc代表5G基站储能电池当前的SoC水平；ecap代表5G基站基站储能电池容量；ech代表5G基站储能电池充电功率；edis代表5G基站储能电池放电功率；ξ代表基站储能电池充/放电效率，eload代表5G基站过去k个统计周期及当前时刻的通信负载率；ew代表5G基站所在的地区。
4.如权利要求3所述的基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其特征在于，基于MATD3算法训练智能体过程中，算法交替进行策略评估和策略改进；其中，
在策略评估阶段，需要计算状态-动作价值，即该Q函数可以由Bellman方程表示为：
利用神经网络将Q函数参数化后，通过最小化Bellman残差来近似Q函数：
其中，分别代表第i个智能体的Q网络和Target Q网络的参数；st代表在t时刻由全部智能体的观测量st,i拼接得到的向量；
在策略改进阶段，利用神经网络将Q函数参数化后，将最小化目标函数Jβi(μ)用于更新网络参数的梯度，即：
5.如权利要求4所述的基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其特征在于，MATD3算法训练智能体过程中，还通过两个初始参数不同的Target Q网络来进行目标价值评估，并选择其中的较小值作为目标价值，因此，需最小化的Bellman残差修正为：
其中，为带噪音的动作；/>和/>为两个不同的Target Q网络的参数；
以及，使用目标策略平滑正则化，以增强策略的稳定性并平滑Q函数；即在计算Bellman残差时，在下一状态st+1所采取的动作at+1将被选取为：
其中，μ表示Target策略网络；ε为添加的噪音，一般选为高斯噪音，并对其幅值进行剪切以限制在一个较小的范围。
6.如权利要求5所述的基于多智能体深度强化学习的5G基站储能电池充放电调度方法，其特征在于，配置智能体输出参数aμ和astd，并以此作为Q网络的输入，实际动作a'te选取为：
a′te＝tanh(aμ+astd·ε)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311390904.5A CN117650553A (zh) | 2023-10-25 | 2023-10-25 | 基于多智能体深度强化学习的5g基站储能电池充放电调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311390904.5A CN117650553A (zh) | 2023-10-25 | 2023-10-25 | 基于多智能体深度强化学习的5g基站储能电池充放电调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117650553A true CN117650553A (zh) | 2024-03-05 |
Family
ID=90045750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311390904.5A Pending CN117650553A (zh) | 2023-10-25 | 2023-10-25 | 基于多智能体深度强化学习的5g基站储能电池充放电调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117650553A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160705A1 (zh) * | 2021-01-26 | 2022-08-04 | 中国电力科学研究院有限公司 | 综合能源系统调度模型构建方法、装置、介质及电子设备 |
| CN115459359A (zh) * | 2022-08-25 | 2022-12-09 | 南京邮电大学 | 一种基于多智能体深度强化学习的5g基站光储微电网系统调度方法 |
| CN115663793A (zh) * | 2022-10-09 | 2023-01-31 | 四川大学 | 基于深度强化学习的电动汽车低碳充放电调度方法 |
-
2023
- 2023-10-25 CN CN202311390904.5A patent/CN117650553A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160705A1 (zh) * | 2021-01-26 | 2022-08-04 | 中国电力科学研究院有限公司 | 综合能源系统调度模型构建方法、装置、介质及电子设备 |
| CN115459359A (zh) * | 2022-08-25 | 2022-12-09 | 南京邮电大学 | 一种基于多智能体深度强化学习的5g基站光储微电网系统调度方法 |
| CN115663793A (zh) * | 2022-10-09 | 2023-01-31 | 四川大学 | 基于深度强化学习的电动汽车低碳充放电调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Probabilistic charging power forecast of EVCS: Reinforcement learning assisted deep learning approach | |
| CN111242443B (zh) | 基于深度强化学习的能源互联网中虚拟电厂经济调度方法 | |
| Wang et al. | Emergency load shedding strategy for microgrids based on dueling deep Q-learning | |
| CN114725936A (zh) | 基于多智能体深度强化学习的配电网优化方法 | |
| CN113098011B (zh) | 一种基于改进NashQ算法的风电调度方法及系统 | |
| Chen et al. | Intelligent energy scheduling in renewable integrated microgrid with bidirectional electricity-to-hydrogen conversion | |
| CN107623337A (zh) | 一种微电网能量管理方法 | |
| Li et al. | Day-ahead optimal dispatch strategy for active distribution network based on improved deep reinforcement learning | |
| Dong et al. | Optimal scheduling framework of electricity-gas-heat integrated energy system based on asynchronous advantage actor-critic algorithm | |
| CN116667325A (zh) | 一种基于改进布谷鸟算法的微电网并网运行优化调度方法 | |
| CN115423153A (zh) | 基于概率预测的光伏储能系统能量管理方法 | |
| Ge et al. | Optimal capacity allocation of energy storage system considering uncertainty of load and wind generation | |
| Rodriguez et al. | Energy management system for an isolated microgrid based on Fuzzy logic control and meta-heuristic algorithms | |
| CN113344283B (zh) | 基于边缘智能的能源互联网新能源消纳能力评估方法 | |
| CN112084680B (zh) | 一种基于dqn算法的能源互联网优化策略方法 | |
| Zhang et al. | A wind power curtailment reduction strategy using electric vehicles based on individual differential evolution quantum particle swarm optimization algorithm | |
| Yang et al. | Adaptive robust optimal dispatch of microgrid based on different robust adjustment parameters | |
| Wu et al. | Real-time scheduling method based on deep reinforcement learning for a hybrid wind-solar-storage energy generation system | |
| CN117650553A (zh) | 基于多智能体深度强化学习的5g基站储能电池充放电调度方法 | |
| CN112003279B (zh) | 层次化微电网新能源消纳能力的评估方法 | |
| CN114336704A (zh) | 一种区域能源互联网多智能体分布式控制及效率评测方法 | |
| Iqbal et al. | Reinforcement Learning Based Optimal Energy Management of A Microgrid | |
| Piao et al. | Coordinated optimal dispatch of composite energy storage microgrid based on double deep Q-network | |
| Zhou et al. | Optimal dispatch of an integrated energy system based on deep reinforcement learning considering new energy uncertainty | |
| Khan | Short-Term Cost Forecasting of EV Battery Using LSTM Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |