CN113098011A - 一种基于改进NashQ算法的风电调度方法及系统 - Google Patents

Abstract

本发明涉及一种基于改进NashQ算法的风电调度方法及系统，包括：S1：搭建竞争性电力市场中燃煤火电机组方、储能设施方、电动汽车换电站方以及风电场方的调度模型及运行约束条件，以各个主体的运行效益最大化为目标，构建多主体纳什均衡博弈模型，以寻找风电最优调度策略；S2：采用NashQ算法求解多智能体博弈问题；应用JS散度对比自身历史经验与纳什均衡状态，优化各个智能体不同时刻下的学习率改进NashQ算法，缩短各智能体的最优策略所需时间；S3：搭建风电场与电动汽车换电站以及风电场与储能的联合运行模型，在市场博弈下采用改进NashQ算法求解联合运行模型的经济效益。该方法及系统有利于优化风电场的调度效果。

Description

一种基于改进NashQ算法的风电调度方法及系统

技术领域

本发明属于电力系统优化运行与调度技术领域，具体涉及一种基于改进NashQ算法的风电调度方法及系统。

背景技术

随着“碳达峰”与“碳中和”目标的提出，要实现我国能源结构的转变，风电机组的装机必将逐步增长，但风力发电的波动性、间歇性以及随机性为其大规模并网带来了极大的挑战。

目前关于风电优化调度的研究主要有两类：一类是从风电运行效益的角度设定目标函数，建立优化调度模型，从而优化风电运行；另一类将风电视作微电网的一部分，从微电网运行效益的角度设定运行目标，从而优化风电调度策略。

但由于微电网中的发电设施是由不同的投资主体建设的，将微电网视为整体进行调度，未能充分考虑各投资主体的效益，不利于调动各方的积极性。从风电角度优化风电调度策略的文献仅考虑了风电场投资方效益的最大化，忽视了其他投资主体的效益，无法反映风电进入电力市场后的真实效益，从长远的角度来看，不利于风电场进入竞争性电力市场后的可持续发展。

现有研究解决多主体序贯决策问题采用多智能体强化学习算法进行求解，但是智能体的学习往往局限在自身的学习经验，对外界环境不敏感，使得收敛速度较慢，在复杂的算例中产生较大的计算成本。

发明内容

本发明的目的在于提供一种基于改进NashQ算法的风电调度方法及系统，该方法及系统有利于优化风电场的调度效果。

为实现上述目的，本发明采用的技术方案是：一种基于改进NashQ算法的风电调度方法，包括以下步骤：

步骤S1：搭建竞争性电力市场中各方主体的调度模型，确定燃煤火电机组方、储能设施方、电动汽车换电站方以及风电场方的调度模型及运行约束条件，以各个主体的运行效益最大化为目标，构建多主体纳什均衡博弈模型，以寻找竞争性电力市场下风电最优调度策略；

步骤S2：根据纳什均衡博弈论理论和强化学习理论，采用NashQ算法求解多智能体博弈问题；应用JS散度对比自身历史经验与纳什均衡状态，度量自身历史经验与纳什均衡解两个概率分布的相似度，从而优化各个智能体不同时刻下的学习率α_i,t，改进NashQ算法，进而缩短各智能体的最优策略π*所需的时间；

步骤S3：在步骤S1基础上，搭建风电场与电动汽车换电站联合运行模型以及风电场与储能联合运行模型，在市场博弈下采用改进NashQ算法求解联合运行模型的经济效益。

进一步地，步骤S1中，构建风电场即风力发电系统、电动汽车换电站、储能设备方即电池储能系统，以及燃煤火电机组方即燃煤火电系统四个部分的调度模型与运行约束，具体包括：

风力发电系统模型：

风力发电偏差考核惩罚：

式中：C_bia为偏差考核惩罚成本；P_pre,t为t时刻预测风电出力；P_w,t为风电场实际出力；p_w为风电上网价格；η为偏差考核惩罚比例；t＝1,...,N表示时间段；

风电运行模型中，考虑了风电场的运行成本、偏差考核带来的成本以及风电弃风所产生的环境治理成本；

式中：C_w为风电场运行效益；C_bl为减少偏差考核的费用；p_wo为风电运维成本；P_aba,t为t时刻风电场弃风电量；p_e为风电单位弃风电量所产生的环境治理成本，本文中取0.11元/kWh；P_w,t为风电场的实际发电出力；

为了保证风电的消纳率，风电的弃风比例应不超过μ；

P_aba≤(P_wind+P_aba)μ

电动汽车换电站模型：

式中：C_ev为电动汽车换电站运行效益；p_evo为换电站运维成本；P_ev,t为t时刻EV用户调度意愿，N为换电站最大容纳量；P_EV为每辆电动汽车的电池容量，受到回购电能提升价格影响；Δp_t为t时刻电动汽车换电站回购电能提升的价格；p_e1为换电站参与调度的辅助服务补贴；

燃煤火电系统模型：

微型火电系统的成本含发电成本C_MTc1、爬坡成本C_MTc2与启停成本，收益含售电效益C_MTb1和提供AGC服务的效益C_MTb2；

式中：a、b、c为微型火电系统发电成本系数；P_MTi,t为微型火电系统第i台机组t时刻发电量；i＝1,...,N为微型火电机组数；ΔP_MTui,t、ΔP_MTdi,t为微型火电机组上、下爬坡成本；p_up、p_down为微型火电机组上、下爬坡量；h_i,t为第i台机组t时刻的启停状态，1为启机，0为停机；p_on、p_off为启停机成本；p_MT为火电机组上网电价；p_AGC为AGC辅助服务补贴；

燃煤火电机组约束：

式中：P_MTi,min、P_MTi,max为微型火电机组功率最小值和最大值；ΔP_MTi,max为机组爬坡功率上限；

电池储能系统模型：

电池储能系统的效益主要有峰谷套利C_essb1、提供调频服务补贴C_essb2，成本主要有充放电损耗成本C_essc1和储能电池更换成本净值C_essc2；

式中：P_t ^cha、P_t ^dis为电池储能系统t时刻的充放电量；p_g,t为t时刻微电网内的电能价格；p_as为储能提供辅助服务的补贴；η_cha、η_dis为电池储能的充放电效率；d为贴现率；n为电池使用年限；C_es为电池本体成本；L_max为电池年平均最大使用次数；

电池储能运行约束：

式中：P_max ^cha、P_max ^dis为电池储能功率充放电功率的上限；SOC_t为t时刻电池储能的荷电状态；SOC_max、SOC_min为电池储能荷电状态的上下限；

辅助服务费用分摊模型：

微电网内的辅助服务费用，由发电企业按发电量进行分摊，常规火电系统承担费用C_MTs与风电场承担费用C_ws；

式中：W为发电企业的总发电量；P_et,t为时刻微电网内功率不平衡引起的联络线上功率响应，考虑到传输容量约束，不平衡功率不超过2MW；p_et为t单位功率传输成本。

进一步地，步骤S2中，应用JS散度对比自身历史经验与纳什均衡状态，改进NashQ算法，具体包括：

步骤S21：多智能体强化学习Q值函数迭代公式

式中：Q_i(s,a₁,a₂...,a_n)^t为在t时刻状态s下各智能体动作为a₁,a₂...,a_n的Q值；NashQ_i(s')^t是各个智能体在t时刻动作后进入状态s'的一个纳什均衡解，计算公式为：

步骤S22：基于历史经验选取动作概率

根据智能体的历史经验Q值分布提取，得到智能体根据历史经验选取这一动作的概率为：

式中：P_i(a_j|s_j)为智能体i根据历史经验面对状态s时选择动作a的概率；Q_i(s_j,a_j)为智能体i在面对状态s时选择动作a的Q值；

步骤S23：智能体的最佳混合策略

采用玻尔兹曼探索方式获取智能体根据纳什均衡解选择动作的概率为：

式中：

为智能体i的纳什均衡的混合策略分布；

步骤S24：基于JS散度实时更新强学习率

通过JS散度对比自身历史经验与纳什均衡状态，度量自身历史经验与纳什均衡解两个概率分布的相似度，故采用JS散度实时更新强各个智能体的学习率α_i,t，计算公式为：

式中：

为智能体i的纳什均衡下的混合策略分布；P_i为智能体i根据历史经验决策混合策略分布；

表示历史经验概率分布与混合策略分布的JS散度。

进一步地，步骤S3中，在市场博弈环境下搭建的风电场与电动汽车换电站联合运行模型，即风-车联合运行模型为：

式中：C_we为风-车联合运行的效益；C_w'为风-车联合运行后风电的效益；C_web1为换电站回购电能以风电售出的效益；p_g,t+Δp_t为换电站回购电能的购电成本；p_evo为换电站回购电能的运维成本；P_we,t为风-车投资主体联合运行的实际出力；C_bia ^we为风-车联合运行后的偏差考核惩罚成本。

进一步地，步骤S3中，在市场博弈环境下搭建的风电场与储能联合运行模型，即风-储联合运行模型为：

式中：C_ws为风-储联合运行的效益；C_w”为风-储联合运行后风电的效益；C_wsl为风电场配置储能后增加的运行成本；C_esb1为风-储联合运行储能峰谷套利的效益，C_wsl为储能的运维成本与充放电损耗成本；P_ws,t为风-储投资主体联合运行的实际出力；C_bia ^ws为风-储联合运行后的偏差考核惩罚成本。

本发明还提供了一种基于改进NashQ算法的风电调度系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行所述计算机程序时，实现上述的方法步骤。

与现有技术相比，本发明具有以下有益效果：本发明兼顾微电网各方主体的调度模型，构建了风-车、风-储联合运行的模型，通过JS散度优化智能体的学习率改进NashQ算法，加快市场博弈下风电场调度这一多主体序贯决策问题的收敛速度，加速了模型求解的过程，充分考虑了市场博弈下各投资方的利益，优化风电场的调度策略。

附图说明

图1为本发明实施例中微电网结构示意图。

图2为本发明实施例中电动汽车用户意愿拟合曲线。

图3为本发明实施例中改进NashQ算法流程图。

图4为本发明实施例中典型日风电曲线、预测曲线以及负荷曲线。

图5为本发明实施例中不同算法的收敛曲线。

图6为本发明实施例中风电独立运行时运行调度策略。

图7为本发明实施例中风-车联合运行调度策略。

图8为本发明实施例中风-车联合运行下换电站回购电能加价曲线。

图9为本发明实施例中风-储联合运行调度策略。

图10为本发明实施例中风-储联合运行下储能荷电状态曲线。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本实施例提供了一种基于改进NashQ算法的风电调度方法，包括以下步骤：

步骤S1：搭建竞争性电力市场中各方主体的调度模型，确定燃煤火电机组方、储能设施方、电动汽车换电站方以及风电场方的成本效益模型及运行约束条件，以各个主体的运行效益最大化为目标，构建多主体纳什均衡博弈模型，以寻找竞争性电力市场下风电最优调度策略；

步骤S2：根据纳什均衡博弈论理论和强化学习理论，采用NashQ算法求解多智能体博弈问题；为了加速算法的收敛性，应用JS散度对比自身历史经验与纳什均衡状态，JS散度度量了自身历史经验与纳什均衡解两个概率分布的相似度，从而优化各个智能体不同时刻下的学习率α_i,t，改进NashQ算法，进而缩短各智能体的最优策略π*所需的时间；

步骤S3：在步骤S1基础上，搭建风电场与电动汽车换电站联合运行模型以及风电场与储能联合运行模型，在市场博弈下采用改进NashQ算法求解联合运行模型的经济效益。

步骤S1中，微电网结构如图1所示，风电场即风力发电系统、电动汽车换电站、储能设备方即电池储能系统，以及燃煤火电机组方即燃煤火电系统四个部分的调度模型与运行约束，具体包括：

风力发电系统模型：

风力发电偏差考核惩罚：

式中：C_bia为偏差考核惩罚成本；P_pre,t为t时刻预测风电出力；P_w,t为风电场实际出力；p_w为风电上网价格；η为偏差考核惩罚比例；t＝1,...,N表示时间段；

风电运行模型中，考虑了风电场的运行成本、偏差考核带来的成本以及风电弃风所产生的环境治理成本；

式中：C_w为风电场运行效益；C_bl为减少偏差考核的费用；p_wo为风电运维成本；P_aba,t为t时刻风电场弃风电量；p_e为风电单位弃风电量所产生的环境治理成本，本文中取0.11元/kWh；P_w,t为风电场的实际发电出力；

为了保证风电的消纳率，风电的弃风比例应不超过μ；

P_aba≤(P_wind+P_aba)μ

电动汽车换电站模型：

式中：C_ev为电动汽车换电站运行效益；p_evo为换电站运维成本；P_ev,t为t时刻EV用户调度意愿，N为换电站最大容纳量；P_EV为每辆电动汽车的电池容量，受到回购电能提升价格影响；Δp_t为t时刻电动汽车换电站回购电能提升的价格；p_e1为换电站参与调度的辅助服务补贴；

基于调查样本拟合用户在不同回购电能提升价格下参与调度意愿曲线如图2所示，参与微电网调度意愿与回购电能价格提升的关系为：

P_ev,t＝-1.7067Δp_t ⁵+6.9333Δp_t ³-7.2Δp_t ²+2.9733Δp_t

燃煤火电系统模型：

微型火电系统的成本含发电成本C_MTc1、爬坡成本C_MTc2与启停成本，收益含售电效益C_MTb1和提供AGC服务的效益C_MTb2；

式中：a、b、c为微型火电系统发电成本系数；P_MTi,t为微型火电系统第i台机组t时刻发电量；i＝1,...,N为微型火电机组数；ΔP_MTui,t、ΔP_MTdi,t为微型火电机组上、下爬坡成本；p_up、p_down为微型火电机组上、下爬坡量；h_i,t为第i台机组t时刻的启停状态，1为启机，0为停机；p_on、p_off为启停机成本；p_MT为火电机组上网电价；p_AGC为AGC辅助服务补贴；

燃煤火电机组约束：

式中：P_MTi,min、P_MTi,max为微型火电机组功率最小值和最大值；ΔP_MTi,max为机组爬坡功率上限；

电池储能系统模型：

电池储能系统的效益主要有峰谷套利C_essb1、提供调频服务补贴C_essb2，成本主要有充放电损耗成本C_essc1和储能电池更换成本净值C_essc2；

式中：P_t ^cha、P_t ^dis为电池储能系统t时刻的充放电量；p_g,t为t时刻微电网内的电能价格；p_as为储能提供辅助服务的补贴；η_cha、η_dis为电池储能的充放电效率；d为贴现率；n为电池使用年限；C_es为电池本体成本；L_max为电池年平均最大使用次数；

电池储能运行约束：

式中：P_max ^cha、P_max ^dis为电池储能功率充放电功率的上限；SOC_t为t时刻电池储能的荷电状态；SOC_max、SOC_min为电池储能荷电状态的上下限；

辅助服务费用分摊模型：

微电网内的辅助服务费用，由发电企业按发电量进行分摊，常规火电系统承担费用C_MTs与风电场承担费用C_ws；

式中：W为发电企业的总发电量；P_et,t为时刻微电网内功率不平衡引起的联络线上功率响应，考虑到传输容量约束，不平衡功率不超过2MW；p_et为t单位功率传输成本。

图3为本实施例中改进NashQ算法的实现流程图。

步骤S2中，应用JS散度对比自身历史经验与纳什均衡状态，改进NashQ算法，具体包括：

步骤S21：多智能体强化学习Q值函数迭代公式

式中：Q_i(s,a₁,a₂...,a_n)^t为在t时刻状态s下各智能体动作为a₁,a₂...,a_n的Q值；NashQ_i(s')^t是各个智能体在t时刻动作后进入状态s'的一个纳什均衡解，计算公式为：

步骤S22：基于历史经验选取动作概率

根据智能体的历史经验Q值分布提取，可以得到智能体根据历史经验选取这一动作的概率为：

式中：P_i(a_j|s_j)为智能体i根据历史经验面对状态s时选择动作a的概率；Q_i(s_j,a_j)为智能体i在面对状态s时选择动作a的Q值；

步骤S23：智能体的最佳混合策略

采用玻尔兹曼探索方式获取智能体根据纳什均衡解选择动作的概率为：

式中：

为智能体i的纳什均衡的混合策略分布；

步骤S24：基于JS散度实时更新强学习率

通过散度对比智能体自身的历史经验的动作选取概率与纳什均衡状态的比较，从而使智能体能够更好地适应外部环境的波动。通过JS散度对比自身历史经验与纳什均衡状态，度量自身历史经验与纳什均衡解两个概率分布的相似度，故采用JS散度实时更新强各个智能体的学习率α_i,t，计算公式为：

式中：

为智能体i的纳什均衡下的混合策略分布；P_i为智能体i根据历史经验决策混合策略分布；

表示历史经验概率分布与混合策略分布的JS散度。

步骤S3中，在市场博弈环境下搭建的风电场与电动汽车换电站联合运行模型，即风-车联合运行模型，以及风电场与储能联合运行模型，即风-储联合运行模型为：

风-车联合运行模型：

式中：C_we为风-车联合运行的效益；C_w'为风-车联合运行后风电的效益；C_web1为换电站回购电能以风电售出的效益；p_g,t+Δp_t为换电站回购电能的购电成本；p_evo为换电站回购电能的运维成本；P_we,t为风-车投资主体联合运行的实际出力；C_bia ^we为风-车联合运行后的偏差考核惩罚成本；

风-储联合运行模型：

式中：C_ws为风-储联合运行的效益；C_w”为风-储联合运行后风电的效益；C_wsl为风电场配置储能后增加的运行成本；C_esb1为风-储联合运行储能峰谷套利的效益，C_wsl为储能的运维成本与充放电损耗成本；P_ws,t为风-储投资主体联合运行的实际出力；C_bia ^ws为风-储联合运行后的偏差考核惩罚成本。

本实施例还提供了一种基于改进NashQ算法的风电调度方法，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行所述计算机程序时，实现上述的方法步骤。

本实施例以高比例风电微电网园区为例，系统结构如图1所示，包含容量为220MWh风电集群、8MWh/8MW的储能系统、2台微型火电机组以及一个电动汽车换电站，设备参数如表1所示，各设备的惩罚与补贴价格如表2所示。典型日风电曲线、风电预测曲线以及用户负荷曲线如图4所示。本发明方法与NashQ、NETRL的收敛曲线如图5所示，收敛所需时间如表3所示。本实施例中，风电独立运行、风-车联合运行、风-储联合运行的调度策略如图6、7、9所示，各主体经济性如表4-6所示。

表1微网中不同设备参数

表2微网中不同设备奖惩参数

表3三个算法收敛所需时间

表4风电独立运行下各主体经济性

表5风-车联合运行下各主体经济性

表6风-储联合运行下各主体经济性

本发明供了一种市场博弈下基于改进NashQ算法的风电调度方法及系统，该方法通过搭建微电网中市场博弈下各方投资主体的优化调度模型，确定了燃煤火电机组投资方、储能设施投资方、电动汽车换电站投资方以及风电场投资方的成本效益模型及运行约束条件，以各个投资主体的经济效益最大化为目标，构建多主体博弈模型，优化市场博弈下风电调度策略。本发明对比了风电场与储能设施投资方、电动汽车换电站联合运行模式，为风电场未来发展模式提供借鉴。该方法通过JS散度优化智能体的学习率改进NashQ算法，加快市场博弈下风电场调度这一多主体序贯决策问题的收敛速度，充分考虑了市场博弈下各投资方的利益，优化风电场的调度策略。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于改进NashQ算法的风电调度方法，其特征在于，包括以下步骤：

步骤S1：搭建竞争性电力市场中各方主体的调度模型，确定燃煤火电机组方、储能设施方、电动汽车换电站方以及风电场方的调度模型及运行约束条件，以各个主体的运行效益最大化为目标，构建多主体纳什均衡博弈模型，以寻找竞争性电力市场下风电最优调度策略；

步骤S2：根据纳什均衡博弈论理论和强化学习理论，采用NashQ算法求解多智能体博弈问题；应用JS散度对比自身历史经验与纳什均衡状态，度量自身历史经验与纳什均衡解两个概率分布的相似度，从而优化各个智能体不同时刻下的学习率α_i,t，改进NashQ算法，进而缩短各智能体的最优策略π^*所需的时间；

步骤S3：在步骤S1基础上，搭建风电场与电动汽车换电站联合运行模型以及风电场与储能联合运行模型，在市场博弈下采用改进NashQ算法求解联合运行模型的经济效益。

2.根据权利要求1所述的一种基于改进NashQ算法的风电调度方法，其特征在于，步骤S1中，构建风电场即风力发电系统、电动汽车换电站、储能设备方即电池储能系统，以及燃煤火电机组方即燃煤火电系统四个部分的调度模型与运行约束，具体包括：

风力发电系统模型：

风力发电偏差考核惩罚：

式中：C_bia为偏差考核惩罚成本；P_pre,t为t时刻预测风电出力；P_w,t为风电场实际出力；p_w为风电上网价格；η为偏差考核惩罚比例；t＝1,...,N表示时间段；

风电运行模型中，考虑了风电场的运行成本、偏差考核带来的成本以及风电弃风所产生的环境治理成本；

式中：C_w为风电场运行效益；C_bl为减少偏差考核的费用；p_wo为风电运维成本；P_aba,t为t时刻风电场弃风电量；p_e为风电单位弃风电量所产生的环境治理成本，本文中取0.11元/kWh；P_w,t为风电场的实际发电出力；

为了保证风电的消纳率，风电的弃风比例应不超过μ；

P_aba≤(P_wind+P_aba)μ

电动汽车换电站模型：

式中：C_ev为电动汽车换电站运行效益；p_evo为换电站运维成本；P_ev,t为t时刻EV用户调度意愿，N为换电站最大容纳量；P_EV为每辆电动汽车的电池容量，受到回购电能提升价格影响；Δp_t为t时刻电动汽车换电站回购电能提升的价格；p_e1为换电站参与调度的辅助服务补贴；

燃煤火电系统模型：

微型火电系统的成本含发电成本C_MTc1、爬坡成本C_MTc2与启停成本，收益含售电效益C_MTb1和提供AGC服务的效益C_MTb2；

式中：a、b、c为微型火电系统发电成本系数；P_MTi,t为微型火电系统第i台机组t时刻发电量；i＝1,...,N为微型火电机组数；ΔP_MTui,t、ΔP_MTdi,t为微型火电机组上、下爬坡成本；p_up、p_down为微型火电机组上、下爬坡量；h_i,t为第i台机组t时刻的启停状态，1为启机，0为停机；p_on、p_off为启停机成本；p_MT为火电机组上网电价；p_AGC为AGC辅助服务补贴；

燃煤火电机组约束：

式中：P_MTi,min、P_MTi,max为微型火电机组功率最小值和最大值；ΔP_MTi,max为机组爬坡功率上限；

电池储能系统模型：

电池储能系统的效益主要有峰谷套利C_essb1、提供调频服务补贴C_essb2，成本主要有充放电损耗成本C_essc1和储能电池更换成本净值C_essc2；

式中：P_t ^cha、P_t ^dis为电池储能系统t时刻的充放电量；p_g,t为t时刻微电网内的电能价格；p_as为储能提供辅助服务的补贴；η_cha、η_dis为电池储能的充放电效率；d为贴现率；n为电池使用年限；C_es为电池本体成本；L_max为电池年平均最大使用次数；

电池储能运行约束：

式中：P_max ^cha、P_max ^dis为电池储能功率充放电功率的上限；SOC_t为t时刻电池储能的荷电状态；SOC_max、SOC_min为电池储能荷电状态的上下限；

辅助服务费用分摊模型：

微电网内的辅助服务费用，由发电企业按发电量进行分摊，常规火电系统承担费用C_MTs与风电场承担费用C_ws；

式中：W为发电企业的总发电量；P_et,t为时刻微电网内功率不平衡引起的联络线上功率响应，考虑到传输容量约束，不平衡功率不超过2MW；p_et为t单位功率传输成本。

3.根据权利要求1所述的一种基于改进NashQ算法的风电调度方法，其特征在于，步骤S2中，应用JS散度对比自身历史经验与纳什均衡状态，改进NashQ算法，具体包括：

步骤S21：多智能体强化学习Q值函数迭代公式

式中：Q_i(s,a₁,a₂...,a_n)^t为在t时刻状态s下各智能体动作为a₁,a₂...,a_n的Q值；NashQ_i(s')^t是各个智能体在t时刻动作后进入状态s'的一个纳什均衡解，计算公式为：

步骤S22：基于历史经验选取动作概率

根据智能体的历史经验Q值分布提取，得到智能体根据历史经验选取这一动作的概率为：

式中：P_i(a_j|s_j)为智能体i根据历史经验面对状态s时选择动作a的概率；Q_i(s_j,a_j)为智能体i在面对状态s时选择动作a的Q值；

步骤S23：智能体的最佳混合策略

采用玻尔兹曼探索方式获取智能体根据纳什均衡解选择动作的概率为：

式中：

为智能体i的纳什均衡的混合策略分布；

步骤S24：基于JS散度实时更新强学习率

通过JS散度对比自身历史经验与纳什均衡状态，度量自身历史经验与纳什均衡解两个概率分布的相似度，故采用JS散度实时更新强各个智能体的学习率α_i,t，计算公式为：

式中：

为智能体i的纳什均衡下的混合策略分布；P_i为智能体i根据历史经验决策混合策略分布；

表示历史经验概率分布与混合策略分布的JS散度。

4.根据权利要求2所述的一种基于改进NashQ算法的风电调度方法，其特征在于，步骤S3中，在市场博弈环境下搭建的风电场与电动汽车换电站联合运行模型，即风-车联合运行模型为：

式中：C_we为风-车联合运行的效益；C_w'为风-车联合运行后风电的效益；C_web1为换电站回购电能以风电售出的效益；p_g,t+Δp_t为换电站回购电能的购电成本；p_evo为换电站回购电能的运维成本；P_we,t为风-车投资主体联合运行的实际出力；C_bia ^we为风-车联合运行后的偏差考核惩罚成本。

5.根据权利要求2所述的一种基于改进NashQ算法的风电调度方法，其特征在于，步骤S3中，在市场博弈环境下搭建的风电场与储能联合运行模型，即风-储联合运行模型为：

式中：C_ws为风-储联合运行的效益；C_w”为风-储联合运行后风电的效益；C_wsl为风电场配置储能后增加的运行成本；C_esb1为风-储联合运行储能峰谷套利的效益，C_wsl为储能的运维成本与充放电损耗成本；P_ws,t为风-储投资主体联合运行的实际出力；C_bia ^ws为风-储联合运行后的偏差考核惩罚成本。

6.一种基于改进NashQ算法的风电调度系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行所述计算机程序时，实现如权利要求1-5任一项所述的方法步骤。

Images