CN110648191A - 一种发电商电能及备用市场联合报价方法及系统 - Google Patents

Abstract

本发明为一种发电商电能及备用市场联合报价方法及系统，包括以下步骤：建立Q值表、环境集s和智能代理策略集a并初始化；建立电能及备用市场联合竞价均衡模型；获取发电商最优报价系数策略a_n；获取出清电价及各发电商的主能量和辅助服务的中标电量；根据收益更新发电商的Q值表，循环求解动态纳什均衡解。系统包括发电商报价策略客户端和独立系统运营商，发电商报价策略客户端包括：电能及备用市场联合报价模块和强化学习模块。本发明考虑了在现实情况中，无法获取市场中的完全信息问题，发电商不需要已知他人策略和他人的机组成本参数，利用强化学习选择最优报价。

Description

一种发电商电能及备用市场联合报价方法及系统

技术领域

本发明涉及电力领域，特别是涉及一种发电商电能及备用市场联合报价方法及系统。

背景技术

随着电力现货市场在国内市场的涌现，发电商将逐渐参与主能量市场、辅助能量市场的竞价以获取自身的利益，在市场环境下，参与者为获得更高的利润，总是不断优化自身的投标策略。目前，我国电力市场还处于刚刚起步的阶段，发电商对市场环境还不熟悉，需要完善的报价策略理论作为指导。高效的报价决策工具可以帮助决策人员和报价人员进行一次成功的报价从而获得高额的收益。除此之外，研究和推演发电商的报价行为，还有助于电力市场的监管机构对发电商的行为进行考察，从而识别市场规则中的存在的漏洞，不断完善我国的电力市场的政策法规，因此，对我国电力市场中发电商行为进行研究是十分必要的。

然而，市场信息对于参与者而言并不完全，参与者对于自身策略的优化具有较大的难度。传统的发电商报价策略研究方法主要是基于博弈论方法，博弈论方法对于从理论上探讨市场成员的最优投标策略以及比较粗略地研究发电公司投标行为是很有用的，但由于博弈论方法的固有缺陷使得其实用性不强，因此不适合用来研究完整的投标策略。

发明内容

本发明主要解决了现有发电商报价策略研究方法实用性低及需要获取完全的市场信息的问题，提供一种无需获取市场中的完全信息，发电商不需要已知他人策略和他人的机组成本参数，利用强化学习选择最优报价的发电商电能及备用市场联合报价方法及系统。

本发明解决其技术问题所采用的技术方案是,一种发电商电能及备用市场联合报价方法，包括以下步骤：

S1：建立Q值表、环境集s和智能代理策略集a并初始化；

S2：建立电能及备用市场联合竞价均衡模型；

S3：获取发电商最优报价系数策略a_n；

S4：获取出清电价及各发电商的主能量和辅助服务的中标电量；

S5：根据收益更新发电商的Q值表，循环求解动态纳什均衡解。

本发明利用Q值表体现出清价格、报价系数及利润之间的关系，通过强化学习方法更新Q值表，获取最佳的报价系数。

作为上述方案的一种优选方案，所述步骤S1中Q值表中，列为环境集s，行为智能代理测量集a，所述环境集s每个元素均包含主能量出清价格和辅助服务出清价格，所述智能代理策略集a每个元素均包含主能量报价系数和辅助服务报价系数。

作为上述方案的一种优选方案，所述Q值表中Q值代表发电商在对应环境和策略下的利润，Q值初始为0。

作为上述方案的一种优选方案，所述步骤S3中获取发电商最优报价系数策略包括以下步骤：

S31：随机选取一个初始环境s；

S32：基于Boltzmann探索策略根据轮盘赌公式选择一个策略a_r

p(a_r|s)为环境s下选择动作a_r的概率，Q(s，a)为在环境s下采用策略a对应的Q值，T为Boltzmann探索策略中的常数，N为智能代理策略集a中的元素个数，a_k为智能代理策略集a中的元素，k＝1,2,…,N；

S32：基于greedy策略选择一个策略a_p

Q_n-1(s,a)为前一步时状态s下采用策略a对应的Q值；

S33：生成一个随机数ε∈(0,1)，根据模拟退火算法确定最终选定的策略a_n

Temperature为模拟退火算法中的温度，s_n为当前步的环境。

作为上述方案的一种优选方案，所述步骤S4采用ISO市场出清模型

P_Gi为发电商i的电能中标量，即发电商i的出力；P_ri为发电商i的备用中标量；P_Dk为用户k的负荷需求量；k_ei、k_ri分别为发电商i在电能和备用市场中的报价系数；G为网络中发电商的集合，包含区外来电和本地发电商；L为用户的集合；r₁为考虑负荷不确定性的备用系数；r₂为考虑外来电不确定性的附加备用系数；P_Gimin、P_Gimax分别为发电商i的电能出力最小值和最大值；P_rimin、P_rimax分别为发电商i的备用出力最小值和最大值；P_imin、P_imax分别为发电商i的最小技术出力和最大技术出力,a_i和b_i为燃料成本系数，α_i和β_i为备用成本系数。该步骤中k_ei、k_ri的值为步骤S3获取的策略a_n对应的值。

作为上述方案的一种优选方案，所述步骤S5中更新发电商的Q值表循环求解动态纳什均衡解，包括以下步骤：

S51：根据各发电商收益r更新Q值表

α为强化学习的学习速率，r_n为当前动作的即时收益，γ为强化学习的折扣率，max_a′Q_n(S_n+1,a′)是记忆中的利益，它是智能代理记忆里，所有次数更新后新位置S_n+1能给出的最大效用值，Q_n+1(s,a)为更新后的Q值，Q_n(s,a)为当前Q值；

S52：根据出清结果将环境更新为s’，判定迭代次数是否达到预设最大次数/发电商最后一次与上一次利润是否相同；若是，则判定达到收敛，若不相同，则继续迭代更新Q值表，回退至步骤S3并设初始环境为s’。

本发明还提供一种发电商电能及备用市场联合报价系统，适用于上述发电商电能及备用市场联合报价方法，包括：

发电商报价策略客户端，设置于每一发电商；

独立系统运营商，用于接收各发电商报价，根据所述发电商报价计算出清价格、各发电商电能及备用市场的报价。

作为上述方案的一种优选方案，所述发电商报价策略客户端包括：

电能及备用市场联合报价模块，用于建立计及区外来电参与的电能及备用市场联合竞价均衡模型；

强化学习模块，通过Q值表存储每一发电商策略集和对应的收益，不断进行博弈强化最优策略，最终得到发电商报价策略解。

本发明的优点是：本发明考虑了在现实情况中，无法获取市场中的完全信息问题，发电商不需要已知他人策略和他人的机组成本参数，利用强化学习选择最优报价。

附图说明

图1为本发明中发电商电能及备用市场联合报价方法的一种流程示意图。

图2为本发明中Q值表的一种结构示意图。

图3为本发明中获取发电商最优报价系数策略a_n的一种流程示意图。

图4为本发明中更新发电商的Q值表并循环求解动态纳什均衡解的一种流程示意图。

图5为实施例2中不同负荷需求下发电商的主能量报价策略仿真结果示意图。

图6为实施例2中不同负荷需求下发电商的备用报价策略仿真结果示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步的说明。

实施例：

本实施一种发电商电能及备用市场联合报价方法，基于一种发电商电能及备用市场联合报价系统实现，发电商电能及备用市场联合报价系统包括设置于每一发电商的发电商报价策略客户端和用于接收各发电商报价并根据发电商报价计算出清价格、各发电商电能及备用市场的报价的独立系统运营商，发电商报价策略客户端包括电能及备用市场联合报价模块和强化学习模块，能及备用市场联合报价模块用于建立计及区外来电参与的电能及备用市场联合竞价均衡模型；强化学习模块通过Q值表存储每一发电商策略集和对应的收益，不断进行博弈强化最优策略，最终得到发电商报价策略解。

本实施例中发电商电能及备用市场联合报价方法，如图1所示，包括以下步骤：

S1：建立Q值表、环境集s和智能代理策略集a并初始化，环境集s每个元素均包含主能量出清价格和辅助服务出清价格，智能代理策略集a每个元素均包含主能量报价系数和辅助服务报价系数，每个发电商均需建立一个Q值表用于记录智能代理策略集，Q值表如图2所示，在Q值表中，列为环境集s：主能量出清价格，区间是200到400元/MW，辅助服务出清价格区间是50到200元/MW，50为一间隔，总共25种环境。行为智能代理策略集a：主能量报价系数为1到1.5，辅助服务报价系数为0.5到1，0.1为一间隔，总共36种策略。Q值表为一个25×36维的矩阵，初始情况下将矩阵值全部置为0。

S2：建立电能及备用市场联合竞价均衡模型，具体包括：

S21：本地发电商同时在市场中上报电能和备用两条投标曲线。其燃料成本可以描述为出力的二次函数，求一阶微分得到边际成本。对边际成本进行仿射处理，得到基于线性供给函数模型(linear supply function，LSF)的电能投标曲线。

建立本地机组主能量投标模型：

式中：C_i(P_Gi)为发电商i的燃料成本函数；P_Gi为发电商i的出力；a_i、b_i、c_i分别为燃料成本的一项次系数、二次项系数和常数项系数，G_in表示本地发电商集合；

为发电商i的边际成本函数；p(P_Gi)为发电商i的电能投标曲线；k_ei为发电商i提交的电能投标系数；

建立本地机组备用投标模型：

式中：

为发电商i的基准备用报价曲线；P_ri为本地发电商i的备用容量；α_i、β_i分别为备用成本的系数；p(P_ri)为发电商i的备用投标曲线；k_ri为发电商i的备用投标系数；

建立区外来电主能量及备用市场投标模型：

式中：p(P_Gj)为区外来电电能投标曲线；p(P_rj)为区外来电备用投标曲线；P_Gj为区外来电发电商j的出力，P_rj为区外发电商j的备用容量；a_j、b_j分别为区外来电发电商j的燃料成本系数；α_j、β_j分别为备用成本的系数；G_out为区外来电发电商集合；k_ej、k_rj分别为电能和备用投标策略系数；

S22建立电能及备用市场联合竞价均衡模型：

式中：f_G为发电商i的利润，C_i()为发电商i的燃料成本；λ_e为电能的出清价格；λ_r为备用的出清价格；τ为备用调用率，各发电商根据历史数据预估；k_ei、k_ri分别为发电商i在电能和备用市场的报价系数；k_eimin、k_eimax分别为发电商i电能报价系数的最小值和最大值；k_rimin、k_rimax分别为发电商i备用报价系数的最小值和最大值。

S3：获取发电商最优报价系数策略a_n，如图3所示，包括以下步骤：

S31：随机选取一个初始环境s；

S32：基于Boltzmann探索策略根据轮盘赌公式选择一个策略a_r

p(a_r|s)为环境s下选择动作a_r的概率，Q(s,a)为在环境s下采用策略a对应的Q值，T为Boltzmann探索策略中的常数，N为智能代理策略集a中的元素个数，a_k为智能代理策略集a中的元素，k＝1,2,…,N；

S32：基于greedy策略选择一个策略a_p

Q_n-1(s,a)为前一步时状态s下采用策略a对应的Q值；

S33：生成一个随机数ε∈(0,1)，根据模拟退火算法确定最终选定的策略a_n

Temperature为模拟退火算法中的温度，s_n为当前步的环境。；

S4：获取出清电价及各发电商的主能量和辅助服务的中标电量，该步骤中采用ISO市场出清模型计算出清电价及各发电商的主能量和辅助服务的中标电量，ISO市场出清模型如下

P_Gi为发电商i的电能中标量，即发电商i的出力；P_ri为发电商i的备用中标量；P_Dk为用户k的负荷需求量；k_ei、k_ri分别为发电商i在电能和备用市场中的报价系数；G为网络中发电商的集合，包含区外来电和本地发电商；L为用户的集合；r₁为考虑负荷不确定性的备用系数；r₂为考虑外来电不确定性的附加备用系数；P_Gimin、P_Gimax分别为发电商i的电能出力最小值和最大值；P_rimin、P_rimax分别为发电商i的备用出力最小值和最大值；P_imin、P_imax分别为发电商i的最小技术出力和最大技术出力,a_i和b_i为燃料成本系数，α_i和β_i为备用成本系数，本实施中k_ei、k_ri为步骤S3中选取的策略a_n的主能量报价系数和辅助服务报价系数。

S5：根据收益更新发电商的Q值表并循环求解动态纳什均衡解，如图4所示，包括以下步骤：

S51：根据各发电商收益r更新Q值表

α为强化学习的学习速率，r_n为当前动作的即时收益，γ为强化学习的折扣率，max_a′Q_n(S_n+1,a′)是记忆中的利益，它是智能代理记忆里，所有次数更新后新位置S_n+1能给出的最大效用值，Q_n+1(s,a)为更新后的Q值，Q_n(s,a)为当前Q值。以下对max_a′Q_n(S_n+1,a′)如何取值进行说明，假设在进行了三次动作分别记为A、B、C，在执行动作A后获得环境s_A，在环境s_A中最大的Q值为Q_A，在执行动作B后获得环境s_B，在环境s_B中最大的Q值为Q_B，在执行动作C后获得环境s_C，在环境s_C中最大的Q值为Q_C，在Q_A、Q_B、Q_C中选取最大值，这个最大值即为max_a′Q_n(S_n+1,a′)的取值；

S52：根据出清结果将环境更新为s’，判定迭代次数是否达到预设最大次数或发电商最后一次与上一次利润是否相同；若是，则判定达到收敛，若不相同，则继续迭代更新Q值表，回退至步骤S3并设初始环境为s’，即跳过步骤S31，直接开始步骤S32，发电商根据最终得到的Q值表获取最佳报价策略。

实施例2

本实施例采用实施例1中的发电商电能及备用市场联合报价方法及系统进行区域电力市场仿真分析。分析对象包括1个区外来电和49个省内发电商。区外来电G1接入节点1，省内发电商G6、G11、G16、G21、G26、G31、G36、G41、G46接入节点1，其余节点接入节点2，负荷接入节点3。发电商的基本信息如表1所示。备用考虑为负荷的10％+外来电的x％，其中x取决于外来电的不确定性。备用调用率取50％。

表1

设置仿真参数为：备用考虑为负荷的10％+外来电的30％，备用调用率取50％，仿真负荷需求为80000MW。

根据强化学习算法进行均衡求解，仿真得到的不同负荷需求下发电商的主能量、备用报价策略如图5、图6所示。从图中可以看出，存在大部分同类成本的发电商策略趋向于一致，且趋向于边际成本。经过120次重复循环，每次循环更新10000次Q值表，可以看出大规模下的博弈均衡结果唯一，中标机组以边际成本报价，中标机组都是边际机组。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种发电商电能及备用市场联合报价方法，其特征是：包括以下步骤：

S1：建立Q值表、环境集s和智能代理策略集a并初始化；

S2：建立电能及备用市场联合竞价均衡模型；

S3：获取发电商最优报价系数策略a_n；

S4：获取出清电价及各发电商的主能量和辅助服务的中标电量；

S5：根据收益更新发电商的Q值表，循环求解动态纳什均衡解。

2.根据权利要求1所述的一种发电商电能及备用市场联合报价方法，其特征是：所述步骤S1中Q值表中，列为环境集s，行为智能代理测量集a，所述环境集s每个元素均包含主能量出清价格和辅助服务出清价格，所述智能代理策略集a每个元素均包含主能量报价系数和辅助服务报价系数。

3.根据权利要求1或2所述的一种发电商电能及备用市场联合报价方法，其特征是：所述Q值表中Q值代表发电商在对应环境和策略下的利润，Q值初始为0。

4.根据权利要求1所述的一种发电商电能及备用市场联合报价方法，其特征是：所述步骤S3中获取发电商最优报价系数策略包括以下步骤：

S31：随机选取一个初始环境s；

S32：基于Boltzmann探索策略根据轮盘赌公式选择一个策略a_r

p(a_r|s)为环境s下选择动作a_r的概率，Q(s，a)为在环境s下采用策略a对应的Q值，T为Boltzmann探索策略中的常数，N为智能代理策略集a中的元素个数，a_k为智能代理策略集a中的元素，k＝1，2，...，N；

S32：基于greedy策略选择一个策略a_p

Q_n-1(s，a)为前一步时状态s下采用策略a对应的Q值；

S33：生成一个随机数ε∈(0，1)，根据模拟退火算法确定最终选定的策略a_n

Temperature为模拟退火算法中的温度，s_n为当前步的环境。

5.根据权利要求1或4所述的一种发电商电能及备用市场联合报价方法，其特征是：所述步骤S4采用ISO市场出清模型

P_Gi为发电商i的电能中标量，即发电商i的出力；P_ri为发电商i的备用中标量；P_Dk为用户k的负荷需求量；k_ei、k_ri分别为发电商i在电能和备用市场中的报价系数；G为网络中发电商的集合，包含区外来电和本地发电商；L为用户的集合；r₁为考虑负荷不确定性的备用系数；r₂为考虑外来电不确定性的附加备用系数；P_Gimin、P_Gimax分别为发电商i的电能出力最小值和最大值；P_rimin、P_rimax分别为发电商i的备用出力最小值和最大值；P_imin、P_imax分别为发电商i的最小技术出力和最大技术出力，a_i和b_i为燃料成本系数，α_i和β_i为备用成本系数。

6.根据权利要求4所述的一种发电商电能及备用市场联合报价方法，其特征是：所述步骤S5中更新发电商的Q值表循环求解动态纳什均衡解，包括以下步骤：

S51：根据各发电商收益r更新Q值表

α为强化学习的学习速率，r_n为当前动作的即时收益，γ为强化学习的折扣率，max_a′Q_n(S_n+1，a′)是记忆中的利益，它是智能代理记忆里，所有次数更新后新位置S_n+1能给出的最大效用值，Q_n+1(s，a)为更新后的Q值，Q_n(s，a)为当前Q值；

S52：根据出清结果将环境更新为s’，判定迭代次数是否达到预设最大次数/发电商最后一次与上一次利润是否相同；若是，则判定达到收敛，若不相同，则继续迭代更新Q值表，回退至步骤S3并设初始环境为s’。

7.一种发电商电能及备用市场联合报价系统，其特征是：包括：

发电商报价策略客户端，设置于每一发电商；

独立系统运营商，用于接收各发电商报价，根据所述发电商报价计算出清价格、各发电商电能及备用市场的报价。

8.根据权利要求7所述的一种发电商电能及备用市场联合报价系统，其特征是：所述发电商报价策略客户端包括：

电能及备用市场联合报价模块，用于建立计及区外来电参与的电能及备用市场联合竞价均衡模型；

强化学习模块，通过Q值表存储每一发电商策略集和对应的收益，不断进行博弈强化最优策略，最终得到发电商报价策略解。

Images