CN111864750B - 风电-制氢系统在市场机制下收益最大化的运行方法 - Google Patents

Abstract

本发明提供一种风电‑制氢系统在市场机制下收益最大化的运行方法,基于风电‑制氢系统出力数学模型构建了风电‑制氢系统在市场中随风电、氢气价格动态波动情况下的实时收益数学模型，并引入风电转换系数定量地耦合了风力发电系统与制氢系统；进一步，综合地考虑了风电出力数据和价格数据之间的不确定性关联关系，通过深度确定性梯度策略算法体现了风电历史出力数据和价格数据概率的特性，从而实现了风电‑制氢系统实时优化运行。本发明从风电和氢气市场价格角度出发，以总体收益最大化为优化目标，利用深度确定性梯度策略算法动态实时优化运行，具有总收益更高、风电外输稳定性好、运行智能化程度高的有益效果。

Description

风电-制氢系统在市场机制下收益最大化的运行方法

技术领域

本发明涉及新能源开发与利用技术领域，具体公开了一种风电-制氢系统在市场机制下收益最大化的运行方法。

背景技术

风能的开发利用是全球能源结构调整与转型的重大措施。据国家能源局统计，截至2019年底，全国风电累计装机2.1亿千瓦，其中陆上风电累计装机2.04亿千瓦、海上风电累计装机593万千瓦，风电装机占全部发电装机的10.4％。由于风力发电输出曲线与负荷需求曲线在时间和空间上存在差异，严重制约了风电规模化消纳，导致弃风量高居不下，仅2019年，弃风电量高达169亿千瓦，平均弃风率4％。目前技术中，采用风电-制氢技术有助于对风电的规模化消纳，可实现100％清洁能源综合利用，采用质子交换膜的电解质制氢技术，其转化效率大于85％，制氢纯度可达99.99％。然而，在新一轮电力市场改革背景下，如何使得风电-制氢系统在电力市场与氢气市场中收益最大化，还亟待解决。

现有技术中，为了克服大量风电难以有效消纳的弃风问题，人们采用风电制氢技术充分利用多余的风电获取氢气，并将氢气在市场售卖，以得到更多的收益。然而，由于电价和氢气价格会随着外界因素影响呈现实时动态交替升降，致使现有技术采用的手段无法满足风电-制氢系统获取总收益最大化的目标，也就是说风电是直接卖掉获取利益多还是辅助制氢获取利益多实际上是动态实时变化的(不需要弃风的时候也有可能会让风电辅助制氢售卖)。而且，即使风电价格低于氢气价格，但由于氢气转化量有最大限制，所以部分风电也不得不直接售卖。因此需要提供一种技术手段可以实时自动优化风电-制氢系统总收益目标，使得风电-制氢系统获得的市场价值最大化。

发明内容

由于风力发电中心离负荷中心太远，风电无法得到有效消纳，现有技术中，人们采取利用风电制氢的技术有效利用多余的风能，从而大大提高了风电系统的收益。然而，在现有技术中人们并没有考虑风电上网价格和氢气市场价格存在动态交替上下波动的因素，从而存在风电价格低于氢气价格时并未能获得最高效益的不足。为了解决以上问题，本发明风电-制氢系统在市场机制下收益最大化的运行方法提供的技术方案如下：

风电-制氢系统由风电场、电力市场、电解槽、储气罐以及氢气市场组成，其特点在于，使得该系统收益最大化的方法包括以下步骤。

S1，构造风电-制氢系统出力数学模型：

1)构造风电系统在不同风速下的等效出力数学模型如下，

其中，t表示当前时刻，p_WT,t为风电场等效出力，v_WT,t为t时刻的风速，v_ci为风电场最小允许投入风速，p_e为风电场额定出力，v_e为额定运行风速，v_co为风电场最大允许运行风速。

2)构造制氢系统的数学模型：

其中，p_WT2HG,t表示t时刻电解制氢消耗的风电，β_t表示t时刻风电-制氢转换率，N_EL,t表示t时刻电解槽产生的氢气，η^c为压缩系数，ΔT为时间常数，U_EL为电解槽工作电压，F_c为法拉第常量。

3)构造储氢系统的数学模型：

其中，V_HST,t与V_HST,t-1分别表示t时刻与t-1时刻储氢罐中的氢气量，T_HST为储氢罐的温度，R为气体常量，P_HST为储氢罐的压强，V_HST2HM,t表示t时刻从储氢罐中卖向氢气市场的氢气量，SoH_t表示t时刻储氢罐中剩余氢气量，V_HST,max表示储氢罐最大可用容量。

S2，构造市场机制下的风电-制氢系统实时优化目标函数及约束条件。

1)构造实时优化目标函数，优化目标函数为风电和氢气分别从电力市场和氢气市场获取收益的数学模型：

其中，p_WT2EM,t表示卖向电力市场的风电量，λ_WT,t表示t时刻的电价，λ_HG,t表示t时刻的氢气价格，f_t为t时刻的收益，T表示优化运行周期。

2)构造收益实时优化的约束条件：

其中，p_WT2HG,min表示电解槽最小启动功率，p_WT2HG,max表示电解槽最大运行功率，SoH_min表示储氢罐中最小允许剩余氢气百分比，SoH_max表示储氢罐中最大允许存储氢气百分比。

S3，搭建并训练基于深度确定性梯度策略算法(Deep Deterministic PolicyGradient,DDPG)的风电-制氢系统实时优化数学模型，并通过该数学模型获取实时优化运行策略。

S4，在实时优化运行策略中输入实时采集的风速和价格数据，即可实现考虑市场机制的风电-制氢系统实时优化运行。

最优地，深度确定性梯度策略算法的运行原理步骤包括：

1)采集风电场历史风速数据，记为ν_WT,t；其中t＝1,2,3……t表示时刻；采集风电场历史上并网电价数据，记为λ_WT,t；获取氢气的历史售价数据，记为λ_HG,t。

2)将一个运行周期内的风电-制氢系统的优化目标及约束条件转化为含状态集合S、动作集合A和奖励函数r的无约束马尔可夫决策过程；S包含决策过程所有状态，时刻t的状态s_t＝{ν_WT,t，λ_WT,t，λ_HG,t，SoH_t}；A包含决策过程所有动作，时刻t的动作a_t＝{β_t,V_HST2HM,t}；r指在s_t下执行a_t获得的即时回报rt(a_t∣s_t)。

3)将市场机制下的风电-制氢系统含约束优化问题转化为无约束问题，并对t时刻风电-制氢转换率β_t和V_HST2HM,t的约束均体现在对动作值的限幅，转化储氢罐剩余氢气百分比和电解槽最大允许运行功率约束。

其中，ρ₁、ρ₂、ρ₃和ρ₄表示惩罚系数；为储氢罐剩余氢气百分比约束罚函数；表示电解槽最大允许运行功率约束罚函数。

4)构造DDPG算法所需两组结构相同的四个全连接层神经网络：在线、估计动作网络，参数集合分别θ^μ、θ^μ'，用于实现输入状态s_t到输出动作a_t的映射即策略π；在线、估计评价网络，参数集合分别为θ^v、θ^v'，用于实现状态s_t和动作a_t到动作价值函数Q^π(s_t，a_t)的映射。

5)设置基于深度确定性梯度策略算法的市场机制下的风电-制氢系统实时优化模型的学习率a，设置记忆库容量M和总迭代次数N，初始化神经网络参数集合θ。

6)复位市场机制下的风电-制氢系统获取状态s，并开始实施一个马尔可夫决策过程。

7)根据当前状态s和在线动作网络参数θ^μ输出动作a。

8)根据动作a计算目标函数值以获得奖励r和获取当前作用动作引起的下一时刻状态s_{_}。

9)将元组信息{s,a,r,s_{_}}存入记忆库以打破风速和价格数据的时间相关性。

10)判断记忆库是否存满，若存满，则执行步骤11)，反之，则执行步骤14)。

11)通过梯度下降策略更新在线动作网络的参数集合θ^μ：

其中，b表示从记忆库中有放回条件下等概率的采样元组信息的批次，表示在状态s_i和动作a_i下动作价值函数的梯度，/>表示在状态s_i下θ^μ动作更新值改变方向的梯度。

12)通过最小化损失函数更新在线评价网络的参数集合θ^v：

其中，L为损失函数值；表示在状态s_i和动作a_i下在线评价网络输出的动作价值函数值；y_i表示目标评价网络估计值；γ∈[0,1]表示折扣因子以表征环境的不确定性。

13)使用软更新技术更新目标动作、评价网络参数：

其中，τ为软更新系数，0＜τ＜＜1。

14)更新当前状态，赋值s＝s_{_}。

15)判断当前马尔可夫决策过程是否结束，若结束，则执行步骤16)，反之，则执行步骤7)。

16)迭代次数加一，并判断当前迭代次数是否达到最大迭代次数N，如果满足，则迭代停止并输出神经网络参数集合θ，反之，则执行步骤6)。

与现有技术相比，本发明的有益效果是：

1.本发明风电-制氢系统在市场机制下收益最大化的运行方法，在不考虑建设成本、运行成本(固定成本)的情况下，基于风电电价和氢气价格在市场上会因为外界因素发生不确定性波动，从而存在两者价格高低动态交替的现象，本发明技术方案以风电-制氢系统从市场运营实时获得最大收益作为优化目标，建立风电和氢气收益最大化的数学模型，使得风电-制氢系统随着电价波动动态调整风电输出目标，时刻追踪总收益最大值。

2.本发明风电-制氢系统在市场机制下收益最大化的运行方法，虽然当市场电价低于氢气价格时会选择利用风电辅助制造氢气售卖，但由于为了控制制氢系统的建设成本，氢气系统的转化能力一定小于等于所有接入风电所能制造氢气的能力，因此根据实际情况构造了合适的约束条件，本技术方案既能保证总收益最大化，又不超出氢气最大转化容量的目的。

3.本发明风电-制氢系统在市场机制下收益最大化的运行方法，基于风电出力数学模型和风电-制氢系统收益数学模型，采用深度确定性梯度策略算法自动决策风电出力和优化收益目标，从而动态获得最大收益，该技术方案可在各种动态不确定因素复杂环境下输出实时最优目标，具有响应速度快、结果精准且高度集成化、智能化的有益效果。

4.本发明风电-制氢系统在市场机制下收益最大化的运行方法，深度确定性梯度策略算法综合地考虑了风电出力数据和价格数据之间的不确定性关联关系，能够利用其内在的深度神经网络来映射风电出力和价格数据的概率特性，集预测与决策功能一体，有效地避免了对额外预测依赖，降低了风电-制氢厂商的运行成本，具有提高风电-制氢系统运行稳定性和经济性的有益效果。

附图说明

图1是市场机制下的风电-制氢系统实时优化运行方法流程图；

图2是风电-制氢系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1和图2，本发明风电-制氢系统在市场机制下收益最大化的运行方法，系统由风电场1、电力市场2、电解槽3、储气罐4以及氢气市场5组成，其特点在于，使得该系统收益最大化的方法包括以下步骤。

S1，构造风电-制氢系统出力数学模型。

1)构造风电系统在不同风速下的等效出力数学模型如下：

其中，t表示当前时刻，p_WT,t为风电场等效出力，v_WT,t为t时刻的风速，v_ci为风电场最小允许投入风速，p_e为风电场额定出力，v_e为额定运行风速，v_co为风电场最大允许运行风速。

2)构造制氢系统的数学模型：

其中，p_WT2HG,t表示t时刻电解制氢消耗的风电，β_t表示t时刻风电-制氢转换率，N_EL,t表示t时刻电解槽产生的氢气，η^c为压缩系数，ΔT为时间常数，U_EL为电解槽工作电压，F_c为法拉第常量。

3)构造储氢系统的数学模型：

其中，V_HST,t与V_HST,t-1分别表示t时刻与t-1时刻储氢罐中的氢气量，T_HST为储氢罐的温度，R为气体常量，P_HST为储氢罐的压强，V_HST2HM,t表示t时刻从储氢罐中卖向氢气市场的氢气量，SoH_t表示t时刻储氢罐中剩余氢气量，V_HST,max表示储氢罐最大可用容量。

S2，构造市场机制下的风电-制氢系统实时优化目标函数及约束条件。

1)构造实时优化目标函数，优化目标函数为风电和氢气分别从电力市场和氢气市场获取收益的数学模型：

其中，p_WT2EM,t表示卖向电力市场的风电量，λ_WT,t表示t时刻的电价，λ_HG,t表示t时刻的氢气价格，f_t为t时刻的收益，T表示优化运行周期。

2)构造收益实时优化的约束条件：

其中，p_WT2HG,min表示电解槽最小启动功率，p_WT2HG,max表示电解槽最大运行功率，SoH_min表示储氢罐中最小允许剩余氢气百分比，SoH_max表示储氢罐中最大允许存储氢气百分比。

S3，搭建并训练基于深度确定性梯度策略算法(Deep Deterministic PolicyGradient,DDPG)的风电-制氢系统实时优化数学模型，并通过该数学模型获取实时优化运行策略。

S4，在实时优化运行策略中输入实时采集的风速和价格数据，即可实现考虑市场机制的风电-制氢系统实时优化运行。

构造以上数学模型，动态优化了风电系统和制氢系统的出力比例，解决了在风电-制氢系统在市场机制下价格随外界因素动态交替波动时总收益未能实现最大化的问题。尤其是，当风电上网价格低于氢气价格时候及时调节出力比例可大幅度提高收益，同时考虑实际情况约束了制氢系统最大转化能力，能有效保证数学模型的准确性。

优选地，以上深度确定性梯度策略算法的运行原理步骤包括：

1)采集风电场历史风速数据，记为ν_WT,t；其中t＝1,2,3……t表示时刻；采集风电场历史上并网电价数据，记为λ_WT,t；获取氢气的历史售价数据，记为λ_HG,t。

2)将一个运行周期内的风电-制氢系统的优化目标及约束条件转化为含状态集合S、动作集合A和奖励函数r的无约束马尔可夫决策过程；S包含决策过程所有状态，时刻t的状态s_t＝{ν_WT,t，λ_WT,t，λ_HG,t，SoH_t}；A包含决策过程所有动作，时刻t的动作a_t＝{β_t,V_HST2HM,t}；r指在s_t下执行a_t获得的即时回报rt(a_t∣s_t)。

3)将市场机制下的风电-制氢系统含约束优化问题转化为无约束问题，并对t时刻风电-制氢转换率β_t和V_HST2HM,t的约束均体现在对动作值的限幅，转化储氢罐剩余氢气百分比和电解槽最大允许运行功率约束；

其中，ρ₁、ρ₂、ρ₃和ρ₄表示惩罚系数；为储氢罐剩余氢气百分比约束罚函数；表示电解槽最大允许运行功率约束罚函数。

4)构造DDPG算法所需两组结构相同的四个全连接层神经网络：在线、估计动作网络，参数集合分别θ^μ、θ^μ'，用于实现输入状态s_t到输出动作a_t的映射即策略π；在线、估计评价网络，参数集合分别为θ^v、θ^v'，用于实现状态s_t和动作a_t到动作价值函数Q^π(s_t，a_t)的映射。

5)设置基于深度确定性梯度策略算法的市场机制下的风电-制氢系统实时优化模型的学习率a，设置记忆库容量M和总迭代次数N，初始化神经网络参数集合θ。

6)复位市场机制下的风电-制氢系统获取状态s，并开始实施一个马尔可夫决策过程。

7)根据当前状态s和在线动作网络参数θ^μ输出动作a。

8)根据动作a计算目标函数值以获得奖励r和获取当前作用动作引起的下一时刻状态s_{_}。

9)将元组信息{s,a,r,s_{_}}存入记忆库以打破风速和价格数据的时间相关性。

10)判断记忆库是否存满，若存满，则执行步骤11)，反之，则执行步骤14)。

11)通过梯度下降策略更新在线动作网络的参数集合θ^μ：

其中，b表示从记忆库中有放回条件下等概率的采样元组信息的批次，表示在状态s_i和动作a_i下动作价值函数的梯度，/>表示在状态s_i下θ^μ动作更新值改变方向的梯度。

12)通过最小化损失函数更新在线评价网络的参数集合θ^v：

其中，L为损失函数值；表示在状态s_i和动作a_i下在线评价网络输出的动作价值函数值；y_i表示目标评价网络估计值；γ∈[0,1]表示折扣因子以表征环境的不确定性。

13)使用软更新技术更新目标动作、评价网络参数：

其中，τ为软更新系数，0＜τ＜＜1。

14)更新当前状态，赋值s＝s_{_}。

15)判断当前马尔可夫决策过程是否结束，若结束，则执行步骤16)，反之，则执行步骤7)。

16)迭代次数加一，并判断当前迭代次数是否达到最大迭代次数N，如果满足，则迭代停止并输出神经网络参数集合θ，反之，则执行步骤6)。

采用以上智能控制算法，不仅能高效整合外界不确定因素及相关关系，还能集预测与决策功能一体，有效地避免对额外预测依赖。提高了系统响应速度、优化目标准确性和风电输出稳定性的同时，还降低了运行成本、提升了经济性，最终实现了整个风电-制氢系统的实时最优化运行。

进一步，作为优选地实施例，根据具体情况，经过反复试验和验证，以上数学模型中部分参数或常量取以下固定常数具有更优效果。

综上所述，本发明风电-制氢系统在市场机制下收益最大化的运行方法,基于风电-制氢系统出力数学模型构建了风电-制氢系统在市场中随风电、氢气价格动态波动情况下的实时收益数学模型，并引入风电转换系数定量地耦合了风力发电系统与制氢系统；进一步，综合地考虑了风电出力数据和价格数据之间的不确定性关联关系，通过深度确定性梯度策略算法体现了风电历史出力数据和价格数据概率的特性，从而实现了风电-制氢系统实时优化运行。尤其是解决了当风电上网价格低于氢气市场价格时不能动态调节风电出力以获得更高收益的问题。因此，本发明具有总收益更高、风电外输稳定性好、运行智能化程度高的有益效果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (2)

1.风电-制氢系统在市场机制下收益最大化的运行方法，系统由风电场、电力市场、电解槽、储气罐以及氢气市场组成，其特点在于，使得该系统收益最大化的方法包括以下步骤：

S1，构造风电-制氢系统出力数学模型；

1)构造风电系统在不同风速下的等效出力数学模型如下，

其中，t表示当前时刻，p_WT,t为风电场等效出力，v_WT,t为t时刻的风速，v_ci为风电场最小允许投入风速，p_e为风电场额定出力，v_e为额定运行风速，v_co为风电场最大允许运行风速；

2)构造制氢系统的数学模型，

其中，p_WT2HG,t表示t时刻电解制氢消耗的风电，β_t表示t时刻风电-制氢转换率，N_EL,t表示t时刻电解槽产生的氢气，η^c为压缩系数，ΔT为时间常数，U_EL为电解槽工作电压，F_c为法拉第常量；

3)构造储氢系统的数学模型；

其中，V_HST,t与V_HST,t-1分别表示t时刻与t-1时刻储氢罐中的氢气量，T_HST为储氢罐的温度，R为气体常量，P_HST为储氢罐的压强，V_HST2HM,t表示t时刻从储氢罐中卖向氢气市场的氢气量，SoH_t表示t时刻储氢罐中剩余氢气量，V_HST,max表示储氢罐最大可用容量；

S2，构造市场机制下的风电-制氢系统实时优化目标函数及约束条件；

1)构造实时优化目标函数，优化目标函数为风电和氢气分别从电力市场和氢气市场获取收益的数学模型，

其中，p_WT2EM,t表示卖向电力市场的风电量，λ_WT,t表示t时刻的电价，λ_HG,t表示t时刻的氢气价格，f_t为t时刻的收益，T表示优化运行周期；

2)构造收益实时优化的约束条件；

其中，p_WT2HG,min表示电解槽最小启动功率，p_WT2HG,max表示电解槽最大运行功率，SoH_min表示储氢罐中最小允许剩余氢气百分比，SoH_max表示储氢罐中最大允许存储氢气百分比；

S3，搭建并训练基于深度确定性梯度策略算法(Deep Deterministic PolicyGradient,DDPG)的风电-制氢系统实时优化数学模型，并通过该数学模型获取实时优化运行策略；

S4，在实时优化运行策略中输入实时采集的风速和价格数据，即可实现考虑市场机制的风电-制氢系统实时优化运行。

2.根据权利要求1所述风电-制氢系统在市场机制下收益最大化的运行方法，其特点在于，所述深度确定性梯度策略算法的运行原理步骤包括：

1)采集风电场历史风速数据，记为ν_WT,t；其中t＝1,2,3……t表示时刻；采集风电场历史上并网电价数据，记为λ_WT,t；获取氢气的历史售价数据，记为λ_HG,t；

2)将一个运行周期内的风电-制氢系统的优化目标及约束条件转化为含状态集合S、动作集合A和奖励函数r的无约束马尔可夫决策过程；S包含决策过程所有状态，时刻t的状态s_t＝{ν_WT,t，λ_WT,t，λ_HG,t，SoH_t}；A包含决策过程所有动作，时刻t的动作a_t＝{β_t,V_HST2HM,t}；r指在s_t下执行a_t获得的即时回报rt(a_t∣s_t)；

3)将市场机制下的风电-制氢系统含约束优化问题转化为无约束问题，并对t时刻风电-制氢转换率β_t和V_HST2HM,t的约束均体现在对动作值的限幅，转化储氢罐剩余氢气百分比和电解槽最大允许运行功率约束；

r_t(a_t|s_t)＝f_t-φ_t ^SoH-φ_t ^WT2HG；

其中，ρ₁、ρ₂、ρ₃和ρ₄表示惩罚系数；φ_t ^SoH为储氢罐剩余氢气百分比约束罚函数；φ_t ^WT2HG表示电解槽最大允许运行功率约束罚函数；

4)构造DDPG算法所需两组结构相同的四个全连接层神经网络：在线、估计动作网络，参数集合分别θ^μ、θ^μ'，用于实现输入状态s_t到输出动作a_t的映射即策略π；在线、估计评价网络，参数集合分别为θ^v、θ^v'，用于实现状态s_t和动作a_t到动作价值函数Q^π(s_t，a_t)的映射；

5)设置基于深度确定性梯度策略算法的市场机制下的风电-制氢系统实时优化模型的学习率a，设置记忆库容量M和总迭代次数N，初始化神经网络参数集合θ；

6)复位市场机制下的风电-制氢系统获取状态s，并开始实施一个马尔可夫决策过程；

7)根据当前状态s和在线动作网络参数θ^μ输出动作a；

8)根据动作a计算目标函数值以获得奖励r和获取当前作用动作引起的下一时刻状态s_{_}；

9)将元组信息{s,a,r,s_{_}}存入记忆库以打破风速和价格数据的时间相关性；

10)判断记忆库是否存满，若存满，则执行步骤11)，反之，则执行步骤14)；

11)通过梯度下降策略更新在线动作网络的参数集合θ^μ；

其中，b表示从记忆库中有放回条件下等概率的采样元组信息的批次，表示在状态s_i和动作a_i下动作价值函数的梯度，/>表示在状态s_i下θ^μ动作更新值改变方向的梯度；

12)通过最小化损失函数更新在线评价网络的参数集合θ^v；

其中，L为损失函数值；表示在状态s_i和动作a_i下在线评价网络输出的动作价值函数值；y_i表示目标评价网络估计值；γ∈[0,1]表示折扣因子以表征环境的不确定性；

13)使用软更新技术更新目标动作、评价网络参数；

其中，τ为软更新系数，0＜τ＜＜1；

14)更新当前状态，赋值s＝s_{_}；

15)判断当前马尔可夫决策过程是否结束，若结束，则执行步骤16)，反之，则执行步骤7)；

16)迭代次数加一，并判断当前迭代次数是否达到最大迭代次数N，如果满足，则迭代停止并输出神经网络参数集合θ，反之，则执行步骤6)。