CN114204546B - 一种考虑新能源消纳的机组组合优化方法 - Google Patents

Abstract

本发明涉及一种考虑新能源消纳的机组组合优化方法，包括以下步骤：步骤1、构建日前新能源消纳动态评估模型；步骤2、基于LSTM神经网络预测新能源机组短期发电量，包括对历史数据预处理并采用LSTM网络完成对新能源机组发电量的预测；步骤3、将机组组合问题转化为马尔可夫决策过程，包括对电网状态s_t，动作a_t，奖励值R_t及转移函数的设计；步骤4、根据电网历史运行数据特征，基于参数自适应的神经网络完成智能体构建，训练智能体，获取以满足新能源消纳目标的机组出力计划。本发明能够提升以新能源为主体的新型电力系统稳定性，实现清洁能源的高效利用，在电网可靠运行的前提下完成对新能源的消纳。

Description

一种考虑新能源消纳的机组组合优化方法

技术领域

本发明属于电力系统自适应实时调度技术领域，涉及机组组合优化方法，尤其是一种考虑新能源消纳的机组组合优化方法。

背景技术

新型电力系统是以新能源为主体，以源网荷储互动与多能互补为支撑，具有清洁低碳、安全可控、灵活高效等基本特征的电力系统。新型电力系统近年来快速发展，但在能源供应、安全运行和清洁消纳方面国内外相关研究都相对较少。新型电力系统的控制问题已经从单一优化问题转化成复杂场景下多层多区多目标优化问题。传统调度方法先对机组组合问题进行数学建模，再用解析法求解最优解。这种优化算法难以应对大量的高比例新能源及高比例电力电子设备接入的问题。强化学习已被证明是一种有优势且有效的人工智能技术方法，但尚未有效应用于机组组合优化问题和调度策略的生成。因此，有必要设计一种基于强化学习的机组组合优化方法解决新型电力系统的新能源消纳问题。

经检索，未发现与本发明相同或相近似的现有技术的文献。

发明内容

本发明的目的在于克服现有技术的不足，提出一种考虑新能源消纳的机组组合优化方法，能够提升以新能源为主体的新型电力系统稳定性，实现清洁能源的高效利用，在电网可靠运行的前提下完成对新能源的消纳。

本发明解决其现实问题是采取以下技术方案实现的：

一种考虑新能源消纳的机组组合优化方法，包括以下步骤：

步骤1、构建日前新能源消纳动态评估模型；

步骤2、基于LSTM神经网络预测新能源机组短期发电量，包括对历史数据预处理并采用LSTM网络完成对新能源机组发电量的预测；

步骤3、将机组组合问题转化为马尔可夫决策过程，包括对电网状态s_t，动作a_t，奖励值R_t及转移函数的设计；

步骤4、根据电网历史运行数据特征，基于参数自适应的神经网络完成智能体构建，训练智能体，获取以满足新能源消纳目标的机组出力计划。

而且，所述步骤1的具体步骤包括：

(1)分析多种能源效益，构造经济调度模型；

常规机组运维成本：

风力发电，光伏发电惩罚成本：

(2)构建新能源调度优化模型；

式中F_c为常规机组的发电成本和启停成本，N_g是常规机组数量，a_i、b_i、c_i分别为成本函数的一次、二次常数系数。h_g,i,t为常规机组的启停状态，1表示机组处于运行状态，0表示机组处于停运状态，C_i,t为第i台常规机组的启停成本。F_w为限制风电的惩罚成本，和P_k,tw分别为风能发电的预测量和实际发电量，C_w为限制风电惩罚因子。N_P为负荷节点数目，N_L为支路节点数目，u_i,min和u_i,max为节点电压上下限，f(u_i)为电压概率密度函数，f(pl)为支路潮流概率密度函数。

(3)考虑机组组合的约束条件，包括静态约束和动态约束：

静态约束包括，功率平衡约束和机组出力上下限约束:

动态约束包括常规机组爬坡约束，机组最小启停时间约束和旋转备用约束：

式中，P_LOAD为负载所需功率，P _i,t和为常规机组发电量最小值和最大值，ΔT为日内调度最小间隔时间，/>和/>为常规机组调节率，/>和/>为机组向上向下的储备需求。

而且，所述步骤2的具体步骤包括：

(1)对历史功率、风速和温度三种不同的数据参量基于Min-Max Normalization进行归一化处理：

式中，X为待处理数据，X_mac为历史数据的最大值，X_min为历史数据的最小值，X^*为经过归一化后的标准数据。

(2)基于标准化后的历史数据预测新能源机组发电量，采用不同时间段对风电功率进行预测，与标准的循环神经网络一样，从t＝1开始计算长度为T的输入序列x的前向传播过程，在递增的同时递归地应用更新等式；从t＝T开始利用梯度下降法计算反向传播过程，完成网络的逆向参数调优。

而且，所述步骤3的具体方法为：

状态观测量s_t包括由步骤2获取的新能源机组发电量和负载需求预测值，当前时刻各机组出力值等。

动作a_t是动作是决定下一个时间的机组出力策略，a_t＝[a_1,t,a_2,t…aN,t]，所选取动作须服从发电机最小上/下时间限制。

奖励值R_t，奖励函数基于步骤1的目标函数来确定，要求运行成本最小和新能源消纳量最大。

当智能体作用于环境时，转移函数使环境转移到下一个时间步。本问题中发电机上升下降时间是确定的，根据步骤2负荷及新能源预测值滚动更新观测量。

而且，所述步骤4的具体步骤包括：

(1)基于步骤2新能源机组发电量历史出力数据，分析新能源机组的平均出力值和波动情况，构造六个典型神经网络分别对其训练；六个特征分别为“新能源高储量大波动”，“新能源高储量小波动”，“新能源中储量大波动”，“新能源中储量小波动”，“新能源低储量大波动”和“新能源低储量小波动”。

新能源机组日均出力指标为：

新能源机组波动大小基于灵活性指标来判断：

式中Δt＝5，表示每隔5分钟提取一次断面数据，p_w,t，p_w,t-1为这一时刻和前一时刻风力发电出力，p_pv,t，p_pv,t-1为这一时刻和前一时刻光伏发电出力。

(2)针对六个典型特征，分别基于SAC算法对智能体进行训练。

基于SAC算法，寻求最优策略如下：

式中，r(s_t,a_t)为当前状态s_t采取动作a_t后获得的奖励值，H(π(·|st))则表示控制策略π的熵值，α是SAC算法中的一个重要参数，称为温度系数，是鼓励探索新策略的程度。SAC算法的控制策略输出值是由平均值和协方差组成的随机高斯分布表示出来的，通过最小化预期Kullback-Leibler(KL)偏差来更新其控制策略的神经网络参数。

(3)测试智能体，具体包括对输入数据进行判断评估，采用相似度函数进行评估：

测试过程中输入数据与源数据之间的动态欧式距离越小，则两者之间越相似，判断其为六个典型特征的某一个，选取该智能体获取满足新能源消纳目标的机组出力计划。

本发明的优点和有益效果：

1、本发明提供了一种考虑新能源消纳的机组组合优化方法，根据消纳目标构建日前新能源消纳动态评估模型，基于Min-Max Normalization方法对新能源历史数据进行处理，并采用LSTM神经网络实现对新能源机组发电量预测，将机组组合问题转化为马尔科夫决策过程，通过分析数据特征将新能源发电分为六个典型特征，基于这些特征构建参数自适应的智能体并基于历史电网运行数据训练智能体，获取满足新能源消纳目标的机组出力计划。

2、本发明构建了充分考虑新型电网在面对突发情况时的鲁棒性问题和新能源消纳问题的动态模型，将机组组合问题和经济问题结合在一起讨论，为灵活调整常规机组出力奠定基础。

3、本发明设计了一种基于LSTM网络预测新能源机组短期发电量的方法，对新能源发电量进行有效预测可以使电网调度系统能有效利用新能源，提高新能源并网效率，为机组组合和有功调度奠定基础。

4、本发明将机组组合问题转化为马尔科夫决策过程，基于参数自适应的神经网络构建智能体，将新能源出力分为六个典型特征，解决了新型电网自适应机组调度过程中动作不够精确问题，采用SAC算法有效解决爆炸性动作空间问题和电网系统在优化策略探索过程中的脆弱性问题，提高了神经网络参数的更新速度和算法收敛速度。

附图说明

图1是本发明的一种考虑新能源消纳的机组组合优化方法处理流程图；

图2是本发明的LSTM网络结构图；

图3是本发明的LSTM网络内部结构图；

图4是本发明的基于LSTM网络的风电机组短期发电量预测结果；

图5是本发明的基于参数自适应的神经网络训练智能体流程图。

具体实施方式

以下对本发明实施例作进一步详述：

本发明在新能源大量接入的电网环境下，提出了一种考虑新能源消纳的机组组合优化方法，构建了日前新能源消纳动态模型，基于LSTM网络实现对新能源机组发电量的预测，并将机组组合问题转化成马尔科夫决策过程。将新能源发电分为六个典型特征，基于这些特征构建参数自适应的智能体并基于历史电网运行数据训练智能体，获取以满足新能源消纳为目标的机组出力计划。

一种考虑新能源消纳的机组组合优化方法，如图1所示，包括以下步骤：

步骤1、构建日前新能源消纳动态评估模型；

在本实施例中，将机组组合问题和经济调度问题结合在一起讨论，基于最优策略分配负载功率需求。新能源并网后，带来的波动性和不确定性变强，需要灵活调整常规机组的出力策略，保证机组经济运行。

所述步骤1的具体步骤包括：

(1)分析多种能源效益，构造经济调度模型，常规火电机组发电主要考虑机组发电成本，启停成本。新能源发电机组主要考虑以风光为主的可再生能源，考虑其运维成本，弃风弃光损失；

常规机组运维成本：

风力发电，光伏发电惩罚成本：

(2)构建新能源调度优化模型，考虑弃风、弃光量最小和电网运行风险最小；

式中F_c为常规机组的发电成本和启停成本，N_g是常规机组数量，a_i、b_i、c_i分别为成本函数的一次、二次常数系数，P_i,t表示t时刻第i个常规机组发电功率。h_g,i,t为常规机组的启停状态，1表示机组处于运行状态，0表示机组处于停运状态，C_i,t为第i台常规机组的启停成本。F_w1为限制风电的惩罚成本，F_w2为弃光的惩罚成本和P_k,tw分别为风能发电的预测量和实际发电量，C_w、C_pv为限制风电光电的惩罚因子。N_P为负荷节点数目，N_L为支路节点数目，u_i,min和u_i,max为节点电压上下限，f(u_i)为电压概率密度函数，f(p_l)为支路潮流概率密度函数。

(3)为保证电力系统稳定运行，考虑机组组合的约束条件，包括静态约束和动态约束。

静态约束包括，功率平衡约束和机组出力上下限约束:

动态约束包括常规机组爬坡约束，机组最小启停时间约束和旋转备用约束：

式中，P_LOAD为负载所需功率，P _i,t和为常规机组发电量最小值和最大值，为新能源机组发电量最大值，ΔT为日内调度最小间隔时间，/>和/>为常规机组调节率，/>和/>为机组向上向下的储备需求。

步骤2、基于LSTM神经网络预测新能源机组短期发电量，包括对历史数据预处理并采用LSTM网络完成对新能源机组发电量的预测。

所述步骤2的具体步骤包括：

在本实施例中，所述步骤2中，基于LSTM的新能源机组发电量预测，本质上式建立一个模型，反映未来短期内的新能源功率与历史新能源机组发电功率之间的一种映射关系，主要包括以下内容：

(1)历史数据预处理，针对不同类型的数据采取数据归一化方法处理，目的是使目标函数快速收敛，对历史功率、风速和温度三种不同的数据参量基于Min-MaxNormalization进行归一化处理：

式中，X为待处理数据，X_mac为历史数据的最大值，X_min为历史数据的最小值，X^*为经过归一化后的标准数据。

(2)基于标准化后的历史数据预测新能源机组发电量，LSTM是通过在循环神经网络(RNN)隐层中增加多个特殊的计算节点衍生出来的网络结构，可以对输入的信息选择性的遗忘或记录，有效减缓梯度消失和梯度爆炸问题，LSTM的网络结构如图2所示。

输入门Input Gate：信息输入层，输入层的开关决定了这一时刻是否有信息输入到存储单元(Memory Cell)。

输出门Output Gate：信息输出层，某一时刻是否有信息从存储单元输出取决于输出门。

遗忘门Forget Gate：每个时刻，存储单元里的值都会经历一个是否被遗忘的过程。

输入LSTM神经网络的信息，先进入输入门，判断是否有信息输入，再判断遗忘门是否选择遗忘Memory Cell里的信息，最后再经过输出门判断是否将这一时刻的信息输出。LSTM里用到的激活函数有两个，tanh函数和sigmoid函数，其内部结构如图3所示。

Memory Cell作为一个记忆存储的地方，类似于神经网络的状态s_t，h_t是隐藏层的缩写，a是这一时刻的输出，Z，Z_i，Z_o，Z_f四个值相辅相成作为LSTM网络的输入。

式中W_i、W_f、W_o和h_t-1为权重系数，Z_i，Z_o，Z_f是门控装置，通过这一时刻的输入和上一时刻的隐藏状态，与权重系数点积，通过sigmoid激活函数获得一个0-1之间的数值，作为输入信号，输出信号及遗忘信号，0表示完全关闭，1表示完全打开。

预测新能源机组发电量影响因素较多，基于步骤1获得的标准数据，以预测风电功率为例说明基于LSTM网络预测新能源发电功率的方法步骤，采用不同时间段对风电功率进行预测。与标准的循环神经网络一样，从t＝1开始计算长度为T的输入序列x的前向传播过程，在递增的同时递归地应用更新等式。从t＝T开始利用梯度下降法计算反向传播过程，完成网络的逆向参数调优。基于LSTM对风电功率预测如结果如图4所示，依赖历史数据对风电功率预测，图中展示了1440分钟的预测效果。图4中风电功率预测数据基本接近真实值，但有一定的误差和延迟。考虑到测试数据有限，如果历史数据能增多，准确性提高并考虑风力发电的物理模型将进一步体现LSTM网络的优势，增加测试数据量的增加，也可以更精确的预测风电功率。新能源发电功率的精确预测为机组组组和有功调度的实施奠定基础。

步骤3、将机组组合问题转化为马尔可夫决策过程，包括对电网状态s_t，动作a_t，奖励值R_t及转移函数的设计。

在本实施例中，所述步骤3的具体方法为：

所述步骤3中将机组组合问题转化为马尔可夫决策过程(MDP)，包括T个决策过程。对电网状态s_t，动作a_t，奖励值R_t及转移函数的设计，智能体根据将状态映射到行动的策略来动作，强化学习的任务是确定一个在MDP中使奖励的总和最大化的策略。机组组合问题中，则需要通过最小化运行成本及弃风成本来实现回报的最大化。

状态观测量s_t包括由步骤2获取的新能源机组发电量和负载需求预测值，当前时刻各机组出力值等。

动作a_t是动作是决定下一个时间的机组出力策略，a_t＝[a_1,t,a_2,t…a_N,t]，所选取动作须服从发电机最小上/下时间限制。

奖励值R_t，奖励函数基于步骤1的目标函数来确定，要求运行成本最小和新能源消纳量最大。

当智能体作用于环境时，转移函数使环境转移到下一个时间步。本问题中发电机上升下降时间是确定的，根据步骤2负荷及新能源预测值滚动更新观测量。

步骤4、根据电网历史运行数据特征，基于参数自适应的神经网络完成智能体构建，训练智能体，获取以满足新能源消纳目标的机组出力计划。

在本实施例中，所述步骤4中根据每月数据特征，基于参数自适应的神经网络完成智能体构建，具体包括根据步骤2所提取的电网环境特征和步骤3的马尔科夫决策过程，构建具有自主决策能力的智能体，根据提取的电网特征在模拟环境中基于强化学习对智能体进行训练，提高智能体对电网环境的认知能力和决策能力，在实际环境中实时输出电网的调度策略。具体包括：

(1)基于步骤2新能源机组发电量历史出力数据，分析新能源机组的平均出力值和波动情况，构造六个典型神经网络分别对其训练。六个特征分别为“新能源高储量大波动”，“新能源高储量小波动”，“新能源中储量大波动”，“新能源中储量小波动”，“新能源低储量大波动”和“新能源低储量小波动”。

新能源机组日均出力指标为：

新能源机组波动大小基于灵活性指标来判断：

式中Δt＝5，表示每隔5分钟提取一次断面数据，p_w,t，p_w,t-1为这一时刻和前一时刻风力发电出力，p_pv,t，p_pv,t-1为这一时刻和前一时刻光伏发电出力，S_w和S_pv为风光机组装机容量。

(2)针对六个典型特征，分别基于SAC算法对智能体进行训练。

基于SAC算法，寻求最优策略如下：

式中，r(s_t,a_t)为当前状态s_t采取动作a_t后获得的奖励值，H(π(·|s_t))则表示控制策略π的熵值，α是SAC算法中的一个重要参数，称为温度系数，是鼓励探索新策略的程度。SAC算法的控制策略输出值是由平均值和协方差组成的随机高斯分布表示出来的，通过最小化预期Kullback-Leibler(KL)偏差来更新其控制策略的神经网络参数。

(3)测试智能体，具体包括对输入数据进行判断评估，采用相似度函数进行评估：

测试过程中输入数据与源数据之间的动态欧式距离越小，则两者之间越相似，判断其为六个典型特征的某一个，选取该智能体获取满足新能源消纳目标的机组出力计划。

基于参数自适应的神经网络训练智能体流程图如图5所示。智能体训练过程首先基于原始观测空间判断此时新能源储量及波动情况，训练相应神经网络参数，优化机组动作空间完成预训练，将训练好的智能体应用到电网环境中，实时地输出电网调度策略。实施过程中，将初始化的数据输入电网环境，观测电网是否稳定运行，判断当前新能源消纳量，若不满足消纳，智能体基于当前观测数据生成决策，输出机组组合策略和有功出力策略，决策作用于电网环境进入下一个时间步。

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (4)

1.一种考虑新能源消纳的机组组合优化方法，其特征在于：包括以下步骤：

步骤1、构建日前新能源消纳动态评估模型；

步骤2、基于LSTM神经网络预测新能源机组短期发电量，包括对历史数据预处理并采用LSTM网络完成对新能源机组发电量的预测；

步骤3、将机组组合问题转化为马尔可夫决策过程，包括对电网状态s_t，动作a_t，奖励值R_t及转移函数的设计；

步骤4、根据电网历史运行数据特征，基于参数自适应的神经网络完成智能体构建，训练智能体，获取以满足新能源消纳目标的机组出力计划；

所述步骤1的具体步骤包括：

(1)分析多种能源效益，构造经济调度模型；

常规机组运维成本：

风力发电，光伏发电惩罚成本：

(2)构建新能源调度优化模型；

式中F_c为常规机组的发电成本和启停成本，N_g是常规机组数量，a_i、b_i、c_i分别为成本函数的一次、二次常数系数；h_g,i,t为常规机组的启停状态，1表示机组处于运行状态，0表示机组处于停运状态，C_i,t为第i台常规机组的启停成本；F_w为限制风电的惩罚成本，和P_k,t ^w分别为风能发电的预测量和实际发电量，C_w为限制风电惩罚因子；N_P为负荷节点数目，N_L为支路节点数目，u_i,min和u_i,max为节点电压上下限，f(u_i)为电压概率密度函数，f(p_l)为支路潮流概率密度函数；

(3)考虑机组组合的约束条件，包括静态约束和动态约束：

静态约束包括，功率平衡约束和机组出力上下限约束:

动态约束包括常规机组爬坡约束，机组最小启停时间约束和旋转备用约束：

式中，P_LOAD为负载所需功率，P _i,t和为常规机组发电量最小值和最大值，ΔT为日内调度最小间隔时间，/>和/>为常规机组调节率，/>和/>为机组向上向下的储备需求。

2.根据权利要求1所述的一种考虑新能源消纳的机组组合优化方法，其特征在于：所述步骤2的具体步骤包括：

(1)对历史功率、风速和温度三种不同的数据参量基于Min-Max Normalization进行归一化处理：

式中，X为待处理数据，X_mac为历史数据的最大值，X_min为历史数据的最小值，X^*为经过归一化后的标准数据；

(2)基于标准化后的历史数据预测新能源机组发电量，采用不同时间段对风电功率进行预测，与标准的循环神经网络一样，从t＝1开始计算长度为T的输入序列x的前向传播过程，在递增的同时递归地应用更新等式；从t＝T开始利用梯度下降法计算反向传播过程，完成网络的逆向参数调优。

3.根据权利要求1所述的一种考虑新能源消纳的机组组合优化方法，其特征在于：所述步骤3的具体方法为：

状态观测量s_t包括由步骤2获取的新能源机组发电量和负载需求预测值，当前时刻各机组出力值等；

动作a_t是动作是决定下一个时间的机组出力策略，a_t＝[a_1,t,a_2,t…a_N,t]，所选取动作须服从发电机最小上/下时间限制；

奖励值R_t，奖励函数基于步骤1的目标函数来确定，要求运行成本最小和新能源消纳量最大；

当智能体作用于环境时，转移函数使环境转移到下一个时间步；本问题中发电机上升下降时间是确定的，根据步骤2负荷及新能源预测值滚动更新观测量。

4.根据权利要求1所述的一种考虑新能源消纳的机组组合优化方法，其特征在于：所述步骤4的具体步骤包括：

(1)基于步骤2新能源机组发电量历史出力数据，分析新能源机组的平均出力值和波动情况，构造六个典型神经网络分别对其训练；六个特征分别为“新能源高储量大波动”，“新能源高储量小波动”，“新能源中储量大波动”，“新能源中储量小波动”，“新能源低储量大波动”和“新能源低储量小波动”；

新能源机组日均出力指标为：

新能源机组波动大小基于灵活性指标来判断：

式中Δt＝5，表示每隔5分钟提取一次断面数据，p_w,t，p_w,t-1为这一时刻和前一时刻风力发电出力，p_pv,t，p_pv,t-1为这一时刻和前一时刻光伏发电出力；

(2)针对六个典型特征，分别基于SAC算法对智能体进行训练；

基于SAC算法，寻求最优策略如下：

式中，r(s_t,a_t)为当前状态s_t采取动作a_t后获得的奖励值，H(π(·|s_t))则表示控制策略π的熵值，α是SAC算法中的一个重要参数，称为温度系数，是鼓励探索新策略的程度；SAC算法的控制策略输出值是由平均值和协方差组成的随机高斯分布表示出来的，通过最小化预期Kullback-Leibler(KL)偏差来更新其控制策略的神经网络参数；

(3)测试智能体，具体包括对输入数据进行判断评估，采用相似度函数进行评估：

测试过程中输入数据与源数据之间的动态欧式距离越小，则两者之间越相似，判断其为六个典型特征的某一个，选取该智能体获取满足新能源消纳目标的机组出力计划。