CN117134364B - 基于阶段性策略梯度算法的饲料加工企业负荷管理方法 - Google Patents

Abstract

本申请涉及一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，包括以下具体步骤：S1.建立饲料加工业特定工业流程模型，包含设备开关型子流程、连续型子流程和中间流程；S2.根据用户的负荷管理需求，构建基于能耗削减的马尔科夫负荷管理动作模型；S3.选择阶段性策略梯度算法对马尔科夫负荷管理动作模型进行优化并验证。本申请应证了模型可行性，通过参考方法进一步协调联动社会需求和用户自身利益，促进挖掘更多响应资源，提高用户参与需求响应积极性。

Description

基于阶段性策略梯度算法的饲料加工企业负荷管理方法

技术领域

本申请涉及电力需求侧管理领域，尤其涉及一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法。

背景技术

用电需求呈现冬夏“双峰”特征，峰谷差不断扩大，电力保障供应难度增大。工业制造业能效优化正成为一个关键的发展方向，工业制造业作为能源消费的主体，拥有相对完整的传感设备、检测和控制基础设施。负荷管理主要集中在工业企业整体，研究相对较少深入到具体的制造过程中。饲料制造业是工艺流程相对固定的行业之一。因此对特定的饲料工业制造业进行建模和分析，并结合阶段性策略梯度算法算法，构建一个相对完整的工业负荷管理框架，具有重要的示范作用和首创意义。

发明内容

本申请实施例的目的在于提供一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，分析饲料加工业特定工业流程模型，将该行业的负荷管理能量消耗模型转换为马尔科夫过程模型，并根据模型的具体需求选择近似策略算法优化模型并进行测试验证。

为实现上述目的，本申请提供如下技术方案：

本申请实施例提供一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，包括以下具体步骤：

S1.建立饲料加工业特定工业流程模型，包含设备开关型子流程、连续型子流程和中间流程；

S2.根据用户的负荷管理需求，构建基于能耗削减的马尔科夫负荷管理动作模型；

S3.选择阶段性策略梯度算法对马尔科夫负荷管理动作模型进行优化并验证。

所述步骤S1中，将饲料加工厂的生产线可以拆分为三个子过程，即原材料粉碎、饲料制备和精磨，饲料生产的三个子流程是分为两类：一个是设备开关型子流程，另一种是设备连续调节型子流程，其中开关型子流程为粉碎，连续调节型子流程为饲料制备和精磨。

所述步骤S3中评估结果通过以下方法实现：

通过阶段性策略梯度算法建立了两个策略网络，根据改进型的策略网络训练负荷管理策略训练整个策略运行速率，并基于偏离函数约束范围不断更新策略网络，并通过试验应证方案的可行性。

与现有技术相比，本发明的有益效果是：对一种工业制造企业工业工程分解出多类特征，考虑多类特征构建了整体的负荷管理优化模型，结合自身用户实际案例，进一步协调联动了电网需求和自身利益，提高了负荷管理的工作实用性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例方法流程示意图。

图2是训练期间的平均奖励图。

图3是每个设备在需求响应下的总能耗生产计划安排情况图。

图4是每个过程中的储存状态和成品的生产产量图。

图5是是否在一天内执行需求响应计划的电费比较图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参阅图1所示，本申请实施例提供一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，包括以下具体步骤：

S1.建立饲料加工业特定工业流程模型，包含设备开关型子流程﹑连续型子流程﹑中间流程及响应最优目标函数。

S2.根据用户的负荷管理需求，构建基于能耗削减的马尔科夫负荷管理动作模型。

S3.选择阶段性策略梯度算法对马尔科夫负荷管理动作模型进行并验证。

所述步骤S1中，将饲料加工厂的生产线可以拆分为三个子过程，即原材料粉碎、饲料制备和精磨。饲料生产的三个子流程是分为两类:一个是设备开关型子流程，另一种是设备连续调节型子流程。其中开关型子流程为粉碎。连续调节型子流程为饲料制备和精磨。

1.在开关型子流程中，有如下等式成立：

E_t表示状态能量消耗，U_t表示开关量，当切换开关量U_t为0时，粉碎机进入待机状态，每小时能耗为E₀。当切换开关量E_t为1时，破碎机进入运行状态，每小时能耗为E_op。u_t为开关值，其等于系统的下一个时间状态下Ut+1。为启动成本，由前一时间间隔t的状态量U_t+1和动作开关量u_t决定。

2.在连续型子流程中，有如下等式成立：

f'(u_t)＝ηf(u_t) (2)

f(u_t)为进料流量，当粉碎机运行时，进料流量为n。当粉碎机处于空闲状态时，进料流速为0。f’(u_t)为排出流量，进料流量与排出流量之间存在一定的线性关系，具体关系反映在效率系数η中。

饲料制备和精磨工艺的能耗设备主要是球磨机，采用变速调节。

上式(3)中，可调速设备的运行能耗取决于运行功率P_t ¹和进料速率V_t ¹。球磨机的运行功率P_t ¹与转速/>直接相关，并遵循一定函数规律g()。进料速率V_t ¹与转速/>直接相关，并遵循一定函数规律h()。粉碎机的排出量V_t'¹与进料速率V_t ¹之间存在一定的线性关系，具体关系反映在效率系数η中。/>和/>表示磨机转速的上限和下限。对于研磨过程，转速/>的下限是饲料制备(流程2)和精磨(流程3)过程中防止钢球在磨机中掉落的最小转速。

3.在中间存储流程中，有以下等式成立：

4.系统目标功能：作为制造工厂应生产为首要任务，同时考虑能源效率优化，在执行需求响应确保日常正常生产计划符合标准。因此，系统目标函数是：

是调度后的饲料产量，pricet是随时间变化的电价，Nplan是计划产量。Et是每个设备的能量消耗的总和。

基于开关型流程连续型流程和中间存储流程，构建基于系统目标函数最优分布的马尔可夫负荷管理决策模型，分为以下集合：

1.状态集：状态空间信息

2.动作集：包括粉碎机的切换量和磨机研磨速度，其表示如下：

3.激励集：激励功能表示为约束动作空间，其表示如下：

其中，R′_t为粉碎过程激励，R″_t为饲料制备激励，R″′_t为精磨激励。

因此，马尔科夫决策模型如下：

输入是每个过程的状态和随时间变化的电价S_t和p_t。输出是动作选择伯努利分布下的可能性p_c(S_t)及其均值u_2-3(S_t)和标准差σ_2-3。

[w]，[b]和[w_σ]是输出的权重和偏差近似策略网络的输出层，以及激活函数为f(S_t)是的输出隐藏层。隐藏层的输入是潜在的特征，其计算公式为：

[w]_a，[b]_a是邻近策略网络的隐藏层参数，激活函数Relu(x)＝max(0，x)。

所述步骤S3中，通过阶段性策略梯度算法建立了两个策略网络，其网络参数分别为v’和v。根据策略G’_v收集的数据用于训练v。利用重要性采样的思想，可以将表示为：

表示目标函数的梯度，A^v'(S_t，A_t)表示优势比较函数。/>是新旧策略根据状态集S_t采取动作集A_t的概率的比值。

然后将原始目标函数J(v)转换为以下形式：

A^v'(S_t，A_t)是优势函数。G_v(A_t|S_t)和G_v'(A_t|S_t)分别是具有网络参数v和v’的概率策略。PPG的真实优化目标函数为：

阶段性策略梯度算法可以表示为：

max J^g'(v)＝E(S_t，A_t)～G_s(L^clip(v)) (15)

ε∈(0，1)，[1-ε，1+ε]来定义以1为中心的窄区间，并在小样本小批量中使用新旧策略来输出比率的大小。如果比率超过偏差约束范围，则可以通过clip()截断该比率。

对于PPG来说，优势函数是：

R是即时奖励，θ是贴现因子，S_t+1是执行动作A之后的状态。损失函数定义为：

L^G(v)＝E[-L^clip(v)-C₁H^G(S_t)] (18)

H^G为策略交叉熵函数，C₁为超参数。

PPG使用不相交的策略和价值网络来减少目标之间的干扰，包含一个辅助价值网络L^aux(v)，这里辅助损失函数从而在策略和价值函数之间共享特征：

试验训练情况如下：

首先选取相关参数信息，相关参数配置如下：

如图1所示，系统收敛到最优值，随着迭代次数的增加，智能体继续根据策略探索行动空间，并从多次尝试和错误中逐渐学习，并在200次迭代时逐渐收敛到最高平均奖励并趋于稳定。图2绘制了在所提出的负荷管理方案下所有设备的总能耗。从中可以看出电价上涨时，设备的总能源需求减少，从而避免了用电高峰期的能源消耗需求。图3选择了不同饲料制造工艺和饲料成品生产之间的储料仓状态进行展示.可以看出。在低电价期间，支持材料制备过程的储料仓填充得更快。在高电价期间，生产放缓，储存量在此期间波动。但总体产能保持在储存量产能限制范围内。从最终饲料产品的生产状态来看，饲料总量在一天内持续增加。直方图中显示的生产速度将降低在高电价期间略有下降，但通过各种过程的配合仍能维持。如图4所示。在负荷管理方案下，当天的电力成本低于没有需求响应调度的情况，这在一定程度上降低了电力用户的电力成本。

本申请通过设计基于过程的饲料加工企业负荷管理方法，并通过结合自身用户实际情况执行响应案例，应证了模型可行性，通过参考方法进一步协调联动社会需求和用户自身利益，促进挖掘更多响应资源，提高用户参与需求响应积极性。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (3)

1.一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，其特征在于，包括以下具体步骤：

S1.建立饲料加工业特定工业流程模型，包含设备开关型子流程、连续型子流程和中间流程；

S2.根据用户的负荷管理需求，构建基于能耗削减的马尔科夫负荷管理动作模型；

S3.选择阶段性策略梯度算法对马尔科夫负荷管理动作模型进行优化并验证；

基于开关型流程、连续型流程和中间存储流程，构建基于系统目标函数最优分布的马尔可夫负荷管理决策模型，分为以下集合：

状态集：状态空间信息

动作集：包括粉碎机的切换量和磨机研磨速度，其表示如下：

激励集：激励功能表示为约束动作空间，其表示如下：

其中，R_t'为粉碎过程激励，R_t”为饲料制备激励，R_t”'为精磨激励，

因此，马尔科夫决策模型如下：

输入是每个过程的状态和随时间变化的电价S_t和p_t，输出是动作选择伯努利分布下的可能性p_c(S_t)及其均值u_2-3(S_t)和标准差σ_2-3，

[w]，[b]和[w_σ]是输出的权重和偏差近似策略网络的输出层，以及激活函数为f(S_t)是输出隐藏层，隐藏层的输入是潜在的特征，其计算公式为：

[w]_a，[b]_a是邻近策略网络的隐藏层参数，激活函数Relu(x)＝max(0，x)。

2.根据权利要求1所述的一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，其特征在于，所述步骤S1中，将饲料加工厂的生产线拆分为三个子过程，即原材料粉碎、饲料制备和精磨，饲料生产的三个子流程是分为两类：一个是设备开关型子流程，另一种是设备连续调节型子流程，其中开关型子流程为粉碎，连续调节型子流程为饲料制备和精磨。

3.根据权利要求1所述的一种基于阶段性策略梯度算法的饲料加工企业负荷管理方法，其特征在于，所述步骤S3中评估结果通过以下方法实现：

通过阶段性策略梯度算法建立了两个策略网络，根据改进型的策略网络训练负荷管理策略训练整个策略运行速率，并基于偏离函数约束范围不断更新策略网络，并通过试验应证方案的可行性。