CN114647191A - 一种基于锅炉热负荷均衡分配的制粉系统优化调度方法 - Google Patents
一种基于锅炉热负荷均衡分配的制粉系统优化调度方法 Download PDFInfo
- Publication number
- CN114647191A CN114647191A CN202210308779.8A CN202210308779A CN114647191A CN 114647191 A CN114647191 A CN 114647191A CN 202210308779 A CN202210308779 A CN 202210308779A CN 114647191 A CN114647191 A CN 114647191A
- Authority
- CN
- China
- Prior art keywords
- boiler
- network
- coal
- actor
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000010298 pulverizing process Methods 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 38
- 230000002787 reinforcement Effects 0.000 claims abstract description 22
- 230000007613 environmental effect Effects 0.000 claims abstract description 15
- 238000011217 control strategy Methods 0.000 claims abstract description 5
- 239000003245 coal Substances 0.000 claims description 53
- 238000002485 combustion reaction Methods 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- 238000010438 heat treatment Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 238000000227 grinding Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 7
- 230000007774 longterm Effects 0.000 abstract description 4
- MWUXSHHQAYIFBG-UHFFFAOYSA-N nitrogen oxide Inorganic materials O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000004939 coking Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Regulation And Control Of Combustion (AREA)
- Control Of Steam Boilers And Waste-Gas Boilers (AREA)
- Feeding And Controlling Fuel (AREA)
Abstract
本发明提出一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，分别用锅炉效率表示经济性、锅炉热负荷均衡作为安全性、出口NOx浓度作为环保性，将这三种指标结合起来，作为强化学习的值函数。采用行动者‑评论家的强化学习框架，合理的选择强化学习的状态、动作和值函数，不断更新网络，使强化学习算法学习到最优的控制策略，选择使得长期回报最优的动作，最终实现制粉系统的自主最优决策优化调度控制。
Description
技术领域
本发明属于过程控制领域，特别涉及一种基于锅炉热负荷均衡分配的制粉系统优化调度方法。
背景技术
近年来，我国新能源电力增长速度惊人，规模化新能源电力并网问题严重，火电机组担负起调峰的任务，调峰过程中机组变负荷时改变磨煤机出力是必不可少的，由于磨煤机位置不同，不同磨煤机的出力对锅炉燃烧的影响不同，然而实际现场主要依靠人为主观选择磨煤机出力，缺乏对经济性、安全性和环保性的考量，时常错过最佳启停时机，或者选择效率低的磨组合煤量分配方式，因此需要一种方法帮助运行人员自主决策，选择合理的磨煤机出力。传统的遗传算法根据历史数据进行寻优，当机组特性或煤质变化时，寻优好的磨煤机组合出力分配不再适合，并且历史数据可能不会覆盖到所有情况，因此需要一种能在线学习、自主探索寻找最优分配方式的方法。
发明内容
本发明提出一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，强化学习算法可以实现对磨煤机组合分配的试错探索，最终找到一个策略，根据当前状态选择最优动作，使得该动作的长期回报最高，即值函数最大。分别用锅炉效率表示经济性、锅炉热负荷均衡分配作为安全性，出口NOx浓度作为环保性，将这三种指标结合起来，作为强化学习的值函数，合理的选择强化学习的状态、动作和值函数，不断更新网络，使强化学习算法得到最优的控制策略，选择使得长期回报最优的动作，最终实现制粉系统的自主最优决策控制。
一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，从锅炉燃烧的经济性、安全性和环保性综合考虑磨煤机组合优化分配的控制效果形成值函数，利用强化学习深度确定性策略网络算法对磨煤机组合进行优化，采用行动者-评论家的学习框架，学习磨煤机出力的控制策略，使得机组的经济性、安全性和环保性达到最优。
值函数为：R＝a*Ra+b*Rb+c*Rc
其中，Ra是锅炉燃烧的经济性指标，Rb是锅炉燃烧的安全性指标，Rc是锅炉燃烧的环保型指标，a、b、c三个指标的权值，指标越受重视权值越高；其中锅炉燃烧的经济性指标用锅炉效率表示，燃烧的安全性指标用锅炉各个受热面测量的壁温与热平衡图上壁温的差值判断，锅炉燃烧的环保性与出口NOx浓度有关。权值a、b、c均为1/3。
行动者-评论家的学习框架中，在线行动者的根据当前状态St和策略u，执行动作at，获得回报rt和下一状态St+1，将生成的序列(st,at,rt,st+1)保存到经验池中，同时从经验池中取出样本，更新网络参数；在线评论家根据当前状态给出行为值函数；目标评论家和行动者用于预测状态si+1下的行为值函数yi，目标行动者负责根据经验池中下一状态si+1选择最优动作，目标评论家负责计算选择动作后的行为值函数；二者的网络采用软更新，采用滑动平均法从当前网络复制最新网络参数。
附图说明
图1为一种锅炉磨煤机分布图；
图2为本发明的基于强化学习的磨煤机组合优化原理图。
具体实施方式
本发明提供了一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，如图2所示，建立基于强化学习的磨煤机组合优化方法。
在实际的出力系统中，磨煤机位置不同，如图1所示，所以不同磨煤机的出力对锅炉燃烧的影响也不同。但是在机组调峰过程中，磨煤机的出力主要是依靠工作人员人为主观选择，时常错过磨煤机的最佳启停时机，或者是所选择的磨煤机组合煤量分配方式的效率较低，缺乏对经济性、安全性和环保性的考量。本发明提出，从经济性、安全性和环保性三方面综合考虑磨煤机组合优化分配的控制效果。
磨煤机组合分配影响锅炉燃烧状况，影响锅炉运行效率，因此采用锅炉效率表示经济性，公式如下：
其中，Q1为锅炉有效吸热量，Qb为锅炉总热量，Ra是锅炉经济性指标，范围从0到1，越靠近1表示经济性高。
不合理的磨煤机组合使锅炉负荷不均衡，甚至会使锅炉结焦，锅炉热负荷均衡直接体现为锅炉的各个受热面的壁温，热平衡图上的壁温是锅炉设计时的标准值，计算各个受热面测量的壁温与热平衡图上壁温的差值，作为燃烧的安全性的判断依据，公式如下：
其中，Eu是最大温度误差，T(i)为当前壁温，Ta(i)为热平衡图上的标准壁温，n是壁温的个数，上式中分子的目的是得到壁温差的均值。
锅炉燃烧状态会影响到出口NOx浓度，锅炉内不完全燃烧导致出口NOx浓度增大，影响到机组的环保性，公式如下：
其中，Cnox为当前出口NOx浓度，Cmin为浓度最小值，Cmax为浓度最大值。
将上述三种指标结合，形成值函数统计公式：
R＝a*Ra+b*Rb+c*Rc
根据对Ra(锅炉效率，经济性指标)，Rb(壁温差，安全性指标)，Rc(出口NOx浓度，环保性指标)的重视程度选择合适的权值a、b、c，越重视权值越高使三种指标统一成值函数R。默认a、b、c均为1/3。
强化学习算法是一种具有在线学习、自主探索能力的方法，所以本发明利用强化学习深度确定性策略网络算法(DDPG)对磨煤机组合进行优化。采用行动者-评论家的学习框架，学习磨煤机出力的控制策略，使得机组的经济性、安全性和环保性达到最优。评论家使用神经网络近似估计行为值函数，行动者朝着行为值函数梯度方向更新策略参数。
如图2所示，DDPG包含在线策略网络、目标策略网络、在线估值网络和目标估值网络。其中在线网络(包括在线策略网络和在线估值网络)实时更新权值，并将权值以滑动平均的方式赋值给目标网络(包括目标策略网络和目标估值网络)，防止目标网络变学习、变动作造成的不收敛问题。
在线行动者的作用是根据当前状态St和策略u，执行动作at，获得回报rt和下一状态St+1，将生成的序列(st,at,rt,st+1)保存到经验池中，同时从经验池中取出样本，更新网络参数。状态包含每台磨煤机的出力情况、负荷、给水流量，动作为磨煤机出力的变化。根据确定性策略梯度定理，更新在线行动者网络的损失函数为：
其中，m表示从经验池中取出的m个样本，Q(si,ai,θu)为根据策略采取行动后的行为值函数，行为值函数由在线评论家网络给出。训练过程中希望值函数最大，因此神经网络反向传播更新在线行动者网络参数θu，使得损失函数最小。
在线评论家的作用是根据当前状态给出行为值函数，在线评论家网络的损失函数如下：
yi＝ri+Q′(si+1,u′(si+1|θu′)|θQ′)
其中，在线评论家网络参数为θQ，神经网络反向传播更新在线评论家网络参数θQ，使得损失函数最小。目标评论家网络参数为θQ′，目标行动者网络参数为θu′，目标评论家和行动者的主要作用是预测状态si+1下的行为值函数yi，目标行动者负责根据经验池中下一状态si+1选择最优动作，目标评论家负责计算选择动作后的行为值函数。二者的网络采用软更新，采用滑动平均法从当前网络复制最新网络参数，公式如下。
θQ′←τθQ+(1-τ)θQ′
θθ′←τθθ+(1-τ)θθ′
其中，τ是更新系数，一般设置为0.01。在训练的过程中，在线行动者给出的磨组合处理策略会越来越好，使值函数收敛到最大值。
由于磨煤机位置不同，不同磨煤机出力对锅炉燃烧状态影响不同。为了分析磨煤机出力对锅炉燃烧状态的影响程度，采用神经网络训练，建立锅炉燃烧器模型。锅炉燃烧器模型代表磨煤机出力对锅炉燃烧状态的影响，神经网络训练的输入为所有磨煤机出力，输出为锅炉壁温和和出口氮氧化合物浓度。建立好的模型可以在一定程度上模拟锅炉实际燃烧状态。
强化学习网络在建立好的锅炉燃烧器模型上进行初步训练，训练阶段在收敛时，可得到各磨煤机的最优给煤量；在强化学习网络实际运行过程中，强化学习网络在给出最优给煤量的同时，给确定性策略添加噪声构建行为策略，以小概率试探当前状态，从而不断更新强化学习网络，使磨煤机出力状态适应当前状态(st状态)。
采用强化学习网络学习制粉系统自主决策控制方法，可以使磨煤机出力提前动作，实现对锅炉经济性、安全性和环保性的长期规划，磨煤机保持在最优出力状态，最终制粉系统达到自主决策控制。
此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，其特征在于，从锅炉燃烧的经济性、安全性和环保性综合考虑磨煤机组合优化分配的控制效果形成值函数，利用强化学习网络对磨煤机组合出力进行优化，采用行动者-评论家的学习框架，学习磨煤机出力的控制策略，使得机组的经济性、安全性和环保性达到最优。
2.根据权利要求1所述的一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，其特征在于，所述值函数为：
R＝a*Ra+b*Rb+c*Rc
其中，Ra是锅炉燃烧的经济性指标，Rb是锅炉燃烧的安全性指标，Rc是锅炉燃烧的环保型指标，a、b、c三个指标的权值，指标越受重视权值越高；
锅炉燃烧的经济性指标用锅炉效率表示，公式如下：
其中，Q1为锅炉有效吸热量，Qb为锅炉总热量；
燃烧的安全性指标用锅炉各个受热面测量的壁温与热平衡图上壁温的差值判断，公式如下：
其中，Eu是最大温度误差，T(i)为当前壁温，Ta(i)为热平衡图上的标准壁温，n是壁温的个数；
锅炉燃烧的环保性与出口NOx浓度有关，公式如下：
其中，Cnox为当前出口NOx浓度，Cmin为浓度最小值，Cmax为浓度最大值。
3.根据权利要求2所述的一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，其特征在于，所述权值a、b、c均为1/3。
4.根据权利要求1所述的一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，所述行动者-评论家的学习框架中，在线行动者的根据当前状态St和策略u，执行动作at，获得回报rt和下一状态St+1，将生成的序列(st,at,rt,st+1)保存到经验池中，同时从经验池中取出样本，更新网络参数；状态包含每台磨煤机的出力情况、负荷、给水流量，动作为磨煤机出力的变化；根据确定性策略梯度定理，更新在线行动者网络的损失函数为：
其中，m表示从经验池中取出的m个样本，Q(si,ai,θu)为根据策略采取行动后的行为值函数，行为值函数由所述行动者-评论家的学习框架中的在线评论家网络给出；训练过程神经网络反向传播更新在线行动者网络参数θu，使得损失函数最小。
5.根据权利要求4所述的一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，所述行动者-评论家的学习框架中，在线评论家根据当前状态给出行为值函数，在线评论家网络的损失函数如下：
yi＝ri+Q′(si+1,u′(si+1|θu′)|θQ′)
其中，在线评论家网络参数为θQ，神经网络反向传播更新在线评论家网络参数θQ，使得损失函数最小；目标评论家网络参数为θQ′，目标行动者网络参数为θu′，目标评论家和行动者用于预测状态si+1下的行为值函数yi，目标行动者负责根据经验池中下一状态si+1选择最优动作，目标评论家负责计算选择动作后的行为值函数；二者的网络采用软更新，采用滑动平均法从当前网络复制最新网络参数，公式如下：
θQ′←τθQ+(1-τ)θQ′
θθ′←τθθ+(1-τ)θθ′
其中，τ是更新系数，一般设置为0.01；在训练的过程中，在线行动者给出的磨组合处理策略会越来越好，使值函数收敛到最大值。
6.根据权利要求1所述的一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，其特征在于，强化学习网络在建立好的锅炉燃烧器模型上进行初步训练，强化学习网络在训练阶段收敛时，可得到各磨煤机的最优给煤量；在强化学习网络实际运行过程中，强化学习网络在给出最优给煤量的同时，以小概率试探当前状态，从而不断更新强化学习网络，使磨煤机出力状态适应当前状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210308779.8A CN114647191A (zh) | 2022-03-28 | 2022-03-28 | 一种基于锅炉热负荷均衡分配的制粉系统优化调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210308779.8A CN114647191A (zh) | 2022-03-28 | 2022-03-28 | 一种基于锅炉热负荷均衡分配的制粉系统优化调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114647191A true CN114647191A (zh) | 2022-06-21 |
Family
ID=81995512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210308779.8A Pending CN114647191A (zh) | 2022-03-28 | 2022-03-28 | 一种基于锅炉热负荷均衡分配的制粉系统优化调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114647191A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115268270A (zh) * | 2022-07-29 | 2022-11-01 | 华能伊敏煤电有限责任公司 | 一种多源热网加热器优化调度方法、系统、设备及介质 |
-
2022
- 2022-03-28 CN CN202210308779.8A patent/CN114647191A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115268270A (zh) * | 2022-07-29 | 2022-11-01 | 华能伊敏煤电有限责任公司 | 一种多源热网加热器优化调度方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107726358B (zh) | 基于cfd数值模拟和智能建模的锅炉燃烧优化系统及方法 | |
| CN103576655B (zh) | 一种电站锅炉燃烧子空间建模及多目标优化方法和系统 | |
| CN105864797B (zh) | 循环流化床生活垃圾焚烧锅炉入炉热值实时预测系统及方法 | |
| JP6423967B2 (ja) | ローカルエネルギーネットワークを最適化するための制御装置 | |
| CN107203687B (zh) | 吸收塔脱硫过程多目标协同智能优化控制方法 | |
| CN110752626B (zh) | 一种主动配电网滚动优化调度方法 | |
| CN105020705A (zh) | 循环流化床锅炉燃烧性能实时优化控制方法及系统 | |
| CN109886471A (zh) | 基于神经网络与智能优化算法的火电机组负荷分配方法 | |
| CN103631140B (zh) | 基于性能评估的焦炉加热燃烧过程火道温度自动调节方法 | |
| CN113255198B (zh) | 一种含虚拟储能的冷热电联供微电网多目标优化方法 | |
| CN108954375A (zh) | 锅炉节煤控制方法 | |
| CN116307507B (zh) | 一种基于过热器壁温预测的多目标粒子群配煤方法 | |
| CN114647191A (zh) | 一种基于锅炉热负荷均衡分配的制粉系统优化调度方法 | |
| CN101968832A (zh) | 基于构造－剪枝混合优化rbf网络的煤灰熔点预测方法 | |
| WO2024060488A1 (zh) | 一种基于深度循环神经网络和进化计算的工业锅炉燃烧优化方法 | |
| Du et al. | Multi-regional building energy efficiency intelligent regulation strategy based on multi-objective optimization and model predictive control | |
| CN105808945B (zh) | 一种混合智能锅炉效率燃烧优化方法 | |
| CN102750424A (zh) | 一种生物质炉燃烧优化的方法 | |
| Xia et al. | A new multi‐objective hybrid optimization algorithm for wind‐thermal dynamic economic emission power dispatch | |
| Kuan et al. | Short-term CHP heat load forecast method based on concatenated LSTMs | |
| CN106873377B (zh) | 不确定扰动下的焦炉加热燃烧过程火道温度自动调节方法 | |
| Ling et al. | A thermal load forecasting algorithm based on trajectory tracking | |
| CN112734451A (zh) | 一种基于非合作博弈的农业大棚多能源系统和优化方法 | |
| CN111520740B (zh) | 一种多个多孔介质燃烧器协调优化运行的方法 | |
| Li et al. | Application of Improved Artificial Bee Colony Algorithm in constant pressure water supply system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231216 Address after: 102206 No. 2 Nong Road, Changping District, Beijing Applicant after: NORTH CHINA ELECTRIC POWER University Applicant after: HUANENG NANJING JINLING POWER GENERATION Co.,Ltd. Applicant after: Xi'an Thermal Power Research Institute Co.,Ltd. Applicant after: HUANENG GROUP TECHNOLOGY INNOVATION CENTER Co.,Ltd. Address before: 102206 No. 2 Nong Road, Changping District, Beijing Applicant before: NORTH CHINA ELECTRIC POWER University Applicant before: Xi'an Thermal Power Research Institute Co.,Ltd. Applicant before: HUANENG GROUP TECHNOLOGY INNOVATION CENTER Co.,Ltd. |