CN114620819A - 一种卷烟异味气体喷淋水洗循环水pH值调节方法 - Google Patents

一种卷烟异味气体喷淋水洗循环水pH值调节方法 Download PDF

Info

Publication number
CN114620819A
CN114620819A CN202210195078.8A CN202210195078A CN114620819A CN 114620819 A CN114620819 A CN 114620819A CN 202210195078 A CN202210195078 A CN 202210195078A CN 114620819 A CN114620819 A CN 114620819A
Authority
CN
China
Prior art keywords
value
circulating water
adjusting
input
sodium hydroxide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210195078.8A
Other languages
English (en)
Other versions
CN114620819B (zh
Inventor
李文亮
吴悦
徐文涛
徐潇媛
季亦帆
刘海龙
龚良昊
马建忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongyun Honghe Tobacco Group Co Ltd
Original Assignee
Hongyun Honghe Tobacco Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongyun Honghe Tobacco Group Co Ltd filed Critical Hongyun Honghe Tobacco Group Co Ltd
Priority to CN202210195078.8A priority Critical patent/CN114620819B/zh
Publication of CN114620819A publication Critical patent/CN114620819A/zh
Application granted granted Critical
Publication of CN114620819B publication Critical patent/CN114620819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F1/00Treatment of water, waste water, or sewage
    • C02F1/66Treatment of water, waste water, or sewage by neutralisation; pH adjustment
    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F1/00Treatment of water, waste water, or sewage
    • C02F1/008Control or steering systems not provided for elsewhere in subclass C02F
    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F2103/00Nature of the water, waste water, sewage or sludge to be treated
    • C02F2103/18Nature of the water, waste water, sewage or sludge to be treated from the purification of gaseous effluents
    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F2209/00Controlling or monitoring parameters in water treatment
    • C02F2209/06Controlling or monitoring parameters in water treatment pH
    • CCHEMISTRY; METALLURGY
    • C02TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02FTREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F2209/00Controlling or monitoring parameters in water treatment
    • C02F2209/40Liquid flow rate

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Water Supply & Treatment (AREA)
  • Chemical & Material Sciences (AREA)
  • Organic Chemistry (AREA)
  • Separation Using Semi-Permeable Membranes (AREA)

Abstract

本发明公开了一种卷烟异常气味喷淋水洗循环水pH值调节方法,属于卷烟生产技术领域,建立基于Q‑learning算法的pH值控制器,克服流量、pH值存在非线性、时变性、非稳态的特点,控制效果优于传统PID控制器。通过pH调节反应器离线仿真模型对pH值控制器进行训练,补充过程数据集,减少训练成本,部署安装便捷,减少改造成本。pH值调整更加精确,增加循环水循环次数,减少水资源浪费。

Description

一种卷烟异味气体喷淋水洗循环水pH值调节方法
技术领域
本发明属于卷烟生产技术领域,更具体的说涉及一种卷烟异味气体喷淋水洗循环水pH值调节方法。
背景技术
卷烟生产中的制丝过程不可避免会产生大量的异味气体,这些气体对会厂区周围大气环境产生较大的影响。目前,卷烟厂通常采用喷淋水洗的方法对异味气体进行吸收,烟厂异味气体中存在有机酸,喷淋水回收时总体呈酸性,pH值为4。喷淋水洗循环水流量较大,采用传统的储水式pH值调节方法需要建造大型水箱,占地面积大、改造成本高,难以在建成烟厂中实际实施改造,因此需要对循环水pH值实现动态调节。循环水中含有的烟气成分复杂,pH调节非线性,采用传统的PID控制器进行调节,调节效果并不理想。
发明内容
本发明针对现有技术中存在的上述缺陷,提出一种卷烟异味气体喷淋水洗循环水pH值调节方法,通过Q-learning算法对非线性、高延时、非稳态的循环水输出pH值稳定调节,提高异味气体净化率,增加循环水循环次数。
为了实现上述目的,本发明采用以下技术方案实现:一种卷烟异常气味喷淋水洗循环水pH值调节方法,包括以下步骤:
步骤1:建立pH调节反应器离线仿真模型;
步骤2:建立基于Q-learning算法pH值控制器;
步骤3:使用pH调节反应器离线仿真模型提供的动作状态数据对基于Q-learning算法pH值控制器进行训练;
步骤4:pH值控制器训练完成,在线部署。
优选的,步步骤1所述的pH调节反应器离线仿真模型包括反应器、循环水输入管道、氢氧化钠溶液输入管道、循环水输出管道,所述的循环水输入管道上设置有调节循环水输入流量的薄膜阀一,所述的氢氧化钠输入管道上设置有调节氢氧化钠溶液输入流量的薄膜阀二,循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度为设定值,循环水输出pH值为模拟值。
优选的,步骤2包括以下步骤:
步骤2.1:将薄膜阀一开度、薄膜阀二开度作为动作集合A,将循环水输出pH值作为状态集合S,创建Q值表对动作值函数Q(s,a)进行表示;
步骤2.2:设定奖励矩阵R,所述的奖励矩阵R为:
Figure BDA0003525767250000021
式中Rt为奖励函数,Kr为常数,用于调整奖励函数范围,abs(pH实际-pH设定)表示循环水输出pH设定值与实际值的绝对值,abs(at-at+1)表示动作离散绝对值。
优选的,所述的步骤3包括以下步骤:
步骤3.1:根据循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度选择Q值表,并初始化Q值表;
步骤3.2:任意给定状态st,st∈S;
步骤3.3:根据st,采用贪婪算法计算动作at+1,计算执行动作at+1的状态变化st+1以及奖励函数Rt
步骤3.4:根据Q(st,at)←Q(st,at)+α[Rt+γQ(st+1,at+1)-Q(st,at)]对状态st和动作at相应Q值进行更新;
步骤3.5:如果st←st+1,st不在改变循环结束,否则st→st+1返回步骤3.2继续循环至设定迭代次数。
优选的,所述的步骤3.2根据蒙特卡洛取样法从历史数据中抽取数据作为循环水输出pH值st
本发明有益效果:
建立基于Q-learning算法的pH值控制器,克服流量、pH值存在非线性、时变性、非稳态的特点,控制效果优于传统PID控制器。通过pH调节反应器离线仿真模型对pH值控制器进行训练,补充过程数据集,减少训练成本,部署安装便捷,减少改造成本。pH值调整更加精确,增加循环水循环次数,减少水资源浪费。
附图说明
图1为本发明流程图;
图2为步骤3训练流程图;
图3为pH调节反应器离线仿真模型;
图4为基于Q-learning算法pH值控制器及传统PID控制器pH值实时调整结果。
具体实施方式
为了便于本领域一般技术人员理解和实现本发明,现结合附图及具体实施例进一步描述本发明的技术方案。
本发明公开了一种卷烟异味气体喷淋水洗循环水pH值调节方法,包括以下步骤:
步骤1:建立喷淋水洗循环水系统离线仿真模型;
作为优选的,步骤1所述的pH调节反应器离线仿真模型包括反应器、循环水输入管道、氢氧化钠溶液输入管道、循环水输出管道,所述的循环水输入管道上设置有调节循环水输入流量的薄膜阀一,所述的氢氧化钠输入管道上设置有调节氢氧化钠溶液输入流量的薄膜阀二,循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度为设定值,循环水输出pH值为模拟值。本实施例中,离线仿真模型如图3所示。通过历史数据集计算反应容器中流量贡献的H+离子速率,反应容器中流量贡献的H+离子速率计算公式如下:
Figure BDA0003525767250000031
式中
Figure BDA0003525767250000032
表示输入反应容器中流量贡献的H+离子速率,
Figure BDA0003525767250000033
表示循环水输入反应容器的H+离子浓度,F1表示循环水输入反应容器中的流量,
Figure BDA0003525767250000034
表示调配好的氢氧化钠溶液中OH-浓度,F2表示调配好的氢氧化钠溶液流入流量,
Figure BDA0003525767250000041
表示流出反应容器的H+离子浓度,F3表示流出反应容器的流量,V是反应容器体积。
在同一反应器中,可以通过历史数据计算不同状态输入反应容器中流量贡献的H+离子速率,设定循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度后便可计算出循环水输出pH的模拟值,在200分钟的总模拟时间内,时间步长dt=0.1分钟。每次模拟总计2000次迭代,获得充分多的仿真数据。
步骤2:建立基于Q-learning算法pH值控制器;
步骤2.1:将薄膜阀一开度、薄膜阀二开度作为动作集合A,将循环水输出pH值、循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度作为状态集合S,创建Q值表对动作值函数Q(s,a)进行表示;本实施例中,将薄膜阀一0-100%开度离散为[0.0,0.1,...,99.9,100.0],将薄膜阀二0-100%开度离散为[0.0,0.1,...,99.9,100.0],将循环水输出pH值、循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度根据可调节区间均分离散,Q值表大小为n×m,n为离散化后的状态总数,m为离散化后的动作总数。
步骤2.2:步骤2.2:设定奖励矩阵R,所述的奖励矩阵R为:
Figure BDA0003525767250000042
式中Rt为奖励函数,Kr为常数,用于调整奖励函数范围,abs(pH实际-pH设定)表示循环水输出pH设定值与实际值的绝对值,abs(at-at+1)表示动作离散绝对值。
因为氢氧化钠及循环水对金属腐蚀性较强,动作幅度使阀门磨损增大,增加设备故障概率,abs(at-at+1)≤0.1时奖励函数变为2倍,选用改进后的奖励函数增加了对更加平滑的控制策略的奖励,通过降低薄膜阀动作频率,使阀门磨损最小化。
步骤3:使用pH调节反应器离线仿真模型提供的动作数据状态数据对基于Q-learning算法pH值控制器进行训练;
步骤3.1:根据循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度选择Q值表,并初始化Q值表;
步骤3.2:任意给定当前循环水输出pH值st,st∈S;
进一步的,根据蒙特卡洛取样法从历史数据中抽取数据作为循环水输出pH值st。
Noise=RandomSelcet(1/datasetn)
选用蒙特卡洛取样法使策略信号在迭代过程中有效信息减少,抗干扰性更新。随着迭代次数的增加,噪声相应减少,有利于算法收敛。
步骤3.3:根据st,采用贪婪算法计算动作at+1,计算执行动作at+1的状态变化st+1以及奖励函数Rt;
所述的步骤3.3中利用的贪婪算法如下:
Figure BDA0003525767250000051
其中,random a是在动作集合A中随机选取的薄膜阀一开度、薄膜阀二开度,
Figure BDA0003525767250000052
是选择使Q(st,at)值最接近设定循环水输出pH值的动作a,rand是值在0~1之间的随机数,ε是随机因子,可通过改变ε来改变薄膜阀一开度、薄膜阀二开度的随机性。
步骤3.4:根据Q(st,at)←Q(st,at)+α[Rt+γQ(st+1,at+1)-Q(st,at)]对状态st和动作at相应Q值进行更新;
式中α为学习率、γ为衰减率,学习率α∈(0,1],衰减率γ∈[0,1),α和γ共同决定了动作值函数更新时对Q(st+1,at+1)的学习程度。
步骤3.5:如果st←st+1,st不在改变循环结束,否则st→st+1返回步骤3.2继续循环至设定迭代次数。
训练完成后,pH值控制器根据训练结果对薄膜阀一、薄膜阀二进行调节。
步骤4:pH值控制器训练完成,在线部署。
计算服务器采集现场循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度,运算计算程序将控制指令输入至现场PLC控制器,现场PLC控制器控制薄膜阀一、薄膜阀二动作,对喷淋水洗循环水pH值进行调节。
进一步的,基于Q-learning算法pH值控制器及传统PID控制器pH值实时调整结果如图4所示,经比较可知,本发明控制器循环水输出pH值稳定在6.9-7.1之间,波动小于传统PID控制器的6.5-7.3。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的仅为本发明的优选例,并不用来限制本发明,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种卷烟异常气味喷淋水洗循环水pH值调节方法,其特征是,包括如下步骤:
步骤1:建立pH调节反应器离线仿真模型;
步骤2:建立基于Q-learning算法pH值控制器;
步骤3:使用pH调节反应器离线仿真模型提供的动作状态数据对基于Q-learning算法pH值控制器进行训练;
步骤4:pH值控制器训练完成,在线部署。
2.根据权利要求1所述的一种卷烟异常气味喷淋水洗循环水pH值调节方法,其特征是,步骤1所述的pH调节反应器离线仿真模型包括反应器、循环水输入管道、氢氧化钠溶液输入管道、循环水输出管道,所述的循环水输入管道上设置有调节循环水输入流量的薄膜阀一,所述的氢氧化钠输入管道上设置有调节氢氧化钠溶液输入流量的薄膜阀二,循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度为设定值,循环水输出pH值为模拟值。
3.根据权利要求1所述的一种卷烟异常气味喷淋水循环水pH值调节方法,其特征是,步骤2包括以下步骤:
步骤2.1:将薄膜阀一开度、薄膜阀二开度作为动作集合A,将循环水输出pH值、循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度作为状态集合S,创建Q值表对动作值函数Q(s,a)进行表示;
步骤2.2:设定奖励矩阵R,所述的奖励矩阵R为:
Figure FDA0003525767240000011
式中Rt为奖励函数,kr为常数,用于调整奖励函数范围,abs(pH实际-pH设定)表示循环水输出pH的设定值与实际值间绝对值,abs(at-at+1)表示动作离散绝对值。
4.根据权利要求1所述的一种卷烟异常气味喷淋水洗循环水pH值调节方法,其特征是,所述的步骤3包括如下步骤:
步骤3.1:根据选择Q值表,并初始化Q值表;
步骤3.2:任意给定状态st,st∈S;
步骤3.3:根据st,采用贪婪算法计算动作at+1,计算执行动作at+1的状态变化st+1以及奖励函数Rt
步骤3.4:根据Q(st,at)←Q(st,at)+α[Rt+γQ(st+1,at+1)-Q(st,at)]对状态st和动作at相应Q值进行更新;
步骤3.5:如果st←st+1,st不在改变循环结束,否则st→st+1返回步骤3.2继续循环至设定迭代次数。
5.根据权利要求4所述的一种卷烟异常气味喷淋水洗循环水pH值调节方法,其特征是,所述的步骤3.2根据蒙特卡洛取样法从历史数据中抽取数据作为状态st
CN202210195078.8A 2022-03-01 2022-03-01 一种卷烟异味气体喷淋水洗循环水pH值调节方法 Active CN114620819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195078.8A CN114620819B (zh) 2022-03-01 2022-03-01 一种卷烟异味气体喷淋水洗循环水pH值调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195078.8A CN114620819B (zh) 2022-03-01 2022-03-01 一种卷烟异味气体喷淋水洗循环水pH值调节方法

Publications (2)

Publication Number Publication Date
CN114620819A true CN114620819A (zh) 2022-06-14
CN114620819B CN114620819B (zh) 2023-03-28

Family

ID=81900771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195078.8A Active CN114620819B (zh) 2022-03-01 2022-03-01 一种卷烟异味气体喷淋水洗循环水pH值调节方法

Country Status (1)

Country Link
CN (1) CN114620819B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150024367A1 (en) * 2013-07-17 2015-01-22 Xerox Corporation Cost-aware non-stationary online learning
US20180089553A1 (en) * 2016-09-27 2018-03-29 Disney Enterprises, Inc. Learning to schedule control fragments for physics-based character simulation and robots using deep q-learning
CN110910067A (zh) * 2019-11-25 2020-03-24 南京师范大学 一种结合深度学习与Q-learning的活鱼运输水质智能调控方法和系统
CN111594322A (zh) * 2020-06-05 2020-08-28 沈阳航空航天大学 一种基于Q-Learning的变循环航空发动机推力控制方法
CN111637444A (zh) * 2020-06-05 2020-09-08 沈阳航空航天大学 一种基于q学习的核电蒸汽发生器水位控制方法
CN113505649A (zh) * 2021-06-10 2021-10-15 广州杰赛科技股份有限公司 一种自来水加氯控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150024367A1 (en) * 2013-07-17 2015-01-22 Xerox Corporation Cost-aware non-stationary online learning
US20180089553A1 (en) * 2016-09-27 2018-03-29 Disney Enterprises, Inc. Learning to schedule control fragments for physics-based character simulation and robots using deep q-learning
CN110910067A (zh) * 2019-11-25 2020-03-24 南京师范大学 一种结合深度学习与Q-learning的活鱼运输水质智能调控方法和系统
CN111594322A (zh) * 2020-06-05 2020-08-28 沈阳航空航天大学 一种基于Q-Learning的变循环航空发动机推力控制方法
CN111637444A (zh) * 2020-06-05 2020-09-08 沈阳航空航天大学 一种基于q学习的核电蒸汽发生器水位控制方法
CN113505649A (zh) * 2021-06-10 2021-10-15 广州杰赛科技股份有限公司 一种自来水加氯控制方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
华容等: "改进的预估模糊PID串级吸收塔pH值控制仿真研究", 《新技术新工艺》 *
方原柏: "污水处理装置中pH值调节系统的设计", 《有色金属(选矿部分)》 *

Also Published As

Publication number Publication date
CN114620819B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN103472723A (zh) 基于多模型广义预测控制器的预测控制方法及系统
CN108153146B (zh) 一种高炉多元铁水质量无模型自适应控制系统及方法
CN107544255B (zh) 一种批次注塑过程的状态补偿模型控制方法
CN113780576B (zh) 基于奖励自适应分配的合作多智能体强化学习方法
CN112742187A (zh) 一种脱硫系统中pH值的控制方法及装置
CN111013370A (zh) 一种基于深度神经网络的湿法脱硫浆液供给量预测方法
CN104616072B (zh) 一种基于区间优化的提高谷氨酸发酵产物浓度的方法
CN115356919B (zh) 一种二氧化氯消毒机pid控制器自适应调整方法
CN103399488B (zh) 基于自学习的多模型控制方法
CN114620819B (zh) 一种卷烟异味气体喷淋水洗循环水pH值调节方法
CN113379166B (zh) 一种工艺参数的预测方法、装置、电子设备及存储介质
CN109240362B (zh) 一种基于分数阶PID控制器的废水pH值调节方法
CN113625573B (zh) 受非对称死区输入影响的分数阶系统反步滑模控制方法
CN115765050A (zh) 一种电力系统安全校正控制方法、系统、设备及存储介质
CN114240144A (zh) 基于生成对抗模仿学习的电力系统动态经济调度系统及方法
CN110880773B (zh) 基于数据驱动与物理模型驱动结合的电网调频控制方法
CN108549215B (zh) 一种无刷直流电机模糊化自适应pid控制优化方法
CN112518742B (zh) 基于动态模型与事后经验回放的多目标机器人控制方法
CN115146936A (zh) 梯级水光蓄互补调度模型求解的动态调整学习因子算法
CN103558762B (zh) 基于图形化组态技术的免疫遗传pid控制器的实现方法
Yang et al. PID parameter tuning of multi-capacity system based on differential evolution algorithm
TWI809592B (zh) 模型預測控制系統及其方法
Dai et al. Development of exhaust control method of fixed anode x-ray tube based on BP-PID algorithm
CN114967780B (zh) 一种基于预测控制的脱硫系统pH值控制方法及系统
Singh Design and Implementation of Intelligent Control Schemes for pH Neutralization Process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant