CN111036044B - 一种基于深度强化学习的零耗气吸附式干燥机的控制方法 - Google Patents

一种基于深度强化学习的零耗气吸附式干燥机的控制方法 Download PDF

Info

Publication number
CN111036044B
CN111036044B CN201911262083.0A CN201911262083A CN111036044B CN 111036044 B CN111036044 B CN 111036044B CN 201911262083 A CN201911262083 A CN 201911262083A CN 111036044 B CN111036044 B CN 111036044B
Authority
CN
China
Prior art keywords
reinforcement learning
time
deep reinforcement
neural network
zero
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911262083.0A
Other languages
English (en)
Other versions
CN111036044A (zh
Inventor
陈仲华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Avis Machinery Co ltd
Original Assignee
Jiangxi Avis Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Avis Machinery Co ltd filed Critical Jiangxi Avis Machinery Co ltd
Priority to CN201911262083.0A priority Critical patent/CN111036044B/zh
Publication of CN111036044A publication Critical patent/CN111036044A/zh
Application granted granted Critical
Publication of CN111036044B publication Critical patent/CN111036044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01D—SEPARATION
    • B01D53/00—Separation of gases or vapours; Recovering vapours of volatile solvents from gases; Chemical or biological purification of waste gases, e.g. engine exhaust gases, smoke, fumes, flue gases, aerosols
    • B01D53/26—Drying gases or vapours
    • B01D53/28—Selection of materials for use as drying agents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01D—SEPARATION
    • B01D53/00—Separation of gases or vapours; Recovering vapours of volatile solvents from gases; Chemical or biological purification of waste gases, e.g. engine exhaust gases, smoke, fumes, flue gases, aerosols
    • B01D53/02—Separation of gases or vapours; Recovering vapours of volatile solvents from gases; Chemical or biological purification of waste gases, e.g. engine exhaust gases, smoke, fumes, flue gases, aerosols by adsorption, e.g. preparative gas chromatography
    • B01D53/04—Separation of gases or vapours; Recovering vapours of volatile solvents from gases; Chemical or biological purification of waste gases, e.g. engine exhaust gases, smoke, fumes, flue gases, aerosols by adsorption, e.g. preparative gas chromatography with stationary adsorbents
    • B01D53/0454—Controlling adsorption

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Chemical & Material Sciences (AREA)
  • Oil, Petroleum & Natural Gas (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Drying Of Gases (AREA)

Abstract

本发明提供了一种基于深度强化学习的零耗气吸附式干燥机控制方法，通过将空气湿度At，气体流量Pt，外部环境温度Kt以及该时刻t在所处流程中与本流程开始时刻所间隔的时间Tt作为深度强化学习神经网络的输入量，并构造相应的奖励函数，使得零耗气吸附式干燥机能够精确切换流程，能根据环境变化做出相应调整，保证干燥空气温度输出，高效率使用吸附剂且不需要知道吸附剂相关数据，减少整机不必要动作延长设备使用寿命。

Description

一种基于深度强化学习的零耗气吸附式干燥机的控制方法
技术领域
本发明涉及干燥机技术领域，尤其是涉及一种基于深度强化学习的零耗气吸附式干燥机的控制方法。
背景技术
零耗气吸附式干燥机是一种常见的压缩空气干燥设备，具有能耗低，循环过程中压力保持不变的优点。
现有技术中，对于零耗气吸附式干燥机的状态切换具有不够智能，难以和环境相应，切换时间不够精确的缺点，导致整机效率降低，能耗增加，设备寿命由于频繁的低效开关而缩短，带来诸多不利。
申请号为201220685053.8的一种零耗气吸附式干燥机的温度控制装置提供了一种以温度信号为基础，由智能化控制器控制阀门切换的控制方法，然而该方法需要提前知道吸附剂的完全解吸温度，同时也缺少对环境变化因素的考虑，使得智能化控制器在判断指令切换时并不精确。
通常，以申请号为201220685053.8公布的电路图为基础的零耗气吸附式干燥机包括下述流程：
①左吸附罐加热(解吸附)、右吸附罐干燥阶段流程；
②左吸附罐冷却(吸附)、右吸附罐干燥阶段流程；
③右吸附罐加热(解吸附)、左吸附罐干燥阶段流程；
④右吸附罐冷却(吸附)、左吸附罐干燥阶段流程。
那么，如何使控制程序发出指令精确切换流程，能根据环境变化做出相应调整，且没有多余能耗，同时高效率使用吸附剂，减少整机不必要动作延长寿命成为一个需要解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够精确切换流程，能根据环境变化做出相应调整，高效率使用吸附剂且不需要知道吸附剂相关数据，延长设备使用寿命的零耗气吸附式干燥机的控制方法。
本发明所采用的技术方案是，一种基于深度强化学习的零耗气吸附式干燥机的控制方法，包括：
S1、构建深度强化学习神经网络；
S2、采集每个时刻t干燥机输出的空气湿度At，气体流量Pt，外部环境温度 Kt以及该时刻t在所处流程中与本流程开始时刻所间隔的时间Tt作为神经网络的输入量，将输入量记为St；
S3、将t时刻输出动作at后获得的奖励记为rt；
S4、构建损失函数，训练深度强化学习神经网络获得指令切换最优策略。
本发明的有益效果是：
(1)通过使用深度强化学习模型，将切换判断指标从具体的温度值变为湿度值的变化量，从而能够直接保证可以准确对湿度变化做出反应。
(2)通过深度强化学习探索最优策略，使得在流程切换时，吸附剂能够处于已经发挥最大限度作用的状态，使得整个设备的使用效率加强，不需要考虑吸附剂最大发挥作用时的温度值，延长流程切换间隔从而增加设备使用寿命。
(3)与一般的根据实时判断空气湿度进行流程实时切换的控制方法相比，将湿度、时长作为神经网络输入量的控制方法能够保证在训练后保证干燥空气的稳定输出，切换时间精确，而一般的方法在空气输出端感知到湿度增长时，往往意味着一部分未干燥气体已经泄露，难以保证系统流程精确切换。
(4)将气体流量和外部环境温度加入神经网络输入量中，使得白天黑夜以及季节变换所导致的环境参数能够作为判断依据之一，使干燥机能够根据环境变化进行精准切换。
作为优先，步骤S1中所述的深度强化学习神经网络使用DQN算法，包括动作价值输出神经网络和根据ξ-greedy方法得到的经验池，所述经验池记录的每组数据为(St，at，rt，St+1)，通过ξ-greedy方法进行搜索，使得经验池能够获取执行动作在环境中所带来的真实奖励。
作为优先，步骤S2中所述的空气湿度At为绝对空气湿度，使用绝对空气湿度作为输入数据，能够更直观的呈现干燥机输出空气的干燥程度。
作为优先，步骤S3中所述的at包括切换工作状态指令
Figure RE-GDA0002396724850000021
和保持当前工作状态指令
Figure RE-GDA0002396724850000031
所述切换工作状态指令
Figure RE-GDA0002396724850000032
是指按照常规的零耗气吸附式干燥机切换流程顺序进行切换，每一个
Figure RE-GDA0002396724850000033
指令的发出都代表干燥机按照顺序切换至下一个流程，通过这样的设置，使得输出动作时只需要判断两个动作指令的价值，减小运算量，简化模型。
作为优先，步骤S3中所述的rt＝1+γT-(1+At-At-1)2η，当t时刻的动作指令为
Figure RE-GDA0002396724850000034
时，T的取值为0，当t时刻的动作指令为
Figure RE-GDA0002396724850000035
时，T为当前的
Figure RE-GDA0002396724850000036
指令与上一个发出切换工作状态指令时刻之间的时长，γ是T的影响因子，γ＞0，η是空气湿度的放大系数，为正整数，将两个切换指令之间的时间作为奖励，使得在控制流程切换时，控制程序会尽可能的延长两个切换流程指令之间的时间，从而使吸附剂能够充分发挥作用；通过设置与空气湿度相关的负奖励，使得当吸附剂未发挥完作用，当前时刻与上一时刻的空气湿度变化量趋近于0，使得rt的值趋近于T，仍然能够保持奖励的增长，从而增大最大累积奖励，而当空气湿度变化量增大时，在指数放大的作用下，负奖励将在极短时间内增长为一个较大的值使最大积累奖励在短时间内降低较大数值乃至直接变为负数，从而促使智能控制程序自主调节到在吸附剂用完时即切换流程的策略，使得总累积奖励能够在不检测到空气湿度产生较大变化的基础上达到最大值，使用1+At-At-1是因为湿度变化幅度偏小，不加1的话，控制程序容易忽视在较小幅度内变化的湿度，加1后控制程序能够更容易感知到在小幅度内变化的空气湿度。
作为优先，步骤S4中所述的损失函数为：
L＝(rt+Qmax(St+1，at+1)-Q(St，at))2
其中，Q(St，at)为当前时刻以选择动作的前提下输出的该动作最大累积奖励期望，Qmax(St+1，at+1)为下一时刻可以选择的动作所对应的最大累积奖励期望中，数值最大的最大累积奖励期望，使用常规的DQN算法损失函数构造方式，运算量相对较小，节省运算资源。
作为优先，步骤S4中所述的训练深度强化学习神经网络的方法为从经验池中获取训练数据，使用梯度下降法对神经网络进行训练，通过梯度下降法对训练数据进行计算优化神经网络，使得神经网络能够求得最优策略。
具体实施方式
本发明公开了一种基于深度强化学习的零耗气吸附式干燥机的控制方法，包括：
S1、构建深度强化学习神经网络；
所述的深度强化学习神经网络使用DQN算法，包括动作价值输出神经网络和根据ξ-greedy方法得到的经验池，所述经验池记录的每组数据为(St，at，rt，St+1)，通过ξ-greedy方法进行搜索，使得经验池能够获取执行动作在环境中所带来的真实奖励。
S2、采集每个时刻t干燥机输出的空气湿度At，气体流量Pt，外部环境温度 Kt以及该时刻t在所处流程中与本流程开始时刻所间隔的时间Tt作为神经网络的输入量，将输入量记为St；
步骤S2中所述的空气湿度At为绝对空气湿度，使用绝对空气湿度作为输入数据，能够更直观的呈现干燥机输出空气的干燥程度。
将空气湿度At，气体流量Pt，外部环境温度Kt以及该时刻t在所处流程中与本流程开始时刻所间隔的时间Tt作为神经网络的输入量，使得该控制方法能够对不同环境做出灵活应对，使得流程切换更为精准，保证干燥机能够稳定输出干燥空气。
S3、将t时刻输出动作at后获得的奖励记为rt；
所述的at包括切换工作状态指令
Figure RE-GDA0002396724850000041
和保持当前工作状态指令
Figure RE-GDA0002396724850000042
所述切换工作状态指令
Figure RE-GDA0002396724850000043
是指按照常规的零耗气吸附式干燥机切换流程顺序进行切换，每一个
Figure RE-GDA0002396724850000044
指令的发出都代表干燥机按照顺序切换至下一个流程，通过这样的设置，使得输出动作时只需要判断两个动作指令的价值，减小运算量，简化模型。
步骤S3中所述的rt＝1+γT-(1+At-At-1)2η，当t时刻的动作指令为
Figure RE-GDA0002396724850000045
时，T 的取值为0，当t时刻的动作指令为
Figure RE-GDA0002396724850000046
时，T为当前的
Figure RE-GDA0002396724850000047
指令与上一个发出切换工作状态指令时刻之间的时长，γ是T的影响因子，γ＞0，η是空气湿度的放大系数，为正整数，将两个切换指令之间的时间作为奖励，使得在控制流程切换时，控制程序会尽可能的延长两个切换流程指令之间的时间，从而使吸附剂能够充分发挥作用；通过设置与空气湿度相关的负奖励，使得当吸附剂未发挥完作用，当前时刻与上一时刻的空气湿度变化量趋近于0，使得rt的值趋近于T，仍然能够保持奖励的增长，从而增大最大累积奖励，而当空气湿度变化量增大时，在指数放大的作用下，负奖励将在极短时间内增长为一个较大的值，使最大积累奖励在短时间内降低较大数值乃至直接变为负数，从而促使智能控制程序自主调节到在吸附剂用完时即切换流程的策略，使得总累积奖励能够在不检测到空气湿度产生较大变化的基础上达到最大值。
S4、构建损失函数，训练深度强化学习神经网络获得指令切换最优策略。
步骤S4中所述的损失函数为：
L＝(rt+λQmax(St+1，at+1)-Q(St，at))2
其中，Q(At，at)为当前时刻以选择动作的前提下输出的该动作最大累积奖励期望，Qmax(At+1，at+1)为下一时刻可以选择的动作所对应的最大累积奖励期望中，数值最大的最大累积奖励期望，λ为折扣系数，使用常规的DQN算法损失函数构造方式，运算量相对较小，节省运算资源。
步骤S4中所述的训练深度强化学习神经网络的方法为从经验池中获取训练数据，使用梯度下降法对神经网络进行训练，通过梯度下降法对训练数据进行计算优化神经网络，使得神经网络能够求得最优策略。
本发明的有益效果是：
(1)通过使用深度强化学习模型，将切换判断指标从具体的温度值变为湿度值的变化量，从而能够直接保证可以准确对湿度变化做出反应。
(2)通过深度强化学习探索最优策略，使得在流程切换时，吸附剂能够处于已经发挥最大限度作用的状态，使得整个设备的使用效率加强，不需要考虑吸附剂最大发挥作用时的温度值，延长流程切换间隔从而增加设备使用寿命。
(3)与一般的根据实时判断空气湿度进行流程实时切换的控制方法相比，将湿度、时长作为神经网络输入量的控制方法能够保证在训练后保证干燥空气的稳定输出，切换时间精确，而一般的方法在空气输出端感知到湿度增长时，往往意味着一部分未干燥气体已经泄露，难以保证系统流程精确切换。
(4)将气体流量和外部环境温度加入神经网络输入量中，使得白天黑夜以及季节变换所导致的环境参数能够作为判断依据之一，使干燥机能够根据环境变化进行精准切换。
在具体的实施例中，γ、η和λ根据实际需求进行调整，如当希望空气湿度变化不超过0.1时，η可以取为50，此时当湿度变化在0.01数量级浮动时，指数放大后仍保持在较小值，当湿度变化为0.1数量级时，指数放大后放大幅度极大，γ为100，T的单位为秒，与放大后的负奖励相适应，该选取规律可由对公式进行数值调试获得，λ可以取为0.5，为深度强化学习折扣系数的常规取值。
在具体落地使用时，定期利用ξ-greedy方法对环境的实际情况进行探索，获得经验池，然后根据经验池对神经网络模型进行优化，得到一个相对最优的流程切换策略，随着使用时间的延长，神经网络的函数拟合将越来越接近真实环境变化，从而保证能够获得设备流程切换的最优策略，使得吸附式干燥机能够稳定输出干燥空气。

Claims (3)

1.一种基于深度强化学习的零耗气吸附式干燥机控制方法，其特征在于，包括：
S1、构建深度强化学习神经网络；
S2、采集每个时刻t干燥机输出的空气湿度At，气体流量Pt，外部环境温度Kt以及该时刻t在所处流程中与本流程开始时刻所间隔的时间Tt作为神经网络的输入量，将输入量记为St；
S3、将t时刻输出动作at后获得的奖励记为rt；
S4、构建损失函数，训练深度强化学习神经网络获得指令切换最优策略；
步骤S1中所述的深度强化学习神经网络使用DQN算法，包括动作价值输出神经网络和根据ξ-greedy方法得到的经验池，所述经验池记录的每组数据为(St，at，rt，St+1)；
步骤S2中所述的空气湿度At为绝对空气湿度；
步骤S3中所述的rt＝1+γT-(1+At-At-1)2η，当t时刻的动作指令为
Figure FDA0003635885840000011
时，T的取值为0，当t时刻的动作指令为
Figure FDA0003635885840000012
时，T为当前的
Figure FDA0003635885840000013
指令与上一个发出切换工作状态指令时刻之间的时长，γ是T的影响因子，η是空气湿度的放大系数且为正整数；
步骤S3中所述的at包括切换工作状态指令
Figure FDA0003635885840000014
和保持当前工作状态指令
Figure FDA0003635885840000015
2.根据权利要求1所述的一种基于深度强化学习的零耗气吸附式干燥机控制方法，其特征在于，步骤S4中所述的损失函数为：
L＝(rt+Qmax(At+1，at+1)-Q(At，at))2
其中，Q(At，at)为当前时刻以选择动作的前提下输出的该动作最大累积奖励期望，Qmax(At+1，at+1)为下一时刻可以选择的动作所对应的最大累积奖励期望中，数值最大的最大累积奖励期望。
3.根据权利要求1所述的一种基于深度强化学习的零耗气吸附式干燥机控制方法，其特征在于，步骤S4中所述的训练深度强化学习神经网络的方法为从经验池中获取训练数据，使用梯度下降法对神经网络进行训练。
CN201911262083.0A 2019-12-10 2019-12-10 一种基于深度强化学习的零耗气吸附式干燥机的控制方法 Active CN111036044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911262083.0A CN111036044B (zh) 2019-12-10 2019-12-10 一种基于深度强化学习的零耗气吸附式干燥机的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911262083.0A CN111036044B (zh) 2019-12-10 2019-12-10 一种基于深度强化学习的零耗气吸附式干燥机的控制方法

Publications (2)

Publication Number Publication Date
CN111036044A CN111036044A (zh) 2020-04-21
CN111036044B true CN111036044B (zh) 2022-07-26

Family

ID=70235546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911262083.0A Active CN111036044B (zh) 2019-12-10 2019-12-10 一种基于深度强化学习的零耗气吸附式干燥机的控制方法

Country Status (1)

Country Link
CN (1) CN111036044B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116617830B (zh) * 2023-06-25 2023-11-07 北京格瑞拓动力设备有限公司 车辆用空气干燥净化装置的智能预测处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860586B2 (en) * 2004-08-27 2010-12-28 Alstom Technology Ltd. Process parameter estimation in controlling emission of a non-particulate pollutant into the air
CN101934187A (zh) * 2010-07-12 2011-01-05 乔宗华 吸附式(有热或无热)再生干燥机可调式控制系统
US10217045B2 (en) * 2012-07-16 2019-02-26 Cornell University Computation devices and artificial neurons based on nanoelectromechanical systems
CN109695944A (zh) * 2018-11-29 2019-04-30 中国汽车工业工程有限公司 一种基于多模型深度学习的涂装新风空调的控制方法
CN110038394A (zh) * 2018-09-13 2019-07-23 苏治汇 气体净化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860586B2 (en) * 2004-08-27 2010-12-28 Alstom Technology Ltd. Process parameter estimation in controlling emission of a non-particulate pollutant into the air
CN101934187A (zh) * 2010-07-12 2011-01-05 乔宗华 吸附式(有热或无热)再生干燥机可调式控制系统
US10217045B2 (en) * 2012-07-16 2019-02-26 Cornell University Computation devices and artificial neurons based on nanoelectromechanical systems
CN110038394A (zh) * 2018-09-13 2019-07-23 苏治汇 气体净化装置
CN109695944A (zh) * 2018-11-29 2019-04-30 中国汽车工业工程有限公司 一种基于多模型深度学习的涂装新风空调的控制方法

Also Published As

Publication number Publication date
CN111036044A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN110726229B (zh) 空调器的控制方法及装置、存储介质及处理器
CN104359195B (zh) 基于动态响应末端总负荷变化的中央空调冷冻水控制方法
GB2440674B (en) Process control and optimization technique using immunological concepts
CN110701756B (zh) 运行控制方法、运行控制装置、空调器和存储介质
CN106123219A (zh) 空调温湿度控制方法
CN111036044B (zh) 一种基于深度强化学习的零耗气吸附式干燥机的控制方法
CN109143870B (zh) 一种多目标任务的控制方法
CN102621883B (zh) Pid参数整定方法及pid参数整定系统
JP2013148336A5 (zh)
CN104764166A (zh) 一种用于仿真全空气空调系统的方法及其装置
CN109798646B (zh) 一种基于大数据平台的变风量空调控制系统和方法
CN102346493A (zh) 麻醉机、呼吸机比例阀流量推抚控制方法
JP2021103083A5 (zh)
CN110260421A (zh) 一种变频空调除湿模式下的风机及压缩机控制方法
CN108605826B (zh) 带故障检测的远程控制智能园艺灌溉系统及其控制方法
CN101804284A (zh) 带有过程自适应节能控制功能的管道干燥设备
CN110737198A (zh) 基于bp神经网络的大型燃煤电站co2捕集系统预测控制方法
CN110286593B (zh) 一种基于多目标预测控制的化学吸附燃烧后二氧化碳捕集系统控制方法
RU2013115761A (ru) Способ управления компрессором
CN103453727A (zh) 一种面向仓储冷库的分布式制冷控制系统及其控制方法
CN101937219B (zh) 嵌入激素调控机制的数据驱动智能控制系统及其方法
CN206671862U (zh) 基于plc的温室环境因子智能控制装置
CN106225142B (zh) 一种汽车涂装车间用空调恒湿度控制方法及系统
CN110928188A (zh) 一种空气压缩机的储气控制方法
CN205385754U (zh) 一种恒湿交替灌溉系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant