CN115755622A - 一种基于深度强化学习的碾米机运行优化控制方法 - Google Patents
一种基于深度强化学习的碾米机运行优化控制方法 Download PDFInfo
- Publication number
- CN115755622A CN115755622A CN202211571340.0A CN202211571340A CN115755622A CN 115755622 A CN115755622 A CN 115755622A CN 202211571340 A CN202211571340 A CN 202211571340A CN 115755622 A CN115755622 A CN 115755622A
- Authority
- CN
- China
- Prior art keywords
- reinforcement learning
- rice mill
- delta
- control method
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 47
- 235000009566 rice Nutrition 0.000 title claims abstract description 47
- 230000002787 reinforcement Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 26
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000002474 experimental method Methods 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000004088 simulation Methods 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000000227 grinding Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 239000003607 modifier Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于深度强化学习的碾米机运行优化控制方法，具体包括以下步骤：S1、配置强化学习训练相关内容；S2、由深度强化学习模块进行训练，令智能体模拟与环境的交互进行大量实验，根据实验结果产生相应的回报，将得到的这些数据作为训练集训练，不断地优化模型，以增大回报的期望，最终达到收敛；S3、配置PID控制相关内容；本发明涉及优化控制方法技术领域。该基于深度强化学习的碾米机运行优化控制方法，利用基于强化学习的PID控制算法，对碾米机运行进行优化控制，相比于传统的PID控制，能够更快的收敛，取代了传统的人工参数整定，减少人力的同时削弱了人的主观因素，防止经验不足带来的低效控制。
Description
技术领域
本发明涉及优化控制方法技术领域，具体为一种基于深度强化学习的碾米机运行优化控制方法。
背景技术
稻谷是我国最重要的粮食，全国约有2/3人口以大米为主食，大米质量与人们的日常生活和健康息息相关，稻米生产是国家粮食安全的重中之重。工业化的大米加工生产一般需要经过原粮入库检查、称重、脱壳、碾米、色选、抛光、成品等工序。其中碾米机作为稻谷加工过程中的关键设备，在提高稻米产率和质量方面起着至关重要作用。
随着智能化技术的发展，稻米加工行业也开始走向智能化。智能化应用到碾米机控制中可以提高稻米产率等关键指标。现有碾米机控制系统常用的传统PID控制结构简单易操作，但是由于其非线性、时变不确定等特性，导致PID参数调节幅度大且不具备自学习能力，不能满足碾米机精确的智能控制系统要求。
目前经典的设备运行优化控制理论有开闭环控制、PID控制和微分方程等，这些理论直接应用在工程智能控制中存在很多短板，首先是控制方法无法解决多变量之间的协同问题，往往跟目标调控单变量后不能同时考虑其他变量的时空变化，大部分算法局限于单变量、定值操作。同时，控制方法无法处理参数耦合问题，系统中参数的数量增加，方法的收敛性会大幅减弱，无法达到实际应用的效果，最后由于环境问题的多变和复杂，建立好的控制方法随时面临变化，需要进行修改以适应新环境。
为了解决复杂系统的优化控制问题越来越多的学者使用深度强化学习来解决智能优化控制的问题。使用深度强化学习来调节PID参数。强化学习是在和环境交互中通过观察环境提供的状态和反馈来实现策略的学习。在某一个时刻，环境处于某一状态State，智能体针对当前状态采取一个动作Action后，环境的状态发生改变，同时向智能体反馈奖励信息Reward。最终目的通过与环境的不断地交互，找到最佳策略，以获得最多的奖励。深度强化学习就是结合深度神经网络的强化学习，A2C_RBF的深度强化学习方法就可以解决连续状态和连续空间动作的问题。A2C_RBF深度强化学习方法基于Actor-Critic算法，A2C算法利用多线程并行独立采样数据，在保证数据多样性的同时还可以提高学习效率，不必占用大块内存，更方便工业落地，同时在A2C算法中加入RBF神经网络可以解决传统算法收敛速度慢，收敛精度差的问题。
本发明拟在传统控制理论的基础上，引入神经网络、强化学习等人工智能算法，构建可实现自调节自优化碾米机运行优化控制方法。
发明内容
针对现有技术的不足，本发明提供了一种基于深度强化学习的碾米机运行优化控制方法，解决了碾米机运行优化控制方法效果不是很好的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种基于深度强化学习的碾米机运行优化控制方法，具体包括以下步骤：
S1、配置强化学习训练相关内容；
S2、由深度强化学习模块进行训练，令智能体模拟与环境的交互进行大量实验，根据实验结果产生相应的回报，将得到的这些数据作为训练集训练，不断地优化模型，以增大回报的期望，最终达到收敛；
S3、配置PID控制相关内容；
S4、利用传感器等工具得到碾米机实时的控制信号值，并计算被控对象的当前值c(t)与目标值的差值，记为e(t)；
S5、将e(t)输入状态转换器，计算得到Δe(t)和ΔΔe(t)，将e(t)、Δe(t)、ΔΔe(t)组成一个状态state，把state输入到训练好的A2C_RBF模型中，输出一个三维的量，即动作action；
S6、根据计算出的action，修改PID控制器中相关参数的值。需要由动作修正器将action里的三个元素经过一个线性变化，得到三个量Δkp、Δki、Δkd，施加到PID控制器中的三个参数；
S7、经过参数修改后的PID控制器，继续根据e(t)、Δe(t)、ΔΔe(t)输出下一轮的控制量u(t)，经过传递函数的辅助，作用到被控对象上，产生新的当前值y(t)、e(t)、Δe(t)、ΔΔe(t)，并反馈给状态转换器，反馈值记为c(t)，重复S4；
S8、不断循环执行上述步骤，返回整个控制周期中受控对象的变化情况等信息并绘图。
优选的，所述S1中，配置强化学习训练相关内容的步骤具体如下：
步骤1、固定随机种子seed，保证每次实验产生的随机数相同，使实验可复现；
步骤2、设定模型的保存方式；
步骤3、设置学习率、强化学习的折扣率、迭代轮数、神经网络隐藏层个数等。
优选的，所述S3中，配置PID控制相关内容具体包括以下步骤：
步骤1、根据碾米机(被控对象)工作的特点设置PID控制的时长，即相隔多长时间进行一次控制；设置PID控制器中的参数kp、ki、kd的初始值；
步骤2、确定控制信号u(t)以及目标函数r(t)，若智能模型最终目标为提高去糠率、留胚率，实现流量平衡等指标，控制信号则为影响该指标的相关参数，如：主电机转速、进口阀门开度、碾磨电流、负压风机转速等。目标函数r(t)描述了被控对象的期望输出值；
步骤3、根据碾米机的数学、物理模型推导出被控对象的传递函数，或是构建专家系统，从而获取控制信号与输出值(指标的具体数值)的对应关系。
优选的，所述S5中，Δe(t)表示本时刻与上一时刻e(t)之间的差值，ΔΔe(t)则表示Δe(t)的差值。
优选的，所述S6中，动作修正器的设定根据经验或者专家系统得出。
有益效果
本发明提供了一种基于深度强化学习的碾米机运行优化控制方法。与现有技术相比具备以下有益效果：
(1)、该基于深度强化学习的碾米机运行优化控制方法，通过S1、配置强化学习训练相关内容；S2、由深度强化学习模块进行训练，令智能体模拟与环境的交互进行大量实验，根据实验结果产生相应的回报，将得到的这些数据作为训练集训练，不断地优化模型，以增大回报的期望，最终达到收敛；S3、配置PID控制相关内容；利用基于强化学习的PID控制算法，对碾米机运行进行优化控制，相比于传统的PID控制，能够更快的收敛。
(2)、该基于深度强化学习的碾米机运行优化控制方法，通过强化学习的参数整定，取代了传统的人工参数整定，减少人力的同时削弱了人的主观因素，防止经验不足带来的低效控制。
附图说明
图1为本发明碾米机运行优化控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于深度强化学习的碾米机运行优化控制方法，具体包括以下步骤：
S1、配置强化学习训练相关内容；
S2、由深度强化学习模块进行训练，令智能体模拟与环境的交互进行大量实验，根据实验结果产生相应的回报，将得到的这些数据作为训练集训练，不断地优化模型，以增大回报的期望，最终达到收敛；
S3、配置PID控制相关内容；
S4、利用传感器等工具得到碾米机实时的控制信号值，并计算被控对象的当前值c(t)与目标值的差值，记为e(t)；
S5、将e(t)输入状态转换器，计算得到Δe(t)和ΔΔe(t)，将e(t)、Δe(t)、ΔΔe(t)组成一个状态state，把state输入到训练好的A2C_RBF模型中，输出一个三维的量，即动作action；
S6、根据计算出的action，修改PID控制器中相关参数的值。需要由动作修正器将action里的三个元素经过一个线性变化，得到三个量Δkp、Δki、Δkd，施加到PID控制器中的三个参数；
S7、经过参数修改后的PID控制器，继续根据e(t)、Δe(t)、ΔΔe(t)输出下一轮的控制量u(t)，经过传递函数的辅助，作用到被控对象上，产生新的当前值y(t)、e(t)、Δe(t)、ΔΔe(t)，并反馈给状态转换器，反馈值记为c(t)，重复S4；
S8、不断循环执行上述步骤，返回整个控制周期中受控对象的变化情况等信息并绘图，利用基于强化学习的PID控制算法进行碾米机优化控制，用强化学习自适应整定的方式代替人工参数整定，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
本发明中，所述S1中，配置强化学习训练相关内容的步骤具体如下：
步骤1、固定随机种子seed，保证每次实验产生的随机数相同，使实验可复现；
步骤2、设定模型的保存方式；
步骤3、设置学习率、强化学习的折扣率、迭代轮数、神经网络隐藏层个数等。
本发明中，所述S3中，配置PID控制相关内容具体包括以下步骤：
步骤1、根据碾米机(被控对象)工作的特点设置PID控制的时长，即相隔多长时间进行一次控制；设置PID控制器中的参数kp、ki、kd的初始值；
步骤2、确定控制信号u(t)以及目标函数r(t)，若智能模型最终目标为提高去糠率、留胚率，实现流量平衡等指标，控制信号则为影响该指标的相关参数，如：主电机转速、进口阀门开度、碾磨电流、负压风机转速等。目标函数r(t)描述了被控对象的期望输出值；
步骤3、根据碾米机的数学、物理模型推导出被控对象的传递函数，或是构建专家系统，从而获取控制信号与输出值(指标的具体数值)的对应关系，在PID运行控制的同时对PID的参数进行整定，实时反馈控制的结果。
本发明中，所述S5中，Δe(t)表示本时刻与上一时刻e(t)之间的差值，ΔΔe(t)则表示Δe(t)的差值。
本发明中，所述S6中，动作修正器的设定根据经验或者专家系统得出。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于深度强化学习的碾米机运行优化控制方法，其特征在于：具体包括以下步骤：
S1、配置强化学习训练相关内容；
S2、由深度强化学习模块进行训练，令智能体模拟与环境的交互进行大量实验，根据实验结果产生相应的回报，将得到的这些数据作为训练集训练，不断地优化模型，以增大回报的期望，最终达到收敛；
S3、配置PID控制相关内容；
S4、利用传感器等工具得到碾米机实时的控制信号值，并计算被控对象的当前值c(t)与目标值的差值，记为e(t)；
S5、将e(t)输入状态转换器，计算得到Δe(t)和ΔΔe(t)，将e(t)、Δe(t)、ΔΔe(t)组成一个状态state，把state输入到训练好的A2C_RBF模型中，输出一个三维的量，即动作action；
S6、根据计算出的action，修改PID控制器中相关参数的值。需要由动作修正器将action里的三个元素经过一个线性变化，得到三个量Δkp、Δki、Δkd，施加到PID控制器中的三个参数；
S7、经过参数修改后的PID控制器，继续根据e(t)、Δe(t)、ΔΔe(t)输出下一轮的控制量u(t)，经过传递函数的辅助，作用到被控对象上，产生新的当前值y(t)、e(t)、Δe(t)、ΔΔe(t)，并反馈给状态转换器，反馈值记为c(t)，重复S4；
S8、不断循环执行上述步骤，返回整个控制周期中受控对象的变化情况等信息并绘图。
2.根据权利要求1所述的一种基于深度强化学习的碾米机运行优化控制方法，其特征在于：所述S1中，配置强化学习训练相关内容的步骤具体如下：
步骤1、固定随机种子seed，保证每次实验产生的随机数相同，使实验可复现；
步骤2、设定模型的保存方式；
步骤3、设置学习率、强化学习的折扣率、迭代轮数、神经网络隐藏层个数等。
3.根据权利要求1所述的一种基于深度强化学习的碾米机运行优化控制方法，其特征在于：所述S3中，配置PID控制相关内容具体包括以下步骤：
步骤1、根据碾米机(被控对象)工作的特点设置PID控制的时长，即相隔多长时间进行一次控制；设置PID控制器中的参数kp、ki、kd的初始值；
步骤2、确定控制信号u(t)以及目标函数r(t)，若智能模型最终目标为提高去糠率、留胚率，实现流量平衡等指标，控制信号则为影响该指标的相关参数，如：主电机转速、进口阀门开度、碾磨电流、负压风机转速等。目标函数r(t)描述了被控对象的期望输出值；
步骤3、根据碾米机的数学、物理模型推导出被控对象的传递函数，或是构建专家系统，从而获取控制信号与输出值(指标的具体数值)的对应关系。
4.根据权利要求1所述的一种基于深度强化学习的碾米机运行优化控制方法，其特征在于：所述S5中，Δe(t)表示本时刻与上一时刻e(t)之间的差值，ΔΔe(t)则表示Δe(t)的差值。
5.根据权利要求1所述的一种基于深度强化学习的碾米机运行优化控制方法，其特征在于：所述S6中，动作修正器的设定根据经验或者专家系统得出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211571340.0A CN115755622A (zh) | 2022-12-08 | 2022-12-08 | 一种基于深度强化学习的碾米机运行优化控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211571340.0A CN115755622A (zh) | 2022-12-08 | 2022-12-08 | 一种基于深度强化学习的碾米机运行优化控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115755622A true CN115755622A (zh) | 2023-03-07 |
Family
ID=85344433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211571340.0A Withdrawn CN115755622A (zh) | 2022-12-08 | 2022-12-08 | 一种基于深度强化学习的碾米机运行优化控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115755622A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117231599A (zh) * | 2023-11-14 | 2023-12-15 | 上海海维工业控制有限公司 | 基于pid的液压执行机构驱动力控制方法 |
-
2022
- 2022-12-08 CN CN202211571340.0A patent/CN115755622A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117231599A (zh) * | 2023-11-14 | 2023-12-15 | 上海海维工业控制有限公司 | 基于pid的液压执行机构驱动力控制方法 |
| CN117231599B (zh) * | 2023-11-14 | 2024-02-02 | 上海海维工业控制有限公司 | 基于pid的液压执行机构驱动力控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101796928B (zh) | 养殖水体水质参数对养殖生物生长状态影响的预测方法 | |
| CN1514318B (zh) | 过程控制系统中的集成模型预测控制与优化 | |
| Lee et al. | Control of fed-batch fermentations | |
| CN113126490B (zh) | 智能变频增氧控制方法及装置 | |
| CN108614422B (zh) | 陆基工厂循环水养殖中溶解氧优化控制方法、装置及系统 | |
| CN113272052A (zh) | 用于工业生产过程自动化控制的系统方法和计算装置 | |
| Morimoto et al. | An intelligent approach for optimal control of fruit-storage process using neural networks and genetic algorithms | |
| CN108388205B (zh) | 学习模型构建装置以及控制信息最优化装置 | |
| CN101763036A (zh) | 基于模糊神经网络的赖氨酸发酵过程补料预测控制系统及方法 | |
| Morimoto et al. | AI approaches to identification and control of total plant production systems | |
| CN115755622A (zh) | 一种基于深度强化学习的碾米机运行优化控制方法 | |
| CN101782771A (zh) | 基于免疫神经网络的纺丝工艺智能优化设计方法 | |
| CN102354119A (zh) | 一种设施农业环境智能控制方法 | |
| CN108142976B (zh) | 一种叶丝干燥工艺参数优化方法 | |
| Bettenhausen et al. | Self-organizing structured modelling of a biotechnological fed-batch fermentation by means of genetic programming | |
| Löppenberg et al. | Self optimisation and automatic code generation by evolutionary algorithms in PLC based controlling processes | |
| Yang et al. | Adaptive neural-network-based approach for the control of continuously stirred tank reactor | |
| CN201830751U (zh) | 养殖水体水质参数对养殖生物生长状态影响的预测系统 | |
| Birle et al. | Management of uncertainty by statistical process control and a genetic tuned fuzzy system | |
| CN106803023A (zh) | 基于神经网络结合遗传算法实时优化补料产丙氨酸的方法 | |
| Goswami et al. | Performance analysis of the AVR using an artificial neural network and genetic algorithm optimization technique | |
| CN109781951B (zh) | 一种鱼塘水质监测系统及监测方法 | |
| Morimoto et al. | An intelligent control technique for dynamic optimization of temperature during fruit storage process | |
| MORIMOTO et al. | A decision and control system mimicking a skilled grower's thinking process for dynamic optimization of the storage environment | |
| CN112248387B (zh) | 一种橡胶注射成型机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230307 |