CN109032038A - 一种基于强化学习的污水处理控制系统 - Google Patents

一种基于强化学习的污水处理控制系统 Download PDF

Info

Publication number
CN109032038A
CN109032038A CN201811027135.1A CN201811027135A CN109032038A CN 109032038 A CN109032038 A CN 109032038A CN 201811027135 A CN201811027135 A CN 201811027135A CN 109032038 A CN109032038 A CN 109032038A
Authority
CN
China
Prior art keywords
module
signal
instruction
field controller
intensive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811027135.1A
Other languages
English (en)
Other versions
CN109032038B (zh
Inventor
黄孝平
文芳
文芳一
黄文哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning University
Nanning Institute
Original Assignee
Nanning Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Institute filed Critical Nanning Institute
Priority to CN201811027135.1A priority Critical patent/CN109032038B/zh
Publication of CN109032038A publication Critical patent/CN109032038A/zh
Application granted granted Critical
Publication of CN109032038B publication Critical patent/CN109032038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)
  • Control For Baths (AREA)

Abstract

本发明提供了一种基于强化学习的污水处理控制系统，包括依次通信连接的信号接收端、现场控制器、指令发送端；所述现场控制器与信号接收端之间接有信号分路模块，现场控制器与指令发送端之间接有信号合并模块，在信号分路模块和信号合并模块之间有强化控制模块并联于现场控制器；有时序协调模块分别连接强化控制模块、信号分路模块和信号合并模块，并根据强化控制模块的信号对信号分路模块和信号合并模块进行控制。本发明通过直接从真实环境采集数据训练的连接方式，从而使得强化学习的训练可以直接在真实场景下完成，且完成之后可直接交接控制权，从而最终既避免企业采集数据、训练模型的麻烦，也避免了训练完成之后部署的适应性问题。

Description

一种基于强化学习的污水处理控制系统
技术领域
本发明涉及一种基于强化学习的污水处理控制系统。
背景技术
目前，强化学习在工业控制中的应用逐渐增多，但一般都限于特定的模型，其主要原因在于强化学习的训练需要环境支持，而在很多污水处理控制方面，完全模拟真实场景的环境所需要的计算量远远大于强化学习模型训练本身所需要的计算量，导致得不偿失，而且就目前的企业技术发展而言，原始的数据积累也很成问题。
发明内容
为解决上述技术问题，本发明提供了一种基于强化学习的污水处理控制系统，该基于强化学习的污水处理控制系统能通过直接从真实环境采集数据训练的连接方式，从而使得强化学习的训练可以直接在真实场景下完成，且完成之后可直接交接控制权。
本发明通过以下技术方案得以实现。
本发明提供的一种基于强化学习的污水处理控制系统，包括依次通信连接的信号接收端、现场控制器、指令发送端；所述现场控制器与信号接收端之间接有信号分路模块，现场控制器与指令发送端之间接有信号合并模块，在信号分路模块和信号合并模块之间有强化控制模块并联于现场控制器；有时序协调模块分别连接强化控制模块、信号分路模块和信号合并模块，并根据强化控制模块的信号对信号分路模块和信号合并模块进行控制。
所述时序协调模块对信号合并模块的控制在于，根据强化控制模块中控制模型的训练程度的提高，控制信号合并模块完成从完全传递现场控制器的指令、到传递现场控制器和强化控制模块的叠加指令、最后到完全传递强化控制模块的指令的过程。
所述时序协调模块对信号分路模块的控制在于，在强化控制模块发出训练完成度100％的信号之前，信号分路模块将信号接收端的信号同时完整发送至强化控制模块和现场控制器，在强化控制模块发出训练完成度100％的信号之后，信号分路模块将信号接收端的信号仅发送至强化控制模块。
所述强化控制模块核心采用ARMv8架构的处理器。
所述时序协调模块核心采用STM32F1系列芯片。
所述信号分路模块采用8位单片机为核心的光耦电路。
所述信号合并模块核心为DSP芯片。
所述时序协调模块控制信号合并模块完成从完全传递现场控制器的指令、到传递现场控制器和强化控制模块的叠加指令、最后到完全传递强化控制模块的指令的过程，为如下两种方式之一：
a.分为三个阶段，第一阶段完全传递现场控制器的指令，第二阶段传递现场控制器和强化控制模块的叠加指令，且强化控制模块指令信号量小于传递现场控制器指令信号量的30％，第三阶段完全传递强化控制模块的指令；
b.传递现场控制器和强化控制模块的叠加指令，其中强化控制模块指令信号量在最终指令信号量中的占比从0％至100％线性增加。
本发明的有益效果在于：通过直接从真实环境采集数据训练的连接方式，从而使得强化学习的训练可以直接在真实场景下完成，且完成之后可直接交接控制权，从而最终既避免企业采集数据、训练模型的麻烦，也避免了训练完成之后部署的适应性问题。
附图说明
图1是本发明的连接示意图。
具体实施方式
下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
如图1所示的一种基于强化学习的污水处理控制系统，包括依次通信连接的信号接收端、现场控制器、指令发送端；所述现场控制器与信号接收端之间接有信号分路模块，现场控制器与指令发送端之间接有信号合并模块，在信号分路模块和信号合并模块之间有强化控制模块并联于现场控制器；有时序协调模块分别连接强化控制模块、信号分路模块和信号合并模块，并根据强化控制模块的信号对信号分路模块和信号合并模块进行控制。
所述时序协调模块对信号合并模块的控制在于，根据强化控制模块中控制模型的训练程度的提高，控制信号合并模块完成从完全传递现场控制器的指令、到传递现场控制器和强化控制模块的叠加指令、最后到完全传递强化控制模块的指令的过程。
所述时序协调模块对信号分路模块的控制在于，在强化控制模块发出训练完成度100％的信号之前，信号分路模块将信号接收端的信号同时完整发送至强化控制模块和现场控制器，在强化控制模块发出训练完成度100％的信号之后，信号分路模块将信号接收端的信号仅发送至强化控制模块。
强化控制模块需要完成强化学习模型的训练，所需计算量较大，因此作为优选方式，所述强化控制模块核心采用ARMv8架构的处理器。
时序协调模块主要是根据强化控制模块的信号来发送对应的控制信号，因此处于降低成本的考虑，所述时序协调模块核心采用STM32F1系列芯片。
所述信号分路模块采用8位单片机为核心的光耦电路。
信号合并模块的主要作用在于对数字信号进行快速的叠加计算，因此作为优选方式，所述信号合并模块核心为DSP芯片。
所述时序协调模块控制信号合并模块完成从完全传递现场控制器的指令、到传递现场控制器和强化控制模块的叠加指令、最后到完全传递强化控制模块的指令的过程，为如下两种方式之一：
a.分为三个阶段，第一阶段完全传递现场控制器的指令，第二阶段传递现场控制器和强化控制模块的叠加指令，且强化控制模块指令信号量小于传递现场控制器指令信号量的30％，第三阶段完全传递强化控制模块的指令；
b.传递现场控制器和强化控制模块的叠加指令，其中强化控制模块指令信号量在最终指令信号量中的占比从0％至100％线性增加。
本发明主要配合本公司研究的基于强化学习的污水处理控制方法(已同时另外申请专利)，对应于时序协调模块控制信号合并模块的两种方式，强化控制模块中完成强化学习模型的初始化、训练及运行，在分为三个阶段的方式a中，强化学习模型在训练时由于有大量时间在同一状态的环境中，因此可以在每一阶段分别训练环境模型和策略模型，适用于污水处理池环境较为封闭且稳定的控制，而在强化控制模块指令信号量占比线性增加的方式b中，强化学习模型如采用分别训练环境模型和策略模型的方式则耗时过长且容易过拟合，因此主要应用模型未知的强化学习，好处在于对异常情况的适应性更强，适用于污水处理池环境较为开放的控制。

Claims (8)

1.一种基于强化学习的污水处理控制系统，包括依次通信连接的信号接收端、现场控制器、指令发送端，其特征在于：所述现场控制器与信号接收端之间接有信号分路模块，现场控制器与指令发送端之间接有信号合并模块，在信号分路模块和信号合并模块之间有强化控制模块并联于现场控制器；有时序协调模块分别连接强化控制模块、信号分路模块和信号合并模块，并根据强化控制模块的信号对信号分路模块和信号合并模块进行控制。
2.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述时序协调模块对信号合并模块的控制在于，根据强化控制模块中控制模型的训练程度的提高，控制信号合并模块完成从完全传递现场控制器的指令、到传递现场控制器和强化控制模块的叠加指令、最后到完全传递强化控制模块的指令的过程。
3.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述时序协调模块对信号分路模块的控制在于，在强化控制模块发出训练完成度100％的信号之前，信号分路模块将信号接收端的信号同时完整发送至强化控制模块和现场控制器，在强化控制模块发出训练完成度100％的信号之后，信号分路模块将信号接收端的信号仅发送至强化控制模块。
4.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述强化控制模块核心采用ARMv8架构的处理器。
5.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述时序协调模块核心采用STM32F1系列芯片。
6.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述信号分路模块采用8位单片机为核心的光耦电路。
7.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述信号合并模块核心为DSP芯片。
8.如权利要求1所述的基于强化学习的污水处理控制系统，其特征在于：所述时序协调模块控制信号合并模块完成从完全传递现场控制器的指令、到传递现场控制器和强化控制模块的叠加指令、最后到完全传递强化控制模块的指令的过程，为如下两种方式之一：
a.分为三个阶段，第一阶段完全传递现场控制器的指令，第二阶段传递现场控制器和强化控制模块的叠加指令，且强化控制模块指令信号量小于传递现场控制器指令信号量的30％，第三阶段完全传递强化控制模块的指令；
b.传递现场控制器和强化控制模块的叠加指令，其中强化控制模块指令信号量在最终指令信号量中的占比从0％至100％线性增加。
CN201811027135.1A 2018-09-04 2018-09-04 一种基于强化学习的污水处理控制系统 Active CN109032038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811027135.1A CN109032038B (zh) 2018-09-04 2018-09-04 一种基于强化学习的污水处理控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811027135.1A CN109032038B (zh) 2018-09-04 2018-09-04 一种基于强化学习的污水处理控制系统

Publications (2)

Publication Number Publication Date
CN109032038A true CN109032038A (zh) 2018-12-18
CN109032038B CN109032038B (zh) 2021-03-16

Family

ID=64623726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811027135.1A Active CN109032038B (zh) 2018-09-04 2018-09-04 一种基于强化学习的污水处理控制系统

Country Status (1)

Country Link
CN (1) CN109032038B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003098861A1 (en) * 2002-05-15 2003-11-27 General Electric Company Intelligent communications, command, and control system for a land-based vehicle
WO2007050544A2 (en) * 2005-10-24 2007-05-03 The Regents Of The University Of California An apparatus and a method for a system architecture for multiple antenna wireless communication systems using round robin channel estimation and transmit beam forming algorithms
CN102109821A (zh) * 2010-12-30 2011-06-29 中国科学院自动化研究所 车辆自适应巡航控制系统及方法
CN102207928A (zh) * 2011-06-02 2011-10-05 河海大学常州校区 基于强化学习的多Agent污水处理决策支持系统
CN102817010A (zh) * 2011-06-10 2012-12-12 北京北方微电子基地设备工艺研究中心有限责任公司 单臂升降装置和双臂升降装置
CN102843088A (zh) * 2012-08-29 2012-12-26 曹秉刚 基于模糊滑模和神经网络的永磁同步电机复合控制系统
CN203057059U (zh) * 2012-08-29 2013-07-10 曹秉刚 基于模糊滑模和神经网络的永磁同步电机复合控制系统
US20130245847A1 (en) * 2009-10-23 2013-09-19 Alain P. Steven Facilitating revenue generation from wholesale electricity markets using an enineering-based energy asset model
CN103410660A (zh) * 2013-05-14 2013-11-27 湖南工业大学 基于支持向量机的风力发电变桨距自学习控制方法
CN103499982A (zh) * 2013-09-30 2014-01-08 北京工业大学 一种污水处理过程自组织控制方法
CN103576600A (zh) * 2013-10-23 2014-02-12 北京和隆优化科技股份有限公司 一种基于plc的优化站无扰安全切换方法
CN104516325A (zh) * 2013-09-28 2015-04-15 西安扩力机电科技有限公司 基于多传感器数据融合的污水处理远程监控系统
WO2016095708A1 (zh) * 2014-12-16 2016-06-23 高德软件有限公司 一种交通流量预测方法、预测模型生成方法及装置
CN106773843A (zh) * 2016-12-08 2017-05-31 上海宇航系统工程研究所 一种运载火箭热试车控制系统
CN106851730A (zh) * 2017-03-02 2017-06-13 北京国交信通科技发展有限公司 网络共享方式下的业务建立方法及装置
CN106873379A (zh) * 2017-03-31 2017-06-20 北京工业大学 一种基于迭代adp算法的污水处理最优控制方法
CN106973355A (zh) * 2016-01-14 2017-07-21 腾讯科技（深圳）有限公司 环绕立体声实现方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003098861A1 (en) * 2002-05-15 2003-11-27 General Electric Company Intelligent communications, command, and control system for a land-based vehicle
WO2007050544A2 (en) * 2005-10-24 2007-05-03 The Regents Of The University Of California An apparatus and a method for a system architecture for multiple antenna wireless communication systems using round robin channel estimation and transmit beam forming algorithms
US20130245847A1 (en) * 2009-10-23 2013-09-19 Alain P. Steven Facilitating revenue generation from wholesale electricity markets using an enineering-based energy asset model
CN102109821A (zh) * 2010-12-30 2011-06-29 中国科学院自动化研究所 车辆自适应巡航控制系统及方法
CN102207928A (zh) * 2011-06-02 2011-10-05 河海大学常州校区 基于强化学习的多Agent污水处理决策支持系统
CN102817010A (zh) * 2011-06-10 2012-12-12 北京北方微电子基地设备工艺研究中心有限责任公司 单臂升降装置和双臂升降装置
CN102843088A (zh) * 2012-08-29 2012-12-26 曹秉刚 基于模糊滑模和神经网络的永磁同步电机复合控制系统
CN203057059U (zh) * 2012-08-29 2013-07-10 曹秉刚 基于模糊滑模和神经网络的永磁同步电机复合控制系统
CN103410660A (zh) * 2013-05-14 2013-11-27 湖南工业大学 基于支持向量机的风力发电变桨距自学习控制方法
CN104516325A (zh) * 2013-09-28 2015-04-15 西安扩力机电科技有限公司 基于多传感器数据融合的污水处理远程监控系统
CN103499982A (zh) * 2013-09-30 2014-01-08 北京工业大学 一种污水处理过程自组织控制方法
CN103576600A (zh) * 2013-10-23 2014-02-12 北京和隆优化科技股份有限公司 一种基于plc的优化站无扰安全切换方法
WO2016095708A1 (zh) * 2014-12-16 2016-06-23 高德软件有限公司 一种交通流量预测方法、预测模型生成方法及装置
CN106973355A (zh) * 2016-01-14 2017-07-21 腾讯科技（深圳）有限公司 环绕立体声实现方法和装置
CN106773843A (zh) * 2016-12-08 2017-05-31 上海宇航系统工程研究所 一种运载火箭热试车控制系统
CN106851730A (zh) * 2017-03-02 2017-06-13 北京国交信通科技发展有限公司 网络共享方式下的业务建立方法及装置
CN106873379A (zh) * 2017-03-31 2017-06-20 北京工业大学 一种基于迭代adp算法的污水处理最优控制方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BARTO G: ""Recent advances in hierarchical reinforcement learning"", 《DISCRETE EVENT DYNAMIC SYSTEMS: THEORY AND APPLICATIONS》 *
YUANHONG DAN: ""The Structure of HSIC System and Its Application on Arbitrary Switch Control of Double Pendulum"", 《PROCEEDINGS OF THE 7THWORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION CHONGQING》 *
乔俊飞: ""基于迭代ADP算法的污水处理过程最优控制"", 《北京工业大学学报》 *
甘晓琴: ""基于强化学习的仿人智能控制器参数在线学习与优化"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
秦斌: ""基于SVM的永磁直驱风电系统滑模变桨距控制"", 《仪器仪表学报》 *
陈海列: ""一种基于DCS的分时训练神经网络"", 《自动化应用》 *

Also Published As

Publication number Publication date
CN109032038B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN201610970U (zh) Gprs智能电动阀门执行机构
CN202421819U (zh) 用于dcs系统的三重冗余模拟量输出模块
CN104133795A (zh) 多通道高速同步采集及正交调制系统
CN104467907A (zh) 中继器及其信息传输方法和通信模块硬件id识别方法
CN112202571A (zh) 一种poe电源传输装置、poe交换机及poe系统
CN112363421A (zh) 一种稳定可靠的单片机系统通讯方法
CN103366540B (zh) 无线网络动态路径抄表系统及其抄表方法
CN205176527U (zh) 一种多轮独立驱动机器人控制器
CN109032038A (zh) 一种基于强化学习的污水处理控制系统
CN106026397A (zh) 一种基于iec61850的配网终端实现即插即用的方法
WO2018137404A1 (zh) 一种适合柴油发电机组群自主协调并网的控制方法
CN202583779U (zh) 一种嵌入式自动切换控制装置
CN105922261B (zh) 一种机器人控制装置及其控制方法
CN201771675U (zh) 双馈风电变流器CANopen通讯单元
CN205336276U (zh) 一种基于多绕组耦合电感电力线载波通讯系统
CN105810059A (zh) 一种模拟发电机并网的转换装置
CN112671929B (zh) 一种老旧二次供水设备通讯接口分时复用的方法
CN104459303B (zh) 一种双母线自适应采样选线装置
CN111600391A (zh) 一种基于rs-485的直流电力线通讯装置
CN207039577U (zh) 具备多协议通讯模式的电子装置
CN206627797U (zh) 一种基于Modbus的多路数据采集系统
CN206021053U (zh) 刀库控制电路
CN203606674U (zh) 可编程串行总线数字舵机
CN109358531B (zh) 一种基于分时控制交接控制权的现场控制系统
CN204375297U (zh) 一种模拟发电机并网的转换装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant