CN116009503A - 基于超循环网络的自组织三元智能制造控制系统 - Google Patents

基于超循环网络的自组织三元智能制造控制系统 Download PDF

Info

Publication number
CN116009503A
CN116009503A CN202310285730.XA CN202310285730A CN116009503A CN 116009503 A CN116009503 A CN 116009503A CN 202310285730 A CN202310285730 A CN 202310285730A CN 116009503 A CN116009503 A CN 116009503A
Authority
CN
China
Prior art keywords
module
layer
production line
line layer
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310285730.XA
Other languages
English (en)
Other versions
CN116009503B (zh
Inventor
甘中学
冯浩然
孙广集
乔利锋
胡林强
余文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhichang Technology Group Co ltd
Original Assignee
Zhichang Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhichang Technology Group Co ltd filed Critical Zhichang Technology Group Co ltd
Priority to CN202310285730.XA priority Critical patent/CN116009503B/zh
Publication of CN116009503A publication Critical patent/CN116009503A/zh
Application granted granted Critical
Publication of CN116009503B publication Critical patent/CN116009503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于超循环网络的自组织三元智能制造控制系统,通过系统各层通过包括自复制网络、互催化网络和高层级互催化网络的超循环网络连接,提升信息上下贯穿效率,取代人工辅助决策方式,从而满足大规模个性化定制的响应速度;应用超循环理论于智能制造控制系统之中,以智能单元和接口形成的三层自相似网络,系统纵向和横向网络打通,提升设备、产线和工厂方面协同效率,避免各环节资源的浪费,将建立生产系统所需的个性化定制部分和软件开发降到最低。

Description

基于超循环网络的自组织三元智能制造控制系统
技术领域
本发明属于智能控制技术领域,具体涉及基于超循环网络的自组织三元智能制造控制系统。
背景技术
自德国工业 4.0、美国工业互联网和中国制造 2025 提出以来,整个制造业开始进入泛在感知和全面智能时代。信息技术、人工智能技术与制造业的融合推动了制造模式变革,智能工厂形成了从智能装备、制造执行系统到ERP系统的层次化系统体系。随着工厂自动化程度的提升和智能化装备的普及,工厂以及产业链的操作要求也从最初的自动化、数字化不断提高到系统化的智能化,随着大规模个性化制造趋势的不断发展,生产模式呈现出个性化、网络化、协同化、智能化的重要趋势,既有的信息化智能化系统无法满足生产模式升级的需求。
自组织智能工厂的概念源自于1994年提出的自组织制造系统,其提出时主要针对当时制造工厂广泛面对的生产计划排程问题。在之后的发展中,关于SOMS系统功能的研究主要集中在生产计划排程与路径规划问题,例如基于启发式方法的生产计划调度、处理紧急插单的动态排程系统、针对产线物流调度的路径规划方法等内容。另外近年来,基于多主体协商、多智能体的方法也被应用于SOMS之中,目的是使工厂具备较强的适应性与鲁棒性;
然而这些方法并未触及自组织智能工厂所面临的核心困境,例如自组织架构的建模与控制架构、个体之间的信息协同与沟通机制、异构群体自适应控制方法等。
现有智能/数字工厂技术,主要基于ERP、MES等信息化系统,相当于从订单开始自上而下去规划/决策工厂中各个产线、产线、设备索要执行的生产任务;另外配合如机器人运动控制器、PLC逻辑控制、上位机控制等方法,在各个工序处、加工时进行反馈控制;
然而,这样的控制方法,实际上仍将各个设备/产线/工厂当作分散的点来看待,导致生产过程中产生与收集了大量冗余数据,单个设备没有独立自主的智能,整条产线缺少前后工序间的协同,整个工厂的决策以人的智能为核心。
在上述的背景下,现有的智能制造控制系统还存在以下问题:
1、系统各层独立,信息逐层衰减,上下贯穿效率极低,人工辅助决策方式难以满足大规模个性化定制的响应速度;
2、系统纵向建设,横向关联度差,导致从设备、产线、工厂方面协同效率低下,各环节资源浪费严重,形成不了快速响应的生产网络。
发明内容
针对上述现有技术的不足,本申请提供基于超循环网络的自组织三元智能制造控制系统。
本申请提出了基于超循环网络的自组织三元智能制造控制系统,包括设备层、产线层和工厂层,所述设备层、产线层和工厂层自下而上形成三层网络的拓扑结构,分别对应为自复制网络、互催化网络和高层级互催化网络;
所述自复制网络形成所述互催化网络中的节点,所述互催化网络形成所述高层级互催化网络中的节点,所述设备层通过所述自复制网络进行自主智能控制,所述产线层通过互催化网络对设备层进行自组织控制,所述工厂层通过所述高层级互催化网络进行自组织控制。
在一些实施例的一些可选的实现方式中,所述设备层包括执行模块、原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块;
所述执行模块,用于执行生产加工任务;
所述原始数据获取模块,用于提取所述执行模块在执行生产加工任务过程中留下的原始数据;
所述催化信息生成模块,用于基于所述原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,完成催化信息自复制;
所述优化模块,用于将基于所述催化信息生成模块自复制生成的催化信息输入到所述执行模块进行优化;
所述最佳工艺参数生成模块,用于控制所述原始数据获取模块、所述催化信息生成模块和所述优化模块进行持续反馈优化,直至生成当前设备层的最佳工艺参数。
在一些实施例的一些可选的实现方式中,所述产线层包括第一设备层执行模块、第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块、第一设备层优化模块和产线层优化模块;
所述第一设备层执行模块,用于执行第一生产任务;
所述第一设备层原始数据获取模块,用于提取第一生产任务过程中的第一设备层原始数据;
所述第一设备层催化信息生成模块,用于基于所述第一设备层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第一设备层催化信息;
所述第二设备层优化模块,用于执行第二生产任务并根据第一设备层催化信息进行调整;
所述第二设备层执行模块,用于提取第二生产任务过程中的第二设备层原始数据;
所述第二设备层原始数据获取模块,用于提取第二生产任务过程中的第二设备层原始数据;
所述第二设备层催化信息生成模块,用于基于所述第二设备层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第二设备层催化信息;
所述第一设备层优化模块,用于根据第二设备层催化信息对第一设备层执行模块的下一次任务进行调整;
所述产线层优化模块,用于控制所述第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块和第一设备层优化模块进行持续反馈优化,让第一生产任务和第二生产任务相互促进,直至得到所有所述设备层的最佳工艺参数。
在一些实施例的一些可选的实现方式中,所述工厂层包括第一产线层执行模块、第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块、第一产线层优化模块和工厂层优化模块;
所述第一产线层执行模块,用于执行第一产线层任务;
所述第一产线层原始数据获取模块,用于提取第一产线层任务过程中的第一产线层原始数据;
所述第一产线层催化信息生成模块,用于基于所述第一产线层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第一产线层催化信息;
所述第二产线层优化模块,用于执行第二产线层任务并根据第一产线层催化信息进行调整;
所述第二产线层执行模块,用于提取第二产线层任务过程中的第二产线层原始数据;
所述第二产线层原始数据获取模块,用于提取第二产线层任务过程中的第二产线层原始数据;
所述第二产线层催化信息生成模块,用于基于所述第二产线层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第二产线层催化信息;
所述第一产线层优化模块,用于根据第二产线层催化信息对第一产线层执行模块的下一次任务进行调整;
所述工厂层优化模块,用于控制所述第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块和第一产线层优化模块进行持续反馈优化,让第一产线层任务和第二产线层任务相互促进,直至得到所有所述产线层的最佳工艺参数。
在一些实施例的一些可选的实现方式中,所述工厂层包括至少两个产线层,每个产线层包括至少两个设备层。
在一些实施例的一些可选的实现方式中,由至少一个所述执行模块、原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块共同构成所述自催化网络。
在一些实施例的一些可选的实现方式中,由至少一个所述第一设备层执行模块、第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块、第一设备层优化模块和产线层优化模块共同构成所述互催化网络。
在一些实施例的一些可选的实现方式中,由至少一个所述第一产线层执行模块、第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块、第一产线层优化模块和工厂层优化模块共同构成所述高层级互催化网络。
在一些实施例的一些可选的实现方式中,所述自复制网络、互催化网络和高层级互催化网络均具备循环结构。
在一些实施例的一些可选的实现方式中,所述高层级互催化网络至少包括两个作为循环节点的互催化网络,所述互催化网络至少包括两个作为循环节点的自复制网络。
本发明的有益效果:
1、建立基于超循环网络的智能制造控制系统,系统各层通过超循环网络(自复制网络、互催化网络和高层级互催化网络)连接,提升信息上下贯穿效率,取代人工辅助决策方式,从而满足大规模个性化定制的响应速度;
2、应用超循环理论于智能制造控制系统之中,以智能单元和接口形成的三层自相似网络,系统纵向和横向网络打通,提升设备、产线和工厂方面协同效率,避免各环节资源的浪费,将建立生产系统所需的个性化定制部分和软件开发降到最低。
附图说明
图1为本系统总体结构图。
图2为设备层结构图。
图3为产线层结构图。
图4为互催化网络结构图。
图5为工厂层结构图。
图6为高层级互催化网络结构图。
图7为自复制网络结构图。
图8为最小的互催化网络结构图。
实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制;相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请提出了基于超循环网络的自组织三元智能制造控制系统,包括设备层、产线层和工厂层,所述设备层、产线层和工厂层自下而上形成三层网络的拓扑结构,分别对应为自复制网络、互催化网络和高层级互催化网络;
所述自复制网络形成所述互催化网络中的节点,所述互催化网络形成所述高层级互催化网络中的节点,所述设备层通过所述自复制网络进行自主智能控制,所述产线层通过互催化网络对设备层进行自组织控制,所述工厂层通过所述高层级互催化网络进行自组织控制。
如图1所示,本系统整体拓扑结构为三层网络,自下而上分别对应其三层网络分别对应设备层级、产线/车间层级,工厂层级。对应的,三个层级的网络分别称作自复制网络,互催化网络,以及高层级互催化网络。
各个层级之间具有自相似特征,自相似特征其含义一是结构上具备分型结构(即下层网络就是上层网络中的节点,且各层网络节点与链接是类似的),二是功能上各层级均具备规划、调度、控制功能。各层网络整体上都构成了循环结构,每一次循环表示的是一次产品生产的过程,即从原材料S到产品P的加工过程。
进一步的,针对自复制网络(设备层级),图2表示加工机器的一次生产过程,即S→P。
机器生产在制品的过程生成原始数据,提取关键特征向量后,可以生成自复制催化信息I。
生成本次生产过程中,以往的信息与当前的信息结合成本次的催化信息I, 在当前生产中,I首先与原材料S结合成结合催化信息的中间产物IS,之后在加工过程中生成中间产物IP,最后本次催化信息通过反馈形式指导下一次循环,并且产出产品P。
通过不断重复这样的自复制循环,催化信息不断积累与及时反馈调节,完成了催化信息指导下设备生产过程的优化。另外,这里指的优化是从性能角度的描述,从功能角度来看,设备层自复制网络具备自主规划、调度、控制的能力。其中控制主要指设备的运动控制,规划与上一层级有关,即在整体任务分配下,自主规划生产任务。
进一步的,针对互催化网络(产线层级),如图3-图4所示,在产线/车间层级,各工序的“自复制网络”形成“互催化网络”中的节点(即将设备生产过程作为个体);
物质流动方向构成具有因果关系的前馈结构(实线),质量、效率、控制的因果与相关关系构成“互催化网络”中的反馈链接闭环(虚线),共同组成的“互催化网络”。
与设备层自复制网络类似,即“产线在生产过程生成原始数据,提取关键特征向量后,可以生成自复制催化信息I。
生成本次生产过程中,以往的信息与当前的信息结合成本次的催化信息I, 在当前生产中,I首先与原材料S结合成中间产物IS,之后在加工过程中生成中间产物IP,最后本次催化信息通过反馈形式指导下一次循环,并且产出产品P。
其中产线层级生成的信息使用Ipi表示(设备层级使用IMi),在Ipi的指导与调度下,完成了设备层级自复制网络的规划功能;同时产线层级网络自身也具备规划、调度、控制功能,其实现方法与设备级类似,只是针对的客体从设备变为了产线。
进一步的,针对高层级互催化网络(工厂层级),如图5-图6所示,在工厂层级,各产线的“互催化网络”形成“高层级互催化网络”中的节点,即将产线的生产过程作为个体(换句话说,即将“互催化网络”视作“高层级自复制网络”)。
各工厂的订单信息流、供应链中的物质供应流、上下游产品品质的质量流构成具有因果关系的前馈结构(实线),质量、效率、控制等因果与相关关系构成“互催化网络”中的反馈链接闭环(虚线),共同组成的“互催化网络”。
与产线层互催化网络类似,只是针对的客体从产线变为了工厂。
至此,基于超循环网络的三元智能制造控制系统中各个层级的控制器就形成了整体的三层网络结构,各层网络中的各个节点均具备一定的自主智能,同时网络中的链接由各层级的生产过程中产生的关键信息组成,从而在控制器网络整体上涌现处规划、调度、控制的功能。
在一些实施例的一些可选的实现方式中,所述设备层包括执行模块、原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块;
所述执行模块,用于执行生产加工任务;
所述原始数据获取模块,用于提取所述执行模块在执行生产加工任务过程中留下的原始数据;
所述催化信息生成模块,用于基于所述原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,完成催化信息自复制;
所述优化模块,用于将基于所述催化信息生成模块自复制生成的催化信息输入到所述执行模块进行优化;
所述最佳工艺参数生成模块,用于控制所述原始数据获取模块、所述催化信息生成模块和所述优化模块进行持续反馈优化,直至生成当前设备层的最佳工艺参数。
如图7所示,自催化的自复制网络, 流程为:
1.首先,进行一次生产加工任务;
2.在执行任务过程中,留下原始数据T;
3. 将原始数据T通过前馈与反馈方法进行加工转化,完成催化信息I自复制;
4.催化信息I指导进行下一次生产加工任务;
5.重复2—>4过程,进行持续反馈优化,直至形成最佳工艺参数。
下面结合具体实施案例:冶金行业——定重定尺系统中的闭环结构,进行详细说明:
本实施方式中的执行模块由定尺切割系统与称重装置组成;
原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块共同组成定重系统;
流程为:
1. 执行模块中的定尺切割系统进行一次切割操作,执行模块中的称重装置进行一次重量测量;
2.原始数据获取模块在 执行模块执行切割与称重任务过程中,获取生成钢坯长度L与重量W数据;
3、催化信息生成模块将上述数据整合为催化信息向量T(L, W),根据T(L, W),调整下一根钢坯重量估计值W2与长度调整量L2,整合为信息酶向量I(L, W);其中,信息酶I中包含不只一个参数,应为向量;
4.优化模块通过催化信息I(L, W)指导执行模块进行下一次钢坯切割操作;
5.最佳工艺参数生成模块 重复2—>4过程,通过自复制闭环进行持续正反馈,直至钢坯重量稳定在标准值附近,从而达到降本提质的目标。
在一些实施例的一些可选的实现方式中,所述产线层包括第一设备层执行模块、第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块、第一设备层优化模块和产线层优化模块;
所述第一设备层执行模块,用于执行第一生产任务;
所述第一设备层原始数据获取模块,用于提取第一生产任务过程中的第一设备层原始数据;
所述第一设备层催化信息生成模块,用于基于所述第一设备层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第一设备层催化信息;
所述第二设备层优化模块,用于执行第二生产任务并根据第一设备层催化信息进行调整;
所述第二设备层执行模块,用于提取第二生产任务过程中的第二设备层原始数据;
所述第二设备层原始数据获取模块,用于提取第二生产任务过程中的第二设备层原始数据;
所述第二设备层催化信息生成模块,用于基于所述第二设备层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第二设备层催化信息;
所述第一设备层优化模块,用于根据第二设备层催化信息对第一设备层执行模块的下一次任务进行调整;
所述产线层优化模块,用于控制所述第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块和第一设备层优化模块进行持续反馈优化,让第一生产任务和第二生产任务相互促进,直至得到所有所述设备层的最佳工艺参数。
如图8所示,最小的互催化网络, 流程为:
1.生产任务Task1自复制一次;
2.生产任务Task1自复制过程中,留下原始数据T1;
3.将T1特征提取转换为催化信息I1;
4.另一生产任务Task2根据I1,调整自身自复制过程;
5.生产任务Task2自复制过程中,留下原始数据T2;
6.将T2特征提取转换为催化信息I2;
7.Task1根据I2,调整自身自复制过程;
8.重复2-7过程—>持续反馈优化, Task1与Task2互相促进, 直至高层级相变涌现。
下面结合具体实施案例,进行详细说明:
Task1: 由连铸机进行将钢水加工成钢坯操作,其进化目标为使钢坯密度均匀。
 Task2: 由定重定尺系统进行定重切割操作,其进化目标为使每根钢坯重量均匀。
流程为:
1.第一设备层执行模块(Task1): 连铸机主体执行将钢水加工成钢坯操作;
2.第一设备层原始数据获取模块(Task1): 执行钢坯加工任务时,采集核心工艺参数,如结晶器拉速V、钢包页面高度H、二冷区钢坯温度T、结晶器寿命L;
3.第一设备层催化信息生成模块(Task1): 将核心工艺参数整合为催化信息向量I1=(V, T, H, L)
4.第二设备层优化模块(Task2): 定重定尺系统根据I1构建前馈模型,通过前馈预测方法优化定重定尺系统的重量预测值;
5.第二设备层执行模块(Task2)和第二设备层原始数据获取模块(Task2): 执行长度、重量调整量估计时,生成长度与重量估计值L与W;
6.第二设备层催化信息生成模块(Task2): 定重系统将L与W调整量(变化幅度)整合为催化信息I2=(L, W);
7.第一设备层优化模块(Task1): 连铸机主题根据I2,调整钢坯加工过程中核心工艺参数
8.产线层优化模块通过重复2—>7过程,直至钢坯整体密度均匀、每根钢坯重量稳定,从而实现整体连铸过程的降本提质增效目标。
进一步的,对于上述实施例中的前馈和反馈进行如下解释说明:
定义状态S、行动A、转移模型和代价函数四个维度;
前馈:这里的前馈是指预测,即在“还没有实际行动的情况下”,计算转移模型S’ =result(S, A)以及相应的代价C,由于扰动和不确定性存在,转移模型和代价都是概率分布。所以一般就是根据概率分布,在没有行动之前,根据当前的状态,通过预测产生的代价,规划当前应该采取的行动A,即已知S,通过转移模型和代价的预测,规划A。
反馈:当智能体执行行动A之后,发现实际结果与期望结果有偏差,那么就在下一次执行行动时,把这个偏差弥补掉。
进一步的,结合上述定重定尺中的前馈与反馈进行具体说明:
这个案例中的前馈反馈方法是卡尔曼滤波。
前馈部分就是根据历史数据中的环境参数(V, T, H, L)与实际重量W的映射关系,通过回归方法建立前馈模型的第一部分W1=f(V, T, H, L);另外,在假设钢坯密度均匀、形状均匀的情况下,计算钢坯的理论值W2=ρsl。
反馈部分:实际测量的重量W3,分别赋予W1、W2、W3不同的权重,计算出“下一次执行切割操作时,如果不调整钢坯长度的话,钢坯重量的预测值”W(也就是卡尔曼滤波的一维形式)。再根据W与目标重量W‘的差值,除以密度ρ与截面积s,转化为下一次长度调整量ΔL。
进一步的,对于上述实施例中的前馈和反馈,可以采用智能体博弈方式来实现,具体来说:
首先,定义智能体(Agent)个数为N,并用状态空间S描述了N个智能体所处的环境,行动空间表示第i个智能体的行动空间,;转移函数表示第i个智能体对状态的转移响应;代价函数表示为,这里,;
进而,执行前馈和反馈的初始化过程,即:给定一个随机过程,用于保证行动具有探索性(exploration),初始所有智能体的转移响应的最初值;初始化第个智能体的确定性策略网络, 这里,是用于实现行动决策的一个深度神经网络初始化的参数向量,,对于确定性策略网络来说,每个智能体的策略只需根据自己的转移响应值采取动作;初始化第个智能体的目标策略网络, 这里,是实现行动目标优化的深度神经网络初始化的参数向量,;初始化第个智能体的动作价值网络, 这里,是用于实现代价预测的动作价值网络初始化的深度神经网络参数向量,;动作价值函数的输入依赖于所有智能体的转移响应)和动作;另外,不同的智能体的动作价值函数的神经网络结构可以相同,但网络权重参数向量可以不同;初始化第个智能体的目标动作价值网络, 这里,是目标动作价值网络初始化的深度神经网络参数向量
实现N个智能体的策略网络参数优化,从而完成上述前馈和反馈,即通过转移模型和代价的预测规划行动空间和A。具体来说,智能体的策略网络参数优化以回合(episode)为单位执行优化过程,在每个回合m(m= 1,2, …M),接收初始化的智能体转移响应:;在第m个回合的每个时间步:对每个智能体,使用当前策略函数和动作探索(exploration)生成动作并执行, 观测到奖励;将储存到经验回放缓冲池中, 这里;从经验回放缓冲池中随机抽取容量S为小批量(mini-batch)样本:;接着,用第个样本, 计算TD目标(Temporal DifferenceTarget):,其中,
计算时序差分(Temporal DifferenceError):,;更新第个智能体的动作价值网络参数向量:,这里,是学习率超参数,是动作价值网络关于参数向量的梯度;更新第个智能体的策略网络参数向量:
这里,是学习率超参数;;更新两个目标网络(target network),即更新目标动作价值网络参数向量:
更新目标策略网络参数向量:这里,是权重系数,。输出N个智能体的策略网络优化后的最优参数向量,得到每个智能体的最优的确定性策略函数:
进一步的,对特征向量提取与催化信息转化作进一步说明:
本方案中“特征提取”与“催化信息转换”是指两个步骤,原因是互催化网络中Task1与Task2是不同的两个操作任务,即异构异质属性导致对Task1有用的特征向量不一定对Task2有用。
特种提取是指从原始信息中提取出关键参数、进而组成特征向量的过程,其侧重点是,对自身任务重要的参数才是关键参数。
催化信息转换主要是指将任务1的特征向量,转化为对另一任务2有用信息的过程。
特征提取方法取决于数据结构和场景,因此以下介绍常用特征提取方法:
可以为统计学或ML方法;
特征提取的作用是对数据进行降维,从而既减小计算量,又排除掉冗余数据。常用的方法是主成分分析PCA(无监督降维方法)。其他统计方法有LDA、SVD等,思路差不多,适用不同概率分布的数据,在此暂不介绍。
PCA核心步骤为:
1)整理数据后,计算协方差矩阵;
2)计算协方差矩阵的特征值和特征向量;
3) 根据特征值对特征向量进行排序;
4)根据排序结果与需要的主成分个数选取主要成分。
另外,在上述冶金-定重定尺案例中,特征提取与信息转换的方法与含义:
1.特征提取:实际是由人完成的,即通过专家知识,预先确定影响该场景下设备性能的主要几个主表,并不是基于统计方法的特征提取过程。
2.信息转化:由T1—>T2是前馈预测过程完成的转换,即从I1=(V, T, H, L)得到相应的预测重量W1=f(I1=(V, T, H, L)),这里同Part One中的描述;相应的,T2—>T1的转换是由重量W到长度调整量ΔL的过程,即“再根据W与目标重量W‘的差值,除以密度ρ与截面积s成绩,转化为下一次长度调整里量ΔL。
在一些实施例的一些可选的实现方式中,所述工厂层包括第一产线层执行模块、第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块、第一产线层优化模块和工厂层优化模块;
所述第一产线层执行模块,用于执行第一产线层任务;
所述第一产线层原始数据获取模块,用于提取第一产线层任务过程中的第一产线层原始数据;
所述第一产线层催化信息生成模块,用于基于所述第一产线层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第一产线层催化信息;
所述第二产线层优化模块,用于执行第二产线层任务并根据第一产线层催化信息进行调整;
所述第二产线层执行模块,用于提取第二产线层任务过程中的第二产线层原始数据;
所述第二产线层原始数据获取模块,用于提取第二产线层任务过程中的第二产线层原始数据;
所述第二产线层催化信息生成模块,用于基于所述第二产线层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第二产线层催化信息;
所述第一产线层优化模块,用于根据第二产线层催化信息对第一产线层执行模块的下一次任务进行调整;
所述工厂层优化模块,用于控制所述第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块和第一产线层优化模块进行持续反馈优化,让第一产线层任务和第二产线层任务相互促进,直至得到所有所述产线层的最佳工艺参数。
由于工厂层与产线层互催化网络类似,只是针对的客体从产线变为了工厂,而工厂层只是由多个产线层作为节点组成的,即高层级互催化网络由多个互催化网络组合而成,所以对于工厂层的具体实施与产线层类似,便不做重复说明。
在一些实施例的一些可选的实现方式中,所述工厂层包括至少两个产线层,每个产线层包括至少两个设备层。
在一些实施例的一些可选的实现方式中,由至少一个所述执行模块、原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块共同构成所述自催化网络。
在一些实施例的一些可选的实现方式中,由至少一个所述第一设备层执行模块、第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块、第一设备层优化模块和产线层优化模块共同构成所述互催化网络。
在一些实施例的一些可选的实现方式中,由至少一个所述第一产线层执行模块、第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块、第一产线层优化模块和工厂层优化模块共同构成所述高层级互催化网络。
在一些实施例的一些可选的实现方式中,所述自复制网络、互催化网络和高层级互催化网络均具备循环结构。
在一些实施例的一些可选的实现方式中,所述高层级互催化网络至少包括两个作为循环节点的互催化网络,所述互催化网络至少包括两个作为循环节点的自复制网络。
以上仅是本发明优选的实施方式,需指出的是,对于本领域技术人员在不脱离本技术方案的前提下,作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。

Claims (10)

1.基于超循环网络的自组织三元智能制造控制系统,其特征在于:包括设备层、产线层和工厂层,所述设备层、产线层和工厂层自下而上形成三层网络的拓扑结构,分别对应为自复制网络、互催化网络和高层级互催化网络;
所述自复制网络形成所述互催化网络中的节点,所述互催化网络形成所述高层级互催化网络中的节点,所述设备层通过所述自复制网络进行自主智能控制,所述产线层通过互催化网络对设备层进行自组织控制,所述工厂层通过所述高层级互催化网络进行自组织控制。
2.根据权利要求1所述的系统,其特征在于:所述设备层包括执行模块、原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块;
所述执行模块,用于执行生产加工任务;
所述原始数据获取模块,用于提取所述执行模块在执行生产加工任务过程中留下的原始数据;
所述催化信息生成模块,用于基于所述原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,完成催化信息自复制;
所述优化模块,用于将基于所述催化信息生成模块自复制生成的催化信息输入到所述执行模块进行优化;
所述最佳工艺参数生成模块,用于控制所述原始数据获取模块、所述催化信息生成模块和所述优化模块进行持续反馈优化,直至生成当前设备层的最佳工艺参数。
3.根据权利要求2所述的系统,其特征在于:所述产线层包括第一设备层执行模块、第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块、第一设备层优化模块和产线层优化模块;
所述第一设备层执行模块,用于执行第一生产任务;
所述第一设备层原始数据获取模块,用于提取第一生产任务过程中的第一设备层原始数据;
所述第一设备层催化信息生成模块,用于基于所述第一设备层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第一设备层催化信息;
所述第二设备层优化模块,用于执行第二生产任务并根据第一设备层催化信息进行调整;
所述第二设备层执行模块,用于提取第二生产任务过程中的第二设备层原始数据;
所述第二设备层原始数据获取模块,用于提取第二生产任务过程中的第二设备层原始数据;
所述第二设备层催化信息生成模块,用于基于所述第二设备层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第二设备层催化信息;
所述第一设备层优化模块,用于根据第二设备层催化信息对第一设备层执行模块的下一次任务进行调整;
所述产线层优化模块,用于控制所述第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块和第一设备层优化模块进行持续反馈优化,让第一生产任务和第二生产任务相互促进,直至得到所有所述设备层的最佳工艺参数。
4.根据权利要求3所述的系统,其特征在于:所述工厂层包括第一产线层执行模块、第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块、第一产线层优化模块和工厂层优化模块;
所述第一产线层执行模块,用于执行第一产线层任务;
所述第一产线层原始数据获取模块,用于提取第一产线层任务过程中的第一产线层原始数据;
所述第一产线层催化信息生成模块,用于基于所述第一产线层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第一产线层催化信息;
所述第二产线层优化模块,用于执行第二产线层任务并根据第一产线层催化信息进行调整;
所述第二产线层执行模块,用于提取第二产线层任务过程中的第二产线层原始数据;
所述第二产线层原始数据获取模块,用于提取第二产线层任务过程中的第二产线层原始数据;
所述第二产线层催化信息生成模块,用于基于所述第二产线层原始数据提取特征向量,并通过前馈和反馈处理进行加工转化,得到第二产线层催化信息;
所述第一产线层优化模块,用于根据第二产线层催化信息对第一产线层执行模块的下一次任务进行调整;
所述工厂层优化模块,用于控制所述第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块和第一产线层优化模块进行持续反馈优化,让第一产线层任务和第二产线层任务相互促进,直至得到所有所述产线层的最佳工艺参数。
5.根据权利要求4所述的系统,其特征在于:所述工厂层包括至少两个产线层,每个产线层包括至少两个设备层。
6.根据权利要求4所述的系统,其特征在于:由至少一个所述执行模块、原始数据获取模块、催化信息生成模块、优化模块和最佳工艺参数生成模块共同构成所述自催化网络。
7.根据权利要求5所述的系统,其特征在于:由至少一个所述第一设备层执行模块、第一设备层原始数据获取模块、第一设备层催化信息生成模块、第二设备层优化模块、第二设备层执行模块、第二设备层原始数据获取模块、第二设备层催化信息生成模块、第一设备层优化模块和产线层优化模块共同构成所述互催化网络。
8.根据权利要求7所述的系统,其特征在于:由至少一个所述第一产线层执行模块、第一产线层原始数据获取模块、第一产线层催化信息生成模块、第二产线层优化模块、第二产线层执行模块、第二产线层原始数据获取模块、第二产线层催化信息生成模块、第一产线层优化模块和工厂层优化模块共同构成所述高层级互催化网络。
9.根据权利要求8所述的系统,其特征在于:所述自复制网络、互催化网络和高层级互催化网络均具备循环结构。
10.根据权利要求9所述的系统,其特征在于:所述高层级互催化网络至少包括两个作为循环节点的互催化网络,所述互催化网络至少包括两个作为循环节点的自复制网络。
CN202310285730.XA 2023-03-22 2023-03-22 基于超循环网络的自组织三元智能制造控制系统 Active CN116009503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310285730.XA CN116009503B (zh) 2023-03-22 2023-03-22 基于超循环网络的自组织三元智能制造控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310285730.XA CN116009503B (zh) 2023-03-22 2023-03-22 基于超循环网络的自组织三元智能制造控制系统

Publications (2)

Publication Number Publication Date
CN116009503A true CN116009503A (zh) 2023-04-25
CN116009503B CN116009503B (zh) 2023-06-20

Family

ID=86032161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310285730.XA Active CN116009503B (zh) 2023-03-22 2023-03-22 基于超循环网络的自组织三元智能制造控制系统

Country Status (1)

Country Link
CN (1) CN116009503B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1636169A (zh) * 2000-05-11 2005-07-06 塞威公司 用于自复制制造平台的方法和系统
CN202433742U (zh) * 2011-11-23 2012-09-12 安徽大瑞橡胶有限公司 轮胎硫化车间设备的网络化控制系统
CN104020743A (zh) * 2014-06-09 2014-09-03 三明学院 一种基于两层混合网络拓扑结构的分布式估计和控制方法
CN109003038A (zh) * 2018-06-11 2018-12-14 广州中国科学院沈阳自动化研究所分所 一种纺织印染行业数字化工厂系统架构
US20210286325A1 (en) * 2020-03-16 2021-09-16 Guangdong University Of Technology Self-adaptive configuration method and system for linkage response of construction type, motion type, control type and optimization type
CN113919485A (zh) * 2021-10-19 2022-01-11 西安交通大学 基于动态层级通信网络的多智能体强化学习方法及系统
CN114706353A (zh) * 2021-04-21 2022-07-05 天津大学 一种自动化控制虚拟仿真制造平台

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1636169A (zh) * 2000-05-11 2005-07-06 塞威公司 用于自复制制造平台的方法和系统
CN202433742U (zh) * 2011-11-23 2012-09-12 安徽大瑞橡胶有限公司 轮胎硫化车间设备的网络化控制系统
CN104020743A (zh) * 2014-06-09 2014-09-03 三明学院 一种基于两层混合网络拓扑结构的分布式估计和控制方法
CN109003038A (zh) * 2018-06-11 2018-12-14 广州中国科学院沈阳自动化研究所分所 一种纺织印染行业数字化工厂系统架构
US20210286325A1 (en) * 2020-03-16 2021-09-16 Guangdong University Of Technology Self-adaptive configuration method and system for linkage response of construction type, motion type, control type and optimization type
CN114706353A (zh) * 2021-04-21 2022-07-05 天津大学 一种自动化控制虚拟仿真制造平台
CN113919485A (zh) * 2021-10-19 2022-01-11 西安交通大学 基于动态层级通信网络的多智能体强化学习方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田红娜,等: "制造企业工艺绿色化创新机制自组织演进", 《哈尔滨工程大学学报》, vol. 33, no. 9, pages 1186 - 1193 *

Also Published As

Publication number Publication date
CN116009503B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
Luo et al. Real-time scheduling for dynamic partial-no-wait multiobjective flexible job shop by deep reinforcement learning
Zhang et al. Dynamic job shop scheduling based on deep reinforcement learning for multi-agent manufacturing systems
CN110443412B (zh) 动态优化加工过程中物流调度及路径规划的强化学习方法
Dai et al. Distributed MPC for formation of multi-agent systems with collision avoidance and obstacle avoidance
Zhou et al. Reinforcement learning with composite rewards for production scheduling in a smart factory
Wang et al. Solving job scheduling problems in a resource preemption environment with multi-agent reinforcement learning
Zhao et al. Dynamic jobshop scheduling algorithm based on deep Q network
Maione et al. Evolutionary adaptation of dispatching agents in heterarchical manufacturing systems
Wang et al. A hybrid discrete imperialist competition algorithm for fuzzy job-shop scheduling problems
CN114430815A (zh) 用于柔性制造系统及设备的自学习制造调度方法
Chen et al. On-demand transmission for edge-assisted remote control in industrial network systems
Overbeck et al. Reinforcement learning based production control of semi-automated manufacturing systems
CN116009503B (zh) 基于超循环网络的自组织三元智能制造控制系统
CN110231808B (zh) 一种生产过程能效跨尺度智能协同控制系统与方法
Guicheng et al. Review on Dec-POMDP model for MARL algorithms
Li et al. Pseudoerror-based self-organizing neuro-fuzzy system
Monfared et al. Design of integrated manufacturing planning, scheduling and control systems: a new framework for automation
D’Errico Fuzzy control systems with application to machining processes
Lian et al. Performance enhancement for T–S fuzzy control using neural networks
CN106651003B (zh) 一种条件偏转近似次梯度的多项式动态规划方法
Zhang et al. An imperialist competitive algorithm incorporating remaining cycle time prediction for photolithography machines scheduling
Li et al. Research on collaborative control method of manufacturing process based on distributed multi-agent cooperation
CN116466660A (zh) 基于超循环网络的自组织三元智能制造控制方法及系统
CN116540658B (zh) 基于监督控制理论和强化学习的自动制造系统调度方法
Le et al. Distributed experiment design and control for multi-agent systems with gaussian processes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant