CN116449779A - 基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法 - Google Patents
基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法 Download PDFInfo
- Publication number
- CN116449779A CN116449779A CN202310343779.6A CN202310343779A CN116449779A CN 116449779 A CN116449779 A CN 116449779A CN 202310343779 A CN202310343779 A CN 202310343779A CN 116449779 A CN116449779 A CN 116449779A
- Authority
- CN
- China
- Prior art keywords
- data
- actor
- model
- algorithm
- spraying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005507 spraying Methods 0.000 title claims abstract description 29
- 230000007613 environmental effect Effects 0.000 title claims abstract description 16
- 238000007405 data analysis Methods 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 230000002787 reinforcement Effects 0.000 claims abstract description 34
- 239000003973 paint Substances 0.000 claims abstract description 32
- 239000007921 spray Substances 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000004378 air conditioning Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000013079 data visualisation Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 239000011248 coating agent Substances 0.000 claims description 12
- 238000000576 coating method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000010977 unit operation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 210000001258 synovial membrane Anatomy 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 26
- 238000010438 heat treatment Methods 0.000 abstract description 14
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 238000001816 cooling Methods 0.000 abstract description 8
- 238000002360 preparation method Methods 0.000 abstract description 7
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000005057 refrigeration Methods 0.000 abstract 1
- 230000009471 action Effects 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 6
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 239000003345 natural gas Substances 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000008235 industrial water Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007592 spray painting technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明提供了基于Actor‑Critic结构的汽车车身喷涂用环境数据分析方法，属于汽车制造车身喷涂技术领域，方法包括：数据处理，数据存储，模型构建，数据可视化，Wis3D可视化系统和智慧监控小程序，模型构建采用了深度强化学习控制算法，该深度强化学习控制算法为Actor‑Critic结构的双深度强化学习解耦网络模型算法和PID算法；再通过对比其他四种算法模型的控制方案；从而节约能量，且使大型空调机组自动对喷漆室内温湿度进行快速有效调节，同时在新风空调和循环风空调配合的方式下使车身喷涂的整个过程中节约更多的能源，同步减少开机准备时间，在工作过程中制冷加热功能交替开启，各个自动执行单元提供加热、降温、加湿、除湿功能时，系统可以快速达到稳定状态。
Description
技术领域
本发明主要涉及汽车制造车身喷涂技术领域，具体涉及基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法。
背景技术
汽车整车制造过程需要消耗工业水、电、天然气、压缩空气等能源，涂装是整车制造很重要的工序和生产环节，涂装能耗在整车生产过程中(车身冲压、焊装、涂装和总装)占比最大，能源费用占比在70％以上，所以有效解决涂装能耗问题，是汽车生产制造节能降耗的关键和落脚点。因此，汽车制造行业中车身喷涂工艺是其核心工艺之一。
车身喷涂的功能原理是保障在相对恒定温度湿度下、按一定速度流动的空气中进行车身喷涂作业；温湿度稳定是为了车漆的有效附着，空气流动是要把含多余漆雾的空气有效排出。涂装车间常见的喷漆空调系统主要由入口风机、出口风机、燃烧器、热水盘管、冷水盘管、空调箱体、加湿装置、过滤装置等部分组成，各个部件之间由管网联系在一起。根据空调各功能段组合的不同，涂装车间空调温湿度控制系统主要分为4个控制段，分别为一次加热段、表冷段、加湿段和二次加热段，每个部件具有各自的特性。
因此，为保障喷涂效果和质量一致性，关键措施之一是用大型空调机组自动对喷漆室内温湿度进行有效调节，为此会采用天然气加热、热水加热、加湿泵加湿、表冷器降温、除湿，这些功能在使用时会消耗大量的动能，因此需要在开机准备阶段，尽快达到温湿度要求，在工作状态时，尽量减少温湿度波动。
同时喷涂工艺为了尽可能的节约能源，温度调节采用新风空调和循环风空调配合的方式，新风空调负责把外界自然环境的空气调节到工艺需求范围供喷漆室，用于弥补排出含漆雾空气的损失，循环风是把喷漆室中一部分不含漆雾工位的空气收集起来，处理后再循环。
但是，现有的控制系统往往存在开机准备时间长(1.5小时及以上)，在工作过程中制冷加热功能交替开启，各个自动执行单元提供加热、降温、加湿、除湿功能时，系统无法快速达到稳定状态等问题。
发明内容
本发明主要提供了基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法用以解决上述背景技术中提出的技术问题。
本发明解决上述技术问题采用的技术方案为：
基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，所述方法包括：
步骤一，数据处理，对数据进行审查和校验，以删除重复信息、纠正存在的错误；
步骤二，数据存储，通过Kafka处理平台写入机器开机产生的实时数据，之后设定对机器开机的数据进行分区储存的频率；
步骤三，模型构建，采用了深度强化学习控制算法得到一个高效稳定的涂装空调温湿度控制器，该所述深度强化学习控制算法为Actor-Critic结构的双深度强化学习解耦网络模型算法和PID算法；
再通过对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该所述四种算数模型为：PID控制器模型、滑膜控制器模型、模糊控制器模型、MPC控制器模型；
步骤四，数据可视化，以多种色彩将各模块以及各模块内数据区分开来，并采用了数据流图的形式，从构建出的五种算法模型择优选择双深度强化学习解耦网络模型的构建过程展现出来，使用气泡云图将择优算法模型展现；
步骤五，Wis3D可视化系统和智慧监控小程序，通过基于数字孪生的Wis3D摩尔元素平台对喷漆室、新风空调、循环空调进行组装展示，数据同步上传至喷漆车间智慧监控小程序。
进一步的，所述数据处理的流程为：
Step1：模型训练所需数据预处理；从空调机组运行数据从提取所需特征数据，并构造目标数据格式用于读取空调机组运行数据；
Step2：空调机组BC1新风和BC1循环风的数据处理；当发现BC1新风空调机组的一列燃烧机阀值全为0，则当作无关因子直接删除；Step3：异常数据处理；
Step4：写好一个清洗相同时间序列数据模板，来对空调机组BC1新风和BC1循环风的时间列数据进行清洗，然后将上一步清洗好的数据按照所属日期一一对应的填充到目标csv文件中，每一个csv文件清洗过后对应导出一个新的csv文件，最后将导出的csv文件用于训练模型和测试模型。
进一步的，所述异常数据处理步骤分别为：异常数据检测、异常数据替换、缺失数据替换、数据平滑、数据归一化。
进一步的，所述数据存储的具体步骤为：
Step1：将清洗分组后的文件存入到HDFS中Namenode发送数据上传的请求，Namenode收到客户端请求之后会进行一系列的检查工作；
Step2：检查通过之后，Namenode给客户端返回一个存储的节点信息返回的，该节点信息优先返回客户端所在节点，其次返回同机架的节点，最后返回不同机架的节点；
Step3：客户端收到响应之后，会进行一次逻辑切块。
进一步的，所述模型构建前的流程为：整合好的数据由Kafka处理平台收集，传入到Flink处理引擎，然后Flink处理引擎上传到HdFs分布式文件系统上，处理成Hive格式的文件，最终存入到Hive数据库中。
进一步的，所述数据可视化流程使用到两套系统，两套所述系统分别为：
数据可视化系统，可视化页面采用了SpringBoot框架，Ajax异步加载数据，HTML标记语言、CSS层叠样式表、JS编程语言、Echarts数据可视化图表库等开发；
喷漆车间智慧监控系统，监控系统的前端通过Vue.js框架，后端通过SpringBoot框架，MySql数据库以及云服务器搭建。
进一步的，所述智慧监控小程序的框架系统分为两部分：逻辑层和视图层，视图层与逻辑层间之间提供了数据传输和事件系统。
与现有技术相比，本发明的有益效果为：
本发明为了达到较短的开机准备时间以及稳定的加热、降温、加湿、除湿状态，分别采用多种方法对整个系统进行控制对比，包括PID控制器，滑膜控制器，模糊控制器，MPC控制器以及基于深度强化学习+PID的涂装空调温湿度控制器。通过这些方法对控制系统的开机时间，加热、降温、加湿、除湿四个控制指令所对应的控制稳定性，控制响应速度以及控制超调量等关键性能指标。同时对影响系统控制性能的影响因素数据和参数进行数据分析，建立精准控制算法，精准判断因素影响程度；并通过对比PID控制器，滑膜控制器，模糊控制器，MPC控制器以及基于深度强化学习PID的涂装空调温湿度控制器等多种不同的控制方案，分析对比数据得出在超调、稳定性、响应时间等方面都具有非常大的优势；
从而节约天然气加热、热水加热、加湿泵加湿、表冷器降温、除湿，这些功能在使用时的能量；且使大型空调机组自动对喷漆室内温湿度进行快速有效调节，在开机准备阶段，尽快达到温湿度要求，在工作状态时，减少温湿度波动，达到稳定状态；同时在新风空调和循环风空调配合的方式下使车身喷涂的整个过程中节约更多的能源，并且通过数据可视化系统，3D可视化系统，使操作员更加方便的工作；同步减少开机准备时间，在工作过程中制冷加热功能交替开启，各个自动执行单元提供加热、降温、加湿、除湿功能时，系统可以快速达到稳定状态。
以下将结合附图与具体的实施例对本发明进行详细的解释说明。
附图说明
图1为本发明的数据分析方法整体设计结构示意图；
图2为本发明的双深度强化学习解耦网络模型结构示意图；
图3为本发明的Actor和Critic结构示意图；
图4为本发明的归一化Reward示意图；
图5为本发明的训练误差示意图；
图6为本发明的PID功能框架结构示意图；
图7为本发明的BC1新风空调建模仿真系统示意图；
图8为本发明的循环风空调建模仿真系统示意图；
图9为本发明的PID温度控制输出示意图；
图10为本发明的滑膜控制器温度控制示意图；
图11为本发明的模糊控制输出示意图；
图12为本发明的MPC控制输出示意图；
图13为本发明的深度强化学习和PID示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更加全面的描述，附图中给出了本发明的若干实施例，但是本发明可以通过不同的形式来实现，并不限于文本所描述的实施例，相反的，提供这些实施例是为了使对本发明公开的内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上也可以存在居中的元件，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件，本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例，请参照附图1-13，基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，所述方法包括：
步骤一，数据处理，对数据进行审查和校验，以删除重复信息、纠正存在的错误；
步骤二，数据存储，通过Kafka处理平台写入机器开机产生的实时数据，之后设定对机器开机的数据进行分区储存的频率；
步骤三，模型构建，采用了深度强化学习控制算法得到一个高效稳定的涂装空调温湿度控制器，该所述深度强化学习控制算法为Actor-Critic结构的双深度强化学习解耦网络模型算法和PID算法；
再通过对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该所述四种算数模型为：PID控制器模型、滑膜控制器模型、模糊控制器模型、MPC控制器模型；
步骤四，数据可视化，以多种色彩将各模块以及各模块内数据区分开来，并采用了数据流图的形式，从构建出的五种算法模型择优选择双深度强化学习解耦网络模型的构建过程展现出来，使用气泡云图将择优算法模型展现；
步骤五，Wis3D可视化系统和智慧监控小程序，通过基于数字孪生的Wis3D摩尔元素平台对喷漆室、新风空调、循环空调进行组装展示，数据同步上传至喷漆车间智慧监控小程序；
需要说明的是，在本实施例中，参考附图1和附图2，在系统运行中，对采集到的大量数据进行实时处理，并提取出相关的特征来预测温湿度的变化，通过深度强化学习模拟脑神经系统，对系统的温湿度实时数据做出及时正确的反馈，通过控制器来设定喷漆室的温度和湿度，各个参数的指标是通过传感器来回调数据，通过之前的数据(预处理、归一化)在深度强化学习网络模型进行了训练，模型迭代训练5000次左右，其loss损失函数收敛在数值10左右，模型无过拟合与欠拟合现象，然后在模型的预测下，可以较好的在设定的温湿度下，对各个参数进行调整，让整个喷漆作业的参数可以达到最优，以及在喷漆作业过程中，整个系统趋向于稳定性；
采用了一种基于Actor-Critic结构的双深度强化学习解耦网络模型，其包括两个深度强化学习网络模型以及一个温湿度解耦模块，如附图2所示。
模型构建原理如下：
在系统运行中，对采集到的大量数据进行实时处理，并提取出相关的特征来预测温湿度的变化，通过深度强化学习模拟脑神经系统，对系统的温湿度实时数据做出及时正确的反馈，通过控制器来设定喷漆室的温度和湿度，各个参数的指标是通过传感器来回调数据，通过之前的数据(预处理、归一化)在深度强化学习网络模型进行了训练，模型迭代训练5000次左右，其loss损失函数收敛在数值10左右，模型无过拟合与欠拟合现象，然后在模型的预测下，可以较好的在设定的温湿度下，对各个参数进行调整，让整个喷漆作业的参数可以达到最优，以及在喷漆作业过程中，整个系统趋向于稳定性。
具体解释如下：
(1)A-C网络结构模型：参考附图3，两个深度强化学习网络模型分别针对湿度信息和温度信息作出实时的数据处理和决策输出。其包含了Actor策略网络结构和Critic评价网络结构。
策略网络结构包括三个隐含层，其中前两个层的激活函数为ReLu函数，第三个层的激活函数为Tanh函数和Softplus函数，每个隐含层的节点数为64。状态变量st输入到策略网络中，最后得到均值mean和方差var两部分，通过采样得到动作at。
评价网络包括三个隐含层，每个隐含层包含64个节点，其中前两个层的激活函数为ReLu函数。状态变量st输入到评价网络中，最后输出状态值函数vt，表示当前的策略所获得的累积奖励值。
(2)奖励函数设计
奖励函数是深度强化学习的一个重要部分，其决定了深度强化学习的收敛性。在本系统中，为了达到温湿度控制器较快的控制响应、较低的超调以及稳定的控制效果这三个控制目标，定义奖励函数为：
r1～r3分别表示控制器响应速度，控制器超调量以及控制器的稳定性三个指标，k1～k3表示3个调整参数。那么当控制器的三个指标和理想值较为接近，奖励值Rs，a(t)接近0，控制器的三个指标和理想值偏差较大，则奖励值Rs，a(t)则接近-1。那么在实际控制过程中，深度学习网络为了获得更高的奖励值，则会朝着控制器快速响应，低超调以及控制输出的稳定性三个目标努力学习和调整。
训练过程如下：
通过归一化的操作，将奖励值控制在0.25范围内，如图4所示；当模型迭代5000次左右，损失函数值趋向于10的附近，如图5所示；
(3)动作空间action-space设计
请参考附图6所示，PID算法的执行流程：利用反馈来检测偏差信号，并通过偏差信号来控制被控量。而控制器本身为P比例、I积分、D微分三个环节；
深度强化学习最终通过输出动作at来调整PID控制器的三个控制参数，那么动作空间可以做如下的设置：
at＝{ΔKp，ΔKi，ΔKd}
将动作空间的输出变量at＝{ΔKp，ΔKi，ΔKd}，作为控制器的三个调整参数，即：
Kp(t)＝Kp(t-1)+ΔKp
Ki(t)＝Ki(t-1)+ΔKi
Kd(t)＝Kd(t-1)+ΔKd
控制器包括PID控制器，滑膜控制器，模糊控制器，MPC控制器以及基于深度强化学习的涂装空调温湿度控制器。
另外一方面，为了防止出现训练过程中，样本空间的局限性而导致动作输出值较大，对动作空间添加约束值：
ΔKp，min≤ΔKp≤ΔKp，max
ΔKi，min≤ΔKi≤ΔKi，max
ΔKd，min≤ΔKd≤ΔKd，max
(4)外部环境的信息交互设计
那么在实际工作过程中，智能体与外部环境的信息交互步骤如下：
第一、假设智能体在t时刻和t+1时刻的状态信息为st和st+1，那么状态信息为st和st+1满足如下关系式：
P(s＝st+1/st)＝P(st，at，st+1)
第二、P(st，at，st+1)表示强化学习模块在获得st之后，通过决策网络和评价网络选择动作at，并在动作at作用下获得状态st+1的概率。
第三、根据t时刻智能体感知到的环境状态bA，智能体将根据当前的状态bA做出一个动作策略at，并将该动作at，通过控制单元作用到环境中。将动作策略作用到环境的过程定义为bA，那么环境状态的值可以表示为：
Vπ(st+1)＝r[π(st+1)]+γ∑P(st，at，st+1)Vπ(st)
状态转换概率P(st，at，st+1)与当前环境下的状态值Vπ(st)的乘积和与当前状态st的策略所产生的奖励值相加，作为下一时刻环境的状态值Vπ(st+1)。
第四、当环境接收到t时刻的动作at时，外部的环境状态将发生更新，即st+1＝st。此时，环境将反馈给智能体奖励值rt。rt反应了t时刻的动作at作用到环境后，环境通过评价函数给出的奖励。
第五、智能体接收到奖励函数rt之后，将更新其知识储备，并调整策略，输出t+1时刻的动作at+1。此时，决策网络和评价网络将根据st，at，rt计算损失函数并更新评价网络和决策网络的参数。
这里，定义损失函数表达式如下：
是新旧策略的概率比；ε是超参数，取值范围始终在0.1到0.2之间；反映了新策略与旧策略的差异。当/>时，PPO算法的状态作用具有正优势，当/>时，PPO算法的状态作用具有负优势。
(5)建模仿真过程
请参考附图7和附图8所示，通过Matlab当中的仿真功能对二种空调有进行相关的仿真，在基于Actor-Critic结构的双深度强化学习解耦网络模型中，可以作为指导来控制2种空调的运行的参数，有效的控制喷漆室的温湿度达到合适的数值。
对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该项举例：多种控制器温度控制对比：
参考附图9，使用PID控制调节喷漆室温度在25.2℃的时候，其稳定性存在一些小范围波动，喷漆室温度在26℃的时候，波动非常的明显；
参考附图10，使用滑膜控制调节喷漆室温度在25.2℃的时候，其稳定性存在一些小范围波动，喷漆室温度在26℃的时候，波动非常的明显；
参考附图11，使用模糊控制调节喷漆室温度在25.2℃的时候，其稳定性存在一些小范围波动，喷漆室温度在26℃的时候，波动非常的明显；
参考附图12，使用MPC控制调节喷漆室温度在25.2℃的时候，其稳定性存在好转，喷漆室温度在26℃的时候，波比上面的控制器明显得到改进，但还存在小范围的波动；
参考附图13，使用深度强化学习+PID控制调节喷漆室温度在24℃的时候，其稳定性最好；
综合各项对比数据，深度强化学习+PID控制稳定性最好。
进一步的，所述数据处理的流程为：
Step1：模型训练所需数据预处理；从空调机组运行数据从提取所需特征数据，并构造目标数据格式用于读取空调机组运行数据；
Step2：空调机组BC1新风和BC1循环风的数据处理；当发现BC1新风空调机组的一列燃烧机阀值全为0，则当作无关因子直接删除；
Step3：异常数据处理；
Step4：写好一个清洗相同时间序列数据模板，来对空调机组BC1新风和BC1循环风的时间列数据进行清洗，然后将上一步清洗好的数据按照所属日期一一对应的填充到目标csv文件中，每一个csv文件清洗过后对应导出一个新的csv文件，最后将导出的csv文件用于训练模型和测试模型；
需要说明的是，在本实施例中，数据预处理过程中，通过pandas库来读取csv文件，然后将目标特征列(入口温度，出口温度，湿度，冷热水阀开度等)进行提取，然后清洗成目标格式，最终通过调用csv库的方法来导出csv文件，然后供下一步清洗操作使用。
进一步的，所述异常数据处理步骤分别为：异常数据检测、异常数据替换、缺失数据替换、数据平滑、数据归一化；
需要说明的是，在本实施例中，
(1)异常数据检测：
假设第i时刻的采集数据为Yi，其均值和方差分别为和通过3σ理论，可以使用如下公式来进行异常判决：
将采集得到的相关数据和均值的差值绝对值和3σε对比，如果大于3σε，则表示当前的采集数据存在异常，如果小于3σε，表示当前的采集数据正；
(2)异常数据替换：
假设第i时刻的采集数据的替换值为那么其替换值可以表示为：
Yi±1表示的是Yi前后两个时刻的采集数据值；Yi±2表示的是Yi前后四个时刻的采集数据值。
(3)缺失数据替换：
假设第i时刻需要被填充的数据值为填充时刻的前后k个时刻的数据分别是Yi-1，Yi-2，...，Yi-k及Yi+1，Yi+2，...，Yi+k；那么其填充值可以表示为：
(4)数据平滑：
假设第i时刻需要被平滑处理的数据值为平滑时刻的前k个时刻的数据分别是Yi-1，Yi-2，...，Yi-k；那么其/>可以表示为：
(5)数据归一化：
在数据预处理之后，防止数据在建模训练阶段出现数据溢出或者训练过拟合的问题，需要将数据进行归一化处理。通过归一化处理，可将被处理数据映射到一个较小的取值范围内，防止后续处理出现数据溢出等异常。
归一化方法，其主要通过计算数据Y的最小值Ymin和最大值Ymax，其数学表达式为：
进一步的，所述数据存储的具体步骤为：
Step1：将清洗分组后的文件存入到HDFS中Namenode发送数据上传的请求，Namenode收到客户端请求之后会进行一系列的检查工作；
Step2：检查通过之后，Namenode给客户端返回一个存储的节点信息返回的，该节点信息优先返回客户端所在节点，其次返回同机架的节点，最后返回不同机架的节点；
Step3：客户端收到响应之后，会进行一次逻辑切块；
需要说明的是，在本实施例中，该实施例中的Step1中的检查工作为查重处理，如果重复则报错，验证上传文件的目标目录是否存在，不存在报错，检查权限等；
逻辑切块：可以理解为切分前的准备，每个块128M，计算出需要切分成几个块(切块规划)。然后将同一个块的所有存储节点构建成一个数据流通道，按照块的id依次构建通道，构建完成之后会逆序返回一个响应最后开始真正的文件上传，边上传边进行数据的物理切块，完成存储过程。
进一步的，所述模型构建前的流程为：整合好的数据由Kafka处理平台收集，传入到Flink处理引擎，然后Flink处理引擎上传到HdFs分布式文件系统上，处理成Hive格式的文件，最终存入到Hive数据库中。
需要说明的是，在本实施例中，Kafka处理平台是一款分布式、支持分区的、多副本，基于ZooKeeper服务软件协调的分布式消息系统，其最大的特性就是可以实时处理大量数据来满足需求。然后再使用Flink处理引擎消费存储在Kafka处理平台中的数据，Flink处理引擎是一个分布式、高性能的框架和分布式处理引擎，它用于对无限制和有限制的数据流进行有状态的计算，Flink处理引擎被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算，其特性十分符合企业对海量数据进行实时处理的需求。使用HDFS分布式文件系统暂时存储未处理的原始数据，因为HDFS分布式文件系统不仅能提供高吞吐量的数据访问，而且其高容错性的特征又可以避免数据丢失，之后可以根据实际的生产要求编写对应的MapReduce程序来处理收集来的数据，最后将处理好的数据装载到Hive数据库中，为数据操作提供良好的伸缩性和可扩展性。
进一步的，所述数据可视化流程使用到两套系统，两套所述系统分别为：
数据可视化系统，可视化页面采用了SpringBoot框架，Ajax异步加载数据，HTML标记语言、CSS层叠样式表、JS编程语言、Echarts数据可视化图表库等开发；
喷漆车间智慧监控系统，监控系统的前端通过Vue.js框架，后端通过SpringBoot框架，MySql数据库以及云服务器搭建；
需要说明的是，在本实施例中，喷漆车间智慧监控系统是一款无需按照在线可编辑的建模平台，对喷漆室、新风空调、循环空调进行监控，在该系统中可以监控每相隔一个小时的参数变化，动态更新新风空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、当前的设定温度、设定湿度、冷水阀开度、热水阀开度、加湿泵频率、加湿泵电流。动态更新循环空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、冷水阀开度。动态更新喷漆室的参数，包括当前的温度和湿度。当喷漆室的环境达到合适之后，会提示喷漆作业。
进一步的，所述智慧监控小程序的框架系统分为两部分：逻辑层和视图层，视图层与逻辑层间之间提供了数据传输和事件系统；
需要说明的是，在本实施例中，在该程序中可以监控每15分钟的参数变化，动态更新新风空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、当前的设定温度、设定湿度、冷水阀开度、热水阀开度、加湿泵频率、加湿泵电流。动态更新循环空调的参数，包括入口温度、入口湿度、出口温度、出口湿度、冷水阀开度。动态更新喷漆室的参数，包括当前的温度和湿度，工作人员在手机上查看喷漆作业的相关参数。
上述结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的这种非实质改进，或未经改进将本发明的构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。
Claims (7)
1.基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述方法包括：
步骤一，数据处理，对数据进行审查和校验，以删除重复信息、纠正存在的错误；
步骤二，数据存储，通过Kafka处理平台写入机器开机产生的实时数据，之后设定对机器开机的数据进行分区储存的频率；
步骤三，模型构建，采用了深度强化学习控制算法得到一个高效稳定的涂装空调温湿度控制器，该所述深度强化学习控制算法为Actor-Critic结构的双深度强化学习解耦网络模型算法和PID算法；
再通过对比其他四种算法模型的控制方案，分析出了本控制方案的所具有的优势，该所述四种算数模型为：PID控制器模型、滑膜控制器模型、模糊控制器模型、MPC控制器模型；
步骤四，数据可视化，以多种色彩将各模块以及各模块内数据区分开来，并采用了数据流图的形式，从构建出的五种算法模型择优选择双深度强化学习解耦网络模型的构建过程展现出来，使用气泡云图将择优算法模型展现；
步骤五，Wis3D可视化系统和智慧监控小程序，通过基于数字孪生的Wis3D摩尔元素平台对喷漆室、新风空调、循环空调进行组装展示，数据同步上传至喷漆车间智慧监控小程序。
2.根据权利要求1所述的基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述数据处理的流程为：
Step1：模型训练所需数据预处理；从空调机组运行数据从提取所需特征数据，并构造目标数据格式用于读取空调机组运行数据；
Step2：空调机组BC1新风和BC1循环风的数据处理；当发现BC1新风空调机组的一列燃烧机阀值全为0，则当作无关因子直接删除；Step3：异常数据处理；
Step4：写好一个清洗相同时间序列数据模板，来对空调机组BC1新风和BC1循环风的时间列数据进行清洗，然后将上一步清洗好的数据按照所属日期一一对应的填充到目标csv文件中，每一个csv文件清洗过后对应导出一个新的csv文件，最后将导出的csv文件用于训练模型和测试模型。
3.根据权利要求2所述的基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述异常数据处理步骤分别为：异常数据检测、异常数据替换、缺失数据替换、数据平滑、数据归一化。
4.根据权利要求2所述的基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述数据存储的具体步骤为：
Step1：将清洗分组后的文件存入到HDFS中Namenode发送数据上传的请求，Namenode收到客户端请求之后会进行一系列的检查工作；
Step2：检查通过之后，Namenode给客户端返回一个存储的节点信息返回的，该节点信息优先返回客户端所在节点，其次返回同机架的节点，最后返回不同机架的节点；
Step3：客户端收到响应之后，会进行一次逻辑切块。
5.根据权利要求3所述的基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述模型构建前的流程为：整合好的数据由Kafka处理平台收集，传入到Flink处理引擎，然后Flink处理引擎上传到HdFs分布式文件系统上，处理成Hive格式的文件，最终存入到Hive数据库中。
6.根据权利要求1所述的基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述数据可视化流程使用到两套系统，两套所述系统分别为：
数据可视化系统，可视化页面采用了SpringBoot框架，Ajax异步加载数据，HTML标记语言、CSS层叠样式表、JS编程语言、Echarts数据可视化图表库等开发；
喷漆车间智慧监控系统，监控系统的前端通过Vue.js框架，后端通过SpringBoot框架，MySql数据库以及云服务器搭建。
7.根据权利要求1所述的基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法，其特征在于，所述智慧监控小程序的框架系统分为两部分：逻辑层和视图层，视图层与逻辑层间之间提供了数据传输和事件系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343779.6A CN116449779A (zh) | 2023-04-03 | 2023-04-03 | 基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343779.6A CN116449779A (zh) | 2023-04-03 | 2023-04-03 | 基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116449779A true CN116449779A (zh) | 2023-07-18 |
Family
ID=87121338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310343779.6A Pending CN116449779A (zh) | 2023-04-03 | 2023-04-03 | 基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116449779A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193430A (zh) * | 2023-10-11 | 2023-12-08 | 深圳市顾美科技有限公司 | 基于plc的pid温度控制方法、设备及存储介质 |
-
2023
- 2023-04-03 CN CN202310343779.6A patent/CN116449779A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193430A (zh) * | 2023-10-11 | 2023-12-08 | 深圳市顾美科技有限公司 | 基于plc的pid温度控制方法、设备及存储介质 |
| CN117193430B (zh) * | 2023-10-11 | 2024-05-24 | 深圳市顾美科技有限公司 | 基于plc的pid温度控制方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200184131A1 (en) | A method for prediction of key performance parameter of an aero-engine transition state acceleration process based on space reconstruction | |
| CN110726218B (zh) | 空调器及其控制方法、装置、存储介质和处理器 | |
| Escobar et al. | Advanced fuzzy-logic-based context-driven control for HVAC management systems in buildings | |
| CN112286043A (zh) | 基于被控对象阶跃响应特性数据的pid参数整定方法 | |
| WO2018004464A1 (en) | Large scale machine learning-based chiller plants modeling, optimization and diagnosis | |
| CN112712189B (zh) | 一种供热需求负荷预测方法 | |
| CN116449779A (zh) | 基于Actor-Critic结构的汽车车身喷涂用环境数据分析方法 | |
| CN112529320A (zh) | 空压机集群智能诊断系统 | |
| CN114216256A (zh) | 离线预训练-在线学习的通风系统风量控制方法 | |
| CN112365056A (zh) | 一种电气负荷联合预测方法、装置、终端及存储介质 | |
| CN116839173A (zh) | 一种能耗优化方法、装置、存储介质和电子设备 | |
| CN113225994A (zh) | 一种面向数据中心的智能空调控制方法 | |
| CN110726216B (zh) | 空调器及其控制方法、装置、系统、存储介质和处理器 | |
| CN112923534A (zh) | 基于神经网络和改进粒子群算法的中央空调系统优化方法和系统 | |
| CN116576544A (zh) | 基于物联智能体减碳优化模型的暖通空调系统节能方法 | |
| CN111105090A (zh) | 一种基于智能算法的分布式能源系统优化调度方法及装置 | |
| CN114909707A (zh) | 一种基于智能平衡装置和强化学习的供热二级网调控方法 | |
| CN115630561A (zh) | 一种神经网络热负荷预测模型自动优化方法及装置 | |
| Groumpos et al. | New advanced technology methods for energy efficiency of buildings | |
| CN114777305B (zh) | 空气调节系统的调控方法、调控模型建立方法及相关装置 | |
| CN115200296B (zh) | 一种冰机群控方法、装置、设备以及计算机可读存储介质 | |
| CN112699600B (zh) | 火电运行参数与NOx排放浓度间的偏回分析方法 | |
| CN117970986B (zh) | 一种冷热系统的温湿度控制方法、装置及介质 | |
| CN117763484B (zh) | 一种基于企业用能空间的用能异常诊断方法和装置 | |
| CN115808944B (zh) | 一种定子温升试验控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |