CN102909844B - 一种注塑机工件生产线的生产方法 - Google Patents

Abstract

一种注塑机工件生产线的生产方法，针对双生产线注塑机工件制造系统自身特点，建立集系统决策、监测和学习功能为一体的计算机控制系统，实现自动化智能优化生产，集中控制器与仿真优化器共同完成系统控制任务，现场控制器PLC和生产线状态监测器联合完成生产系统监测和控制指令的运行，强化学习器通过具混合核函数的支持向量机实现值迭代学习思想，能够灵活利用离线学习提高系统仿真器的优化仿真能力，减少控制系统整体运行时间并提高其运行质量，缩短制造系统生产周期，提高设备利用率。

Description

一种注塑机工件生产线的生产方法

技术领域

本发明涉及一种注塑机工件生产系统的自动化生产方法，该方法适用于双生产线注塑机工件制造系统，通过离线学习具备自我改进功能，属于计算机集成制造领域，为一种注塑机工件生产线的生产方法。

背景技术

注塑机工件的生产具有种类多、批量小、分类较细等特点，即便对于相同结构的工件，由于工件服务对象不同，整体尺寸不同，其各道工艺加工时间也不相同，对于工件生产的每道工序，耗时较长。鉴于工件上述特点，其生产线的设计应具备一定的柔性，使其适合小批量、多品种、混型生产要求，具备较强灵活性。双生产线系统加工的特点是两条生产线规格相同，每条生产线规格相同，可加工多种类型的工件，系统控制过程包含工件在两条生产线上的分配及在每条生产线上的排序；该类问题实质上是平行机与流水线调度相结合的一个综合问题，在求解难度上是属于NP完全的。对于该问题工厂里面生产组织人员通常依靠经验来或利用一些简单启发式规则组织生产，这样导致设备利用率不高，系统效率降低。在学术界该类问题也是关注焦点，不少学者都对其做过研究，如Anurag A提出一种自适应学习求解flow-shop问题（European of OperationalResearch,2006,169(2):801-815），Bilge U提出通过禁忌算法求解平行机的最大延期问题（Computers and Operations Research,2004,31(3):397-414.），胡燕海采用遗传算法求解双流水线上工件加工顺序问题（轻工机械，2008，26（4），76-78）。这些解决办法一个共同特点是通过设计启发式算法来得到问题的一个近优解或满意解，但也存在诸如依赖初始解、结构单一、稳定性差等问题，至今在理论上对于该类问题仍未找到有效求解算法。

发明内容

本发明的目的是针对上述双生产线的注塑机工件生产的固有特点，提供一种集成控制的自动化生产方法，以克服现有技术不足，采用强化学习中值迭代思想通过计算机离线仿真对具混合核支持向量机参数进行修正，不断提高其决策精度，减少系统运行所用时间，缩进生产线加工周期。

本发明的技术方案为：一种注塑机工件生产线的生产方法，通过控制系统控制双生产线的生产流程，控制系统包括集中控制器、仿真优化器、现场控制器PLC、生产现场数据采集终端、生产线状态监测器和强化学习器，控制系统接收生产任务后，由集中控制器将待加工n个工件按不同方法分成2组，分别计算不同分法下两组工件在各生产线设备上的总加工时间，计算每种分法下两组工件在总加工时间最长的生产线设备上的总加工时间，判断该种分法工件是否符合生产要求，将符合生产要求的分组方法得到的分组数据送入仿真优化器，仿真优化器通过仿真不同分组方法的两组工件在双生产线上的加工次序，获得对应的最大完工周期，集中控制器选取最大完工周期值最小的分组方法对应的加工次序做为最佳加工次序，将最佳加工次序传送至生产线状态监测器；

生产线状态监测器将确定的加工次序的指令发布至现场控制器PLC，由现场控制器PLC直接控制生产线上的终端设备完成生产动作；生产现场数据采集终端将生产线的实时数据通过现场控制器PLC传输至生产线状态监测器，判断生产线是否处于正常运行和生产是否完成，判断结果反馈至集中控制器，集中控制器根据判断结果确定是否停止生产线运行；仿真优化器将优化后的仿真结果送至样本库，强化学习器对样本库中的样本进行持续训练，通过支持向量机完成学习，由学习结果提高仿真优化器的优化仿真精度。

控制系统接收生产任务后，集中控制器首先对要加工的工件数目进行确认，启动生产现场数据采集终端采集数据进行自检，自检成功，集中控制器通知现场控制器PLC使生产线处于预备状态，然后按将待加工工件分成两组，工件分组方法具体如下：

步骤1：计算n个工件在生产线的第i台设备上的总的加工时间

记其中第l台设备最大总加工时间满足

即确定总加工时间最长的设备；

步骤2：从n个加工工件中任选

个工件，共有种选法，将工件分成两组，数目分别为n₁ ^k，n₂ ^k，k表示分组方法的标号；

步骤3：分别计算两组工件在第l台设备上的总加工时间，即

步骤4：判断

是否成立，若成立，转步骤5；否则，转步骤6；

步骤5：对按k种方法分组的工件列为输入仿真优化器进行仿真的对象，将其暂存在集中控制器中，更新k值，即k=k+1，转步骤7；

步骤6：按k种方法分组的两组工件不列入仿真的对象，更新k值，k＝k+1，转步骤7；

步骤7：判断是否完成对所有分法工件组考察，即

是否成立，若成立，转步骤2，否则，转步骤8；

步骤8：分组结束；

按上述方法分组后，保留符合步骤4判断标准的工件分组，共χ种，将其逐组送入仿真优化器进行仿真优化。

按某一方法分组的n个工件以时间处理矩阵P（ω）的方式输入仿真优化器，P（ω）对应一组工件，ω表示工件的加工序列，矩阵P（ω）中每个元素的值即为对应加工工序的加工时间；

抽取工件状态特征信息，包含工件指标t、设备指标α、平均空闲av、空闲均方差ad、平均等待tw和等待均方差td，计算系统状态动作对sc(ω),sw(fg)的值，系统状态特征用状态向量sc(ω)=（t，α，av，ad，tw，td）表示，先对时间处理矩阵做归一化处理即

p_iω(j)为加工序列ω第中j个工件在第i台机器上的加工时间，m为生产线设备数目，n为工件数目，在此基础上求取状态向量各参数的值，计算方法如下：

工件指标t=(t_j)_nx1：

t_j为向量t的元素，

为矩阵

的元素；设备指标a=(a_i)_mx1：

a_i为向量α的元素,ac_i为第i台设备加工时间；平均空闲av： $\mathrm{av}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i;$

空闲均方差ad： $\mathrm{ad}={\left(\frac{1}{m}\underset{i=1}{\overset{i}{\mathrm{\Σ}}}{(a_i-\mathrm{av})}^2\right)}^{1/2};$

平均等待tw：

tc_j为第j个工件加工时间；

等待均方差td： $\mathrm{td}={\left(\frac{1}{n}\mathrm{\Σ}{(({\mathrm{tc}}_j-t_j)-\mathrm{tw})}^2\right)}^{1/2};$

动作f,g表示工件在加工序列中所处位置；

然后以系统状态动作对sc(ω),sw(f,g)为作为强化学习器的支持向量机的输入，计算q因子的值q(sc(ω),sw(f,g))，比较当前状态下序列ω所有的动作相应的q因子的值，按其中q因子值最大的操作sw(f,g)=argmax{q(sc(ω),sw(f,g))}(1≤f,g≤n)对现有序列ω实施动作，得到新的工件序列ω’和新的处理矩阵P’，判断所得新序列ω’是否优于原序列ω，即其C(ω)≥C(ω’)是否成立，若是，以新序列信息更新原序列，即ω=ω’，P（ω）=P’（ω’），得到新的时间处理矩阵，重复上述操作迭代求解，否则新序列ω’即为所求最佳加工次序ω^*，将新序列信息ω’、P’（ω’），及其对应的最大完工周期C(ω’)传输至集中控制器和样本库。

集中控制器得到将工件分成符合要求的χ种分组，对s赋初值s=1，对于第s种分组的工件，其所分两组数目为n₁ ^s，n₂ ^s，将含n₁ ^s工件的组送入仿真优化器，对其优化，确定其最佳加工次序ω₁ ^s及最大完工周期C(ω₁ ^s)，并将该信息返回集中控制器，再将含n₂ ^s工件的组送入仿真优化器，对其进行优化，确定其最佳加工顺序ω₂ ^s及其最大完工周期C(ω₂ ^s)，并将结果回传至集中控制器，集中控制器取两组工件的最大完工周期值的最大一种分组，即C(ω₁ ^s/ω₂ ^s)=max(C(ω₁ ^s),C(ω₂ ^s))作为两组工件的共同完工周期，更新s值，即s=s+1，并判断更新后的s≤χ是否成立，若成立，则继续对其他分组方法进行优化处理，否则控制器从χ种分组中确定一个最大共同完工周期最小的两组分，即

将该两组分工件及其加工顺序ω₁ ^*/ω₂ ^*作为生产线上确定的分配方法和加工次序。

强化学习器根据样本库的数据进行学习，对支持向量机参数进行调整更新，使其对q因子的拟合预测能力逐步提升，学习具体过程如下：

步骤1：支持向量机特征在于其是一种混合核的支持向量机，其混合核函数具体形式如下： $k_{\mathrm{mix}}(x,z)=\mathrm{\λ}{(x^{T}z+1)}^2+(1+\mathrm{\λ})\exp \left(\frac{{-\left|\right|x-z\left|\right|}^2}{{2\mathrm{\σ}}^2}\right),$ 式中λ为最优混合系数，δ为核宽度，x为支持向量机输入向量，z为支持向量，对支持向量机参数初始化，随机赋值支持向量机的权参数w₀；

步骤2：确定学习参数值，所述学习参数值包括最小、大循环次数N₁、N₂，误差上界Δ,惩罚因子C和拟合精度ε；

步骤3：从样本库中抽取初始样本，其初始状态s₀=P(ω₀)，ω₀为该工件组随机序列，并对当前状态s_t、ω赋值，即：s_t=s₀，ω=ω₀；

步骤4：对时间处理矩阵进行归一化处理得到

步骤5：抽取工件状态特征信息，计算其特征向量sc(ω)=（t，α，av，ad，tw，td)的值；

步骤6：对序列ω采取动作sw(f,g)，计算该动作值，得到新序列ω’和新状态s_t‘；

步骤7：以（sc(ω)，sw(f,g)）作为支持向量机输入，计算其输出

的值，以及通过迭代所求相应状态动作对q因子目标值 $q_r^{\mathrm{tar}}(\mathrm{sc}\left(\mathrm{\ω}\right),\mathrm{sw}(f,g))=r(\mathrm{\ω},\mathrm{sw}(f,g))+\mathrm{\γ}\underset{f,g}{\max }\hat{q}(\mathrm{sc}\left({\mathrm{\ω}}^{\′}\right),\mathrm{sw}(f,g)),$ 式中γ为学习过程中因迭代导致单步效用折扣系数，0≤γ≤1,在仿真学习过程中可视具体情况取不同的值，这里取γ=0.6；r(ω,sw(f,g))为对工件序列ω采取动作sw(f,g)时的一步动作状态报酬，其值为r(ω,sw(f,g))=C(ω)-C(ω')，C(ω),C(ω′)为所提取样本中工件序列ω、ω’的最大完工周期；

步骤8：判断 ${\mathrm{\&Delta;q}}_t=|q_t^{\mathrm{tar}}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))-\hat{q}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))|<\mathrm{\&Delta;}$ 是否成立；若是，转步骤12，否则，转步骤9；

步骤9：判断程序运行循环次数是否高于上界N₁，即ρ>N₁是否成立，若成立，转步骤13；否则，转步骤10；

步骤10：将点（sc（ω），sw(f,g)，q^tar(s_t,a)）加入样本库，对支持向量机的参数重新进行调整拟合；

步骤11：以新序列ω’和新状态s_t‘更新当前状态，即ω=ω’，s_t‘=s_t‘，转步骤4；

步骤12：判断判断程序运行循环次数是否低于下界N₂，若是转步骤11；否则转步骤13；

步骤13：结束。

本发明针对双生产线注塑机工件制造系统的自身特点，在基于强化学习值迭代思想基础上提出了的具进化功能的计算机控制生产方法，根据实际生产任务自动学习得到生产线最优的加工序列，实现生产线智能化全自动化生产。所述进化功能主要体现在强化学习器能够通过不断的离线学习提高支持向量机预测精度，即使支持向量机实际输出

不断逼近其目标值

q因子的预测精度增加使仿真控制器通过仿真优化能够给出更加合理的工件在生产线上加工的加工顺序，生产线按此顺序进行生产能够使整批工件最大完工周期缩短，提高设备利用率，从而使整个生产线系统运行的效率得到提高。针对由8道工艺组成的双流水线注塑机生产线系统进行大量计算机仿真实验，实验结果表明，按照本发明提供自动化控制生产方法组织生产线制造加工活动，生产线的生产周期平均能够缩短15%-20%左右，最高能够缩短30%,从而使得生产系统的生产效率能够得到明显提高。

附图说明

图1是注塑机工件生产系统示意图。

图2是本发明双流水线型结构生产系统结构框架图。

图3是本发明生产系统总体运行控制流程图。

图4是本发明仿真优化器流程图。

图5是本发明强化学习器流程图。

具体实施方式

1、注塑机工件双流水线型结构生产系统

本发明涉及的注塑机工件生产系统是一种双生产线结构，如图1所示，图中M_ij表示第i条生产线上的j台加工设备，B_ij表示设备M_ij的后趋缓冲区。系统由2条流水线组成，每条流水线上有8台顺序加工的设备组成，分别承担如下工艺任务：平面铣、凹槽铣、钻孔、扩孔、螺纹加工、平面磨，抛光，喷砂。设备之间设有缓冲区。注塑机工件生产特点是分类细，种类多，即便同一类型结构的工件，由于尺寸不同，其各道工艺加工时间也不相同，工件生产每道工艺耗时较多（一般以分钟为单位）。本发明选择工件加工中较具普遍性8工位生产线为对象。由于生产线上加工工件数量众多，种类、尺寸不一，确定工件在两条流水线上分配以及每条流水线上工件加工次序直接影响到整个生产周期长短。

生产线上的加工方式为顺序加工，工件在一台设备上完成加工后才能被传送到下一个工位进行加工。每台设备在同一时间只能对一个工件进行加工。各台设备上工件的先后加工顺序是相同的，其在各工位上加工时间是确定的。双流水线的结构、设备规格相同。每台设备只有一台前趋设备和一台后继设备。

本发明的总体决策控制框架如图2所示，控制系统接受任务后，由集中控制器将待加工n个工件按不同方法对进行两组分，并从其中筛选合格的两组分，并将两组工件数据先后送入仿真优化器，仿真优化器通过优化仿真给出两组工件的加工次序ω₁、ω₂及最大完工周期C(ω₁/ω₂)，并将该信息返回集中控制器，集中控制器从中选取最佳加工次序并将其传送至生产线状态监测器，生产线状态监测器将信息发布至生产现场控制器PLC,现场控制器PLC发出控制指令给生产线现场终端资源，完成包括产品、工件的供应与运输、分组与排序、传送机的启停、加工设备的运行操作等动作。生产现场数据采集终端设备通过工业现场总线（PROFIBUS）将数据传输至可编程控制器PLC，即现场控制器PLC，现场控制器PLC将现场采集到数据通过网络通讯（TCP/IP）方式送至生产线状态监测器，判断生产线是否处于正常运行和生产是否完成。同时仿真优化器将优化后工件序列送至样本库，通过强化学习器对更新样本进行持续训练，并以此为基础不断的调整支持向量机的参数，提高支持向量机对表示状态-动作对的q因子的预测精度，使仿真优化器确定最佳加工次序能力不断的得以提升。在生产线运行过程中，若设备出现故障，由相应传感器将信号通过现场控制器PLC传递给生产线状态监测器，生产线状态监测器向现场控制器PLC发出指令，终止系统运行。同时生产线系统在开始时具备自检功能。生产线通过电容传感器实现计件功能，将计件信息由现场控制器PLC通过生产线状态监测器传至集中控制器，集中控制器收到第n个元件加工完毕信息，发出停止系统运行指令，通过现场控制器PLC控制相应设备执行该命令。

2、系统总体控制过程

如图3，集中控制器在接到任务后，首先对要加工的工件数目进行确认并同时启动自检系统，自检成功，控制器通知现场控制器PLC使生产线处于预备状态，然后按将待加工工件分成两组，工件工件分组方法具体如下：

步骤1：计算n个工件在第i台设备上的总的加工时间

记其中第l台设备最大总加工时间满足

步骤2：从n个加工工件件中任选

个工件，共有

种选法，按第k种方法选取，将工件分成两组，数目分别为n₁ ^k，n₂ ^k；

步骤3：分别计算两组工件在l台设备上总加工时间，即

步骤4：判断

是否成立，若成立，转步骤5；否则，转步骤6；

步骤5：对按k种方法分组的工件列为输入仿真器进行仿真的对象，将其暂存在控制器中，更新k值，即k＝＝k+1，转步骤7；

步骤6：按k种方法分组的两组工件不列入仿真的对象，更新k值，k＝k+1，转步骤7；

步骤7：判断是否完成对所有分法工件组考察，即

是否成立，若成立，转步骤2，否则，转步骤8；

步骤8：分组结束。

按上述方法分组后，集中控制器中保留符合要求的χ种分组，对于第s种分组的工件，其所分两组数目为n₁ ^s，n₂ ^s，将其按顺序逐组送入仿真器进行仿真优化。对于工件组n₁ ^s、n₂ ^s，通过仿真优化器确定两组工件在生产线上的最佳加工顺序ω₁ ^s、ω₂ ^s及最大完工周期C(ω₁ ^s/ω₂ ^s)，决策优化器最后从中找出最大完工周期最小（C(ω₁ ^*/ω₂ ^*)）两组作为最终分法，并将其最佳加工顺序ω₁ ^*、ω₂ ^*传送至生产线状态监测器和PLC，PLC向生产设备发出指令按接收到既定方案进行生产。其具体运行流程如下：

步骤1：系统接受任务，集中控制器指示状态监测器对系统进行自检，若系统无故障，转步骤2；否则，系统结束运行；

步骤2：集中控制器按上述步骤对工件分成合乎要求χ个两组分，对s赋初值（s=1）；

步骤3：对于第s个两组分工件，其数目为n₁ ^s，n₂ ^s，将含n₁ ^s工件的组送入系统仿真器，对其优化，确定其最佳加工顺序ω₁ ^s及最大完工周期C(ω₁ ^s)，并将该信息返回集中控制器，转步骤4；

步骤4：将含n₂ ^s工件的组送入系统仿真优化器，对其进行优化，确定其最佳加工顺序ω₂ ^s及其最大完工周期C(ω₂ ^s)，并将结果回传至控制器，转步骤5；

步骤5：控制器取两组工件的最大完工周期最大的即C(ω₁ ^s/ω₂ ^s)=max(C(ω₁ ^s),C(ω₂ ^s))作为两组工件的共同完工周期，转步骤6；

步骤6：更新s值，即s=s+1，判断更新后的s≤χ是否成立，若成立，转步骤3；否则，转步骤7；

步骤7：控制器从χ个两组分中确定一个最大完工周期最小的两组分，即

将该两组分工件及其加工顺序ω₁ ^*/ω₂ ^*作为生产线上确定分配方法和加工次序，转步骤8；

步骤8：集中控制器将确定工件加工分配及顺序信息传递至现场控制器PLC，PLC启动生产设备，进行生产，对参数τ赋值，参数τ为工件记数，表示生产线上已加工工件数目，这里赋值τ＝1，转步骤9；

步骤9：生产设备按PLC现场指令进行有序生产，并将生产设备状态实时传递给系统状态检测器，转步骤10；

步骤10：集中控制器根据生产线状态监测器采集信息判断第i条生产线上的第j台设备是否存在故障，若是，转步骤13，生产线终止运行，否则，转步骤11；

步骤11：根据现场电容传感器采集信息，工件流下生产线，对τ值更新，即τ=τ+1，转步骤12；

步骤12：判断更新后的τ≤n是否成立，若成立转步骤9，否则转步骤13；

步骤13：生产线系统终止运行。

3、仿真优化过程

如图4，仿真优化器接受到决策控制器传送的工件组信息后，随机启动仿真优化过程。该过程首先对工件信息进行归一化处理，抽取工件状态特征信息，包含工件指标t、设备指标α、平均空闲av、空闲均方差ad、平均等待tw、等待均方差td，计算动作sw(f,g)的值，即

然后以状态动作对sc(ω),sw(f,g)为作为支持向量机输入，计算q因子的值q(sc(ω),sw(f,g))，选取q因子值最大的操作，改变工件加工顺序，并对新的加工顺序ω’判断是否符合要求，具体过程如下：

步骤1：输入集中控制器传递的工件信息，即在初始序列ω状态下工件时间处理矩阵P(ω)=(p_iω(j))_m×n；

步骤2：对工件时间处理矩阵P做归一化处理，归一化后矩阵为

p_iω(j)为加工序列ω第中j个工件在第i台机器上的加工时间，m为生产线设备数目，n为工件数目；

步骤3：计算工件序列ω的状态特征参数t、α、av、ad、tw、td，并对状态向量sc(ω)赋值，即sc(ω)=（t，α，av，ad，tw，td）：

工件指标t=(t_j)_n×1：t_j为向量t的元素，

为矩阵

的元素；设备指标a=(a_i)_m×1：

a_i为向量α的元素,ac_i为第i台设备加工时间；平均空闲av： $\mathrm{av}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i;$

空闲均方差ad： $\mathrm{ad}={\left(\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{(a_i-\mathrm{av})}^2\right)}^{1/2};$

平均等待tw:

tc_j为第j个工件加工时间；

等待均方差td： $\mathrm{td}={\left(\frac{1}{n}\mathrm{\&Sigma;}{(({\mathrm{tc}}_j-t_j)-\mathrm{tw})}^2\right)}^{1/2};$

步骤4：在当前工件序列ω下计算动作sw(f,g)的值：

动作

f,g表示工件在加工序列中所处位置；

步骤5：在当前序列ω下以状态动作对（sc(ω),sw(f,g)）为作为强化学习器的支持向量机输入，计算q因子的值q(sc(ω),sw(f,g))；

步骤6：比较当前状态下序列ω所有的动作相应的q因子的值，按其中q因子值最大的操作sw(f,g)=argmax{q(sc(ω),sw(f,g))}(1≤f,g≤n)对现有序列ω实施动作，得到新的工件序列ω’和新的处理矩阵P’；

步骤7：判断所得新序列ω’是否优于原序列ω，即其C(ω)≥C(ω’)是否成立，若是，转步骤8；否则转步骤9；

步骤8：以新序列信息更新原序列，即ω=ω’，P＝P’，转步骤2进行下一次迭代求解；

步骤9：新序列ω’即为所求最佳序列ω^*，将新序列信息ω’、P’（ω’），C(ω’)回传至决策器和样本库；

步骤10：结束程序。

4、强化学习器工作过程

如图5，强化学习器采用q学习中值迭代思想，能够通过离线或在线学习，对支持向量机的参数不断的进行修正，提高其对q因子的预测精度。其主要思想是对工件当前序列ω采取一个动作sw(f,g)，转换为新序列ω’，该动作下回报为r(ω,sw(f,g))=C(ω)-C(ω')。评估该状态动作对下支持向量机直接输出值q因子值

与q学习值迭代策略计算得到的q因子值 $q_t^{\mathrm{tar}}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))=r(\mathrm{\&omega;},\mathrm{sw}(f,g))+\mathrm{\&gamma;}\underset{f,g}{\max }\hat{q}(\mathrm{sc}\left({\mathrm{\&omega;}}^{\&prime;}\right),\mathrm{sw}(f,g))$ 间差值是否满足要求，若不满足，则对支持向量机参数进行调整更新，继续学习，使其对q因子的拟合预测能力逐步提升，γ为学习过程中因迭代导致单步效用折扣系数，0≤γ≤1,在仿真学习过程中可视具体情况取不同的值，在本发明中γ=0.6；r(ω,sw(f,g))为对工件序列ω采取动作sw(f,g)时的一步动作状态报酬，C(ω),C(ω')为所提取样本中工件序列ω、ω’的最大完工周期。学习具体过程如下：

步骤1：支持向量机特征在于其是一种混合核的支持向量机，其混合核函数具体形式如下： $k_{\mathrm{mix}}(x,z)=\mathrm{\&lambda;}{(x^{T}z+1)}^2+(1-\mathrm{\&lambda;})\exp \left(\frac{{-\left|\right|x-z\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}\right),$ 式中λ为最优混合系数，δ为核宽度，x为支持向量机输入向量，z为支持向量，对支持向量机参数初始化，随机赋值支持向量机的权参数w₀；

步骤2：确定学习参数值，所述学习参数值包括最小、大循环次数N₁、N₂，误差上界Δ,惩罚因子C和拟合精度ε；

步骤3：从样本库中选择1工件组作为初始样本，其初始状态s₀=P(ω₀)，ω₀为该工件组随机序列，并对当前状态s_t、ω赋值，即：st_＝s₀，ω=ω₀；

步骤4：按前述方法对时间处理矩阵进行归一化处理得新矩阵

步骤5：抽取系统状态特征，计算其特征向量sc(ω)=（t，α，av，ad，tw，td）的值；

步骤6：对序列ω采取动作sw(f,g)，计算该动作值，得到新序列ω’和新状态s_t‘；

步骤7：以（sc(ω)，sw(f,g)）为作为支持向量机输入，计算其输出

的值和通过迭代学习的相应并计算q因子值

步骤8：判断 ${\mathrm{\&Delta;q}}_t=q_t^{\mathrm{tar}}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))-\hat{q}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))|<\mathrm{\&Delta;}$ 是否成立；若是，转步骤12，否则，转步骤9；

步骤9：判断程序运行循环次数是否高于上界N1，即ρ>N1是否成立，若成立，转步骤13；否则，转步骤10；

步骤10：将点（sc（ω），sw(f,g)，q^tar(s_t,a)）加入样本库，对支持向量机的参数重新进行调整拟合；

步骤11：以新序列ω’和新状态s_t‘更新当前状态，即ω=ω’，s_t‘=s_t‘，转步骤4；

步骤12：判断判断程序运行循环次数是否低于下界N₂，若是转步骤11；否则转步骤13；

步骤13：结束。

5、实例实施

对上述过程，本部分以一批工件（共20个）为例，共经过8道加工工艺，分别为平面铣、凹槽铣、钻孔、扩孔、螺纹加工、平面磨、抛光、喷砂，简要说明本发明所提自动化控制生产方法在双流水线系统上运行过程及结果。表1为工件在生产线上加工每道工序所用时间，单位为分钟，第1行表示工件编号，第1列表示加工设备编号。

表1 工件加工时间数据（单位：分钟）

如按在背景技术所介绍现有技术的生产方法安排工件进行生产，则生产系统的完工时间为742分钟，如按本发明方法通过仿真控制器对工件进行分组，通过仿真优化器优化后，工件在生产线上的完工时间只需要627分钟，使得整个完工周期缩短了15.5%，显著改善系统生产效率。表2、表3分别为按本发明生产方法通过仿真优化后2组工件在两条流水线上的加工顺序，表中工件从左到右顺序即为其在流水线上加工顺序。

表2 第1条流水线上工件加工顺序（单位：分钟）

表3 第2条流水线上工件加工顺序（单位：分钟）

本发明属于国家自然科学基金资助项目(60934008，50875046，51005160)和国家高技术研究发展计划现代制造集成技术专题资助项目(2007AA04Z112)的共同成果。

Claims (1)

1.一种注塑机工件生产线的生产方法，通过控制系统控制双生产线的生产流程，其特征是控制系统包括集中控制器、仿真优化器、现场控制器PLC、生产现场数据采集终端、生产线状态监测器和强化学习器，控制系统接收生产任务后，由集中控制器将待加工n个工件按不同方法分成2组，分别计算不同分法下两组工件在各生产线设备上的总加工时间，计算每种分法下两组工件在总加工时间最长的生产线设备上的总加工时间，判断该种分法工件是否符合生产要求，将符合生产要求的分组方法得到的分组数据送入仿真优化器，仿真优化器通过仿真不同分组方法的两组工件在双生产线上的加工次序，获得对应的最大完工周期，集中控制器选取最大完工周期值最小的分组方法对应的加工次序做为最佳加工次序，将最佳加工次序传送至生产线状态监测器；

生产线状态监测器将确定的加工次序的指令发布至现场控制器PLC，由现场控制器PLC直接控制生产线上的终端设备完成生产动作；生产现场数据采集终端将生产线的实时数据通过现场控制器PLC传输至生产线状态监测器，判断生产线是否处于正常运行和生产是否完成，判断结果反馈至集中控制器，集中控制器根据判断结果确定是否停止生产线运行；仿真优化器将优化后的仿真结果送至样本库，强化学习器对样本库中的样本进行持续训练，通过支持向量机完成学习，由学习结果提高仿真优化器的优化仿真精度，具体为：

控制系统接收生产任务后，集中控制器首先对要加工的工件数目进行确认，启动生产现场数据采集终端采集数据进行自检，自检成功，集中控制器通知现场控制器PLC使生产线处于预备状态，然后按将待加工工件分成两组，工件分组方法具体如下：

步骤1：计算n个工件在生产线的第i台设备上的总的加工时间

记其中第l台设备最大总加工时间满足

即确定总加工时间最长的设备；

步骤2：从n个加工工件中任选个工件，共有

种选法，将工件分成两组，数目分别为n₁ ^k，n₂ ^k，k表示分组方法的标号；

步骤3：分别计算两组工件在第l台设备上的总加工时间，即

步骤4：判断

是否成立，若成立，转步骤5；否则，转步骤6；

步骤5：对按k种方法分组的工件列为输入仿真优化器进行仿真的对象，将其暂存在集中控制器中，更新k值，即k=k+1，转步骤7；

步骤6：按k种方法分组的两组工件不列入仿真的对象，更新k值，k=k+1，转步骤7；

步骤7：判断是否完成对所有分法工件组考察，即

是否成立，若成立，转步骤2，否则，转步骤8；

步骤8：分组结束；

按上述方法分组后，保留符合步骤4判断标准的工件分组，共χ种，将其逐组送入仿真优化器进行仿真优化；

其中，按某一方法分组的n个工件以时间处理矩阵P（ω）的方式输入仿真优化器，P（ω）对应一组工件，ω表示工件的加工序列，矩阵P（ω）中每个元素的值即为对应加工工序的加工时间；

抽取工件状态特征信息，包含工件指标t、设备指标α、平均空闲av、空闲均方差ad、平均等待tw和等待均方差td，计算系统状态动作对sc(ω),sw(f,g)的值，系统状态特征用状态向量sc(ω)=（t，α，av，ad，tw，td）表示，先对时间处理矩阵做归一化处理即

p_iω(j)为加工序列ω第中j个工件在第i台机器上的加工时间，m为生产线设备数目，n为工件数目，在此基础上求取状态向量各参数的值，计算方法如下：

工件指标t=(t_j)_n×1：

t_j为向量t的元素，

为矩阵

的元素；

设备指标a=(a_i)_m×1：

a_i为向量α的元素,ac_i为第i台设备加工时间；

平均空闲av： $\mathrm{av}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i;$

空闲均方差ad： $\mathrm{ad}={\left(\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{(a_i-\mathrm{av})}^2\right)}^{1/2};$

平均等待tw：

tc_j为第j个工件加工时间；

等待均方差td： $\mathrm{td}={\left(\frac{1}{n}\mathrm{\&Sigma;}{(({\mathrm{tc}}_j-t_j)-\mathrm{tw})}^2\right)}^{1/2};$

动作

f,g表示工件在加工序列中所处位置；

然后以系统状态动作对sc(ω),sw(f,g)为作为强化学习器的支持向量机的输入，计算q因子的值q(sc(ω),sw(f,g))，比较当前状态下序列ω所有的动作相应的q因子的值，按其中q因子值最大的操作sw(f,g)=argmax{q(sc(ω),sw(f,g))}(1≤f,g≤n)对现有序列ω实施动作，得到新的工件序列ω’和新的处理矩阵P’，判断所得新序列ω’是否优于原序列ω，即其C(ω)≥C(ω’)是否成立，若是，以新序列信息更新原序列，即ω=ω’，P（ω）=P’（ω’），得到新的时间处理矩阵，重复上述操作迭代求解，否则新序列ω’即为所求最佳加工次序ω*，将新序列信息ω’、P’（ω’），及其对应的最大完工周期C(ω’)传输至集中控制器和样本库；

集中控制器得到将工件分成符合要求的χ种分组，对s赋初值s=1，对于第s种分组的工件，其所分两组数目为n₁ ^s，n₂ ^s，将含n₁ ^s工件的组送入仿真优化器，对其优化，确定其最佳加工次序ω₁ ^s及最大完工周期C(ω₁ ^s)，并将该信息返回集中控制器，再将含n₂ ^s工件的组送入仿真优化器，对其进行优化，确定其最佳加工顺序ω₂ ^s及其最大完工周期C(ω₂ ^s)，并将结果回传至集中控制器，集中控制器取两组工件的最大完工周期值的最大一种分组，即C(ω₁ ^s/ω₂ ^s)=max(C(ω₁ ^s),C(ω₂ ^s))作为两组工件的共同完工周期，更新s值，即s=s+1，并判断更新后的s≤χ是否成立，若成立，则继续对其他分组方法进行优化处理，否则控制器从χ种分组中确定一个最大共同完工周期最小的两组分，即 将该两组分工件及其加工顺序ω₁ ^*/ω₂ ^*作为生产线上确定的分配方法和加工次序；

强化学习器根据样本库的数据进行学习，对支持向量机参数进行调整更新，使其对q因子的拟合预测能力逐步提升，学习具体过程如下：

步骤Q1：支持向量机特征在于其是一种混合核的支持向量机，其混合核函数具体形式如下： $k_{\mathrm{mix}}(x,z)=\mathrm{\&lambda;}{(x^{T}z+1)}^2+(1-\mathrm{\&lambda;})\exp \left(\frac{-{\left|\right|x-z\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}\right),$ 式中λ为最优混合系数，δ为核宽度，x为支持向量机输入向量，z为支持向量，对支持向量机参数初始化，随机赋值支持向量机的权参数w₀；

步骤Q2：确定学习参数值，所述学习参数值包括最小、大循环次数N₁、N₂，误差上界Δ,惩罚因子C和拟合精度ε；

步骤Q3：从样本库中抽取初始样本，其初始状态s₀=P(ω₀)，ω₀为该工件组随机序列，并对当前状态s_t、ω赋值，即：s_t=s₀，ω=ω₀；

步骤Q4：对时间处理矩阵进行归一化处理得到

步骤Q5：抽取工件状态特征信息，计算其特征向量sc(ω)=（t，α，av，ad，tw，td）的值；

步骤Q6：对序列ω采取动作sw(f,g)，计算该动作值，得到新序列ω’和新状态s_t‘；

步骤Q7：以（sc(ω)，sw(f,g)）作为支持向量机输入，计算其输出的值，以及通过迭代所求相应状态动作对q因子目标值 $q_t^{\mathrm{tar}}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))=r(\mathrm{\&omega;},\mathrm{sw}(f,g))+\mathrm{\&gamma;}\underset{f,g}{\max }\hat{q}(\mathrm{sc}\left({\mathrm{\&omega;}}^{\&prime;}\right),\mathrm{sw}(f,g)),$ 式中γ为学习过程中因迭代导致单步效用折扣系数，0≤γ≤1,在仿真学习过程中可视具体情况取不同的值，这里取γ=0.6；r(ω,sw(f,g))为对工件序列ω采取动作sw(f,g)时的一步动作状态报酬，其值为r(ω,sw(f,g))=C(ω)-C(ω')，C(ω),C(ω')为所提取样本中工件序列ω、ω’的最大完工周期；

步骤Q8：判断 ${\mathrm{\&Delta;q}}_t=|q_t^{\mathrm{tar}}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))-\hat{q}(\mathrm{sc}\left(\mathrm{\&omega;}\right),\mathrm{sw}(f,g))|<\mathrm{\&Delta;}$ 是否成立；若是，转步骤12，否则，转步骤9；

步骤Q9：判断程序运行循环次数是否高于上界N₁，即ρ>N₁是否成立，若成立，转步骤13；否则，转步骤10；

步骤Q10：将点（sc（ω），sw(f,g)，q^tar(s_t,a)）加入样本库，对支持向量机的参数重新进行调整拟合；

步骤Q11：以新序列ω’和新状态s_t‘更新当前状态，即ω=ω’，s_t‘=s_t‘，转步骤4；

步骤Q12：判断判断程序运行循环次数是否低于下界N₂，若是转步骤11；否则转步骤13；

步骤Q13：结束。

Images