CN110221583B - 一种基于HoloLens的智能装配生产线仿真方法 - Google Patents

Abstract

本发明提供了一种基于HoloLens的智能装配生产线仿真方法，本方法首先对装配线的排产调度进行数学建模仿真，将多目标柔性作业车间调度问题转换为一个混合整数规划模型，包括确定约束条件、选取优化目标、根据选取的优化目标进行数学建模；然后利用改进的遗传算法对所述混合整数规划模型进行求解，得到排产调度方案；最后将得到的排产调度方案通过HoloLens头戴显示设备展现给用户。本发明可缩短产品装配周期，降低产品装配成本，改进产品装配质量；另一方便，本发明利用HoloLens头戴显示设备，增强用户交互体验。

Description

一种基于HoloLens的智能装配生产线仿真方法

技术领域

本发明属于智能装配生产线仿真技术领域，特别涉及一种基于HoloLens的智能装配生产线仿真方法。

背景技术

在智能制造中，智能装配是非常重要的一环。因为在一个完整的制造周期内，产品装配是最耗费时间和成本的环节之一，往往会占用超过40％的生产制造费用和工时。同时，装配作为制造中较为靠后的步骤，精准度和质量将直接影响到最终的产品，而一旦出现问题需要返工，可能会带来进度、费用和性能等多方面的风险。而在装配过程中，排产调度则是非常重要的内容。

具体而言，排产调度是把有限的资源定义为车间里的设备，其求解目标可以定义为在满足工艺约束的条件下，将每个工序按顺序安排到指定的设备上进行加工，使得整个生产过程能够达到事先定义好的目标方案。

生产排产是一个复杂的问题，其具有随机性、离散性、复杂性、多目标性和多约束性等特点。传统方法只进行简单常规的计划和仅凭经验的排产，不仅耗费时间长而且很难达到最优的调度效果，浪费生产资源，增加成本，而且无法全程监控和跟踪整个生产过程，以及实时地查看车间工作状况，当出现异常情况时不能及时准确地修正作业计划。因此以人为经验决定调度和计划策略的方法会逐渐退出用户，取而代之的是对更多智能算法的深入研究。近年来越来越多的启发式算法被应用于生产排产的调度问题中，但由于排产调度问题的控制变量较多、规模巨大、变化较灵活，导致理论研究和实践问题存在较大差异，无法简单地把理论模型应用到实践问题中。而且，大多解决的是单目标连续优化问题，而实际生产中的排产往往是多目标离散问题，无法直接求解。

另一方面，混合现实(Mixed Reality)技术是虚拟现实(Virtual Reality)技术和增强现实(Augmented Reality)技术的融合与升华，能够把虚拟信息叠加到真实世界中的技术，能把虚拟的物体、声音、动画、视频甚至触觉等信息通过计算机合成后再精准融合到现实环境当中，使真实环境和虚拟物体在同一个时空中同时存在、互不干扰、和谐共生，而被人类所感知，从而达到现实生活中无法体验到的感官效果。同时带给用户高度的沉浸感与交互感，淡化虚拟信息、现实世界、用户三者之间的界限，信息的传输更加自然高效。HoloLens是微软于2015年推出的一款头戴式显示器，作为混合现实技术的典型应用设备，在技术上处于引领地位。HoloLens头戴显示设备包括全息透视镜、高清光线引擎等光学元件；惯性测量单元、环境感知相机、景深相机、摄像头、环境光传感器、麦克风等传感器；空间声音、凝视追踪、手势识别等人机交互模块；以及定制的微软全息处理器HPU等。HoloLens的开发工具为Unity3D，一款功能强大的游戏开发引擎，其主要用来实现3D视景游戏、建筑结构可视化、3D动画制作等功能。其编辑器运行在Windows和Mac下，主要支持C#、Java、Boo等编程语言。

目前HoloLens设备常用于单个设备的拆装过程中，例如船舶主机等，在拆装过程中通过佩戴HoloLens混合现实设备，实时加载不同场景，按照拆装逻辑对拆装过程进行演示，或对操作者行为进行辅助以及培训等。但此类技术往往局限于孤立的一个设备，而多设备协同的生产线场景则与该情况截然不同。

综上，目前还未见HoloLens结合智能装配线多目标离散排产的现有技术。

发明内容

本发明的目的是提出一种基于HoloLens的智能装配仿真方法，区别于传统装配人工排产方式只能依靠个人经验与知识，本发明将对装配线进行建模仿真，并把装配中的排产过程通过数学建模抽象为多目标柔性作业车间调度问题(Multi-objective Flexiblejob-shop scheduling problem,MOFJSP)，使用改进的遗传算法求解，实现自动化的智能排产调度，同时结合三维可视化的仿真，并集成到混合现实头戴显示器HoloLens当中，提高人机交互效率。

为了实现上述目的，本发明采用如下技术方案：

本发明提出的一种基于HoloLens的智能装配生产线仿真方法，用于离散混流装配线的装配仿真，该离散混流装配线中装配工序与设备之间具有明确对应关系，且不同的产品之间没有优先级的差别，将此作为装配生产线特征；其特征在于，所述智能装配生产线仿真方法包括以下步骤：

1)对装配线的排产调度进行数学建模仿真，具体步骤如下：

1-1)确定约束条件

根据装配生产线特征确定约束条件如下：

a)排产时，要严格按照每个产品的工艺流程执行，只有当工艺清单中上一步工序完成时才能开始下一步工序；每一步工序必须在指定的设备上完成，一旦开始，不可以中断或停止，直到该工序加工完成；

b)默认设备加工完上一件产品后立即加工下一件产品，默认产品完成前一道工序后立即开始下一道工序，不考虑由于设备故障、维护，产品装卡运输引起的时间损耗；

1-2)选取优化目标

将最大完工时间最短f₁、平均设备利用率最大f₂和加工期限延误最短f₃作为优化目标；

1-3)根据选取的优化目标进行数学建模

将装配生产线抽象为多目标柔性作业车间调度问题描述如下：

在装配生产线上，一共有n个待加工工件J＝{J₁，J₂，...，J_i，...，J_n}以及m台设备M＝{M₁，M₂，...，M_k，...，M_m}，每个工件J_i有q_i道工序；令第i个工件的第j道工序为O_i，j，每道工序O_i，j被分配到一个候选设备集合M_i，j中的任意一台设备上进行加工，候选设备集合M_i，j是由M＝{M₁，M₂，...，M_m}中的至少一个元素组成的集合；令工序O_i，j在设备M_k上的加工时间为P_i，j，k，工序O_i，j的完工时间为C_i，j，设备M_k上从开始到最后一道工序完成所用的时间为CM_k，工件J_i的交货期限为D_i，工件J_i实际完成时间为C_i，工件J_i的加工优先级为Pri_i；

根据以上描述，将最大完工时间最短f₁、平均设备利用率最大f₂和加工期限延误最短f₃分别表示如下：

将3个优化目标加权得到一个综合优化目标f_agg，从而使多目标优化问题转化为单目标优化问题，即将上述多目标柔性作业车间调度问题转换为一个混合整数规划模型，表示如下：

式中，w₁，w₂，w₃分别为优化目标f₁，f₂，f₃的权重；

2)排产调度

对步骤1-3)得到的混合整数规划模型采用遗传算法求解最优的排产调度方案，具体步骤如下：

2-1)随机产生一个由R个染色体组成的初始种群P₀，每条染色体均分别由前半段的设备分配向量和后半段的工序排序向量组成；对步骤1-3)所述的装配生产线，每条染色体中的设备分配向量和工序排序向量均分别由n×q_i个数字标号组成，其中，在设备分配向量中，数字标号自左向右依次代表待加工工件J₁～J_n按照各自工序顺序依次加工的设备号；在工序排序向量中，如果数字标号g在整个工序分配向量中是第h次出现，则数字标号g的位置表示待加工工件J_g的第h道工序O_g，h被分配到相应设备上的优先级，越靠左边优先级越高；

设定当前迭代次数为t，迭代次数上限为LOOP_total；

2-2)对于当前迭代次数，判断是否到达迭代次数上限LOOP_total，若未到达，则执行步骤2-3)；若到达，则执行步骤2-6)；

2-3)按照步骤1-2)中选取的优化目标个数S＝3，随机划分S个子种群，每个子种群的大小均为R/S；每个子种群分别按照公式(1)、公式(2)、公式(3)为目标函数，进行交叉、变异计算，将产生的新染色体和变异前的染色体进行比较，选择最优的R/S个染色体，其中交叉、变异计算的具体步骤如下：

2-3-1)交叉计算

令任意一个子种群V的交叉概率为P_c，则有|V|*P_c个染色体需完成交叉计算，随机选择两个染色体作为父代染色体，相互交叉后得到一个子代染色体；针对该子种群V中的任意两个父代染色体，交叉计算过程如下：

对于两个父代染色体中的任意一个设备分配向量，从该设备分配向量的所有数字标号间隙中随机选取两个位置作为交叉点A、B，另一父代染色体的设备分配向量的交叉点位置与此相同；子代染色体在A、B之间的部分从第一个父代染色体处继承，其他部分从第二个父代染色体处继承；

对于两个父代染色体中的工序排序向量，参照上述设备分配向量随机选取交叉点A、B，子代染色体在A、B之间的部分从第一个父代染色体处继承，其余部分由第二个父代染色体经过如下处理得到：将第二个父代染色体与第一个父代染色体在交叉点A、B之间相同的数字标号剔除，然后再将剩下的其余部分按照顺序传承给子代染色体；

2-3-2)变异计算

令任意一个子种群V的变异概率为P_m，对于种群V中的任意一个染色体作为父代染色体，均生成一个分布在[0，1]区间内的随机数rand1；如果满足rand1＜P_m，则进行变异，产生一个子代染色体，否则不进行变异；变异计算过程如下：

对于设备分配向量，从该设备分配向量的所有数字标号中随机选取两个数字标号作为两个变异点，随机改变这两个变异点的数字标号，其余数字标号保持不变，产生一个子代染色体；

对于工序排序向量，按照上述设备分配向量的变异点选取方式确定工序排序向量的两个变异点，交换父代染色体中这两个变异点的数字标号，产生子代染色体；

2-4)将步骤2-3)中的所有子种群合并成新种群P_new，若当前的迭代次数t≥LOOP_total*0.6，则执行步骤2-5)；若当前的迭代次数t＜LOOP_total*0.6，将P_new和P_t中的所有染色体按照公式(4)分别计算得到的总目标进行比较，选出最小的R个染色体形成新一代种群P_t+1，返回步骤2-2)；

2-5)根据步骤2-4)中得到的新种群P_new和当前种群P_t按照Metropolis准则进行处理，得到新一代种群P_t+1，然后返回步骤2-2)进行下一次迭代；

2-6)将最终得到的种群P_t+1内的每条染色体分别作为装配生产线的排产调度方案；

3)人机交互

将步骤2)得到的排产调度方案传输至HoloLens头戴显示设备的Windows操作系统中，并通过视线检测和手势识别的方式进行交互展示。

本发明的特点及有益效果：

本发明首先对装配线的排产调度进行数学建模仿真，将多目标柔性作业车间调度问题转换为一个混合整数规划模型，包括确定约束条件、选取优化目标、根据选取的优化目标进行数学建模；然后利用改进的遗传算法对所述混合整数规划模型进行求解，得到排产调度方案；最后将得到的排产调度方案通过HoloLens头戴显示设备展现给用户。本发明基于HoloLens设备，运用混合现实技术，搭建智能制造虚拟装配仿真框架。实现开发了三维立体显示、装配线排产调度和实时交互等功能。

本发明从外观、功能、行为、性能等方面对产品装配的流程进行仿真、测试和评估，并且能够将复杂的多任务多目标装配线排产调度问题，抽象为数学模型，并利用改进的遗传算法进行求解，与传统的人工排产方式相比，速度更快，效果更好。从而实现缩短产品装配周期，降低产品装配成本，改进产品装配质量，区别于传统虚拟装配的键盘鼠标交互方式，本方法通过视线、手势和语音等进行人机交互，更为便捷，在复杂产品装配的过程中起到了重要的作用。

附图说明

图1是本发明实施例中单条染色体的组成示意图；

图2是本发明实施例中设备分配向量的交叉计算示意图；

图3是本发明实施例中工序排序向量的交叉计算示意图；

图4是本发明实施例中设备分配向量的变异计算示意图；

图5是本发明实施例中工序排序向量的变异计算示意图。

具体实施方式

本发明提出的一种基于HoloLens的智能装配生产线仿真方法，结合附图详细说明如下：

本发明提出的方法，基于HoloLens头戴显示设备，用于离散混流装配线的装配仿真，该离散混流装配线中装配工序与设备之间具有明确对应关系，且不同的产品之间没有优先级的差别，将此作为装配生产线特征。本方法具体过程如下：

1)对装配线的排产调度进行数学建模仿真，通过本步骤将实际装配过程抽象为数学问题，具体步骤如下：

1-1)确定约束条件

根据装配生产线特征，考虑问题的建模复杂度，对实际情况进行适当简化，所涉及的约束条件如下：

a)排产时，要严格按照每个产品的工艺流程执行，只有当工艺清单中上一步工序完成时才能开始下一步工序；每一步工序必须在指定的设备上完成，一旦开始，不可以中断或停止，直到该工序加工完成。

b)默认设备加工完上一件产品后可以立即加工下一件产品，默认产品完成前一道工序后可以立即开始下一道工序，不考虑由于设备故障、维护，产品装卡运输等引起的时间损耗。

1-2)选取优化目标

在实际工厂生产中，根据不同的用户需求，很可能有不同的优化目标。将最大完工时间最短f₁、平均设备利用率最大f₂和加工期限延误最短f₃作为优化目标。其中，

a)生产计划完成周期最短。这一目标与“设备利用率最高”有些相似之处，又不尽相同。设备利用率是以时间为自变量，工作量为因变量，追求单位时间完成的工作最多；而生产计划完成周期是以生产计划，即工作量为自变量，时间为因变量，追求完成任务的时间最短。长期来看，设备利用率这一指标更为实用，但是针对紧急订单或者着眼于短期效益时，生产计划完成周期则很有价值。

b)设备利用率最高。这一目标较为常见，对于大多数用户来说，设备利用率直接与利润相关，如何在工人的上班时间尽可能使设备与工人交互工作，下班时间使设备进行无人作业，另外在定期维护检修的前提下实现设备运转时间的最大化等问题，都是工业排产的典型问题。

c)仓库在置品最少。这一目标较为少见，一般常见于产品保质期很短，如一些食品类，一旦在置堆积很可能造成巨大损失。另外还可能见于设备体积较大或者维护成本较高，长期放在仓库中会占据大量空间，浪费大量资源等。

1-3)根据选取的优化目标进行数学建模

将装配生产线抽象为多目标柔性作业车间调度问题(Multi-objective Flexiblejob-shop scheduling problem，MOFJSP)描述如下：

在装配生产线上，一共有n个待加工工件J＝{J₁，J₂，...，J_i，...，J_n}以及m台设备M＝{M₁，M₂，...，M_k，...，M_m}(集合J和M中的标号为随机产生，并非与生产工序对应)，每个工件J_i有q_i道工序。令第i个工件的第j道工序为O_i，j。每道工序O_i，j可以被分配到一个候选设备集合M_i，j中的任意一台设备上进行加工，候选设备集合M_i，j是由M＝{M₁，M₂，...，M_m}中的至少一个元素组成的集合。令工序O_i，j在设备M_k上的加工时间为P_i，j，k，工序O_i，j的完工时间为C_i，j，设备M_k上从开始到最后一道工序完成所用的时间为CM_k，工件J_i的交货期限为D_i，工件J_i实际完成时间为C_i，工件J_i的加工优先级为Pri_i。

根据以上描述，将最大完工时间最短f₁、平均设备利用率最大f₂和加工期限延误最短f₃分别表示如下：

将3个优化目标加权得到一个综合优化目标f_agg，从而使多目标优化问题转化为单目标优化问题，即将上述多目标柔性作业车间调度问题转换为一个混合整数规划模型，表示如下：

式中，w₁，w₂，w₃分别为优化目标f₁，f₂，f₃的权重，三者之和为1，具体取值可根据用户生产需求确定。2)排产调度。对步骤1-3)得到的混合整数规划模型采用遗传算法(Genetic Algorithm)求解最优的排产调度方案。遗传算法通过模拟基因突变、自然选择、优胜劣汰等自然界的生物进化过程，将一般可行解进化成最优解，是一种最优解搜索算法。具体步骤如下：

(2-1)随机产生一个由R(R为正整数，R在满足计算机计算性能的前提下取值越大越好)个染色体组成的初始种群P_t(t＝0)，每条染色体均分别由前半段的机器分配向量和后半段的工序排序向量组成。对于步骤1-3)所限定的装配生产线，每条染色体中的机器分配向量和工序排序向量均分别由n×q_i个数字标号组成，其中，在机器分配向量中，数字标号自左向右依次代表待加工工件J₁～J_n按照各自工序顺序依次加工的设备号；在工序排序向量中，如果数字标号g(g＝1，2，…，n)在整个工序分配向量中是第h次出现，那么数字标号.q的位置表示待加工工件J_g的第h道工序O_g，h被分配到相应设备上的优先级，越靠左边优先级越高。

例如，当待加工工件数为3，分别记做{J₁，J₂，J₃}，与此同时设备数也为3，分别记做{M₁，M₂，M₃}。另外假设对于3个工件，其工序数均为2。参见图1，对于单条染色体，其内的机器分配向量，最左侧的“1”意味着待加工工件J₁的第1道工序O_1，1在1号设备M1上完成，接下来的“3”意味着待加工工件J₁的第2道工序O_1，2要在3号设备M3上完成，以此类推。该染色体内的工序分配向量中，最左侧的数字“1”是第1次出现，所以待加工工件J₁的第1道工序O_1，1的优先级最高，接下来的数字“2”也是第一次出现，所以待加工工件J₂的第1道工序O_2，1的优先级次之，以此类推。

设定当前迭代次数为t，迭代次数上限为LOOP_total。

2-2)对于当前迭代次数，判断是否到达迭代次数上限LOOP_total，若未到达，则执行步骤2-3)；若到达，则执行步骤2-6)；

2-3)按照步骤1-2)中选取的优化目标个数S(S＝3)，随机划分S个子种群，每个子种群的大小均为R/S；每个子种群分别按照公式(1)、公式(2)、公式(3)为目标函数，进行交叉、变异计算，将产生的新染色体和变异前的染色体进行比较，选择最优的R/S个染色体，具体步骤如下：

2-3-1)交叉计算

对任意一个子种群V，记交叉概率为P_c，则有|V|*P_c个染色体需完成交叉计算，随机选择两个染色体作为父代染色体，相互交叉后得到一个子代染色体，需完成交叉计算的染色体只作为一次父代染色体出现，即只进行一次交叉计算。针对该子种群C中的任意两个父代染色体，交叉计算过程如下：

对于两个父代染色体中的任意一个设备分配向量，从该设备分配向量的所有数字标号间隙中随机选取两个位置作为交叉点A、B，另一父代染色体的设备分配向量的交叉点位置与此相同。参见图2，子代染色体在A、B之间的部分(如图2中子代染色体中的虚线框所示部分)从第一个父代染色体处继承(即相同)，其他部分从第二个父代染色体处继承。

对于两个父代染色体中的工序排序向量，参照上述设备分配向量随机选取交叉点A、B，子代染色体在A、B之间的部分从第一个父代染色体处继承(即相同)，其余部分由第二个父代染色体经过如下处理得到：将第二个父代染色体与第一个父代染色体在交叉点A、B之间相同的数字标号剔除，然后再将剩下的其余部分按照顺序传承给子代染色体，如图3所示。通过本步骤的预处理，可以避免子代染色体因直接继承第二个父代染色体，而造成排序向量无法解码的问题。

2-3-2)变异计算

在任意一个子种群V中记变异概率为P_m(0＜P_m＜1)。对于种群V中的任意一个染色体作为父代染色体，均生成一个分布在[0，1]区间内的随机数rand1。如果满足rand1＜P_m，则进行变异，产生一个子代染色体，否则不进行变异。变异计算过程如下：

对于设备分配向量，从该设备分配向量的所有数字标号中随机选取两个数字标号作为两个变异点，随机改变这两个变异点的数字标号即可，如图4所示，将父代染色体变异点处的数字标号“4”、“2”分别变成“2”、“3”，其余数字标号保持不变，产生一个子代染色体。

对于工序排序向量，按照上述设备分配向量的变异点选取方式确定工序排序向量的两个变异点，交换父代染色体中这两个变异点的数字标号，产生子代染色体，如图5所示。

2-4)将步骤2-3)中的所有子种群合并成新种群P_new，若当前的迭代次数t≥LOOP_total*0.6，则执行步骤2-5)；若当前的迭代次数t＜LOOP_total*0.6，将P_new和P_t中的所有染色体按照公式(4)分别计算得到的总目标进行比较，选出最小的R个染色体形成新一代种群P_t+1，返回步骤2-2)；

2-5)根据步骤2-4)中得到的新种群P_new和当前种群P_t按照Metropolis准则进行处理，得到新一代种群P_t+1，然后返回步骤2-2)进行下一次迭代；其中，按照Metropolis准则进行处理的具体过程如下：

对于当前种群P_t中的任意一个染色体均生成一个分布在[0，1]区间内的随机数rand2。如果满足rand2＜Y，则用新种群P_new中对应的染色体替换该染色体，得到新一代种群P_t+1；若满足rand2≥Y，则不做处理。

2-6)将最终得到的种群P_t+1内的每条染色体分别作为装配生产线的排产调度方案。

3)人机交互

将步骤2)得到的排产调度方案传输至HoloLens头戴显示设备的Windows操作系统中，并通过视线检测和手势识别的方式进行交互展示，包括：构造虚拟按钮，如果用户注视虚拟按钮，则将其高亮；如果用户单击虚拟按钮，则进入相应的界面，以展示不同的内容，如装配生产线概况介绍、排产调度方案表格等。如果用户在虚空双击，则显示隐藏的界面。所述视线检测和手势识别过程分别如下：

3-1)视线检测，展示了处理用户视线并将虚拟按钮高亮的算法流程，步骤如下：

3-1-1)由HoloLens的全息透视镜的正中央发出一条射线模拟用户目光。

3-1-2)利用Gaze函数判断上述射线是否碰撞到了某个虚拟物体。如果碰撞到了，执行步骤3-1-3)；如果没碰撞到，执行步骤3-1-6)。

3-1-3)判断该虚拟物体是否为虚拟按钮，如果是，执行步骤3-1-4)；如果不是，执行步骤3-1-5)。

3-1-4)将该按钮高亮显示。

3-1-5)返回该虚拟物体。

3-1-6)判断是否退出程序。如果退出，则结束；如果不退出，执行步骤3-1-1)。

3-2)手势识别，为点击手势算法处理流程。点击手势分为单击和双击，单击将触发按钮的相关操作，而双击则将显示当前隐藏的界面。具体步骤如下：

3-2-1)判断是否检测到点击。如果是，执行步骤3-2-2)；如果否，执行步骤3-2-1)。

3-2-2)判断是否为单次点击。如果是，执行步骤3-2-5)；如果否，执行步骤3-2-3)。

3-2-3)判断当前界面是否可见。如果是，执行步骤3-2-7)；如果否，执行步骤3-2-4)。

3-2-4)将当前页面设置为可见。

3-2-5)判断用户目光是否选中了某个按钮。如果是，执行步骤3-2-6)；如果否，执行步骤3-2-7)。

3-2-6)进行该按钮代表的相关操作。

3-2-7)判断是否退出程序。

进一步地，本方法在人机交互前还包括可视化仿真。为了便于用户直观感受装配线的工作过程，可以将装配线进行三维可视化仿真，具体包括以下步骤：

a)利用Flexsim软件，在其资源库中选取适当的实体对象，作为装配线各个环节具体设备的三维可视化仿真模型。

b)按照实际装配线的上下游关系对各设备模型进行接口和参数设置。

c)通过设置好的接口，将各设备模型连接到一起。

d)运行Flexsim软件，模拟装配线的工作过程，并以视频形式存储。

将得到的视频传输至HoloLens头戴显示设备的Windows操作系统中，并通过视线检测和手势识别的方式进行交互展示(主要涉及视频的播放、暂停和结束)。

本发明所涉及的排产调度方法与现有算法的对比分析如下：

记改进后的遗传算法为MPGA算法(多目标优先级遗传算法)。选择传统遗传算法(GA)和同类型的的启发式算法灰狼优化算法(GWO)，对产品数量为10、40、90三种情况，设备数为6、8两种情况，权重w₁＝0.4，w₂＝0.3，w₃＝0.3，进行求解，结果如表1、2所示。可见MPGA算法的平均解更小，波动率也更小，平均可以达到3％以上的改进百分比。

表1设备数为6时不同算法的比较结果

表2设备数为8时不同算法的比较结果

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于HoloLens的智能装配生产线仿真方法，用于离散混流装配线的装配仿真，该离散混流装配线中装配工序与设备之间具有明确对应关系，且不同的产品之间没有优先级的差别，将此作为装配生产线特征；其特征在于，所述智能装配生产线仿真方法包括以下步骤：

1)对装配线的排产调度进行数学建模仿真，具体步骤如下：

1-1)确定约束条件

根据装配生产线特征确定约束条件如下：

a)排产时，要严格按照每个产品的工艺流程执行，只有当工艺清单中上一步工序完成时才能开始下一步工序；每一步工序必须在指定的设备上完成，一旦开始，不可以中断或停止，直到该工序加工完成；

b)默认设备加工完上一件产品后立即加工下一件产品，默认产品完成前一道工序后立即开始下一道工序，不考虑由于设备故障、维护，产品装卡运输引起的时间损耗；

1-2)选取优化目标

将最大完工时间最短f₁、平均设备利用率最大f₂和加工期限延误最短f₃作为优化目标；

1-3)根据选取的优化目标进行数学建模

将装配生产线抽象为多目标柔性作业车间调度问题描述如下：

在装配生产线上，一共有n个待加工工件J＝{J₁，J₂，...，J_i，...，J_n}以及m台设备M＝{M₁，M₂，...，M_k，...，M_m}，每个工件J_i有q_i道工序；令第i个工件的第j道工序为O_i，j，每道工序O_i，j被分配到一个候选设备集合M_i，j中的任意一台设备上进行加工，候选设备集合M_i，j是由M＝{M₁，M₂，...，M_m}中的至少一个元素组成的集合；令工序O_i，j在设备M_k上的加工时间为P_i，j，k，工序O_i，j的完工时间为C_i，j，设备M_k上从开始到最后一道工序完成所用的时间为CM_k，工件J_i的交货期限为D_i，工件J_i实际完成时间为C_i，工件J_i的加工优先级为Pri_i；

根据以上描述，将最大完工时间最短f₁、平均设备利用率最大f₂和加工期限延误最短f₃分别表示如下：

将3个优化目标加权得到一个综合优化目标f_agg，从而使多目标优化问题转化为单目标优化问题，即将上述多目标柔性作业车间调度问题转换为一个混合整数规划模型，表示如下：

式中，w₁，w₂，w₃分别为优化目标f₁，f₂，f₃的权重；

2)排产调度

对步骤1-3)得到的混合整数规划模型采用遗传算法求解最优的排产调度方案，具体步骤如下：

2-1)随机产生一个由R个染色体组成的初始种群P₀，每条染色体均分别由前半段的设备分配向量和后半段的工序排序向量组成；对步骤1-3)所述的装配生产线，每条染色体中的设备分配向量和工序排序向量均分别由n×q_i个数字标号组成，其中，在设备分配向量中，数字标号自左向右依次代表待加工工件J₁～J_n按照各自工序顺序依次加工的设备号；在工序排序向量中，如果数字标号g在整个工序分配向量中是第h次出现，则数字标号g的位置表示待加工工件J_g的第h道工序O_g，h被分配到相应设备上的优先级，越靠左边优先级越高；

设定当前迭代次数为t，迭代次数上限为LOOP_total；

2-2)对于当前迭代次数，判断是否到达迭代次数上限LOOP_total，若未到达，则执行步骤2-3)；若到达，则执行步骤2-6)；

2-3)按照步骤1-2)中选取的优化目标个数S＝3，随机划分S个子种群，每个子种群的大小均为R/S；每个子种群分别按照公式(1)、公式(2)、公式(3)为目标函数，进行交叉、变异计算，将产生的新染色体和变异前的染色体进行比较，选择最优的R/S个染色体，其中交叉、变异计算的具体步骤如下：

2-3-1)交叉计算

令任意一个子种群V的交叉概率为P_c，则有|V|*P_c个染色体需完成交叉计算，随机选择两个染色体作为父代染色体，相互交叉后得到一个子代染色体；针对该子种群V中的任意两个父代染色体，交叉计算过程如下：

对于两个父代染色体中的任意一个设备分配向量，从该设备分配向量的所有数字标号间隙中随机选取两个位置作为交叉点A、B，另一父代染色体的设备分配向量的交叉点位置与此相同；子代染色体在A、B之间的部分从第一个父代染色体处继承，其他部分从第二个父代染色体处继承；

对于两个父代染色体中的工序排序向量，参照上述设备分配向量随机选取交叉点A、B，子代染色体在A、B之间的部分从第一个父代染色体处继承，其余部分由第二个父代染色体经过如下处理得到：将第二个父代染色体与第一个父代染色体在交叉点A、B之间相同的数字标号剔除，然后再将剩下的其余部分按照顺序传承给子代染色体；

2-3-2)变异计算

令任意一个子种群V的变异概率为P_m，对于种群V中的任意一个染色体作为父代染色体，均生成一个分布在[0，1]区间内的随机数rand1；如果满足rand1＜P_m，则进行变异，产生一个子代染色体，否则不进行变异；变异计算过程如下：

对于设备分配向量，从该设备分配向量的所有数字标号中随机选取两个数字标号作为两个变异点，随机改变这两个变异点的数字标号，其余数字标号保持不变，产生一个子代染色体；

对于工序排序向量，按照上述设备分配向量的变异点选取方式确定工序排序向量的两个变异点，交换父代染色体中这两个变异点的数字标号，产生子代染色体；

2-4)将步骤2-3)中的所有子种群合并成新种群P_new，若当前的迭代次数t≥LOOP_total*0.6，则执行步骤2-5)；若当前的迭代次数t＜LOOP_total*0.6，将P_new和P_t中的所有染色体按照公式(4)分别计算得到的总目标进行比较，选出最小的R个染色体形成新一代种群P_t+1，返回步骤2-2)；

2-5)根据步骤2-4)中得到的新种群P_new和当前种群P_t按照Metropolis准则进行处理，得到新一代种群P_t+1，然后返回步骤2-2)进行下一次迭代；

2-6)将最终得到的种群P_t+1内的每条染色体分别作为装配生产线的排产调度方案；

3)人机交互

将步骤2)得到的排产调度方案传输至HoloLens头戴显示设备的Windows操作系统中，并通过视线检测和手势识别的方式进行交互展示。

2.根据权利要求1所述的智能装配生产线仿真方法，其特征在于，该方法在步骤3)的人机交互前还包括可视化仿真，具体包括以下步骤：

a)利用Flexsim软件，在其资源库中选取适当的实体对象，作为装配线各个环节具体设备的三维可视化仿真模型；

b)按照实际装配线的上下游关系对各设备模型进行接口和参数设置；

c)通过设置好的接口，将各设备模型连接到一起；

d)运行Flexsim软件，模拟装配线的工作过程，并以视频形式存储；

将可视化仿真得到的视频传输至HoloLens头戴显示设备的Windows操作系统中，并通过视线检测和手势识别的方式进行交互展示。

Images