CN108646926B - 机械制造模具虚拟装配培训系统及培训方法 - Google Patents

Abstract

本发明公开了机械制造模具虚拟装配培训系统及培训方法，应用于一电子设备，所述方法包括构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块。本发明不仅提供培训人员培训练习的模式选择，同时也提供装配动画教学和熟练度考核模式选择，帮助用户快速掌握复杂模具的装配工作，大大激发了用户的积极性。

Description

机械制造模具虚拟装配培训系统及培训方法

技术领域

本发明涉及虚拟现实技术，尤其涉及一种机械制造模具虚拟装配培训系统及培训方法。

背景技术

模具作为工业生产重要装备，其发展水平决定了国家工业的整体水平，模具行业涵盖多种技术产业，它包括设计、加工、装配等多种技术。随着我国现代化建设，虽然现在多大部分装配工作已经由机器来完成，但是在一些复杂的部件上依旧难以离开工人的亲自操作，但是从事这一领域的新人们大多缺乏工作经验，与安全知识，培训成本和人为失误造成的生产事故、机械损毁的花销巨大，具体表现为：在实际培训和教学中，不仅受时间、空间上的限制，教学的枯燥讲解还会降低学员学习的积极性；另外为了增加学员的参与性，会进行真实的拆装学习，因此错误操作会带来潜在的安全隐患，而且对部分精确度要求较高的产品也会带来损害。随着模具要求的不断提高，模具装配技术越来越成为模具从业人员的核心技能，该技能不仅需要对模具功能有充分理解，还要对模具各个环节有深刻认识，因此通过传统的培训方式在短时间内培养合格的模具人才是一件非常困难的工作。因此有必要发展基于虚拟现实的数字化装配，从以计算机为中心的设计方式变为以人为中心的设计方式，在操作培训过程中起指导作用，能够帮助从业人员快速掌握产品和元部件的装配技术，并对其掌握程度进行考核。

发明内容

本发明的目的是解决传统的工业培训和教学模式中存在的技术问题，提供一种基于虚拟现实的机械制造模具虚拟装配培训系统及培训方法，从而把过去复杂的装配知识用可以三维立体观察的动画和虚拟亲手操作加以重复学习和练习，用户通过自己的操作完成学习的内容并通过考核，以增加学习的趣味性，并符合知识认知规律和技能养成规律。

为了解决达到前述目的，本发明的技术方案是机械制造模具虚拟装配培训方法，应用于一电子设备，所述方法包括

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

S2：用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

S102：规划S101步骤中所述全部零部件的初始位置；

S103：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

所述S103步骤中，所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述运行速度满足

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值。

所述S1步骤中，所述培训系统还包括虚拟现实设备；所述虚拟现实设备包括虚拟现实显示模块、虚拟现实定位模块和虚拟现实操控模块；

所述虚拟现实显示模块为头戴显示设备或者虚拟眼镜；用于提供360度沉浸式的场景显示；

所述虚拟现实定位模块为安装于电子设备所处空间上方的红外深度传感器，用于确定用户的位置与姿势；

所述虚拟现实操控模块为单个或多个体感交互输入设备，用于为用户提供真实世界到虚拟环境的接口；所述体感交互输入设备包括设置有定位传感器和力传感器的手势识别工具或体感式输入设备；

所述S2步骤中，还包括建立将虚拟现实软件与虚拟现实设备结合的虚拟现实交互系统，通过虚拟现实设备进行教学、操作和评估。

作为优选，所述S103步骤中，所述建立零部件运行路径为：

其中，(x_p，y_p+h，z_p)、(x_j，y_p+n，z_j)和(x_g，y_p+h，z_g)为该零部件运行到终点位置必须经过的各特征位置的坐标，h为在该零部件运行过程中可以检测到的所有障碍物的最高点的高度加上m个高度单位，m为大于0的整数。通过检测零部件运行路径中所有的障碍物，找到最高障碍物，特征位置的选取是在其基础上增加m个高度单位，由此可以使得零部件的运行与障碍物保持一定距离，避免“感觉撞到了”的视觉感受，进行三维动画教学时能够更清楚准确。

进一步的，所述虚拟现实场景生成模块的虚拟现实场景生成方法为：通过三维重建、全景拼接、计算机建模得到的360度沉浸式表达的虚拟装配场景；三维重建、全景拼接和计算机建模都可以采用现有技术，能得到虚拟装配场景即可。所述360度沉浸式表达的虚拟装配场景的个数大于1。。这样可以进行场景切换，提高教学的趣味性和吸引力。

优选的，所述S102步骤中，所述全部零部件的初始位置满足：全部零部件的初始位置随机产生，且在高度上不重叠；随机产生能够避免形成思维定势，使得教学更加全面完整，同时各个零部件之间不重叠，避免零部件遮挡，影响后续的操作。

所述S103步骤中，按照待装配产品的零部件装配顺序逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型。具体来说，在本发明中按照机械装配通用技术要求JBT5994-1992的零部件装配顺序来逐一确定零部件的运行路径，由此不仅可以避免零部件遗漏，而且有条不紊，并且可以加强装配顺序的学习。

具体来说，所述S104步骤中，三维装配教学动画交互方式为：

获取第一信息，所述第一信息为开始或者暂停的交互请求信息；

获取第二信息，所述第二信息为教学动画是否正在进行播放的判断信息；

根据第二信息发送第一指令信息，所述第一指令信息为若教学动画正在进行播放中，则暂停播放教学动画；若教学动画尚未开始播放，则开始播放教学动画；若教学动画处于暂停状态，则以暂停前的速度继续播放教学动画；

获取第三信息，所述第三信息为加速或还原的交互请求信息；

获取第四信息，所述第四信息为教学动画是否正在加速播放的判断信息；

根据第四信息发送第二指令信息，所述第二指令信息为若教学动画正在加速播放，则改为以初始速度播放；若教学动画正以初始速度播放，则改为以加速度播放。

所述装配操作模块的操作方法包括：

S201：用户佩戴虚拟现实显示模块进入装配操作模块，确定需要进行操作装配的模具；

S202：选择培训难度等级，分为简单难度、普通难度和困难难度；所述简单难度提供每步骤装配零件信息、装配位置高亮及语音提示；所述普通难度提供装配位置高亮提示；所述困难难度无任何提示；由此可以由用户自主个性化设置操作难度，提供不同程度的装配提示的教学功能，可以根据不同培训人员的水平情况和培训进度调整虚拟装配难度。

S203：生成虚拟装配场景，将待装配的元部件散置在工作台上，并向用户提供引导信息；

S204：用户调用元部件模型库模块中的元部件，将模具的元部件逐个组合到一起；

S205：对装配元部件进行静态干涉检查和动态干涉检查，未通过干涉检查的元部件将返回工作台上，重复步骤S204和S205；通过干涉检查则完成装配操作；

所述静态干涉检查为检测各元部件之间以及元部件与装配工具之间是否存在碰撞；所述动态干涉检查为检测模具在运转中该元部件是否会与其他元部件发生碰撞。

所述装配评估模块的评估方法包括：

通过装配消耗时间、装配工具使用、装配步骤、装配难度、各零件装配误差和装配成功率六个方面对用户装配操作进行评估。

所述元部件模型库模块包括：对通过机械图纸建立或三维重建建立并经过金属渲染的模具模型依照层次化模型进行管理，以及使用数据库对零件尺寸信息，位置信息等进行管理。

基于上述技术方案，本发明还提供了机械制造模具虚拟装配培训系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

S2：用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

S102：规划S101步骤中所述全部零部件的初始位置；

S103：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

所述S103步骤中，所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述运行速度满足

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值。

采用了上述技术方案，本发明具有以下的积极的效果：(1)本发明提供一套基于VR的装配培训系统，通过虚拟现实技术创造出一个交互的、三维的现实环境，使用户能够通过感官及专用装置进行人机交互并参与，不仅提供培训人员培训练习的模式选择，同时也提供装配动画教学和熟练度考核模式选择，帮助用户快速掌握复杂模具的装配工作，大大激发了用户的积极性，可应用于需求人工操作复杂昂贵部件装配的工业领域以及商用工厂VR体验领域。

(2)本发明的教学模块通过构建虚拟装配场景、科学规划零部件运行路径和运行速度，形成了高精度的模型进行三维动画装配教学，成功的弥补了传统的工业培训和教学模式中学员参与度不高的不足，有效激发了学员的积极性，并且有效降低了教学成本，提高了学员的学习效率，达到快速熟悉各个零部件以及装配过程的教学效果。

(4)本发明的教学模块的全部零部件的初始位置随机产生，且在高度上不重叠。随机产生能够避免形成思维定势，使得教学更加全面完整，同时各个零部件之间不重叠，避免零部件遮挡，影响后续的操作。通过检测零部件运行路径中所有的障碍物，找到最高障碍物，特征位置的选取是在其基础上增加m个高度单位，由此可以使得零部件的运行与障碍物保持一定距离，避免“感觉撞到了”的视觉感受，进行三维动画教学时能够更清楚准确。

(5)本发明的元部件模型库的管理采用层次模型，应用树状结构，可更好地表达模型间的分层装配和顺序约束。

(6)本发明提供用户自主个性化设置的操作培训及考核评估的难度，提供不同程度的装配提示功能，可以根据不同用户的水平情况和培训进度调整虚拟装配难度。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为本发明的操作评估的流程示意图。

具体实施方式

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

本发明的总体思路如下：

机械制造模具虚拟装配培训方法，应用于一电子设备，所述方法包括

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

S2：用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

S102：规划S101步骤中所述全部零部件的初始位置；

S103：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

所述S103步骤中，所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述运行速度满足

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值。

本发明提供一套基于VR的装配培训系统，通过虚拟现实技术创造出一个交互的、三维的现实环境，使用户能够通过感官及专用装置进行人机交互并参与，不仅提供培训人员培训练习的模式选择，同时也提供装配动画教学和熟练度考核模式选择，帮助用户快速掌握复杂模具的装配工作，大大激发了用户的积极性，可应用于需求人工操作复杂昂贵部件装配的工业领域以及商用工厂VR体验领域。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

实施例1

一种机械制造模具虚拟装配培训方法，应用于一电子设备，在本实施例中，电子设备可以理解为台式电脑或笔记本电脑，但不限于这两种。

所述方法包括：

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

所述培训系统包括虚拟现实软件和虚拟现实设备。

所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估。

其中，所述元部件模型库模块包括：对通过机械图纸建立或三维重建建立并经过金属渲染的模具模型依照层次化模型进行管理，以及使用数据库对零件尺寸信息，位置信息等进行管理，采用层次化模型，应用树状结构，更好地表达模型间的分层装配和顺序约束。比如CAD图纸建模后采用stl文件导入3dmax进行渲染并导出fbx格式文件，然后文件以fbx格式导入Unity3d，这种方法可以有效的减少特征丢失。

所述虚拟现实场景生成模块通过三维重建(比如单目重建方法)、全景拼接(比如基于时域的方法)、计算机建模(3D建模软件，比如UG、solidworks等)得到的360度沉浸式表达的虚拟装配场景；所述360度沉浸式表达的虚拟装配场景的个数在本实施例中选择4个。

所述虚拟现实设备包括虚拟现实显示模块、虚拟现实定位模块和虚拟现实操控模块。

所述虚拟现实显示模块为头戴显示设备或者虚拟眼镜；用于提供360度沉浸式的场景显示；在本实施例中头戴现实设备采用HTC vive VR头显，其采用HTC Vive强大的Lighthouse定位技术。

所述虚拟现实定位模块为安装于电子设备所处空间上方的红外深度传感器，用于确定用户的位置与姿势；比如HTC VIVE定位器，安装位置至少距离地面两米高，每个HTCVIVE定位器的感应区域一般为120°，为了得到更大感应区域，一般要设置多个，比如设置两个，则应将两个HTC VIVE定位器设置在同样高度的不长于五米的对角线处。比如本系统的电子设备放置在一个桌子上，用户坐在桌子前，在用户所处位置距离地面两米高处规划一个对角线不大于五米的方形框，两个HTC VIVE定位器就设置在对角线的两个位置。

所述虚拟现实操控模块为单个或多个体感交互输入设备，用于为用户提供真实世界到虚拟环境的接口；所述体感交互输入设备包括设置有定位传感器和力传感器的手势识别工具或体感式输入设备；

S2：建立将虚拟现实软件与虚拟现实设备结合的虚拟现实交互系统，通过虚拟现实设备进行教学、操作和评估；用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

具体来说，“导入待装配模具的零部件模型”即将3D创建(可通过三维重建和计算机仿真建模获得)的3D模型直接导入，比如直接拖进本发明装置上装载的本发明方法对应的软件画面中。然后通过三维重建(比如单目重建方法)、全景拼接(比如基于时域的方法)、计算机建模(3D建模软件，比如UG、solidworks等)得到360度沉浸式表达的虚拟装配场景来模拟真实的实验场景，比如太空场景、装配工厂场景、办公室场景、家居场景等，这样在后续交互中可以进行场景切换，为学生提供了多种感官刺激。

S102：规划S101步骤中所述全部零部件的初始位置；所述全部零部件的初始位置满足：全部零部件的初始位置随机产生，且在高度上不重叠。这样可以避免学员每次进入学习时零部件位置都摆放在同一个地方而产生思维定势。在本实施例中，虽然随机产生，也可以依据一定的规定，比如根据零部件的种类或者零部件的大小再随机产生初始位置。

S103：按照待装配产品的零部件装配顺序(在本实施例中按照机械装配通用技术要求JBT 5994-1992)逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型，从而达到1.零部件依次运行到装配位置既可以方便学员360观察；2.避免撞到障碍物；3.运行路径高度尽量一致，视觉美观。

所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述建立零部件运行路径为：

其中，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，(x_p，y_p+h，z_p)、(x_j，y_p+h，z_j)和(x_g，y_p+h，z_g)为该零部件运行到终点位置必须经过的各特征位置的坐标，h为在该零部件运行过程中可以检测到的所有障碍物的最高点的高度加上m个高度单位，m为大于0的整数，在本实施例中，m＝5，这是经过大量试验得到的最佳值。比如零部件从起始位置x运行到终点位置y途中会经过特征位置A和特征位置B，在路径中，有m1和m2两个障碍物，m2的高度h2大于m1的高度h1，因此m2的高度是障碍物最高点，从起始位置到特征位置A，需要在高度上加上5个高度单位。

所述运行速度满足：

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值。

详细解释如下：v₁是第一段路径(从初始位置到特征位置1)的运行速度，该路径是上升到指定高度上，只在y轴有位移，所以只有y轴有速度；同理v_n也是，是最后一段(从特征位置n-1到终点位置)下降的路径，所以只有y轴有速度；v₂到Vn-1，是在x-z平面上运动，所以只有x轴和z轴的速度。

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

三维装配教学动画交互方式为：

获取第一信息，所述第一信息为开始或者暂停的交互请求信息；在此具体表现为点击开始/暂停图标；

获取第二信息，所述第二信息为教学动画是否正在进行播放的判断信息；

根据第二信息发送第一指令信息，所述第一指令信息为若教学动画正在进行播放中，则暂停播放教学动画；若教学动画尚未开始播放，则开始播放教学动画；若教学动画处于暂停状态，则以暂停前的速度继续播放教学动画；

获取第三信息，所述第三信息为加速或还原的交互请求信息；在此具体表现为点击加速/还原图标；

获取第四信息，所述第四信息为教学动画是否正在加速播放的判断信息；

根据第四信息发送第二指令信息，所述第二指令信息为若教学动画正在加速播放，则改为以初始速度播放；若教学动画正以初始速度播放，则改为以加速度播放；

获取第五信息，所述第五信息为教学动画播放结束的信息；

获取第六信息，所述第六信息为重新开始的交互请求信息；在此具体表现为点击重新开始图标；则重新开始以上所有步骤。

所述装配操作模块的操作方法包括：

S201：用户佩戴虚拟现实显示模块进入装配操作模块，确定需要进行操作装配的模具；

S202：选择培训难度等级，分为简单难度、普通难度和困难难度；所述简单难度提供每步骤装配零件信息、装配位置高亮及语音提示；所述普通难度提供装配位置高亮提示；所述困难难度无任何提示；

S203：生成虚拟装配场景，将待装配的元部件散置在工作台上，并向用户提供引导信息；

S204：用户调用元部件模型库模块中的元部件，将模具的元部件逐个组合到一起；

S205：对装配元部件进行静态干涉检查和动态干涉检查，未通过干涉检查的元部件将返回工作台上，重复步骤S204和S205；通过干涉检查则完成装配操作；

所述静态干涉检查为检测各元部件之间以及元部件与装配工具之间是否存在碰撞；所述动态干涉检查为检测模具在运转中该元部件是否会与其他元部件发生碰撞。

所述装配评估模块的评估方法包括：

对装配操作过程中的参数进行收集与分析，这些参数包括：配合、装配时间和序列、人机工效和工作安全、过程数据、元部件处理等，得出对应的操作评价。目前，在实际应用中涉及到多种综合评价方法，包括层次分析法、灰色关联度评价法、TOPISIS评价法、模糊综合评价法等等。但由于虚拟现实装配中涉及到多个带有经验性、不确定性的指标，因此针对虚拟现实装配的特点，本实施例选取六个指标，综合考虑评价方法的可行性和准确性，使用模糊综合评价法对学员操作进行评价。采用模糊综合评判法可以很好地解决评价的模糊性和不确定性，得到全面且合理的评判结果，提高评价准确度，同时具备良好的扩展性。六个指标分别为装配消耗时间、装配工具使用、装配步骤、装配难度、各零件装配误差和装配成功率。

具体来说，用户佩戴虚拟现实显示设备登入系统，确定需要测试评估装配的模具。模具装配的评估系统是以三维交互的方式进行考核的。评估考核过程类似于装配的实际操作考试，需要加深用户对于装配元部件、装配工具的认知，巩固装配的基础理论知识并且能应用于实践。考试中要求用户按照正确的流程操作，在打乱元部件排列顺序的情况下，依据少量的信息提示和引导，能够理清模具各元部件的正确安装顺序，并且将其安装到正确的位置上。用户在正确安装一个部分的元部件后会获得这部分所包含的分数。如果有操作错误、工具使用不当、等问题则按照情节严重情况扣分。在考试时间内完成的，则直接计算此次考试的所得成绩。考试时间到，则计算出所得分数占这一部分总的分数的比重，最后将用户在装配考试过程中操作的错误和装配流程不熟练的地方反馈给用户。这样能够让使用这套系统的用户不断的查漏补缺，再学习、再考核，最大程度地发挥这套系统的作用。图1则用流程图的方式介绍了操作和评估的基本步骤。

实施例2

基于与前述实施例中一种基于虚拟现实的三维动画装配教学方法同样的发明构思，本发明还提供一种基于虚拟现实的三维动画装配教学装置。

具体来说，机械制造模具虚拟装配培训系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

S2：用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

S102：规划S101步骤中所述全部零部件的初始位置；

S103：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

所述S103步骤中，所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述运行速度满足

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值。

前述实施例1中的机械制造模具虚拟装配的培训方法的各种变化方式和具体实例同样适用于本实施例的系统，通过前述对方法的详细描述，本领域技术人员可以清楚的知道本实施例中系统的实施方法，所以为了说明书的简洁，在此不再详述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.机械制造模具虚拟装配培训方法，应用于一电子设备，其特征在于：所述方法包括

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

S2：用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

S102：规划S101步骤中所述全部零部件的初始位置；

S103：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

所述S103步骤中，所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述运行速度满足

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值；

所述装配操作模块的操作方法包括：

S201：用户佩戴虚拟现实显示模块进入装配操作模块，确定需要进行操作装配的模具；

S202：选择培训难度等级，分为简单难度、普通难度和困难难度；所述简单难度提供每步骤装配零件信息、装配位置高亮及语音提示；所述普通难度提供装配位置高亮提示；所述困难难度无任何提示；

S203：生成虚拟装配场景，将待装配的元部件散置在工作台上，并向用户提供引导信息；

S204：用户调用元部件模型库模块中的元部件，将模具的元部件逐个组合到一起；

S205：对装配元部件进行静态干涉检查和动态干涉检查，未通过干涉检查的元部件将返回工作台上，重复步骤S204和S205；通过干涉检查则完成装配操作；

所述静态干涉检查为检测各元部件之间以及元部件与装配工具之间是否存在碰撞；所述动态干涉检查为检测模具在运转中该元部件是否会与其他元部件发生碰撞；

所述装配评估模块的评估方法包括：

通过装配消耗时间、装配工具使用、装配步骤、装配难度、各零件装配误差和装配成功率六个方面对用户装配操作进行评估。

2.根据权利要求1所述的机械制造模具虚拟装配培训方法，其特征在于：

所述S1步骤中，所述培训系统还包括虚拟现实设备；所述虚拟现实设备包括虚拟现实显示模块、虚拟现实定位模块和虚拟现实操控模块；

所述虚拟现实显示模块为头戴显示设备或者虚拟眼镜；用于提供360度沉浸式的场景显示；

所述虚拟现实定位模块为安装于电子设备所处空间上方的红外深度传感器，用于确定用户的位置与姿势；

所述虚拟现实操控模块为单个或多个体感交互输入设备，用于为用户提供真实世界到虚拟环境的接口；所述体感交互输入设备包括设置有定位传感器和力传感器的手势识别工具或体感式输入设备；

所述S2步骤中，还包括建立将虚拟现实软件与虚拟现实设备结合的虚拟现实交互系统，通过虚拟现实设备进行教学、操作和评估。

3.根据权利要求2所述的机械制造模具虚拟装配培训方法，其特征在于：

所述S103步骤中，所述建立零部件运行路径为：

其中，(x_p，y_p+h，z_p)、(x_j，y_p+h，z_j)和(x_g，y_p+h，z_g)为该零部件运行到终点位置必须经过的各特征位置的坐标，h为在该零部件运行过程中可以检测到的所有障碍物的最高点的高度加上m个高度单位，m为大于0的整数。

4.根据权利要求2所述的机械制造模具虚拟装配培训方法，其特征在于：

所述虚拟现实场景生成模块的虚拟现实场景生成方法为：通过三维重建、全景拼接、计算机建模得到的360度沉浸式表达的虚拟装配场景；所述360度沉浸式表达的虚拟装配场景的个数大于1。

5.根据权利要求2所述的机械制造模具虚拟装配培训方法，其特征在于：

所述S102步骤中，所述全部零部件的初始位置满足：全部零部件的初始位置随机产生，且在高度上不重叠；

所述S103步骤中，按照待装配产品的零部件装配顺序逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型。

6.根据权利要求2所述的机械制造模具虚拟装配培训方法，其特征在于：

所述S104步骤中，三维装配教学动画交互方式为：

获取第一信息，所述第一信息为开始或者暂停的交互请求信息；

获取第二信息，所述第二信息为教学动画是否正在进行播放的判断信息；

根据第二信息发送第一指令信息，所述第一指令信息为若教学动画正在进行播放中，则暂停播放教学动画；若教学动画尚未开始播放，则开始播放教学动画；若教学动画处于暂停状态，则以暂停前的速度继续播放教学动画；

获取第三信息，所述第三信息为加速或还原的交互请求信息；

获取第四信息，所述第四信息为教学动画是否正在加速播放的判断信息；

根据第四信息发送第二指令信息，所述第二指令信息为若教学动画正在加速播放，则改为以初始速度播放；若教学动画正以初始速度播放，则改为以加速度播放。

7.根据权利要求2所述的机械制造模具虚拟装配培训方法，其特征在于：

所述元部件模型库模块包括：对通过机械图纸建立或三维重建建立并经过金属渲染的模具模型依照层次化模型进行管理，以及使用数据库对零件尺寸信息，位置信息等进行管理。

8.机械制造模具虚拟装配培训系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

S1：构建教学、操作、评估为一体的培训系统；由所述培训系统形成虚拟装配场景；

S2：用户在所述虚拟装配场景中选择完成教学、操作、评估中的任一或两种或全部功能；

所述培训系统包括虚拟现实软件；所述虚拟现实软件包括元部件模型库模块、虚拟现实场景生成模块、装配教学模块、装配操作模块和装配评估模块；所述培训系统通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景，由装配教学模块、装配操作模块和装配评估模块分别提供教学、操作和评估；

所述装配教学模块的教学方法包括：

S101：导入待装配的产品的全部零部件模型，通过虚拟现实场景生成模块调用元部件模型库模块中的各零部件模型，生成虚拟装配场景；

S102：规划S101步骤中所述全部零部件的初始位置；

S103：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；

S104：根据S102和S103，形成S101步骤中所述全部零部件从初始位置到终点位置的三维装配教学动画；

所述S103步骤中，所述特征位置为零部件运行路径中的转折点位置；所述运行路径为从初始位置经过所有特征位置后到达终点位置；所述运行速度满足

其中，n为≥3的整数，(x_p，y_p，z_p)为零部件在世界坐标系下的初始位置的重心点坐标，(x_g，y_g，z_g)为该零部件世界坐标系下的终点位置的重心点坐标，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n分别为零部件运行从初始位置到特征位置1、从特征位置1到特征位置2、从特征位置2到特征位置3、从特征位置n-1到终点位置这n段路程中的速度和所用时间，v₁,v₂,v₃，v_n，t₁,t₂,t₃，t_n均不为0，v_1y为v₁投影到y轴上的值、v_2x为v₂投影到x轴上的值、v_2z为v₂投影到z轴的值、v_3x为v₃投影到x轴上的值，v_3z为v₃投影到z轴上的值，v_ny为v_n投影到y轴上的值；

所述装配操作模块的操作方法包括：

S201：用户佩戴虚拟现实显示模块进入装配操作模块，确定需要进行操作装配的模具；

S202：选择培训难度等级，分为简单难度、普通难度和困难难度；所述简单难度提供每步骤装配零件信息、装配位置高亮及语音提示；所述普通难度提供装配位置高亮提示；所述困难难度无任何提示；

S203：生成虚拟装配场景，将待装配的元部件散置在工作台上，并向用户提供引导信息；

S204：用户调用元部件模型库模块中的元部件，将模具的元部件逐个组合到一起；

S205：对装配元部件进行静态干涉检查和动态干涉检查，未通过干涉检查的元部件将返回工作台上，重复步骤S204和S205；通过干涉检查则完成装配操作；

所述静态干涉检查为检测各元部件之间以及元部件与装配工具之间是否存在碰撞；所述动态干涉检查为检测模具在运转中该元部件是否会与其他元部件发生碰撞；

所述装配评估模块的评估方法包括：

通过装配消耗时间、装配工具使用、装配步骤、装配难度、各零件装配误差和装配成功率六个方面对用户装配操作进行评估。