CN113270006A - 基于HoloLens的印刷机操作培训系统及方法 - Google Patents

Abstract

本发明公开的一种基于HoloLens的印刷机操作培训系统，包括HoloLens混合现实眼镜、印刷机零部件模型库、工艺场景选择UI模块、机械设备结构学习模块、虚实融合操作培训模块、多模态触发式人机交互模块及虚实融合模块；该印刷机操作培训系统，解决了现有技术中存在的培训操作过程中资源浪费、无法解放双手、没有真正实现虚实融合等问题，为虚拟印刷机操作培训提供一种全新的方法和环境。还公开了一种基于HoloLens的印刷机操作培训系统的操作方法。

Description

基于HoloLens的印刷机操作培训系统及方法

技术领域

本发明属于使用数字技术辅助进行印刷机虚拟操作培训技术领域，具体涉及一种基于HoloLens的印刷机操作培训系统，还涉及一种基于HoloLens的印刷机操作培训系统的操作方法。

背景技术

近年来，随着高质量精细印刷需求的不断上升和印刷机械操作过程的日益复杂化，对印刷机操作人员的专业性和操作水平提出了更高的要求。现有的操作培训大致分为两类：一种是借助机器操作培训说明手册、手机、平板等在机器上进行实际操作培训，这种方法会造成油墨、纸张等资源的浪费，且不安全；另一种是依赖计算机、VR仿真系统进行虚拟培训，这种操作培训方法，用户只能依赖触摸屏、交互手柄等外部输入设备在虚拟数字模型上进行培训，存在无法解放双手、无法将虚拟模型与真实设备结合，视觉体验缺乏真实性等的弊端。

HoloLens搭载的全息处理单元HPU可以将虚拟模型的全息影像投影到全息透镜实现了虚拟模型与真实世界的融合，结合SLAM算法和空间映射、空间锚点等技术，将真实环境与虚拟对象无缝叠加，给用户带来一个全新的虚实结合的视觉感官体验，利用手势、语音、凝视等交互技术实现与虚拟模型的多种互动。这种技术打破了真实世界和数字世界的鸿沟，将两者融合生成一个全新的学习环境，从而为虚拟印刷机的操作培训提供了一个混合现实解决方案。目前用于进行虚拟印刷机操作培训的系统多是基于VR技术，未见使用HoloLens和混合现实技术将虚拟印刷机与真实印刷机进行虚实结合实现仿真操作培训的方法或技术。

发明内容

本发明的目的是提供一种基于HoloLens的印刷机操作培训系统，解决了现有技术中存在的培训操作过程中资源浪费、无法解放双手、没有真正实现虚实融合等问题，为虚拟印刷机操作培训提供一种全新的方法和环境。

本发明的另一个目的是提供一种基于HoloLens的印刷机操作培训系统的操作方法。

本发明所采用的技术方案是，一种基于HoloLens的印刷机操作培训系统，包括有HoloLens混合现实眼镜、印刷机零部件模型库、工艺场景选择UI模块、机械设备结构学习模块、虚实融合操作培训模块、多模态触发式人机交互模块及虚实融合模块；

HoloLens混合现实眼镜：用于摄像头位姿估计与位姿跟踪、虚拟信息的空间映射、实时捕捉手势，语音指令实现交互；

印刷机零部件模型库：存储建模后的印刷机仿真模型用于机械设备结构学习模块、虚实融合操作培训模块调取仿真模型；

工艺场景选择UI模块，用于触发各个工艺培训场景；在每个工艺培训场景下都设有机械设备结构学习模块和虚实融合操作培训模块；

机械设备结构学习模块，用于通过工艺场景选择UI模块选择好工艺场景后，实训人员进行对目前工艺的印刷机械设备知识的学习；

虚实融合操作培训模块，用于通过工艺场景UI选择模块选择好工艺场景后，调用虚实融合模块，加载出印刷机零部件模型库中各个工艺流程下对应的仿真模型，仿真装置模型与真实机器装置的虚实融合，实训人员通过多模态触发式人机交互模块的手势交互操作虚拟印刷部件，完成印刷机的操作培训任务；

多模态触发式人机交互模块，用于通过凝视交互、手势交互、语音交互实现对机械设备结构学习模块、虚实融合操作培训模块的控制；

虚实融合模块，用于将印刷机零部件模型库中的印刷机仿真模型注册到真实机器上，通过HoloLens混合现实眼镜完成虚实融合。

本发明的特征还在于，

印刷机零部件模型库中存储的印刷机仿真模型构建过程为：利用卷尺、游标卡尺测量印刷机的印刷装置、输纸装置、收纸装置、规矩装置、润湿装置、给墨装置及印刷机主控制台装置的尺寸数据，依次绘出各个装置的cad图，采用专业机械三维设计工具SolidWorks进行模型构建，将构建完成的各个模型导入到3ds Max中进行UV展开，建立每个装置的零部件与纹理的映射关系，PhotoShop处理贴图材质、渲染。

工艺培训场景包括装版工艺、装撞纸工艺、上水工艺、上墨工艺、开机印刷工艺五个环节。

机械设备结构学习模块包括全息视频教学板块、设备理论教学板块和设备结构互动学习板块；

全息视频教学板块：通过unity 3D的videoplayer组件播放该工艺下设备结构知识的教学视频；

设备理论教学板块：通过unity 3D的Canvas组件展示该工艺下设备结构知识的文字、结构图；

设备结构互动学习板块：调用印刷机零部件模型库中各个工艺流程下对应的仿真装置模型，调用多模态触发式人机交互模块的凝视、手势、语音交互的模态触发实现对仿真模型的缩放、移动、旋转、拆卸操作，从而完成对印刷设备机械结构知识的学习。

虚实融合操作培训模块包括学习模式和练习模式：

学习模式包括操作视频教学、操作说明文档教学和操作演示动画3个板块；

操作视频教学板块：通过unity 3D的videoplayer组件播放该工艺下操作教学视频；操作说明文档教学板块：通过unity 3D的Canvas组件以文档形式展示该工艺下操作的要点及注意事项；操作演示动画板块：通过unity 3D的Animation system制作操作演示动画；

练习模式包括交互操作练习板块和操作分析评价2个板块；

交互操作练习板块：调用多模态触发式人机交互模块的手势交互，实训人员可以直接手势操作虚实融合后的虚拟仿真装置模型进行练习，练习操作的顺序逻辑通过unity3D的C#脚本实现；

操作分析评价板块：实现实训人员在交互操作练习时的评价，评价指标主要是通过练习操作的顺序逻辑，操作正确得十分，顺序错误立即结束，并给出分数。

凝视交互通过physics.Raycast方法检测从用户所佩戴HoloLens眼镜发出的射线是否与场景中某物体有碰撞，从而触发凝视事件；手势交互通过HoloLens的3D深度摄像头采集手势信息；语音交互，定义了“enlarge mode”、“shrink mode”、“Move mode”、“Resetmode”、“Rotation mode”、“Dismantling mode”、“Learning”“Practice”“next”、”help”10个语音指令。

本发明所采用的第二个技术方案是，一种基于HoloLens的印刷机操作培训系统的操作方法，采用上述印刷机操作培训系统，具体按照以下步骤实施：

步骤一：实训人员佩戴HoloLens混合现实眼镜，启动系统，获取当前所培训印刷机设备信息，点击进入培训。

步骤二：点击培训进入工艺场景选择UI模块界面，选择想要培训的工艺培训场景，在机械设备结构学习模块和虚实融合操作培训模块中选择一个开始培训；

步骤三：选择机械设备结构学习模块，加载出工艺流程下对应的仿真装置模型，完成视频、理论教学后，通过凝视、语音、手势指令交互操作虚拟模型了解机械结构知识；

步骤四：选择虚实融合操作培训模块，调用HoloLens混合现实眼镜的HoloLens摄像头，通过虚实融合模块的计算机视觉技术实时识别捕捉平面标识图﹐并通过HoloLens混合现实眼镜的HoloLens照相机取景器将工艺流程下对应的仿真装置模型加载到实体印刷机上，用户通过凝视、语音、手势交互完成操作学习模式的培训后，进入操作练习，同时根据用户的操作情况，给出评价分数，完成操作培训任务。

本发明的有益效果是：

1.本发明系统首次将混合现实技术引入到印刷机的虚拟操作培训中，相比于传统印刷机操作培训方法和基于VR的操作培训方法，本发明无需真正启动印刷机，大大减少了油墨、纸张等资源的浪费和印刷设备的损耗，同时克服了VR系统中虚拟模型不能与实体印刷机结合的问题。

2.本发明系统借助HoloLens的凝视、手势、语音等多模态人机交互令实训人员真正解放双手，提高操作培训的舒适度。

3.本发明系统设有机械设备结构学习模块，可以直观看到真实印刷机内部无法看到的部件结构，通过交互方式操作仿真模型，有助于实训人员了解印刷机的机械结构，快速掌握印刷机的工作原理。

4.本发明方法可以将真实机器与虚拟机器模型相融合，跟踪注册各个印刷装置全息模型的相对位置，训练时可以直观看到真实印刷设备，感官效果就像是操作真实印刷机一样，同时伴随操作分析评价板块，对操作者实时做出评价，比传统方法更加高效便捷。

附图说明

图1为本发明一种基于HoloLens的印刷机操作培训系统的操作方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供一种基于HoloLens的印刷机操作培训系统，包括有HoloLens混合现实眼镜、印刷机零部件模型库、工艺场景选择UI模块、机械设备结构学习模块、虚实融合操作培训模块、多模态触发式人机交互模块及虚实融合模块；

HoloLens混合现实眼镜：是一款无需线缆的头戴式便携全息计算机设备，用于摄像头位姿估计与位姿跟踪、虚拟信息的空间映射、实时捕捉手势，语音指令实现交互；

印刷机零部件模型库：存储建模后的印刷机仿真模型用于机械设备结构学习模块、虚实融合操作培训模块调取仿真模型；

印刷机零部件模型库中存储的印刷机仿真模型构建过程为：利用卷尺、游标卡尺测量印刷机的印刷装置、输纸装置、收纸装置、规矩装置、润湿装置、给墨装置及印刷机主控制台装置的尺寸数据，依次绘出各个装置的cad图，采用专业机械三维设计工具SolidWorks进行模型构建，将构建完成的各个模型导入到3ds Max中进行UV展开，建立每个装置的零部件与纹理的映射关系，PhotoShop处理贴图材质、渲染提升模型的真实感。

工艺场景选择UI模块，用于触发各个工艺培训场景；在每个工艺培训场景下都设有机械设备结构学习模块和虚实融合操作培训模块；

工艺培训场景包括装版工艺、装撞纸工艺、上水工艺、上墨工艺、开机印刷工艺五个环节。

机械设备结构学习模块，用于通过工艺场景选择UI模块选择好工艺场景后，实训人员进行对目前工艺的印刷机械设备知识的学习；

机械设备结构学习模块包括全息视频教学板块、设备理论教学板块和设备结构互动学习板块；

全息视频教学板块：通过unity 3D的videoplayer组件播放该工艺下设备结构知识的教学视频；

设备理论教学板块：通过unity 3D的Canvas组件展示该工艺下设备结构知识的文字、结构图；

设备结构互动学习板块：调用印刷机零部件模型库中各个工艺流程下对应的仿真装置模型，调用多模态触发式人机交互模块的凝视、手势、语音交互的模态触发实现对仿真模型的缩放、移动、旋转、拆卸操作，从而完成对印刷设备机械结构知识的学习。

虚实融合操作培训模块，用于通过工艺场景UI选择模块选择好工艺场景后，调用虚实融合模块，加载出印刷机零部件模型库中各个工艺流程下对应的仿真模型，仿真装置模型与真实机器装置的虚实融合，实训人员通过多模态触发式人机交互模块的手势交互操作虚拟印刷部件，完成印刷机的操作培训任务；

虚实融合操作培训模块包括学习模式和练习模式：

学习模式包括操作视频教学、操作说明文档教学和操作演示动画3个板块；

操作视频教学板块：通过unity 3D的videoplayer组件播放该工艺下操作教学视频；操作说明文档教学板块：通过unity 3D的Canvas组件以文档形式展示该工艺下操作的要点及注意事项；操作演示动画板块：通过unity 3D的Animation system制作操作演示动画；

练习模式包括交互操作练习板块和操作分析评价2个板块；

交互操作练习板块：调用多模态触发式人机交互模块的手势交互，实训人员可以直接手势操作虚实融合后的虚拟仿真装置模型进行练习，练习操作的顺序逻辑通过unity3D的C#脚本实现；

操作分析评价板块：实现实训人员在交互操作练习时的评价，评价指标主要是通过练习操作的顺序逻辑，操作正确得十分，顺序错误立即结束，并给出分数。

多模态触发式人机交互模块，用于通过凝视交互、手势交互、语音交互实现对机械设备结构学习模块、虚实融合操作培训模块的控制；凝视交互通过physics.Raycast方法检测从用户所佩戴HoloLens眼镜发出的射线是否与场景中某物体有碰撞，从而触发凝视事件；手势交互通过HoloLens的3D深度摄像头采集手势信息；本发明通过Air tap、Bloom简单手势触发选中事件，Tap and hold、Manipulation、Navigation复合手势进行拖拽、缩放、旋转、拆卸虚拟模型，方法是先定义手势识别对象、设置需要监听的手势类型、设置识别到手势后需要做的处理、开启、结束手势识别的功能；语音交互方面是通过语句keywords.Add定义语音关键字及对应事件，keywordRecognizer.OnPhraseRecognized注册识别事件、keywordRecognizer.Start启动识别、keywordAction.Invoke进行响应；语音交互，定义了“enlarge mode”、“shrink mode”、“Move mode”、“Reset mode”、“Rotation mode”、“Dismantling mode”、“Learning”“Practice”“next”、”help”10个语音指令。

虚实融合模块，用于将印刷机零部件模型库中的印刷机仿真模型注册到真实机器上，通过HoloLens混合现实眼镜完成虚实融合。具体方法是先进行跟踪注册：在真实机器上贴上标识图，运用vuforia SDK中的改进FAST角点检测算法将HoloLens捕获的图像与预定义的标识图进行匹配。当预置标志图出现在HoloLen视场中，利用图像特征点和目标特征点之间的对应关系，通过摄像机成像模型确定标志的空间位置，然后将内容渲染到固定空间位置。完成初始化跟踪注册后，再用HoloLens的空间映射、空间锚点技术完成虚拟模型场景保持，将虚拟印刷机模型注册到真实机器上，完成虚实融合。

以开机印刷工艺培训场景为例，先在工程场景中加入InputManager、cursor、HololensCamera预制体完成基本环境搭建。设备结构学习模块的搭建：全息视频教学板块：通过unity 3D的videoplayer组件播放印刷机主控制台装置模型的内部结构知识的教学视频；设备理论教学板块：通过unity 3D的Canvas组件展示印刷机主控制台装置模型结构知识的文字、结构图；机械设备结构学习板块：加载印刷机主控制台装置模型，挂载Voice_control.cs脚本用于监听触发语音交互事件，挂载AllButton.cs脚本用于监听触发手势交互事件。通过Canvas组件设置工具面板，在面板上加入10个Button组件分别挂载放大、缩小、旋转、复位、移动、拆解、学习、练习、下一步、帮助按钮，每个按钮添加onclick点击事件。

虚实融合模块的搭建：系统运行时HoloLens混合现实眼镜位置为坐标原点，为真实世界坐标系原点，设置虚拟世界坐标为(0，0，0)与世界坐标系重合，HoloLens实时更新虚拟相机相对于真实场景世界坐标系的6DOF位姿。将ARcamera、ImageTarget预制体、特征点数据库、印刷机主控制台装置模型加载到项目，调整标识图与模型的相对位置，更改DefaultTrackableEventHandler.cs中OnTrackingFound()，用Instantiate实例化模型库中的控制台模型、设定它的父级为识别图物体，实现模型动态加载，在OnTrackingLost()函数中判断是否销毁模型。编写空间锚点控制脚本SetAnchor.cs挂载到模型上，实现空间保持，至此完成虚实融合模块的搭建。

虚实融合操作培训模块的搭建：学习模式：在Hierarchy中创建Video Player、Canvas加载全息视频、步骤说明文档，加载印刷机主控制台装置模型按键顺序响应animation动画，展示印刷机开机时操作各按键的执行顺序。培训模式：GesturRecognizer定义手势识别器，编写脚本Operation.cs控制操作逻辑，通过判断逻辑函数Operationsequence()，实时监测实训人员的手势交互行为，判断各按钮的执行顺序是否正确，出现错误立即提示，编写Scoringsystem()函数，得出实训人员的当前分数。定义重置按钮挂载重置函数Reset()，保证实训人员持续进行操作培训。

本发明还提供一种基于HoloLens的印刷机操作培训系统的操作方法，采用上述印刷机操作培训系统，如图1所示，具体按照以下步骤实施：

步骤一：实训人员佩戴HoloLens混合现实眼镜，启动系统，获取当前所培训印刷机设备信息，点击进入培训；

步骤二：点击培训进入工艺场景选择UI模块界面，选择想要培训的工艺培训场景，在机械设备结构学习模块和虚实融合操作培训模块中选择一个开始培训；

步骤三：选择机械设备结构学习模块，加载出工艺流程下对应的仿真装置模型，完成视频、理论教学后，通过凝视、语音、手势指令交互操作虚拟模型了解机械结构知识；

步骤四：选择虚实融合操作培训模块，调用HoloLens混合现实眼镜的HoloLens摄像头，通过虚实融合模块的计算机视觉技术实时识别捕捉平面标识图﹐并通过HoloLens混合现实眼镜的HoloLens照相机取景器将工艺流程下对应的仿真装置模型加载到实体印刷机上，用户通过凝视、语音、手势交互完成操作学习模式的培训后，进入操作练习，同时根据用户的操作情况，给出评价分数，完成操作培训任务。

Claims (7)

1.一种基于HoloLens的印刷机操作培训系统，其特征在于，包括有HoloLens混合现实眼镜、印刷机零部件模型库、工艺场景选择UI模块、机械设备结构学习模块、虚实融合操作培训模块、多模态触发式人机交互模块及虚实融合模块；

HoloLens混合现实眼镜：用于摄像头位姿估计与位姿跟踪、虚拟信息的空间映射、实时捕捉手势，语音指令实现交互；

印刷机零部件模型库：存储建模后的印刷机仿真模型用于机械设备结构学习模块、虚实融合操作培训模块调取仿真模型；

工艺场景选择UI模块，用于触发各个工艺培训场景；在每个工艺培训场景下都设有机械设备结构学习模块和虚实融合操作培训模块；

机械设备结构学习模块，用于通过工艺场景选择UI模块选择好工艺场景后，实训人员进行对目前工艺的印刷机械设备知识的学习；

虚实融合操作培训模块，用于通过工艺场景UI选择模块选择好工艺场景后，调用虚实融合模块，加载出印刷机零部件模型库中各个工艺流程下对应的仿真模型，仿真装置模型与真实机器装置的虚实融合，实训人员通过多模态触发式人机交互模块的手势交互操作虚拟印刷部件，完成印刷机的操作培训任务；

多模态触发式人机交互模块，用于通过凝视交互、手势交互、语音交互实现对机械设备结构学习模块、虚实融合操作培训模块的控制；

虚实融合模块，用于将印刷机零部件模型库中的印刷机仿真模型注册到真实机器上，通过HoloLens混合现实眼镜完成虚实融合。

2.根据权利要求1所述的一种基于HoloLens的印刷机操作培训系统，其特征在于，印刷机零部件模型库中存储的印刷机仿真模型构建过程为：利用卷尺、游标卡尺测量印刷机的印刷装置、输纸装置、收纸装置、规矩装置、润湿装置、给墨装置及印刷机主控制台装置的尺寸数据，依次绘出各个装置的cad图，采用专业机械三维设计工具SolidWorks进行模型构建，将构建完成的各个模型导入到3ds Max中进行UV展开，建立每个装置的零部件与纹理的映射关系，PhotoShop处理贴图材质、渲染。

3.根据权利要求2所述的一种基于HoloLens的印刷机操作培训系统，其特征在于，工艺培训场景包括装版工艺、装撞纸工艺、上水工艺、上墨工艺、开机印刷工艺五个环节。

4.根据权利要求3所述的一种基于HoloLens的印刷机操作培训系统，其特征在于，机械设备结构学习模块包括全息视频教学板块、设备理论教学板块和设备结构互动学习板块；

全息视频教学板块：通过unity 3D的videoplayer组件播放该工艺下设备结构知识的教学视频；

设备理论教学板块：通过unity 3D的Canvas组件展示该工艺下设备结构知识的文字、结构图；

设备结构互动学习板块：调用印刷机零部件模型库中各个工艺流程下对应的仿真装置模型，调用多模态触发式人机交互模块的凝视、手势、语音交互的模态触发实现对仿真模型的缩放、移动、旋转、拆卸操作，从而完成对印刷设备机械结构知识的学习。

5.根据权利要求4所述的一种基于HoloLens的印刷机操作培训系统，其特征在于，

虚实融合操作培训模块包括学习模式和练习模式：

学习模式包括操作视频教学、操作说明文档教学和操作演示动画3个板块；

操作视频教学板块：通过unity 3D的videoplayer组件播放该工艺下操作教学视频；操作说明文档教学板块：通过unity 3D的Canvas组件以文档形式展示该工艺下操作的要点及注意事项；操作演示动画板块：通过unity 3D的Animation system制作操作演示动画；

练习模式包括交互操作练习板块和操作分析评价2个板块；

交互操作练习板块：调用多模态触发式人机交互模块的手势交互，实训人员可以直接手势操作虚实融合后的虚拟仿真装置模型进行练习，练习操作的顺序逻辑通过unity 3D的C#脚本实现；

操作分析评价板块：实现实训人员在交互操作练习时的评价，评价指标主要是通过练习操作的顺序逻辑，操作正确得十分，顺序错误立即结束，并给出分数。

6.根据权利要求5所述的一种基于HoloLens的印刷机操作培训系统，其特征在于，凝视交互通过physics.Raycast方法检测从用户所佩戴HoloLens眼镜发出的射线是否与场景中某物体有碰撞，从而触发凝视事件；手势交互通过HoloLens的3D深度摄像头采集手势信息；语音交互，定义了“enlarge mode”、“shrink mode”、“Move mode”、“Reset mode”、“Rotation mode”、“Dismantling mode”、“Learning”“Practice”“next”、”help”10个语音指令。

7.一种基于HoloLens的印刷机操作培训系统的操作方法，采用如权利要求1-6任意一项印刷机操作培训系统，其特征在于，具体按照以下步骤实施：

步骤一：实训人员佩戴HoloLens混合现实眼镜，启动系统，获取当前所培训印刷机设备信息，点击进入培训；

步骤二：点击培训进入工艺场景选择UI模块界面，选择想要培训的工艺培训场景，在机械设备结构学习模块和虚实融合操作培训模块中选择一个开始培训；

步骤三：选择机械设备结构学习模块，加载出工艺流程下对应的仿真装置模型，完成视频、理论教学后，通过凝视、语音、手势指令交互操作虚拟模型了解机械结构知识；

步骤四：选择虚实融合操作培训模块，调用HoloLens混合现实眼镜的HoloLens摄像头，通过虚实融合模块的计算机视觉技术实时识别捕捉平面标识图﹐并通过HoloLens混合现实眼镜的HoloLens照相机取景器将工艺流程下对应的仿真装置模型加载到实体印刷机上，用户通过凝视、语音、手势交互完成操作学习模式的培训后，进入操作练习，同时根据用户的操作情况，给出评价分数，完成操作培训任务。

Images