CN114973835B - 一种数字化深度沉浸式互动学习模型训练系统及实现方法 - Google Patents

Abstract

本发明涉及一种数字化深度沉浸式互动学习模型训练系统，具有设备培训模拟工作台，设备培训模拟工作台上设有虚拟现实互动结果显示模块、操作模拟模块和智能训练师模块；数据交互链结框架用于获取当前的仿真系统的数据和模型，为设备培训模拟工作台所有的模块提供数据接口和基础数据互动服务，所获得的数据信息透过三维仿真技术将实时互动的结果以动画形式具体呈现。本系统有效使操作人员获得完整的操作互动体验，快速学习完整的设备操作要求，缩短上机运行的前置期。

Description

一种数字化深度沉浸式互动学习模型训练系统及实现方法

技术领域

本发明涉及工业4.0数字化工厂的模拟训练系统，特别涉及一种数字化深度沉浸式互动学习模型训练系统及实现方法。

背景技术

工业2.0世代常见的自动化设备多以劳力替代为主要目标，以单一功能改善的目的进行设备开发，设备操作简单，配置一人一机，人员简单培训后即可快速上手。因设备、操作工的配比关系高，设备全天运营时，合理的人机比通常为2.5:1，操作员培训时间不超过七天便必须100％出工，技术员1个月内可培训为独立作业的合格技术员。

工业2.5世代新开发的自动化设备多以人力低减为主要目标，为最大化达成人力低减目标，越来越多设备以复杂联机型态出现，设备功能繁多复杂，人力的要求由操机变为管控，要求一人可管控多机。设备、操作工的配比关系可低至0.25:1，操作员培训时间要求不超过14天便必须100％出工，技术员至少需3个月才可培训为独立作业的合格技术员，整体设备操作的培训难度变高。

工业3.0世代的复杂设备，更需高度倚赖昂贵的技术熟练工，以目前常态性的员工高离职率，复杂的设备在欠缺经验的操作员无法完全有效的操作下，经常造成设备MTBF差，产出绩效飘移剧烈，因操作不当造成的机毁人伤更时有所闻。这样的现况完全无法满足企业对于下一个世代智能制造中自动化(Automation)、连结(Connectivity)、智慧(Intelligence)等3个工业4.0要素的需求，若无法提出有效对策，将严重限制企业的未来发展能力。

综上，面对未来的自动化设备越趋复杂的操作环境下，如何可以有效降低设备上机运行的前置期长，减少对昂贵技术熟练工的倚赖，缩短人员衔接断层，提高操作绩，以有效提供次世代自动化设备的完整解决方案，是整体企业运营过程中，无法避免且必须面对的课题。

现有的自动化设备存在以下主要缺陷：

1、导入新设备时，设备上机运行的前置期长。

复杂度较高的新设备对操作人员对于设备熟悉度的要求大幅提升，设备在制作完成后交接给操作人员时，制作方一般是派遣专业技术人员至现场指导操作人员学习设备的运作流程与软件操作接口，培训方和被培训方都需要花费较长的时间、精力和费用，上机运行的前置期长。

2、更换操作人员时，衔接断层，延长交接时间。

企业即使有操作标准书，设备的操作目前相当程度上仍依赖操作人员的经验，经验和方法掌握在少数人员手中时会限制信息的传递，使其他人不易取得。人员交接时会出现衔接断层问题,延长人员交接时间。

3、新员工训练效果不佳，学习门坎高且误操作易造成设备的毁损。

设备的操作人员需具有一定的专业性，一般状况下，企业采用“师傅带徒弟”的方式培训新员工，该方式受制于“师傅”的专业度和经验丰富值，培训不全面。若新员工依操作标准书照本宣科的学习，不仅学习速度慢且学习效果不佳，学习门坎高。复杂的设备价值相对较高，误操作易造成设备的毁损。

4、测评标准不具备针对性。

操作人员的水平和层次参差不齐，不同层次的操作人员对其要求不尽相同，在对操作人员进行测评时，往往不区分操作人员的水平和层次，用统一的试卷进行考试和评判。

5、强化能力再教育时，人为制定统一的训练计划，无法区分具体对象进行有目的培训。

发明内容

本发明的目的是克服现有技术存在的缺陷，提供一种有效使操作人员获得完整的操作互动体验，快速学习完整的设备操作要求，缩短上机运行的前置期的数字化深度沉浸式互动学习模型训练系统及实现方法。

实现本发明目的的技术方案是：一种数字化深度沉浸式互动学习模型训练系统，具有设备培训模拟工作台；所述设备培训模拟工作台上设有虚拟现实互动结果显示模块、操作模拟模块和智能训练师模块；所述智能训练师模块用于教学演示；所述操作模拟模块用于操作环境的模拟，透过浏览与观察，进行实操技能培训；所述虚拟现实互动结果显示模块用于模拟实际场景，并透过与操作模拟模块之间的数据交互链结框架，进行数据交握，以获得并显示当前仿真操作的信息，所述数据交互链结框架用于获取当前的仿真系统的数据和模型，为设备培训模拟工作台所有的模块提供数据接口和基础数据互动服务，所获得的数据信息透过三维仿真技术将实时互动的结果以动画形式具体呈现。

上述一种数字化深度沉浸式互动学习模型训练系统的系统还具有基于云计算平台提供的后台数据库全息挛生管理模块对设备实时操作过程进行完整的全过程存储，并将此过程纪录进行数字化全息转换，使欲操作设备的正常、异常状态，操作画面、设备信息、维修接口等现场真实状态得以全过程储存，并将这些过程进行提取以便后续重新用于教育训练目的的实况重现场景中，此一交互式的数字化信息价值迭加过程的实现方法，使得本模型得以完整的实现数字孪生于设备的实境描述，将设备调用、查询、培训等功能予以数字化孪生实现于仿真模型中。

一种数字化深度沉浸式互动学习模型训练系统的实现方法，包括以下步骤：

a、在智能训练师模块设计用户欢迎界面并在后台设定级别差异与相应的训练任务脚本，利用后台数据库，分类存储受训学员信息，培训记录及其他备注内容，利用可视化编程语言编辑交互式菜单界面，为后台数据库编辑与配对专门的查询与调用操作界面，供受训学员对后台数据进行相应的访问，以使智能训练师与受训学员产生正确的互动；

b、利用GUI设计软件设计操作模拟模块，模拟设备的操作界面，将操作接口与预期产生的运动结果进行配对编程，以显现相应的动作按钮对话框与培训内容讲解画面，使得受训学员依据正确的互动内容，驱动数字化的设备产生动态运动演示影像；

c、将设备的运行过程进行全过程的全息化描述，并对相应的状态如正常状态、异常状态等各式运行状态，进行完整的段落撷取与状态命名；

正常情况下，设备的组件必须透过与设备硬件的驱动程序及软件的传输协议进行运行控制的交互处理，驱使设备依照既定规划的运动逻辑描述路径进行相应工作；

对设备组件进行编码，可以使各组件具备独立的身分识别基础，使设备组件得以利用数字化工具描述其完整的运动逻辑；

整个系统内各组件透过数字化转换后，便可将信息互动过程，透过相应的软件设定、传感器技术、IoT技术，进行完整的数字孪生描述，并在相应的边缘计算器/云计算平台中合理分配相应纪录范围，使设备的全运行过程得以被进行数字化描述、撷取与状态命名，并对这些状态进行相应的分类，使设备的各种状态如正常、异常运行状态，可以进行完整的段落过程描述；

d、设备组件的数字化描述，使设备的各种状态如正常、异常运行状态之完整运动过程段落，可以被清楚的进行数字化描述与编辑；这些组件利用三维影像软件予以三维影像化处理，透过编程描绘，可使其真实的运动状态透过三维影像演示动态的运动效果；若将部分可归纳成模块的运动组件进行模块化描述与设定，再将各个模块的运动关联关系进行编程，便可使整台设备的运行过程，以三维影像进行完整的运动状态描述；此三维影像模型透过虚拟实现技术与操作者进行实时互动，以完成三维模型的动态演示。

上述数字化深度沉浸式互动学习模型训练系统的实现方法的步骤b具体为：

a1、利用软件在所述智能训练师模块中基于设备运行内容，构建知识图谱；

a2、根据教学业务流程构建教学大纲和课程的教学业务运作模型，并将各知识点与知识图谱中的知识点自动关联；

a3、产生学习路径和资源安排。

上述数字化深度沉浸式互动学习模型训练系统的实现方法的步骤b具体为：

b1、在智能训练师与受训学员建立互动关系并于后台自动配对相应课程后，受训学员依据智能训练师指令在操作模拟模块上进行模拟操作；

b2、受训学员点击操作接口，驱动虚拟现实互动结果显示模块正确的播放，演示相应的三维动画画面。

采用上述技术方案后，本发明具有以下积极的效果：

(1)本发明有效使操作人员获得完整的操作互动体验，快速学习完整的设备操作要求，缩短上机运行的前置期；

(2)本发明的系统通过数字孪生技术，实际侧录设备真实的操作状态，将过程中发生过的绩优案例，失效案例进行过程提取并将其状态进行类别储存，并据此不断的优化培训内容并促使培训模型日趋完善；

(3)本发明可依据目标对象建构分级操作SOP，深度交互式的授课指导，使不同的工种快速依据需求，快速客制化学习各自所需的操作内容，受众群体不受限制，学习门坎低；

(4)本发明自动记录每个操作人员的动作并对其自动分析，制定针对不同对象的培训计划和考核标准，确保合格上岗，降低错误操作的机率。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为本发明的设备培训模拟机的示意图。

附图中标号为：1、设备培训模拟工作台；2、智能训练师模拟屏；3、操作模拟屏；4、虚拟现实互动结果显示屏。

具体实施方式

本发明是一种数字化深度沉浸式互动学习模型训练系统，具有设备培训模拟工作台1；所述设备培训模拟工作台1上设有虚拟现实互动结果显示模块、操作模拟模块和智能训练师模块；虚拟现实互动结果显示模块具有虚拟现实互动结果显示屏4，操作模拟模块具有操作模拟屏3，智能训练师模块具有智能训练师模拟屏2。

智能训练师模拟屏2用于教学演示；操作模拟屏3用于操作环境的模拟，透过浏览与观察，进行实操技能培训；所述虚拟现实互动结果显示屏4用于模拟实际场景，并透过与操作模拟模块之间的数据交互链结框架，进行数据交握，以获得并显示当前仿真操作的信息，所述数据交互链结框架用于获取当前的仿真系统的数据和模型，为设备培训模拟工作台1所有的模块提供数据接口和基础数据互动服务，所获得的数据信息透过三维仿真技术将实时互动的结果以动画形式具体呈现；

上述技术方案还具有基于云计算平台提供的后台数据库全息挛生管理模块对设备实时操作过程进行完整的全过程存储。并将此过程纪录进行数字化全息转换。使欲操作设备的正常、异常状态，操作画面，设备信息，维修接口等现场真实状态得以全过程储存、并将这些过程进行提取以便后续重用于教育训练目的的实况重现场景中，此一交互式的数字化信息价值迭加过程的实现方法，使得本模型得以完整的实现数字孪生于设备的实境描述，将设备调用、查询、培训等功能予以数字化孪生实现于仿真模型中。

一种数字化深度沉浸式互动学习模型训练系统的实现方法，包括以下步骤：

a、在智能训练师模块设计用户欢迎界面并在后台设定级别差异与相应的训练任务脚本，利用后台数据库，分类存储受训学员信息，培训记录及其他备注内容，利用可视化编程语言编辑交互式菜单界面，为后台数据库编辑与配对专门的查询与调用操作界面，供受训学员对后台数据进行相应的访问，以使智能训练师与受训学员产生正确的互动。

b、利用GUI设计软件设计操作模拟模块，模拟设备的操作界面，将操作接口与预期产生的运动结果进行配对编程，以显现相应的动作按钮对话框与培训内容讲解画面，使得受训学员依据正确的互动内容，驱动数字化的设备产生动态运动演示影像

c、将设备的运行过程进行全过程的全息化描述，并对相应的状态如正常状态、异常状态等各式运行状态，进行完整的段落撷取与状态命名；

正常情况下，设备的组件必须透过与设备硬件的驱动程序及软件的传输协议进行运行控制的交互处理，驱使设备依照既定规划的运动逻辑描述路径进行相应工作。

对设备组件进行编码，可以使各组件具备独立的身分识别基础，使设备组件得以利用数字化工具描述其完整的运动逻辑；

整个系统内各组件透过数字化转换后，便可将信息互动过程，透过相应的软件设定、传感器技术、IoT技术，进行完整的数字孪生描述，并在相应的边缘计算器/云计算平台中合理分配相应纪录范围，使设备的全运行过程得以被进行数字化描述、撷取与状态命名，并对这些状态进行相应的分类，使设备的各种状态如正常、异常运行状态，可以进行完整的段落过程描述；

d、设备组件的数字化描述，使设备的各种状态如正常、异常运行状态之完整运动过程段落，可以被清楚的进行数字化描述与编辑。这些组件利用三维影像软件予以三维影像化处理，透过编程描绘，可使其真实的运动状态透过三维影像演示动态的运动效果；若将部分可归纳成模块的运动组件进行模块化描述与设定，再将各个模块的运动关联关系进行编程，便可使整台设备的运行过程，以三维影像进行完整的运动状态描述。此三维影像模型透过虚拟实现技术与操作者进行实时互动，以完成三维模型的动态演示。

上述技术方案所述步骤a具体为：

a1、利用软件在所述智能训练师模块中基于设备运行内容，构建知识图谱；

a2、根据教学业务流程构建教学大纲和课程的教学业务运作模型，并将各知识点与知识图谱中的知识点自动关联；

a3、产生学习路径和资源安排。

上述技术方案所述步骤b具体为：

b1、在智能训练师与受训学员建立互动关系并于后台自动配对相应课程后，受训学员依据智能训练师指令在操作模拟模块上进行模拟操作；

b2、受训学员点击操作接口，驱动虚拟现实互动结果显示模块正确的播放，演示相应的三维动画画面。

上述技术方案所述步骤d中的应用包括：

一、操作设备基本认识模拟，以学习操作设备开机为例：

A.当智能训练师对受训学员下达〝请学习开机〞指令，操作模拟屏3会以图片显示以下内容：

(1)设备的图片中，关于开机按钮位置，设备的急停钮位置，设备操作互动屏(HMI)位置的相关照片；

(2)照片中与上述内容有关的地方会以文字加局部亮闪显现注意重点与注意要项；

(3)虚拟现实互动结果显示屏4会显现整台设备的三维动画；

B.当受训学员依指示于操作模拟屏3中，按下电源按钮键的图标，虚拟现实互动结果显示屏4会显示以下三维动画画面.

(1)整台设备三色灯的黄灯亮起；

(2)照明灯光亮起，远景显现设备内部布置；

(3)设备操作互动屏(HMI)亮起；

C.智能训练师模拟屏2跳出互动对话框，显示操作完成，操作得分，培训进度及后续注意事项提示；

D.此模拟可应用于对设备的基本认识与重要操作训练实施提示的培训用途；

二、正常工作操作模拟，以学习操作设备工作为例：

A.当智能训练师模拟屏2对受训学员下达〝请放入工件让设备工作〞指令，操作模拟屏3会以图片显示以下内容：

(1)设备的图片中，关于放入工件的位置，产出工件的位置，需补充备料的位置，需调整参数的位置，急停钮位置，设备操作互动屏(HMI)的位置等相关照片；

(2)照片中与上述内容有关的地方会以文字加局部亮闪显现注意重点与注意要项；

(3)虚拟现实互动结果显示屏4会显现整台设备，工件，辅料，HMI，进度显示屏，三色灯等三维动画；

B.当受训学员依智能训练师模拟屏2的指示，于操作模拟屏3中，按下工件置入设备的按钮键仿真画面，虚拟现实互动结果显示屏4会显示工件进入设备的动画，HMI与进度显示屏显现相应内容，三色灯改亮绿灯，智能训练师模拟屏2跳出互动对话框，显示该动作操作完成；

C.智能训练师模拟屏2会依序将动作一步一步的进行指示，操作模拟屏3会依指示显示出相应的按钮键仿真画面，待受训学员依智能训练师模拟屏2的指示，于操作模拟屏3中，按下按钮键仿真画面，虚拟现实互动结果显示屏4会显示设备的相应三维动画画面，每结束一个动作，智能训练师便跳出互动对话框，显示该动作操作完成；

D.当学习操作设备工作的课程全部上完，智能训练师模拟屏2依据学习结果，跳出互动对话框，告知学员是否完成培训，并显现培训分数，培训进度及后续注意事项等提示信息；

E.此模拟可应用于对设备的各功能与操作进行由浅至深的认识与操作，并于特别重要的操作训练实施前，进行培训内容的提示。

三、设备异常排除操作模拟，以学习设备异常时的故障排除为例：

A.当智能训练师模拟屏2对受训学员下达〝设备X段卡料排除练习〞指令，操作模拟屏3会以图片显示以下内容；

(1)设备的图片中，关于X段卡料的案例图示与说明，卡料工件的位置，对设备造成影响的区域，需调整的参数，急停钮位置，设备操作互动屏(HMI)的位置等相关照片；

(2)照片中与上述内容有关的地方会以文字加局部亮闪显现注意重点与注意要项；

(3)虚拟现实互动结果显示屏4会显现整台设备，工件，辅料，HMI，进度显示屏，三色灯等设备状态于卡料时的三维动画画面；

B.当受训学员依智能训练师模拟屏2的指示，于操作模拟屏3中，按下相应提示的按钮键仿真画面，虚拟现实互动结果显示屏4会显示故障是否备正确排除的动画，HMI与进度显示屏显现相应内容，三色灯改亮红灯，智能训练师模拟屏2依操作结果跳出互动对话框，显示该动作是否正确操作完成；

C.智能训练师模拟屏2依序将动作一步一步的进行指示，操作模拟屏3会依指示显示出相应的互动要求及按钮键仿真画面，待受训学员依智能训练师模拟屏4的指示，于操作模拟屏3中，进行相应的互动模拟画面，虚拟现实互动结果显示屏4会显示设备的相应三维动画画面，每结束一个动作，智能训练师便跳出互动对话框，显示该动作操作完成；

D.当学习操作设备工作的课程全部上完，智能训练师模拟屏2会依据学习结果，跳出互动对话框，告知学员是否完成培训，并显现培训分数，培训进度及后续注意事项等提示数据；

E.此模拟可应用于对设备的故障状态与故障排除操作进行由浅至深的认识与操作，并于特别重要的操作训练实施前，进行培训内容的提示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种数字化深度沉浸式互动学习模型训练系统，其特征在于：具有设备培训模拟工作台；所述设备培训模拟工作台上设有虚拟现实互动结果显示模块、操作模拟模块和智能训练师模块；所述智能训练师模块用于教学演示；所述操作模拟模块用于操作环境的模拟，透过浏览与观察，进行实操技能培训；所述虚拟现实互动结果显示模块用于模拟实际场景，并透过与操作模拟模块之间的数据交互链结框架，进行数据交握，以获得并显示当前仿真操作的信息，所述数据交互链结框架用于获取当前的仿真系统的数据和模型，为设备培训模拟工作台所有的模块提供数据接口和基础数据互动服务，所获得的数据信息透过三维仿真技术将实时互动的结果以动画形式具体呈现；

上述系统还具有基于云计算平台提供的后台数据库全息挛生管理模块对设备实时操作过程进行完整的全过程存储，并将此过程纪录进行数字化全息转换，使欲操作设备的正常、异常状态、操作画面、设备信息、维修接口现场真实状态得以全过程储存，并将这些过程进行提取以便后续重新用于教育训练目的的实况重现场景中，此一交互式的数字化信息价值迭加过程的实现方法，使得本模型得以完整的实现数字孪生于设备的实境描述，将设备调用、查询、培训功能予以数字化孪生实现于仿真模型中；

上述数字化深度沉浸式互动学习模型训练系统的实现方法，包括以下步骤：

a、在智能训练师模块设计用户欢迎界面并在后台设定级别差异与相应的训练任务脚本，利用后台数据库，分类存储受训学员信息、培训记录及其他备注内容，利用可视化编程语言编辑交互式菜单界面，为后台数据库编辑与配对专门的查询与调用操作界面，供受训学员对后台数据进行相应的访问，以使智能训练师与受训学员产生正确的互动；

b、利用GUI设计软件设计操作模拟模块，模拟设备的操作界面，将操作接口与预期产生的运动结果进行配对编程，以显现相应的动作按钮对话框与培训内容讲解画面，使得受训学员依据正确的互动内容，驱动数字化的设备产生动态运动演示影像；

c、将设备的运行过程进行全过程的全息化描述，并对相应的状态进行完整的段落撷取与状态命名；

正常情况下，设备的组件必须透过与设备硬件的驱动程序及软件的传输协议进行运行控制的交互处理，驱使设备依照既定规划的运动逻辑描述路径进行相应工作；

对设备组件进行编码，可以使各组件具备独立的身份识别基础，使设备组件得以利用数字化工具描述其完整的运动逻辑；

整个系统内各组件透过数字化转换后，便可将信息互动过程，透过相应的软件设定、传感器技术、IoT技术，进行完整的数字孪生描述，并在相应的边缘计算器/云计算平台中合理分配相应纪录范围，使设备的全运行过程得以被进行数字化描述、撷取与状态命名，并对这些状态进行相应的分类，使设备的各种状态可以进行完整的段落过程描述；

d、设备组件的数字化描述，使设备的各种状态之完整运动过程段落，可以被清楚的进行数字化描述与编辑；这些组件利用三维影像软件予以三维影像化处理，透过编程描绘，可使其真实的运动状态透过三维影像演示动态的运动效果；若将部分可归纳成模块的运动组件进行模块化描述与设定，再将各个模块的运动关联关系进行编程，便可使整台设备的运行过程，以三维影像进行完整的运动状态描述；此三维影像透过虚拟实现技术与操作者进行实时互动，以完成三维模型的动态演示。

2.根据权利要求1所述的数字化深度沉浸式互动学习模型训练系统，其特征在于：步骤a具体为：

a1、利用软件在所述智能训练师模块中基于设备运行内容，构建知识图谱；

a2、根据教学业务流程构建教学大纲和课程的教学业务运作模型，并将各知识点与知识图谱中的知识点自动关联；

a3、产生学习路径和资源安排。

3.根据权利要求1所述的数字化深度沉浸式互动学习模型训练系统，其特征在于：步骤b具体为：

b1、在智能训练师与受训学员建立互动关系并于后台自动配对相应课程后，受训学员依据智能训练师指令在操作模拟模块上进行模拟操作；

b2、受训学员点击操作接口，驱动虚拟现实互动结果显示模块正确的播放，演示相应的三维动画画面。