CN109994012A - 浸入式集群交互培训系统及其方法 - Google Patents

Abstract

本发明公开了一种浸入式集群交互培训系统及其培训方法，包括：数据平台；用户行为库；服务器；终端；数据采集模块；通讯模块；实物设备；虚拟仿真系统；数据融合模块，采用数据融合技术将数据平台的数据、用户行为库的数据、实物设备的数据、数据采集模块采集的数据等至少其中一种进行融合，从而便于数据分析、分类存储。本发明可实现软硬件设备与数据资源的互联与融合，提高教学直观性。利用广域集群信息技术实现教学资源的互通互享（各终端、服务器信息共享），信息手段模拟解决包括教学中难以实现的环节，解决学员、设备间配比矛盾，减少实训设备的损耗率，培养学员操作、维护和检修的技能，培养学员自我训练的意识和创新能力。

Description

浸入式集群交互培训系统及其方法

技术领域

本发明涉及一种培训系统，特别是涉及一种浸入式集群交互培训系统及其方法。

背景技术

随着计算机、网络、仿真技术等的飞速发展，各类培训系统层出不穷。目前已有的培训系统有两种主要类别，一类别是以理论知识库分享为基础，学员通过课程和知识库目录对云平台上音频、视频、动画等文件进行分享和学习，其基本构架为基于大数据知识库的网络课程系统；另一类别是以仿真模拟操作为基础，学员通过虚拟增强设备，如VR眼镜等硬件设备等在一个三维仿真环境内，通过后台的仿真教学评估系统对模拟操作进行辅助和评价，其基本构架为基于虚拟现实VR技术的模拟仿真培训系统。

现有这两类培训系统基本都整合了联机培训、考核评估等功能，一般也能提供单人或多人的联合培训，但这二类系统往往只能在单一环境（PC或带有虚拟增强设备的PC）下组织培训，其对实物操作培训覆盖有限，实物硬件设备上的操作没办法与培训系统连接，对书本等纸面教材的协同联合培训更是无能为力。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种浸入式集群交互培训系统及其方法，其能够与实物操作、硬件进行融合，从而实现对实物操作的模拟、教学、评估等。

为实现上述目的，本发明提供了一种浸入式集群交互培训系统，包括：

数据平台，用于存储数据；

用户行为库，用于存储用户行为数据，如阅读数据、操作数据、考核数据等；

服务器，用于连接数据平台和终端，从而实现数据平台与终端的通信、另外还能进行数据采集和融合；

终端，用于对学员进行教学；

数据采集模块，用于采集教学中的数据，可以是通过摄像头采集图像、通过系统输入的指令、实物操作的图像或指令、通过拾音器采集声频等；其嵌入实物或终端中；

通讯模块，用于将数据采集模块传输至服务器，并由服务器进行筛选、融合；通讯模块可以采用MODBUS和socket协议进行双向数据通讯，从而将各个终端、服务器之间进行连通通讯；

实物设备，用于进行实物操作教学的设备，如需要维修的汽车、机床等；实物设备与数据采集模块通讯连接，从而将实物设备的状态、数据传输至服务器或终端中，当然，服务器或终端中输入的控制指令也能传输至实物设备中进行相应操作；

虚拟仿真系统，采用虚拟仿真技术模拟实物设备的运行。具体为，利用数学模型构筑底层逻辑仿真机，逻辑仿真机逻辑表与实物设备逻辑匹配并进行逻辑同步，实现实物设备与系统融入。

数据融合模块，采用数据融合技术将数据平台的数据、用户行为库的数据、实物设备的数据、数据采集模块采集的数据等至少其中一种进行融合，从而便于数据分析、分类存储。

底层数据包括课程知识点库、实训操作设备案例逻辑库、用户行为库等。其融合方式如下：

将数据平台的数据与实物设备数据采集模块采集的数据直接在原始数据层的底层数据上进行融合，在各种实物设备控制器与传感器的原始测报未经逻辑运算处理之前就将原始数据通过通用接口传输至数据分析端进行数据的综合与分析。通过数学模型进行逻辑解析，使得数据平台的数据与实物设备数据采集及显示模块数据在数据层进行融合处理，并保证各层次数据逻辑运算与表示的一致性。

将数据平台的数据与用户行为库数据在特征分析与决策层进行融合，对用户实训和操作过程中特征信息进行综合分析和处理。在特征层对目标特性进行融合，并通过决策层对特征数据的抽取、识别和判断，建立对学员行为跟踪与观察的初步结论。然后通过关联处理进行决策层融合判决与记录，最终获得联合推断结果。

还包括：

授课体系，用于对学员进行授课，即包含普通的授课方式，如教学视频、教学音频等；也包含系统化岗位课程，主要针对某一岗位进行专门设计，从而引导学员学习岗位知识，从而可以胜任该岗位；扩展化岗位课程，主要是针对已经能够胜任当前岗位的人，对其进行岗位周边知识的补充教学，从而提高学员业务水平。

练习体系，用于学员进行练习，可以是理论练习（如做习题）或实物操作练习；

考核体系，用于对学员的学习成绩进行考核，考核方式包括理论考核（习题成绩）和实务操作考核。

所述的数据平台，包括：

课程库，用于存放各种课程，如教学视频、音频、教学动画等；

知识库，用于存放教学用的知识材料，如课本、PPT、讲义等；

实例库，用于存储实例数据，实物操作中的参数、步骤等。

数据平台以广域云平台库和局域网络平台库两层次结构架设，以物理位置结合本地终端所有权划分局域网络平台库服务范围，广域云平台提供所有局域网络平台库范围资源，并实现三个核心数据库（课程库、知识库、实例库）的互为备份。

所述的终端，包括台式、固定式和移动式三种，台式终端主要是台式电脑及其辅助设备；固定式终端主要是专门为教学设计的场地，如教室、操作车间等；移动式终端，主要是能够进行移动的设备，如VR眼镜、VR头盔、手机、平板电脑等；

台式终端是最常见培训终端形式，有两类主要类别：

第一类是基于大数据知识库、课程库的通用台式终端；

第二类是PC电脑结合VR眼镜等硬件设备的虚拟现实台式终端。

一种基于上述浸入式集群交互培训系统的培训方法，包括如下步骤：

S1、对数据平台输入数据，如课程、练习、考核数据；数据平台为设置在服务器或终端上的数据存储器；

S2、将各个终端、服务器联网，可以是各个终端先连成局域网后再通过广域网与服务器或其它终端连通通讯；

S3、用户通过终端进行学习，学习内容可以是传统的观看教学材料或进行实物操作学习；实物操作学习中，终端或服务器可以预先向实物设备输入初始指令，从而使实物设备通过指令呈现相应的状态，如不同故障、不同工作模式等；而实物设备实时将其状态、相应参数反馈回数据采集模块，最后通过通讯模块反馈回服务器或终端机，从而对学员的操作进行监控，以辅助教学；当然，系统也可以实物设备进行模拟仿真，从而根据不同的输入指令做出相应的动作。如，模拟汽车不同情况的行驶状态；

S4、在服务器与各终端通讯的过程中，服务器和终端上的数据可以进行汇总、同步存储，存储位置可以是在服务器或指定终端或服务器及所有终端上，从而实现数据共享；

S5、在用户进行学习、练习、考核过程中，数据采集模块实时采集相应数据，如学习时间、学习内容、练习成绩、练习内容、考核成绩、考核内容，已经操作过程中的图像、音频，然后通过底层数据融合技术进行融合，最后同步、存储至指定设备上，指定设备为服务器、指定终端、服务器及所有终端其中的一个。

各个终端、服务器、各个辅助设备（如VR眼镜）、数据采集模块、通讯模块之间可以采用https、http、socket、MODBUS这四个协议其中的一种或其任意组合进行通讯，所有的数据传输采用RSA+AES进行加密。

本发明的有益效果是：

1)本发明可实现软硬件设备与数据资源的互联与融合，提高教学直观性。利用广域集群信息技术（广域网+集群通信）实现教学资源的互通互享（各终端、服务器信息共享），信息手段模拟解决包括教学中难以实现的环节，解决学员、设备间配比矛盾，减少实训设备的损耗率，培养学员操作、维护和检修的技能，培养学员自我训练的意识和创新能力。

2)本发明实现了实物设备、现场仿真系统（实物设备通过虚拟仿真系统仿真）、移动增强设备（VR头盔）、移动App与数据平台、用户行为库的互联与融合，将用户整个培训完全浸入由实物设备、虚拟增强系统构成的增强现实实物培训环境中，提升了教学体验和培训效果。

3)教考一体化教学，阶梯式教学实训。虚拟仿真系统实现以“发现问题”→“解决问题”的教与学形态，通过仿真进入“问题”存在的环境，有针对性、带启发性地构建虚拟情景，再现实际生产中的环节，营造人机交互式“自主学习”的环境，以“教”为主转变为以“学”为主，同时在学习方式上有目的地实现传统的“以教促学”向学习者通过自身与信息和环境的相互交流来获取知识、技能的转变，让学习者自身了解错误的根由及后果，发现解决问题的方法，进而通过分析、综合、比较、归纳、推理等高级思维技能围绕假设进行论证，接近或掌握真理，养成发现式的学习风格和策略，培养提高其高层次的逻辑思维分析、解决问题的能力。

4)教学资源弹性化，后台资源持续更新。系统采用模块化弹性构架，教学资源库、课程库、鉴定题库等内容可持续更新。系统能实现与专业教材、实训练习、考核鉴定的匹配，并保持时效性。

附图说明

图1是本发明的系统示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

参见图1，本实施例的浸入式集群交互培训系统，包括：

数据平台，用于存储数据；

用户行为库，用于存储用户行为数据，如阅读数据、操作数据、考核数据等；

服务器，用于连接数据平台和终端，从而实现数据平台与终端的通信、另外还能进行数据采集和融合；

终端，用于对学员进行教学。

所述的数据平台，包括：

课程库，用于存放各种课程，如教学视频、音频、教学动画等；

知识库，用于存放教学用的知识材料，如课本、PPT、讲义等；

实例库，用于存储实例数据，实物操作中的参数、步骤等。

所述的终端，包括台式、固定式和移动式三种，台式终端主要是台式电脑及其辅助设备；固定式终端主要是专门为教学设计的场地，如教室、操作车间等；移动式终端，主要是能够进行移动的设备，如VR眼镜、VR头盔、手机、平板电脑等；

台式终端是最常见培训终端形式，有两类主要类别：

第一类是基于大数据知识库、课程库的通用台式终端，通用学习终端以PC电脑为基础，可以提供全三维场景或二维操作界面两种交互环境。三维环境下可以提供所见即所得和情景参与式交互，提供三维环境、三维设备仿真操作，仿真设备操作界面交互，进行课程和知识学习。

二维环境下支持学员通过课程和知识库目录对云平台上音频、视频、动画等文件进行分享和学习。

通用学习终端中所有视频均采用流媒媒体服务器，使用RTMP协议加载，所有视频可以与三维或二维交互环境完全整合，极大的提高了用户体验。

对于课程可采用Html5格式，这能完善课程资源在台式环境外的使用弹性，使得台式、固定式和移动式三种环境下课程库的格式得到统一，也使得三环境下多人集群式协同教学变得可能和简单。对于图片、文档等资源可采用GZIP压缩、网络优化的方式，提升数据管理的效费比和数据调用的效率。

第二类是PC电脑结合VR眼镜等硬件设备的虚拟现实台式终端，通过引入VR眼镜、位置传感器等硬件设备，营造基于三维虚拟现实环境的仿真教学系统，系统能够通过VR眼镜、操作手柄、位置传感器等进行人机交互，并通过仿真教学评估系统对模拟操作进行把控、辅助和评价，以全仿真三维场景、三维图像、流媒体视频等方式调用数据平台资源，并将使用数据记录至用户行为库，方便进行网络数据分析及管理。

通过上述两种台式终端可实现传统培训系统中两个主要分支（以理论知识库分享为基础和以仿真模拟操作为基础）的集成与融合。在统一的核心数据平台库和底层数据互融技术支持下，使得二类台式终端的互联互通、协同运行、集群交互、联合培训成为了可能。

除对二类台式终端进行整合外，对于传统培训系统很少涉及的实物操作培训，本培训系统提供了完整的解决方法：

通过在实物硬件中嵌入数据采集和通讯模块，利用MODBUS和socket协议进行双向数据通讯，并由底层数据融合将台式、移动终端打通。一方面将实物设备和硬件在运行中的设备状态、数据传输至系统；另一方面将课程、实例中与相关硬件设备匹配的设备初始状态、参数，模拟故障等传输至硬件系统进行实物状态仿真，以大家熟悉的实物系统操作方式提供交互。

对于模拟的实物系统的教学功能交互，除了从实物系统本身层面提供仿真支持和交互外，还提供诸如增强现实AR眼镜、移动数据手持端等移动增强设备，将教学交互与过程引导功能以设备App等方式嵌入移动增强设备中，增强系统数据层与用户交互的数据类型和表现形式。

如，学员在实物设备上进行操作实训，实物设备的机械、操作与显示状态会通过接口协议与数据层实训操作设备案例逻辑库中设备逻辑状态进行实时同步。保证三维仿真交互环境下设备状态、操作与真实设备的一致性。对实物设备或三维仿真交互环境下的三维虚拟设备进行操作，两者直接实现数据与状态的同步，并且当老师在后台设置故障时，实物与虚拟设备可以状态一致的同步响应。通过AR增强设备又会将数据层设备案例逻辑库中状态以文字或图形方式，通过AR显示模块、声音输出模块直接对用户进行交互。在三维或实物系统中的所有操作，以及系统与用户的交互行为将统一记录在用户行为库中，供特征分析与决策层进行融合，对用户实训和操作过程中特征信息进行综合分析和处理。

通过实物设备、现场仿真系统、移动增强设备、移动App与数据平台、用户行为库的互联与融合，将用户整个培训完全浸入由实物设备、虚拟增强系统构成的增强现实实物培训环境中，并由底层系统协同，与其他台式、固定式和移动式培训终端进行整合与交互，进一步加强联合培训功能。对培训中需要人工干预的部分内容，本培训系统还提供远程视频协助功能。

虚拟增强系统为虚拟现实VR，增强现实AR与仿真模拟结合的系统。

以往培训中，纸质教材是学员信息获取和知识学习的重要途经，但纸质媒体表现较为单一，且一旦印刷内容相对固定。

本系统通过在移动式终端（AR眼镜、手机、PAD等）内增加虚拟增强AR识别模块和数据通讯融通模块，实现了静态书本到动态书本的提升，使书本与培训系统的交互成为了可能。

通过AR模块将数据平台的数据与实物设备数据采集模块采集的数据直接在原始数据层的底层数据上进行融合，在各种实物设备控制器与传感器的原始测报未经逻辑运算处理之前就将原始数据通过通用接口传输至数据分析端进行数据的综合与分析。通过数学模型进行逻辑解析，使得数据平台的数据与实物设备数据采集及显示模块数据在数据层进行融合处理，并保证各层次数据逻辑运算与表示的一致性。使AR显示单元中显示的数据与数据层数学模型，以及实物设备数据采集模块采集的数据融通。

系统可以根据用户、环境、课程等条件，触发与这些环境匹配的三维模型、视频、图片、仿真系统等，给用户带来极佳的交互体验。并可以将纸质书本作为交互介质之一，纳入整个培训系统中。实现人、设备、课程、书本、知识库、三维虚拟环境、虚拟增强物件等的多要素交互。以底层数据融合技术作为数据融合与互通的基础，通过用户行为库进行数据追踪，结合课程库、知识库、实例库等数据进行大数据分析与AI人工智能预测与推送。

通过浸入式集群交互培训系统的使用，将使得传统的学习方式发生变革，结合标准课程与教材，运用真实数据，能还原现场设备原理、操作及状态。培训系统以课程知识、专业系统和各类设备为抓手，通过浸入式集群交互技术高逼真度还原，构建整套虚拟与现实结合的实训环境，完善了训练和考核的模式，做到真正意义上的无缝连接。

在授课体系、练习体系、考核评价体系、系统化岗位课程和扩展化在线课程上做到了跨域整合，实现多人和多岗位综合学习演练。数据平台在各层面设备与数据可扩展的专业仿真教学系统作为支撑，亦实现了教学信息革新。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种浸入式集群交互培训系统，其特征在于，包括：

数据平台，用于存储数据；

用户行为库，用于存储用户行为数据；

服务器，用于连接数据平台和终端，从而实现数据平台与终端的通信、另外还能进行数据采集和融合；

终端，用于对学员进行教学；

数据采集模块，用于采集教学中的数据；

通讯模块，用于将数据采集模块传输至服务器，并由服务器进行筛选、融合；

实物设备，用于进行实物操作教学的设备；实物设备与数据采集模块通讯连接，从而将实物设备的状态、数据传输至服务器或终端中，服务器或终端中输入的控制指令也能传输至实物设备中进行相应操作；

虚拟仿真系统，采用虚拟仿真技术模拟实物设备的运行；

数据融合模块，采用数据融合技术将数据平台的数据、用户行为库的数据、实物设备的数据、数据采集模块采集的数据等至少其中一种进行融合，从而便于数据分析、分类存储。

2.如权利要求1所述的浸入式集群交互培训系统，其特征在于，通讯模块采用MODBUS和socket协议进行双向数据通讯，从而将各个终端、服务器之间进行连通通讯。

3.如权利要求1所述的浸入式集群交互培训系统，其特征在于，还包括：

授课体系，用于对学员进行授课；

练习体系，用于学员进行练习；

考核体系，用于对学员的学习成绩进行考核，考核方式包括理论考核和实务操作考核。

4.如权利要求1所述的浸入式集群交互培训系统，其特征在于，所述的数据平台，包括：

课程库，用于存放各种课程；

知识库，用于存放教学用的知识材料；

实例库，用于存储实例数据；

数据平台以广域云平台库和局域网络平台库两层次结构架设，以物理位置结合本地终端所有权划分局域网络平台库服务范围，广域云平台提供所有局域网络平台库范围资源，并实现三个核心数据库的互为备份。

5.如权利要求1所述的浸入式集群交互培训系统，其特征在于，所述的终端，包括台式、固定式和移动式三种，台式终端为台式电脑及其辅助设备；固定式终端未专门为教学设计的场地；移动式终端为能够进行移动的设备。

6.如权利要求5所述的浸入式集群交互培训系统，其特征在于，台式终端有两类类别：第一类是基于大数据知识库、课程库的通用台式终端；第二类是PC电脑结合VR眼镜等硬件设备的虚拟现实台式终端。

7.一种权利要求1-6任一所述浸入式集群交互培训系统的培训方法，其特征在于，包括如下步骤：

S1、对数据平台输入数据；数据平台为设置在服务器或终端上的数据存储器；

S2、将各个终端、服务器联网；

S3、用户通过终端进行学习。

8.如权利要求7所述浸入式集群交互培训系统的培训方法，其特征在于，S3中学习内容包括：传统的观看教学材料或进行实物操作学习；

实物操作学习中，终端或服务器预先向实物设备输入初始指令，从而使实物设备通过指令呈现相应的状态；而实物设备实时将其状态、相应参数反馈回数据采集模块，最后通过通讯模块反馈回服务器或终端机，从而对学员的操作进行监控，以辅助教学；

可对实物设备进行模拟仿真，从而根据不同的输入指令做出相应的动作。

9.如权利要求7所述浸入式集群交互培训系统的培训方法，其特征在于，还包括如下步骤：

S4、在服务器与各终端通讯的过程中，服务器和终端上的数据进行汇总、同步存储，存储位置在服务器、指定终端、服务器及所有终端之一上，从而实现数据共享；

S5、在用户进行学习、练习、考核过程中，数据采集模块实时采集相应数据，然后通过底层数据融合技术进行融合，最后同步、存储至指定设备上，指定设备为服务器、指定终端、服务器及所有终端其中的一个。

10.如权利要求7所述浸入式集群交互培训系统的培训方法，其特征在于，各个终端、服务器、各个辅助设备、数据采集模块、通讯模块之间采用https、http、socket、MODBUS这四个协议其中的一种或其任意组合进行通讯，所有的数据传输采用RSA+AES进行加密。