CN116755566B - 一种基于混合现实的实践教学辅助系统及操作方法 - Google Patents
一种基于混合现实的实践教学辅助系统及操作方法 Download PDFInfo
- Publication number
- CN116755566B CN116755566B CN202311056426.4A CN202311056426A CN116755566B CN 116755566 B CN116755566 B CN 116755566B CN 202311056426 A CN202311056426 A CN 202311056426A CN 116755566 B CN116755566 B CN 116755566B
- Authority
- CN
- China
- Prior art keywords
- practice
- unit
- mixed reality
- teaching
- production
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004519 manufacturing process Methods 0.000 claims abstract description 104
- 230000006854 communication Effects 0.000 claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 238000004873 anchoring Methods 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 62
- 238000004088 simulation Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 9
- 230000008520 organization Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 230000019771 cognition Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 13
- 239000004576 sand Substances 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于混合现实的实践教学辅助系统，混合现实技术领域，系统包括混合现实设备、锚定单元、生产运行单元、生产监控单元、特种作业单元、安全应急处置单元。方法包括通过混合现实设备，进行实践操作；依据锚定单元，执行生产运行单元，构建实践教学场景；通过生产监控单元、锚点单元和混合现实设备营造真实生产监控情景；通过特种作业单元和锚点单元构建特种作业实践场景；通过安全应急处置单元和锚定单元，生成安全应急事故数据状态；通过5G通信服务形成可视化实践报告；完成实践操作的评估和评定。本发明利用混合现实技术，将真实生产过程中的动态利用理实一体化，有效解决实践教学过程中产生的问题。
Description
技术领域
本发明属于混合现实技术领域，具体涉及一种基于混合现实的实践教学辅助系统及操作方法。
背景技术
随着职业教育的不断发展，实践教学已经成为职业教育领域的重要组成部分。然而，传统的实践教学模式存在着设备、场地、时间等多种教学场景限制，难以满足大规模、现代化、信息化的教学需求。与此同时，随着混合现实技术的快速发展，结合混合现实技术与实践教学的教学方式也被越来越多的教育机构所关注和采用。
目前国内传统实践教学场景，高等职业教育实践课程依旧采用理论课模式讲解相关专业课程的理论知识，借助PPT、原理视频、图片、半剖实验装置等相关资源，进行理论知识的传递与转化。理论教学知识掌握后，再通过预约相关的仿真实训装置，模拟完成进行典型岗位工作内容的实践操作训练。实操中由于理论与实践场景的实际偏差，容易造成实训过程效果的不理想。同时，模拟真实生产场景，如仿真装置走真实物料、真实拆装典型装置、典型装置内部反应机理等内容，又必将造成实践教学的“高投入”“高损耗”“高风险”及“难实施”“难观摩”“难再现”的“三高三难”教学实践痛点和难点。
公开号为CN110688005A的中国专利公开了一种混合现实的教学环境系统及互动方法，包括一个AR显示设备，AR显示设备根据真实环境的空间尺寸，提供用于显示覆盖于真实环境的不同教学环境相关内容选项的虚拟环境，以及根据真实教师的影像/图像，提供用于显示虚拟教师的影像/图像，以及根据真实教具，提供用于显示由真实教具触发的3D虚拟教具，用户通过使用AR显示设备分别与虚拟教师及3D虚拟教具进行教学互动。公开号为CN112230772A的中国专利公开了一种虚实融合的教具自动生成方法，包括：真实教学环境的信息获取；虚拟教具的生成；虚拟教具与真实环境的融合。但是这两篇专利仍然存在一定的教学难点。
鉴于国内高等职业教育实践教学过程中存在的“高投入”“高损耗”“高风险”及“难实施”“难观摩”“难再现”的“三高三难”教学实践痛点和难点，针对当前实践教学中理、实教学场景脱节的情况，需要研发一种可以解决该问题的一种基于混合现实的实践教学辅助系统及操作方法。
发明内容
本发明针对现有实践教学存在的“三高三难”教学实践痛点和难点问题，提供了一种基于混合现实的实践教学辅助系统及操作方法。
为实现上述目的，本发明采用的技术方案如下：
一种基于混合现实的实践教学辅助系统，包括混合现实设备、锚定单元、生产运行单元、生产监控单元、特种作业单元、安全应急处置单元；混合现实设备，以真实仿真装置、沙盘、设备物体的物理世界位置为引，通过锚定单元，依据混合现实设备支持，以真实仿真装置或物体的物理世界位置为基础，叠加实践教学应用全息场景，叠加实践教学需要生产运行单元、实操单元、生产监控单元、特种作业单元、安全应急单元的教学场景内容，实现物理世界与虚拟画面的融合，构建虚实融合的实践教学场景，结合混合现实场景的实践教学需要，并通过生产运行单元，以空间定位共享与真实仿真装置或物体相结合，实现实践教学活动需要的理实一体、虚实融合的混合教学场景，通过提供基于自然的手势、语音输入，达成与混合现实场景和实践教学单元产生实践交互，辅助实践教学活动的开展。
基于上述技术方案，更进一步地，虚拟仿真OST通讯和云服务，虚拟仿真OST通讯通过通信方式与真实仿真单元信息联动，并模拟生产运行工艺模拟；云服务是利用5G通信服务，实现虚拟仿真OTS通讯工艺数据、混合现实设备的通讯、生产监控单元所需关键工艺技术指标和生产参数的可视化呈现。
基于上述技术方案，更进一步地，所述生产监控单元，通过混合现实设备，结合生产运行单元功能，以混合现实技术手段和云服务，结合虚拟仿真OTS通讯及工艺模型算法，可视化关键生产运行参数及指标。
基于上述技术方案，更进一步地，所述特种作业单元，通过混合现实设备，结合生产运行单元和生产监控单元功能，重现特种作业现场工艺状况及现象场景，依据特种作业规范要求及作业内容，引导实践教学人员，通过标准实践规范，进行特种作业的实践操作，辅助完成实践教学活动。
基于上述技术方案，更进一步地，所述安全应急处置单元，通过混合现实设备，结合生产运行单元和生产监控单元功能，重构安全应急处置现场情景，依据安全应急操作规范要求及作业内容，引导实践教学人员，通过标准实践规范，进行特种作业的实践操作，辅助完成实践教学活动。
基于上述技术方案，更进一步地，所述特种作业单元至少包含的特种作业内容有：高处作业；危险化学品安全作业；有限空间安全作业以及应急救援作业。
基于上述技术方案，更进一步地，还包括实践活动下发平台，用于支持实践互动的内容的下发、支持实践活动记录或成绩数据的评定和评分；支持实践活动过程中，监控实践参与人员，并能够随时进行远程支持。
一种基于混合现实的实践教学辅助系统操作方法，采用一种基于混合现实的实践教学辅助系统，包括以下步骤：
步骤1：通过混合现实设备，选择实践教学内容，进行实践操作练习或考核；
步骤2：通过实践教学内容，依据锚定单元，执行生产运行单元，通过混合现实设备构建实践教学场景；
步骤3：通过加载生产监控单元，结合锚点单元构建真实生产环境及关键设备运行状态，依据虚拟仿真OTS通讯仿真机理，结合混合现实设备营造真实生产监控情景；
步骤4：通过加载特种作业单元，结合锚点单元构建特种作业实践场景，通过混合现实设备，参照安全操作规范，进行实践操作处理；
步骤5：通过加载安全应急处置单元，根据锚定单元，生成安全应急事故数据状态，结合混合现实设备，还原安全事故场景，依据安全应急处置规范和流程，完成安全应急处置实践练习；
步骤6：通过5G通信服务，采集混合现实设备及现场实操数据，并形成可视化实践报告；
步骤7：根据实践操纵过程和结果，完成实践操作的评估和评定。
基于上述技术方案，更进一步地，所述生产运行单元包括以下实践步骤：
步骤11：实践活动参与人员，可自主选择对应需求内容，进行实践操作；
步骤12：实践活动参与人员，实践认知完成后，自主结束当前实践活动即可。
基于上述技术方案，更进一步地，所述生产监控单元包括以下实践步骤：
步骤21：实践活动参与人员，依据实践岗位要求，参照岗位规范，进行实践准备；
步骤22：实践活动参与人员，依据实践要求，开展实践活动内容，并根据要求进行记录；
步骤23：实践活动参与人员，结束实践活动，提交记录内容；
步骤24：实践活动组织人员，查看实践活动记录内容，根据情况评估和评分。
基于上述技术方案，更进一步地，特种作业单元和安全应急处置单元包括以下实践活动步骤：
步骤31：实践教学组织者下发具体实践内容；
步骤32：虚拟仿真OTS通讯依据实践教学需求，模拟生成特种作业单元和安全应急处置单元所需的异常或生产运行状态、异常或生产异常运行参数；
步骤33：虚拟仿真OTS通讯通过5G通信服务，将模拟生产运行数据与现场仿真装置或物体完成通信联动，并重现实践现场场景；
步骤34：虚拟仿真OTS通讯通过5G通信服务，将模拟生产运行数据与混合现实设备完成通信联动，启用实践现场配套模拟场景；
步骤35：教学实践参与人员，通过佩戴混合现实设备，依据实践教学规范需求，进行安全检查并完成个人安全的实践操作内容；
步骤36：实践教学参与人员，依据引导前往仿真现场，查看现场生产场景，并根据作业或安全应急处置规范要求进行实践活动的开展；
步骤37：实践教学参与人员，完成实践活动后，通过提交实践操作，终止实践活动的进行，混合现实设备将实践操作过程及结果数据通过5G通信服务，发回实践组织工具中；
步骤38：实践组织人员根据实践操纵过程和结果，完成实践操作的评估和评定。
与现有技术相比，本发明具有以下有益效果：
（1）本发明记载的一种基于混合现实的实践教学辅助系统，开创性地解决实践教学理论实践一体化教学模式，此系统通过空间定位与仿真装置相叠加，借助混合现实技术、5G通信技术、物联网等技术，将虚拟理论教学内容、工艺生产流程及反应机理变化与真实仿真装置相结合，实现理论与实践操作相结合，营造基于典型岗位工作过程的行业生产情景化岗位教学场景。通过自然手势识别及自然语音交互，进行典型岗位工作内容的实操学习和巩固练习，通过萃取行业专家与院校优秀教师教学经验，进行典型岗位工作内容的“项目－任务－知识点”的教学转化，满足行业典型岗位人才能力需求和实践教学的需要，辅助实践教学理实一体化教学新模式的开展。
（2）本发明通过混合现实技术构建了真实生产过程的模拟真实环境、显示真实生产运行参数、调整虚拟环境以及互动教学等模块，其中，模拟真实环境，用户可以在真实物理空间中，结合仿真装置、沙盘、实践装置等结合，虚拟环境中模拟真实生产环境中的情况，包括设备、工具、材料等，从而帮助学生更好地理解生产过程中的工作原理、实践操作规范、实践操作流程。显示真实参数，用户可以通过传感器获取真实生产环境中典型关键设备的参数信息，例如温度、压力、流量、状态、物料走向、物流变化、机理反应等，然后在虚拟显示器中显示这些真实生产运行信息，从而帮助学生更好地了解生产过程中的工作状态。调整虚拟环境，用户可以根据真实环境中的参数信息，调整真实仿真装置、沙盘、实践设备或虚拟环境中的典型关键设备完成数字操作，例如阀门开关、调节、启动、关闭、切换等，从而帮助学生更好地理解生产过程中的变化和调整。互动教学，用户可以通过用户界面与虚拟环境进行互动，例如使用手柄、触屏、语音等方式进行操作和指令，从而帮助学生更好地掌握实践技能。也即是，本发明利用混合现实技术，将真实生产过程中的动态利用理实一体化、支持实践教学应用，有效解决实践教学过程中产生的三高三难实践教学问题。该系统可以更好地满足学生的实践教学需求，提高教学效果。
附图说明
图1为本发明实践教学辅助系统的框图；
图2为本发明操作方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的描述中，需要理解的是，当一个元件被认为是“连接”另一个元件，可以是直接连接到另一个元件或者是间接连接即存在中间元件。相反，当元件为称作“直接”与另一元件连接时，不存在中间元件。
实施例1
如图1所示，一种基于混合现实的实践教学辅助系统，包括混合现实设备、锚定单元、生产运行单元、生产监控单元、特种作业单元、安全应急处置单元；混合现实设备，以真实仿真装置或物体的物理世界位置为引，叠加实践教学需要生产运行单元、实操单元、生产监控单元、特种作业单元、安全应急单元的教学场景内容，结合混合现实场景的实践教学需要，提供基于自然的手势、语音输入，达成与混合现实场景和实践教学单元产生实践交互，辅助实践教学活动的开展；锚定单元，依据混合现实设备支持，以真实仿真装置或物体的物理世界位置为引，叠加实践教学应用全息场景，实现物理世界与虚拟画面的融合，构建虚实融合的实践教学场景；生产运行单元，通过混合现实设备，以空间定位共享与真实仿真装置或物体相结合，以混合现实技术手段，具象化真实仿真装置或物体生产反应机理、反应过程、生产物料走向、生产设备的内部结构等工艺实践认知内容，借此实现实践教学活动需要的理实一体、虚实融合的混合教学场景；生产工艺体系化，支持理论讲解和现场融合化交互式的示范展示。
具体而言，还包括虚拟仿真OST通讯、云服务以及实践活动下发平台，其中，虚拟仿真OST通过通信方式与真实仿真单元信息联动，同时模拟生产运行工艺模拟。生产监控单元，通过混合现实设备，结合生产运行单元功能，以混合现实技术手段和云服务，结合虚拟仿真OTS工艺算法，可视化生产运行参数及指标。特种作业单元，通过混合现实设备，结合生产运行单元和生产监控单元功能，重现特种作业现场工艺状况及现象场景，依据特种作业规范要求及作业内容，引导实践教学人员，通过标准实践规范，进行特种作业的实践操作，辅助完成实践教学活动。其中，特种作业单元至少包含的特种作业内容有：高处作业；危险化学品安全作业；有限空间安全作业以及应急救援作业。安全应急处置单元，通过混合现实设备，结合生产运行单元和生产监控单元功能，重构安全应急处置现场情景，依据安全应急处置规范和要求，提供实践练习活动。云服务是利用5G通信服务，实现虚拟仿真OTS工艺数据和混合现实设备的通讯，实现生产监控单元所需的关键工艺技术指标和生产参数的可视化呈现。实践活动下发平台主要是用于支持实践互动的内容的下发、支持实践活动记录或成绩数据的评定和评分；支持实践活动过程中，监控实践参与人员，并能够随时进行远程支持。
具体的，该系统的实现过程为：
1、定义3个数组，数组1：存储设备拆装对象；数组2：设备微观结构对象；数组3：设备原理音频管理对象。
2、定义两个事件：显示全息影像菜单和关闭全息影像菜单，通过Update函数进行用户所处位置与全息影像位置的距离进行检测，设定一个阈值，当小于阈值时，就触发事件显示全息影像菜单，否则触发关闭全息影像菜单。
3、全息影像菜单会根据化工设备的不同，有2-3个选项，分别为设备原理、设备拆装、设备操作/事故，根据设备不同，菜单内容会有区别]。显示菜单后，通过混合现实设备提供的手势，根据所选内容不同，遍历数组1、数组2或者数组3，用相应的接口进行对象地显示或者隐藏。遍历数组1，将按钮设备的名字对比，如果相等，显示拆装设备，否则将隐藏。遍历其他数组的方式一样。
4、创建数据类型，主要包括用于拆装零件弹出展示的位置、存储当前展示的零件物体、在UI板显示当前展示零件的图文介绍、控制当前展示零件介绍音频以及数据类Data，该数据类Data至少包含对象、音频切片、零件背景图文、默认状态以及选取状态等。
5、创建编辑器工具，通过相应函数创建窗口，定义多种变量，比如拆装的物体、虚拟物体材质、闪烁物体的材质、生成UI按钮、生成的虚拟物体、生成的闪烁物体以及变量相对应的按钮。
6、创建拆装物体交互类，同时也定义多个不同的变量，比如拆装目标、零件名称、零件对象、虚拟物体、闪烁物体、零件音频介绍、UI图文背景、默认按钮样式以及点击后按钮样式等。
7、创建音频类，也可以定义不同的变量，比如设备原理音频、设备原理介绍文字、相应的触发事件、文字UI面板位置、原理音频播放器、原理面板文字对象、原理音频、文字、面板位置、触发的事件、转成字符的文字对象、单个字符的文字对象等。
8、创建空间锚点锁定类，也定义不同的变量，比如存储空间锚点、存储对象的键值对、存储的对象等。
本发明相较于传统的实践教学模式，采用了融合真实仿真装置混合现实技术的教学方式，能够更好地帮助学生理解实践工艺原理和方法，提高学生的实践能力和创新能力。
1、可结合真实虚拟仿真装置，利用物联网、云服务等技术手段，进行真实生产运行环境的模拟，构建拟真的生产运行教学场景；
2、可结合沙盘、模型类等实践教学资源载体，进行真实生产环境的构建；
3、支持以自然手势及自然语音的自然交互方式支撑理论课堂应用的开展；
4、支持通过当前系统安全应急功能模块，在真实虚拟仿真场景中，模拟安全隐患及现事故现象，通过混合现实技术、物联网技术、虚拟仿真OTS通讯技术构建动态的安全事故现场情景，提升实践教学安全应急演练处理能力。
实施例2
基于实施例1记载的基于混合现实的实践教学辅助系统，如图2所示，实施一种基于混合现实的实践教学辅助系统操作方法，具体包括以下步骤：
步骤1：通过混合现实设备，选择实践教学内容，进行实践操作练习或考核；
步骤2：通过实践教学内容，依据锚定单元，执行生产运行单元，通过混合现实设备构建实践教学场景；
步骤3：通过加载生产监控单元，结合锚点单元构建真实生产环境及关键设备运行状态，依据虚拟仿真OTS通讯仿真机理，结合混合现实设备营造真实生产监控情景；
步骤4：通过加载特种作业单元，结合锚点单元构建特种作业实践场景，通过混合现实设备，参照安全操作规范，进行实践操作处理；
步骤5：通过加载安全应急处置单元，根据锚定单元，生成安全应急事故数据状态，结合混合现实设备，还原安全事故场景，依据安全应急处置规范和流程，完成安全应急处置实践练习；
步骤6：通过5G通信服务，采集混合现实设备及现场实操数据，并形成可视化实践报告；
步骤7：根据实践操纵过程和结果，完成实践操作的评估和评定。
具体而言，生产运行单元包括以下实践步骤：
步骤11：实践活动参与人员，可自主选择对应需求内容，进行实践操作；
步骤12：实践活动参与人员，实践认知完成后，自主结束当前实践活动即可。
生产监控单元包括以下实践步骤：
步骤21：实践活动参与人员，依据实践岗位要求，参照岗位规范，进行实践准备；
步骤22：实践活动参与人员，依据实践要求，开展实践活动内容，并根据要求进行记录；
步骤23：实践活动参与人员，结束实践活动，提交记录内容；
步骤24：实践活动组织人员，查看实践活动记录内容，根据情况评估和评分。
特种作业单元和安全应急处置单元包括以下实践活动步骤：
步骤31：实践教学组织者下发具体实践内容；
步骤32：虚拟仿真OTS依据实践教学需求，模拟生成特种作业单元和安全应急处置单元所需的异常或生产运行状态、异常或生产异常运行参数；
步骤33：虚拟仿真OTS通过5G通信服务，将模拟生产运行数据与现场仿真装置或物体完成通信联动，并重现实践现场场景；
步骤34：虚拟仿真OTS通过5G通信服务，将模拟生产运行数据与混合现实设备完成通信联动，启用实践现场配套模拟场景；
步骤35：教学实践参与人员，通过佩戴混合现实设备，依据实践教学规范需求，进行安全检查并完成个人安全的实践操作内容；
步骤36：实践教学参与人员，依据引导前往仿真现场，查看现场生产场景，并根据作业或安全应急处置规范要求进行实践活动的开展；
步骤37：实践教学参与人员，完成实践活动后，通过提交实践操作，终止实践活动的进行，混合现实设备将实践操作过程及结果数据通过5G通信服务，发回实践组织工具中；
步骤38：实践组织人员根据实践操纵过程和结果，完成实践操作的评估和评定。具体的，关于评估主要是评估实践操作能力、实践操作规范等，而经评估评定结构后，将统一汇报并下发提供给实践参与人员，如评估结束后，一般可以根据实际情况评定为优秀、合格、不及格等类似的评定定论。
最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。
Claims (4)
1.一种基于混合现实的实践教学辅助系统，其特征在于，包括混合现实设备、锚定单元、生产运行单元、生产监控单元、特种作业单元和安全应急处置单元；
混合现实设备，以真实仿真装置或物体的物理世界位置为基础，叠加实践教学需要生产运行单元、实操单元、生产监控单元、特种作业单元、安全应急单元的教学场景内容，结合混合现实场景的实践教学需要，提供基于自然手势和语音输入，达成与混合现实场景、实践教学单元产生的实践交互，辅助实践教学活动的开展；
锚定单元，依据混合现实设备支持，以真实仿真装置或物体的物理世界位置为基础，叠加实践教学应用全息场景，实现物理世界与虚拟画面的融合，构建虚实融合的实践教学场景；
生产运行单元，通过混合现实设备，以空间定位共享与真实仿真装置或物体相结合，实现实践教学活动需要的理实一体、虚实融合的混合教学场景；具象化真实仿真装置或物体生产反应机理、反应过程、生产物料走向、生产设备的内部结构工艺实践认知内容；生产工艺体系化，支持理论讲解和现场融合化交互式的示范展示；
还包括虚拟仿真OTS通讯和云服务，虚拟仿真OTS通讯通过通信方式与真实仿真单元信息联动，并模拟生产运行工艺模拟；云服务是利用5G通信服务，实现虚拟仿真OTS通讯工艺数据、混合现实设备的通讯、生产监控单元所需关键工艺技术指标和生产参数的可视化呈现；
所述生产监控单元，通过混合现实设备，结合生产运行单元功能，以混合现实技术手段和云服务，结合虚拟仿真OTS通讯及工艺模型算法，可视化生产运行关键参数及指标；
所述特种作业单元和安全应急处置单元，通过混合现实设备，结合生产运行单元和生产监控单元功能，重现特种作业和/或安全应急处置现场工艺状况及现象场景，依据特种作业或安全应急操作规范要求及作业内容，引导实践教学人员，通过标准实践规范，进行特种作业的实践操作，辅助完成实践教学活动；
所述特种作业单元至少包含的特种作业内容有：高处作业；危险化学品安全作业；有限空间安全作业以及应急救援作业；
系统的实现过程为：
1）、定义3个数组，数组1：存储设备拆装对象；数组2：设备微观结构对象；数组3：设备原理音频管理对象；
2）、定义两个事件：显示全息影像菜单和关闭全息影像菜单，通过Update函数进行用户所处位置与全息影像位置的距离进行检测，设定一个阈值，当小于阈值时，就触发事件显示全息影像菜单，否则触发关闭全息影像菜单；
3）、全息影像菜单会根据化工设备的不同，有2-3个选项，分别为设备原理、设备拆装、设备操作/事故，根据设备不同，菜单内容会有区别；显示菜单后，通过混合现实设备提供的手势，根据所选内容不同，遍历数组1、数组2或者数组3，用相应的接口进行对象地显示或者隐藏；遍历数组1，将按钮设备的名字对比，如果相等，显示拆装设备，否则将隐藏；遍历其他数组的方式一样；
4）、创建数据类型，主要包括用于拆装零件弹出展示的位置、存储当前展示的零件物体、在UI板显示当前展示零件的图文介绍、控制当前展示零件介绍音频以及数据类Data，该数据类Data至少包含对象、音频切片、零件背景图文、默认状态以及选取状态；
5）、创建编辑器工具，通过相应函数创建窗口，定义多种变量，包括但不限于拆装的物体、虚拟物体材质、闪烁物体的材质、生成UI按钮、生成的虚拟物体、生成的闪烁物体以及变量相对应的按钮；
6）、创建拆装物体交互类，同时也定义多个不同的变量，包括但不限于拆装目标、零件名称、零件对象、虚拟物体、闪烁物体、零件音频介绍、UI图文背景、默认按钮样式以及点击后按钮样式；
7）、创建音频类，定义不同的变量，包括但不限于设备原理音频、设备原理介绍文字、相应的触发事件、文字UI面板位置、原理音频播放器、原理面板文字对象、原理音频、文字、面板位置、触发的事件、转成字符的文字对象、单个字符的文字对象；
8）、创建空间锚点锁定类，定义不同的变量，包括但不限于存储空间锚点、存储对象的键值对、存储的对象。
2.根据权利要求1所述的一种基于混合现实的实践教学辅助系统，其特征在于，还包括实践活动下发平台，用于支持实践互动的内容的下发、支持实践活动记录或成绩数据的评定和评分；支持实践活动过程中，监控实践参与人员，并随时进行远程支持。
3.一种基于混合现实的实践教学辅助系统操作方法，采用权利要求1-2任一项所述的一种基于混合现实的实践教学辅助系统，其特征在于，包括以下步骤：
步骤1：通过混合现实设备，选择实践教学内容，进行实践操作练习或考核；
步骤2：通过实践教学内容，依据锚定单元，执行生产运行单元，通过混合现实设备构建实践教学场景；
步骤3：通过加载生产监控单元，结合锚定单元构建真实生产环境及关键设备运行状态，依据虚拟仿真OTS通讯仿真机理，结合混合现实设备营造真实生产监控情景；
步骤4：通过加载特种作业单元，结合锚定单元构建特种作业实践场景，通过混合现实设备，参照安全操作规范，进行实践操作处理；
步骤5：通过加载安全应急处置单元，根据锚定单元，生成安全应急事故数据状态，结合混合现实设备，还原安全事故场景，依据安全应急处置规范和流程，完成安全应急处置实践练习；
步骤6：通过5G通信服务，采集混合现实设备及现场实操数据，并形成可视化实践报告；
步骤7：根据实践操纵过程和结果，完成实践操作的评估和评定；
其中，特种作业单元和安全应急处置单元包括以下实践活动步骤：
步骤31：实践教学组织者下发具体实践内容；
步骤32：虚拟仿真OTS通讯依据实践教学需求，模拟生成特种作业单元和安全应急处置单元所需的异常或生产运行状态、异常或生产异常运行参数；
步骤33：虚拟仿真OTS通讯通过5G通信服务，将模拟生产运行数据与现场仿真装置或物体完成通信联动，并重现实践现场场景；
步骤34：虚拟仿真OTS通讯通过5G通信服务，将模拟生产运行数据与混合现实设备完成通信联动，启用实践现场配套模拟场景；
步骤35：教学实践参与人员，通过佩戴混合现实设备，依据实践教学规范需求，进行安全检查并完成个人安全的实践操作内容；
步骤36：实践教学参与人员，依据引导前往仿真现场，查看现场生产场景，并根据作业或安全应急处置规范要求进行实践活动的开展；
步骤37：实践教学参与人员，完成实践活动后，通过提交实践操作，终止实践活动的进行，混合现实设备将实践操作过程及结果数据通过5G通信服务，发回实践组织工具中；
步骤38：实践组织人员根据实践操纵过程和结果，完成实践操作的评估和评定；
所述生产运行单元包括以下实践步骤：
步骤11：实践活动参与人员，自主选择对应需求内容，进行实践操作；
步骤12：实践活动参与人员，实践认知完成后，自主结束当前实践活动。
4.根据权利要求3所述的一种基于混合现实的实践教学辅助系统操作方法，其特征在于，所述生产监控单元包括以下实践步骤：
步骤21：实践活动参与人员，依据实践岗位要求，参照岗位规范，进行实践准备；
步骤22：实践活动参与人员，依据实践要求，开展实践活动内容，并根据要求进行记录；
步骤23：实践活动参与人员，结束实践活动，提交记录内容；
步骤24：实践活动组织人员，查看实践活动记录内容，根据情况评估和评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311056426.4A CN116755566B (zh) | 2023-08-22 | 2023-08-22 | 一种基于混合现实的实践教学辅助系统及操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311056426.4A CN116755566B (zh) | 2023-08-22 | 2023-08-22 | 一种基于混合现实的实践教学辅助系统及操作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116755566A CN116755566A (zh) | 2023-09-15 |
| CN116755566B true CN116755566B (zh) | 2024-01-26 |
Family
ID=87953786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311056426.4A Active CN116755566B (zh) | 2023-08-22 | 2023-08-22 | 一种基于混合现实的实践教学辅助系统及操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116755566B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023215A (zh) * | 2015-07-21 | 2015-11-04 | 中国矿业大学(北京) | 一种基于头戴式混合现实设备的危险行业安全培训系统 |
| CN108510824A (zh) * | 2018-03-25 | 2018-09-07 | 常熟市苏虞天然气输配有限公司 | 一种基于虚拟仿真的燃气行业教培考系统及其使用方法 |
| CN109686168A (zh) * | 2018-12-14 | 2019-04-26 | 中国航空工业集团公司西安飞机设计研究所 | 一种基于混合现实的空勤训练系统 |
| CN110688005A (zh) * | 2019-09-11 | 2020-01-14 | 塔普翊海（上海）智能科技有限公司 | 混合现实的教学环境、教师、教具互动系统及互动方法 |
| CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| CN113744585A (zh) * | 2020-05-28 | 2021-12-03 | 中国石油化工股份有限公司 | 火灾事故应急处置演练系统及处理方法 |
| CN114023138A (zh) * | 2021-11-17 | 2022-02-08 | 山东潍坊抽水蓄能有限公司 | 一种应急演练仿真系统 |
| US11410570B1 (en) * | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102677A (zh) * | 2020-09-17 | 2020-12-18 | 中国人民解放军陆军军医大学 | 混合现实高仿真战现场急救训练平台及其训练方法 |
-
2023
- 2023-08-22 CN CN202311056426.4A patent/CN116755566B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023215A (zh) * | 2015-07-21 | 2015-11-04 | 中国矿业大学(北京) | 一种基于头戴式混合现实设备的危险行业安全培训系统 |
| CN108510824A (zh) * | 2018-03-25 | 2018-09-07 | 常熟市苏虞天然气输配有限公司 | 一种基于虚拟仿真的燃气行业教培考系统及其使用方法 |
| CN109686168A (zh) * | 2018-12-14 | 2019-04-26 | 中国航空工业集团公司西安飞机设计研究所 | 一种基于混合现实的空勤训练系统 |
| CN110688005A (zh) * | 2019-09-11 | 2020-01-14 | 塔普翊海（上海）智能科技有限公司 | 混合现实的教学环境、教师、教具互动系统及互动方法 |
| CN113744585A (zh) * | 2020-05-28 | 2021-12-03 | 中国石油化工股份有限公司 | 火灾事故应急处置演练系统及处理方法 |
| CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| US11410570B1 (en) * | 2021-09-27 | 2022-08-09 | Central China Normal University | Comprehensive three-dimensional teaching field system and method for operating same |
| CN114023138A (zh) * | 2021-11-17 | 2022-02-08 | 山东潍坊抽水蓄能有限公司 | 一种应急演练仿真系统 |
Non-Patent Citations (1)
| Title |
|---|
| 混合现实技术在教育领域的应用研究;潘枫;刘江岳;;中国教育信息化(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116755566A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11227439B2 (en) | Systems and methods for multi-user virtual reality remote training | |
| Woolf | AI in Education | |
| Liu et al. | Application of virtual reality technology in distance higher education | |
| US10198957B2 (en) | Computer-based virtual trainer | |
| Ren et al. | Design and comparison of immersive interactive learning and instructional techniques for 3D virtual laboratories | |
| Bergroth et al. | Use of immersive 3-D virtual reality environments in control room validations | |
| Chung et al. | Computational thinking in augmented reality: An investigation of collaborative debugging practices | |
| CN109366502B (zh) | 一种基于人工智能的网络交互式教育方法及机器人 | |
| CN116755566B (zh) | 一种基于混合现实的实践教学辅助系统及操作方法 | |
| Xie et al. | A VR-based interactive teaching and practice environment for supporting the whole process of mining engineering education | |
| Alexander et al. | Learn programming in virtual reality? A case study of computer science students | |
| Wang | Application of virtual reality technology in computer practice teaching | |
| Uzunova et al. | Virtual reality system for motion capture analysis and visualization for folk dance training | |
| Liu | Realization of Virtual Teaching Platform For English Translation Based On VR Technology | |
| CN110827598B (zh) | 一种电子战装备虚拟操作训练系统及其训练方法 | |
| Ayre et al. | Implementation of an Artificial Intelligence (AI) Instructional Support System in a Virtual Reality (VR) Thermal-Fluids Laboratory | |
| Liu | Design and Implementation of a Popular Science Game for VR Medical Surgical Instruments Based on Unity3D | |
| Yang et al. | [Retracted] Research on the Teaching Method of Environmental Landscape Design Practice Based on IoT Network and Digital VR Technology | |
| Zhong et al. | Virtual‐reality system for elevator maintenance education: Design, implementation and evaluation | |
| Milovanovic et al. | Enhancing design representational environment to support design learning in the studios | |
| Wang | Research on the application of virtual reality technology in the teaching resource library of film and animation | |
| Xiong et al. | [Retracted] IoT Networks and Digital Twin Technology‐Based English Classroom Immersive Teaching | |
| Lezhebokov et al. | Three-dimensional content in mobile applications for educational information systems | |
| Che | Research on Tactile Media Simulation Practice System under Computer Virtual Reality Technology | |
| Qin | Exploration and Design of Dance Virtual Simulation Teaching System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Pu Inventor after: Liu Zhengcai Inventor after: Jiang Nan Inventor after: Zhao Guoqiang Inventor after: Xing Te Inventor after: Jia Shijie Inventor after: Zhao Lei Inventor after: Wang Xiaolin Inventor after: Zhang Zhewu Inventor before: Zhao Pu Inventor before: Liu Zhengcai Inventor before: Jiang Nan Inventor before: Zhao Guoqiang Inventor before: Xing Te Inventor before: Jia Shijie Inventor before: Zhao Lei Inventor before: Wang Xiaolin Inventor before: Zhang Zhewu |