CN110444066B - 基于全息教师及环幕互动的电气设备绝缘试验培训系统 - Google Patents
基于全息教师及环幕互动的电气设备绝缘试验培训系统 Download PDFInfo
- Publication number
- CN110444066B CN110444066B CN201910636320.9A CN201910636320A CN110444066B CN 110444066 B CN110444066 B CN 110444066B CN 201910636320 A CN201910636320 A CN 201910636320A CN 110444066 B CN110444066 B CN 110444066B
- Authority
- CN
- China
- Prior art keywords
- test
- module
- holographic
- teacher
- circular screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 240
- 238000012549 training Methods 0.000 title claims abstract description 114
- 230000003993 interaction Effects 0.000 title claims abstract description 44
- 238000009413 insulation Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 77
- 230000008569 process Effects 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 38
- 239000011521 glass Substances 0.000 claims abstract description 30
- 238000004519 manufacturing process Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims description 47
- 238000005516 engineering process Methods 0.000 claims description 32
- 230000002452 interceptive effect Effects 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 12
- 238000004040 coloring Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 claims description 6
- 238000003556 assay Methods 0.000 claims description 6
- 238000007705 chemical test Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006698 induction Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000005304 joining Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000010422 painting Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims description 3
- 239000011787 zinc oxide Substances 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 241000272194 Ciconiiformes Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，它包括：全息教师模块、环幕互动模块和虚拟仿真培训模块，整个系统部署在同一局域网络环境下，通过局域网进行数据通信，让全息教师模块、环幕互动模块和虚拟仿真培训模块互相通讯；虚拟仿真培训模块学员利用虚拟仿真培训模块进行培训学习；环幕互动模块通过环幕上方的4个空间定位摄像头来捕捉环幕前方佩戴定位功能的3D眼镜的观众或班长的动作，来实现互动功能；全息教师模块全息教师模块通过制造真人像模型，具备迎宾和教师两个功能；解决了现有技术学员间的互动性不佳，降低了培训的效率；目前的培训系统多采用单人模式，与实际的操作过程存在差异等技术问题。
Description
技术领域
本发明属于电气设备试验仿真教学技术领域，尤其涉及基于全息教师及环幕 互动的电气设备绝缘试验培训系统。
背景技术
电气设备绝缘试验专业是一个相对特殊的专业，为了进行一些指标的检测或 试验，往往需要对其施加高电压，所以，它对操作时的安全性和标准化有着非常 严格的要求。同时，它也要求对设备的原理及试验标准操作流程有着清晰的了解， 因此，要做好一次设备绝缘试验工作，就必须做好一次设备绝缘试验的培训。
电气设备绝缘试验培训主要经历了三个阶段的发展，(1)传帮带，师傅手 把手带徒弟，但是因为师傅的水平参差不齐以及师徒存在的竞争和利益关系等导 致一届不如一届现象，且系统运行依赖个人现象较重，知识经验流失会造成极大 损失；(2)办理论班或者培训班进行培训，能够系统的进行知识理论培训，也 是目前用的最多的一种方法，但是由于电力系统的特殊性，无法在真实环境里进 行实际设备试验操作，容易只是其表不知其里的现象，为后期电气试验及系统运 行安全埋下隐患；(3)仿真培训，利用多媒体和桌面虚拟现实仿真技术的培训 方式，这种具备培训内容标准化，重复利用率高，并能满足大批学员同时开展培 训等特点，但在逼真度、真实感方面与实际测试设备存在一定的差距，用户通过 鼠标和键盘操作繁琐，体验方式单一，学员间的互动性不佳，降低了培训的效率。 另外电气设备绝缘试验操作通常由多人配合完成，目前的培训系统多采用单人模 式，与实际的操作过程存在差异。
发明内容
本发明要解决的技术问题是：提供一种基于全息教师及环幕互动的电气设备 绝缘试验培训系统，以解决现有技术针对电气设备绝缘试验培训采用的仿真培训 在逼真度、真实感方面与实际测试设备存在一定的差距，用户通过鼠标和键盘操 作繁琐，体验方式单一，学员间的互动性不佳，降低了培训的效率。另外电气设 备绝缘试验操作通常由多人配合完成，目前的培训系统多采用单人模式，与实际 的操作过程存在差异等技术问题。
本发明的技术方案是：
一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，它包括：全息 教师模块、环幕互动模块和虚拟仿真培训模块，整个系统部署在同一局域网络环 境下，通过局域网进行数据通信，让全息教师模块、环幕互动模块和虚拟仿真培 训模块互相通讯；
虚拟仿真培训模块：学员利用虚拟仿真培训模块进行培训学习，利用终端独 立完成某个特定试验流程的所有内容；
环幕互动模块：环幕互动模块包括环幕立体投影模块和互动模块；环幕立体 投影模块采用弧形环状的投影屏幕作为投射载体，利用2台投影机及融合处理器 系统投射出无缝统一、逼真立体的完美影像，配合音响系统，营造出一种虚拟仿 真显示环境；互动模块是通过环幕上方的4个空间定位摄像头来捕捉环幕前方佩 戴定位功能的3D眼镜的观众或班长的动作，并识别操作手柄的发出的指令，来 实现互动功能；
全息教师模块：是基于全息投影技术、虚拟主持人技术的全息投影互动系统， 全息教师模块通过制造真人像模型，具备迎宾和教师两个功能。
所述全息教师模块包括：
迎宾功能：在没有进行仿真试验的情况下有参观人员进入实训室参观， 全息屏幕通过人体红外感应装置能感应到人员，自动致欢迎辞，并播放对应 的视频动画，对仿真培训课程内容进行讲解，实现课程介绍的功能；
教师功能：学员通过环幕和虚拟仿真培训终端进行培训时，全息教师与 学员进行互动。
环幕互动模块的班长是环幕前方观看环幕投影的观众的一员，班长手持操作 手柄、佩戴定位功能的3D眼镜，在环幕前方走动；而观众则坐在座位上、佩戴 3D眼镜观看环幕投影；班长进入多人协同模式的试验空间，不参与试验项目操 作，只观看到整个试验过程；所述多人协同模式的试验空间是由操作仿真培训 终端的某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个 特定的试验操作，学员都加入试验空间后，即可进行试验操作；学员之间按照任 务划分，来共同完成试验内容，且学员之间的操作是相互可见的，完成所有试验 流程学习；观众通过佩戴3D主动立体眼镜，观看环幕投影进入试验场景观看学 员的操作。
所述虚拟仿真培训模块是通过模拟电气设备试验的环境及试验过程，建立 电气设备绝缘试验仿真培训及仿真考核系统，通过对试验准备、试验过程的操 作、试验结果的模拟，让学员掌握电气设备绝缘试验的标准操作流程，并利用 仿真考核系统来考察学员对试验原理及试验操作。
所述全息教师模块的实现方法包括：基于全息投影技术和虚拟主持人技术 的全息投影互动系统，通过拍摄录制相应教学视频，运用三维动画、人机互动 红外感应装置、全息显示和投影机背投技术来建设真人像模型，让教师具备自 动迎宾和教师角色的功能；所述真人像模型的实现方法包括：
仿真人物的素材照片采集：使用1600万像素的相机对所需仿真的人物进行 360度照片拍摄，采集外形、五官和整体三视图的JPG格式素材照片；
人像模型制作：采用镜像复刻人像模型的方法，使用面片建模的建模方法， 从头部开始直至脚部，通过点、线、面的构建方式，通过采集的照片进行布线， 得到完整的人像模型；
展开人像模型：使用unwrap uvw命令，对人像模型的点、线、面进行断开 和捕捉，平整的展开到方框里，得到一个PNG格式的线框图；
人像模型贴图制作：将线框图导入PS中，利用画笔和着色器对线框图进行 着色处理，运用色彩平衡原理和饱和度，得到JPG格式的人像贴图；
人像模型上色：将JPG格式的人像贴图添加到3DMAX中的材质球上面， 将材质球赋予到人像模型上面，得到所述的真人像模型。
环幕互动模块的实现方法包括：
硬件准备：所属硬件包括环幕投影幕布、投影仪A、投影仪B、融合处理 器、空间定位摄像头、手柄、3D眼镜、音箱、服务器和观众席；
融合处理：利用融合处理器系统，实现投影仪A画面与投影仪B画面两边 的完全融合，消除重叠拼接引起的过亮区域，让整个画面完整、清晰的显示在 环幕上；
所述融合处理器系统的实现方法包括：
6)将两台SONNOC SNP-LU6600高端激光工程投影机和互动环幕与融合处理 器通信；
7)图像预处理，对图像进行数字化、平滑、复原、增强、图像去噪和图像 配准；
8)运用对比度传递技术，采用算法：
式中M为输入图像，F为调整后的输出图像，mean代表M的均值，mean_ref 是参考图像的均值，ms为M的均值方差，msref为参考图像的均值方差；得出 的均值方差反映图像的平均亮度，方差表示图像的对比度，调整两台投影机画面 的亮度和对比度；
9)运用直方图规格化技术，在归一化[0,1]的连续区间中，令r和z分别表 示输入图像与输出图像的灰度级，输入灰度级的概率密度函数Pr(r)，输出灰度 级的概率密度函数Pz(z)，用直方图均衡化得变换：
使输出图像得到变换后的灰度调整；
10)通过环幕前方的4个空间定位摄像头，班长在环幕前方区域站立或走动， 利用佩戴有定位功能的3D眼镜并操作手柄，通过服务器的控制来实现班长在多 人协同模式的试验空间内的空间定位及位置变换。
所述虚拟仿真培训模块的实现方法为：基于虚拟现实技术、光学动捕和人机 互动技术建立电气设备绝缘试验环幕互动仿真培训系统完成试验项目的实操培 训；虚拟现实技术是模拟电气设备试验的环境及试验过程，包括：包括场景模型 建设、三维模型处理和试验操作流程模拟整合；
(1)场景模型建设：变电站环境模型制作，包括变电站的试验设备、周边 建筑和地形绿化模型制作；
(2)试验设备制作：建模内容包含变压器试验设备、避雷器试验设备、互 感器试验设备、断路器试验设备和化学试验设备模型制作；
(3)类型仪器工具制作：建模内容包括试验流程：变压器变比测试、变压 器感应耐压试验和局部放电试验、变压器绝缘电阻测试、变压器连同套管 介质损耗测试、变压器绕组变形试验、变压器有载分接开关测试、变压器 直流电阻测试；断路器机械特性测试、断路器导电回路电阻测试；互感器 介质损耗试验、互感器绝缘电阻试验；氧化锌避雷器直流参考电压及泄漏 电流测试；现场取油样、现场气体取样、现场气体化验、现场气体化验、 现场气体化验需要用到的所有仪器工具制作；
(4)工具室制作：根据流程选取相应的仪器工具，将这些仪器工具整合在 一个工具室；
(5)流程动画制作：包括每个试验流程所有的交互步骤的人物、仪器和工 具等动画制作。
所述仿真培训终端包括5个子模块界面，分别是变压器高压试验模块、断 路器试验模块、互感器试验模块、避雷器试验模块和化学试验模块；选择 进入每个模块后，出现3个次级模块界面，分别是单人操作模式、多人协 同模式和漫游模式：
所述单人操作模式：提供试验的全流程供学员学习，选择某个特定的试验操 作流程进行培训学习；
所述多人协同模式：某个学员发起协同请求，建立一个多人协同模式的试验 空间，来完成某个特定的试验操作，学员都加入试验空间后，即进行试验操作； 学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的， 学员按步骤完成所有试验流程学习；观众通过佩戴3D主动立体眼镜，观看环幕 投影进入试验场景观看学员的操作；
所述漫游模式：对场景及试验流程进行观看，每个试验模块都可以通过选择 进行手动漫游和自动漫游的方式对试验场景进行观看。
本发明有益效果：
本发明优化了传统仿真培训结构和框架，实现多个培训人员间的协同操作； 全息教师能够在培训过程中对试验操作的重难点、关键点进行有针对性的讲解， 减轻培训人员的认知负荷；利用仿真培训学习和培训测试模块，可以对培训人员 的实际学习情况进行记录及分析，从而有效提高培训效率。从认知学习到实操培 训，最后到仿真考核，一步步对学员进行培训，并能够统计学员的掌握程度。能 让实操培训和考核变得像做游戏一样充满乐趣，在玩中学，在学中玩，改变传统 培训模式，提高培训效率；解决了现有技术针对电气设备绝缘试验培训采用的仿 真培训在逼真度、真实感方面与实际测试设备存在一定的差距，用户通过鼠标和 键盘操作繁琐，体验方式单一，学员间的互动性不佳，降低了培训的效率。另外 电气设备绝缘试验操作通常由多人配合完成，目前的培训系统多采用单人模式， 与实际的操作过程存在差异等技术问题。
附图说明
图1是全息教书模块结构示意图；
图2是虚拟仿真培训模块结构示意图；
图3是全息教师模块结构示意图；
图4是环幕互动模块硬件结构示意图；
图5是多人协同操作流程示意图；
图6是虚拟现实实现示意图；
图7是环幕互动模块实现示意图；
图8虚拟仿真培训模块实现示意图。
具体实施方式
本发明包括全息教师模块、环幕互动模块和虚拟仿真培训模块，整个系统部 署在同一局域网络环境下，通过局域网进行数据通信，让全息教师模块、环幕互 动模块、虚拟仿真培训模块产生联系，在学员利用虚拟仿真培训模块进行培训学 习时，不仅能够利用终端独立完成某个特定试验流程的所有内容，还可以借助环 幕互动模块，建立一个多人协同模式的试验空间，由多人共同完成某个特定的试 验操作，另外，在学员培训过程中，全息教师能够按照预设的课程对培训关键点、 重难点进行讲解及分析，帮助学员系统性的进行学习，并对成绩、学习数据进行 统计分析。其中：
所述的全息教师模块，是基于全息投影技术、虚拟主持人技术的全息投影互 动系统，全息教师在整个仿真培训系统中扮演大脑的角色，通过制造高清逼真人 像模型，并使其具备自动迎宾和教师两个角色的功能，如下：
迎宾：在没有进行仿真试验的情况下，如果有参观人员(观众)进入实训室 参观，全息屏幕通过人体红外感应装置能感应到人员，同时全息教师会自动致欢 迎辞，并播放对应的视频动画，还会对仿真培训课程内容进行简要讲解，达到课 程介绍的功能。
教师：学员通过环幕和虚拟仿真培训终端进行培训时，全息教师能与学员进 行互动。互动体现在以下三方面：(1)教学引导：学员对虚拟仿真培训系统中 的模拟环境和设备的认知学习时，教师能起到介绍、引导、指点学员的作用；(2) 课程管理：在培训学习过程中，全息教师按照预设的课程进行讲解和知识点分析， 帮助学员系统性的进行学习；(3)成绩管理：对学员理论学习、实操学习、实 操考核的过程进行记录，并根据评分标准对学员的学习成效进行分数评估，同时 能够通报表来直观分析学员实际学习时长和实际掌握程度的关联性。
所述的环幕互动模块，是由环幕立体投影模块和互动模块构成。环幕立体投 影模块采用弧形环状的投影屏幕作为投射载体，利用2台投影机及融合处理器系 统投射出无缝统一、逼真立体的完美影像，配合音响系统，营造出一种沉浸式的、 身临其境般的虚拟仿真显示环境。互动模块是通过环幕上方的4个空间定位摄像 头来捕捉环幕前方佩戴定位功能的3D眼镜的观众(简称：班长)的动作，并识 别操作手柄的发出的指令，来实现互动功能。
进一步的，班长是环幕前方观看环幕投影的观众的一员。班长手持操作手柄、 佩戴定位功能的3D眼镜，并在环幕前方走动；而其余观众则坐在座位上、佩戴 3D眼镜观看环幕投影。班长可以进入多人(至少4人)协同模式的试验空间(此 处班长体现为“透明人”，即“上帝视角”)，他不实际参与试验项目操作，但 能观看到整个试验过程，且能具体的观看某个学员的操作；而其余观众观看的内 容与“上帝视角”观看的内容相同的，即二者视角相同。
进一步的，多人协同模式的试验空间，是由操作仿真培训终端的某个学员发 起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作， 待其它学员都加入试验空间后，即可进行试验操作。学员之间按照任务划分，来 共同完成试验内容，且学员之间的操作是相互可见的，通过步骤的提升完成所有 试验流程学习；观众通过佩戴3D主动立体眼镜，观看环幕投影可以进入试验场 景观看学员的操作。
所述的虚拟仿真培训模块，是通过模拟电气设备试验的环境及具体试验过程， 建立电气设备绝缘试验仿真培训及仿真考核系统，通过对试验准备、试验过程的 操作、试验结果的模拟，让学员能够对电气设备绝缘试验的标准操作流程有着清 晰的认识，并利用仿真考核系统，来考察学员对试验原理及试验操作的掌握程度。 在学员培训过程中，既能够满足学员独立完成某个绝缘试验的全部操作，又具备 至少4人同时上线协同完成某个绝缘试验的全部流程操作的功能，且在协同操作 过程中，培训室内的其他学员通过佩戴3D眼镜，借助环幕投影，可以同时观看 到4个学员的操作过程，并能切换到任何一个学员的操作视角进行观看。
所述全息教师模块的设计实现如下：
全息模块是基于全息投影技术、虚拟主持人技术的全息投影互动系统，通过 拍摄录制相应教学视频，运用三维动画、人机互动红外感应装置、全息显示、投 影机背投等技术来建设高清逼真人像模型，让教师具备自动迎宾和教师角色的功 能。
(1)迎宾：代替迎宾人员对企业课程和实验内容进行介绍和引导。
(2)讲解：对系统教学和实操过程中展示内容进行详细讲解，起到“授课、 监督、指导”的作用。
当有参观人员(观众)走到屏幕前时，屏幕就会有感应，屏幕中的全息教师 就会向参观人员致欢迎词，并能对实训教室的布置、仿真试验项目和仿真系统目 的进行说明和介绍。
讲解是全息教师在培训模式和考试模式下对试验内容进行讲解。在培训模式 下，当观众戴着3D主动立体眼镜在环幕前方观看某个试验环节的立体投影时， 虚拟教师会介绍该试验模块的主要目的；在学员利用终端学习试验流程及步骤时， 虚拟教师会通过语音对当前步骤进行提示和操作介绍，指导学员学习。在考核模 式下，当观众戴着3D主动立体眼镜在环幕前方观看某个试验环节的立体投影时， 虚拟教师会介绍该试验模块的考核目的；在学员利用终端开始操作流程前虚拟教 师会宣布考核的相关规则和考核注意事项，在学员操作错误时，虚拟教师会预警 进行提示说明，并详细讲解相关知识点，引导学员完成考核。
所述的高清逼真人像模型实现：
基于3ds max 2014制作工具，实现高清逼真人像模型的制作，通过最优的制 作方式得到最精细，仿真度最高的人像模型。使用Adobe Photoshop CC 2018着 色工具，实现色彩分明，层次清晰的人像贴图。
实现过程：
1)仿真人物的素材照片采集
使用1600万像素的相机对所需仿真的人物进行360度照片拍摄，采集其外 形、五官和整体三视图的JPG格式素材照片；
2)高清人像模型制作
采用镜像复刻人像模型的传统手法，使用面片建模的建模方法，从头部开始 直至脚部，通过点、线、面的构建方式，通过参考采集的照片进行合理精致的布 线，得到完整的人像模型。
3)展开人像模型UV
使用unwrap uvw命令，对人像模型的点、线、面进行合理的断开和捕捉， 平整的展开到方框里面，得到一个PNG格式的线框图。
4)高清人像模型贴图制作
将线框图导入PS中，利用画笔和着色器对线框图进行着色处理，运用相应 的色彩平衡原理和饱和度，得到精细企鹅仿真度极高的JPG格式的人像贴图。
5)人像模型上色
将JPG格式的人像贴图添加到3DMAX中的材质球上面，将材质球赋予到人 像模型上面，得到高清逼真的人像模型。
所述的全息教师模块包括以下软件模块的制作：红外识别软件：红外范围识 别，待机状态监测到人靠近，触发红外信号，开始虚拟迎宾模式。全息视频控制 软件：控制全息视频的播放，且不同模式对应不同视频；
所述的环幕互动模块的设计实现如下：
环幕互动模块是由环幕立体投影模块和互动模块构成，包括环幕投影幕布、 投影仪A、投影仪B、融合处理器、空间定位摄像头、手柄、3D眼镜、音箱、服 务器、观众席。
利用融合处理器系统，既实现了投影仪A画面与投影仪B画面两边的完全 融合，又消除了重叠拼接引起的过亮区域，让整个画面完整、清晰的显示在环幕 上。
所述融合处理器系统实现过程：
11)两台SONNOC SNP-LU6600高端激光工程投影机、互动环幕、融合处理 器通信。
12)图像预处理，对数字化、平滑、复原、增强、图像去噪、图像配准。
13)运用对比度传递(Luminance_contrast_adjust_transfer)技术，采用核心 的算法：
设M为输入图像，F为调整后的输出图像，mean代表M的均值，mean_ref 是参考图像的均值，ms为M的均值方差，msref为参考图像的均值方差。得出 的均值方差反映图像的平均亮度，方差表示图像的对比度。调整两台投影机画面 的亮度和对比度。
14)运用直方图规格化技术，原理为：
在归一化[0,1]的连续区间中，令r和z分别表示输入图像与输出图像的灰 度级。输入灰度级的概率密度函数Pr(r)，输出灰度级的概率密度函数Pz(z)。 有直方图均衡化可得变换：
使输出图像得到变换后的灰度调整。
环幕前方有4个空间定位摄像头，班长在环幕前方区域(区域面积5m*3m) 站立或走动，利用佩戴有定位功能的3D眼镜，并操作手柄，通过服务器的控制 来实现班长(“透明人”)在多人协同模式的试验空间内的空间定位及位置变换。
所述环幕观看视角实现：3D主动立体眼镜基于快门式3D技术实现3D立体 效果，其原理是根据人眼对影像频率的刷新时间来实现的，通过提高画面的快速 刷新率(至少要达到120Hz)左眼和右眼各60Hz的快速刷新图象才会让人对图 象不会产生抖动感，并且保持与2D视像相同的帧数，观众的两只眼睛看到快速 切换的不同画面，并且在大脑中产生错觉，便观看到立体影像。
实现过程：
1)TCP协议，实现数据之间的相互通信。
2)接入3D主动立体眼镜SDK，红外信号发射器同步控制快门式3D眼镜的 左右镜片开关，使左、右双眼能够在正确的时刻看到相应画面。
3)提高图像画面的刷新率，实现高品质的3D立体图像效果。
4)接入Optitrck flex光学位置摄像头SDK，使用Optitrck flex光学位置摄像 头对实时的影像空间位置追踪，获得实时虚拟影像的同步显示。
进一步的，当学员在仿真培训终端上进行仿真培训学习时，针对多人协同操 作，其流程步骤操作如下，以“现场取油样试验”为例进行说明。多人协同操作 时，学员之间按照任务划分，在仿真培训终端上来共同完成试验内容，且学员之 间的操作是相互可见的，通过步骤的提升完成所有试验流程操作；观众中选定的 某个人(班长)通过佩戴有定位功能的3D立体眼镜观看环幕投影，并利用手柄 或在环幕前方走动(5m*3m的区域里)来切换观看的视角，即“班长”是参与 协同操作的第5人(透明人，即“上帝视角”)，他不实际参与试验项目操作，但 能观看到整个试验过程，且能具体的观看某个学员的操作；而坐在观众席位的观 众通过佩戴3D主动立体眼镜，观看的内容与“上帝视角”观看的内容相同的， 即二者视角相同。
所述虚拟仿真培训模块的设计实现如下：
虚拟仿真培训模块是基于虚拟现实技术、光学动捕和人机互动技术的电气设 备绝缘试验环幕互动仿真培训系统，共由五个子模块共17个试验项目的实操培 训。
虚拟现实是模拟电气设备试验的环境及具体试验过程，包括场景模型建设、 三维模型处理、试验操作流程模拟整合。主要包括以下内容：
(1)试验场地建筑及周边环境建模
变电站环境模型制作，包括变电站的主要试验设备、周边建筑、地形绿化等 模型制作。
(2)试验设备制作
建模内容包含变压器试验设备、避雷器试验设备、互感器试验设备、断路器 试验设备和化学试验设备模型制作。
(3)所有类型仪器工具制作
建模内容包括17个试验流程分别是：变压器变比测试、变压器感应耐压试 验和局部放电试验、变压器绝缘电阻测试、变压器连同套管介质损耗测试、变压 器绕组变形试验、变压器有载分接开关测试、变压器直流电阻测试；断路器机械 特性测试、断路器导电回路电阻测试；互感器介质损耗试验、互感器绝缘电阻试 验；氧化锌避雷器直流参考电压及泄漏电流测试；现场取油样(注射器、广口瓶)、 现场气体取样(钢瓶)、现场气体化验(分解物检测)、现场气体化验(湿度检测)、 现场气体化验(纯度检测)；所需要用到的所有仪器工具制作。
(4)工具室制作
根据流程需要选取相应的仪器工具，需要将这些仪器工具整合在一个工具室。
(5)流程动画制作
包括17个试验流程每个流程所有的交互步骤的人物、仪器、工具等动画制 作。
学员利用培训终端进入培训系统后，会出现5个子模块界面，分别是变压器 高压试验模块、断路器试验模块、互感器试验模块、避雷器试验模块、化学试验 模块。选择进入相应的模块后会出现3个次级模块界面，分别是单人操作模式、 多人协同模式和漫游模式，对应功能如下：
(1)单人操作模式：试验的全流程供学员学习，可以选择某个特定的试验 操作流程进行培训学习，学员通过提升完成每步操作流程。
(2)多人协同模式：由某个学员发起协同请求，建立一个多人协同模式的 试验空间，来完成某个特定的试验操作，待其它学员都加入试验空间后，即可进 行试验操作。学员之间按照任务划分，来共同完成试验内容，且学员之间的操作 是相互可见的，通过步骤的提升完成所有试验流程学习；观众通过佩戴3D主动 立体眼镜，观看环幕投影可以进入试验场景观看学员的操作。
(3)漫游模式：即可对场景及试验流程进行观看。每个试验模块都可以通 过选择进行手动漫游和自动漫游的方式对试验场景进行观看，便于学员了解和熟 悉整个场景的布局。
仿真培训系统中学员只能进行每个步骤的正确操作，每步流程都会通过语音、 文字和高亮的表现方式指引学员进行该步骤的操作，学员在培训过程中不能跳过 步骤进行操作。
Claims (7)
1.一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，它包括：全息教师模块、环幕互动模块和虚拟仿真培训模块，整个系统部署在同一局域网络环境下，通过局域网进行数据通信，让全息教师模块、环幕互动模块和虚拟仿真培训模块互相通讯；
虚拟仿真培训模块：学员利用虚拟仿真培训模块进行培训学习，利用终端独立完成某个特定试验流程的所有内容；
环幕互动模块：环幕互动模块包括环幕立体投影模块和互动模块；环幕立体投影模块采用弧形环状的投影屏幕作为投射载体，利用2台投影机及融合处理器系统投射出无缝统一、逼真立体的完美影像，配合音响系统，营造出一种虚拟仿真显示环境；互动模块是通过环幕上方的4个空间定位摄像头来捕捉环幕前方佩戴定位功能的3D眼镜的观众或班长的动作，并识别操作手柄的发出的指令，来实现互动功能；
全息教师模块：是基于全息投影技术、虚拟主持人技术的全息投影互动系统，全息教师模块通过制造真人像模型，具备迎宾和教师两个功能；
所述全息教师模块的实现方法包括：基于全息投影技术和虚拟主持人技术的全息投影互动系统，通过拍摄录制相应教学视频，运用三维动画、人机互动红外感应装置、全息显示和投影机背投技术来建设真人像模型，让教师具备自动迎宾和教师角色的功能；所述真人像模型的实现方法包括：
仿真人物的素材照片采集：使用1600万像素的相机对所需仿真的人物进行360度照片拍摄，采集外形、五官和整体三视图的JPG格式素材照片；
人像模型制作：采用镜像复刻人像模型的方法，使用面片建模的建模方法，从头部开始直至脚部，通过点、线、面的构建方式，通过采集的照片进行布线，得到完整的人像模型；
展开人像模型：使用unwrap uvw命令，对人像模型的点、线、面进行断开和捕捉，平整的展开到方框里，得到一个PNG格式的线框图；
人像模型贴图制作：将线框图导入PS中，利用画笔和着色器对线框图进行着色处理，运用色彩平衡原理和饱和度，得到JPG格式的人像贴图；
人像模型上色：将JPG格式的人像贴图添加到3DMAX中的材质球上面，将材质球赋予到人像模型上面，得到所述的真人像模型。
2.根据权利要求1所述的一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，其特征在于：所述全息教师模块包括：
迎宾功能：在没有进行仿真试验的情况下有参观人员进入实训室参观，全息屏幕通过人体红外感应装置能感应到人员，自动致欢迎辞，并播放对应的视频动画，对仿真培训课程内容进行讲解，实现课程介绍的功能；
教师功能：学员通过环幕和虚拟仿真培训终端进行培训时，全息教师与学员进行互动。
3.根据权利要求1所述的一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，其特征在于：环幕互动模块的班长是环幕前方观看环幕投影的观众的一员，班长手持操作手柄、佩戴定位功能的3D眼镜，在环幕前方走动；而观众则坐在座位上、佩戴3D眼镜观看环幕投影；班长进入多人协同模式的试验空间，不参与试验项目操作，只观看到整个试验过程；所述多人协同模式的试验空间是由操作仿真培训终端的某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作，学员都加入试验空间后，即可进行试验操作；学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的，完成所有试验流程学习；观众通过佩戴3D主动立体眼镜，观看环幕投影进入试验场景观看学员的操作。
4.根据权利要求1所述的一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，其特征在于：所述虚拟仿真培训模块是通过模拟电气设备试验的环境及试验过程，建立电气设备绝缘试验仿真培训及仿真考核系统，通过对试验准备、试验过程的操作、试验结果的模拟，让学员掌握电气设备绝缘试验的标准操作流程，并利用仿真考核系统来考察学员对试验原理及试验操作。
5.根据权利要求1所述的一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，其特征在于：环幕互动模块的实现方法包括：
硬件准备：所属硬件包括环幕投影幕布、投影仪A、投影仪B、融合处理器、空间定位摄像头、手柄、3D眼镜、音箱、服务器和观众席；
融合处理：利用融合处理器系统，实现投影仪A画面与投影仪B画面两边的完全融合，消除重叠拼接引起的过亮区域，让整个画面完整、清晰的显示在环幕上；
所述融合处理器系统的实现方法包括：
1)将两台SONNOC SNP-LU6600高端激光工程投影机和互动环幕与融合处理器通信；
2)图像预处理，对图像进行数字化、平滑、复原、增强、图像去噪和图像配准；
3)运用对比度传递技术，采用算法：
式中M为输入图像，F为调整后的输出图像，mean代表M的均值，mean_ref是参考图像的均值，ms为M的均值方差，msref为参考图像的均值方差；得出的均值方差反映图像的平均亮度，方差表示图像的对比度，调整两台投影机画面的亮度和对比度；
4)运用直方图规格化技术，在归一化[0,1]的连续区间中，令r和z分别表示输入图像与输出图像的灰度级，输入灰度级的概率密度函数Pr(r)，输出灰度级的概率密度函数Pz(z)，用直方图均衡化得变换：
使输出图像得到变换后的灰度调整；
5)通过环幕前方的4个空间定位摄像头，班长在环幕前方区域站立或走动，利用佩戴有定位功能的3D眼镜并操作手柄，通过服务器的控制来实现班长在多人协同模式的试验空间内的空间定位及位置变换。
6.根据权利要求4所述的一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，其特征在于：所述虚拟仿真培训模块的实现方法为：基于虚拟现实技术、光学动捕和人机互动技术建立电气设备绝缘试验环幕互动仿真培训系统完成试验项目的实操培训；虚拟现实技术是模拟电气设备试验的环境及试验过程，包括：包括场景模型建设、三维模型处理和试验操作流程模拟整合；
(1)场景模型建设：变电站环境模型制作，包括变电站的试验设备、周边建筑和地形绿化模型制作；
(2)试验设备制作：建模内容包含变压器试验设备、避雷器试验设备、互感器试验设备、断路器试验设备和化学试验设备模型制作；
(3)类型仪器工具制作：建模内容包括试验流程：变压器变比测试、变压器感应耐压试验和局部放电试验、变压器绝缘电阻测试、变压器连同套管介质损耗测试、变压器绕组变形试验、变压器有载分接开关测试、变压器直流电阻测试；断路器机械特性测试、断路器导电回路电阻测试；互感器介质损耗试验、互感器绝缘电阻试验；氧化锌避雷器直流参考电压及泄漏电流测试；现场取油样、现场气体取样、现场气体分解物检测化验、现场气体湿度检测化验、现场气体纯度检测化验需要用到的所有仪器工具制作；
(4)工具室制作：根据流程选取相应的仪器工具，将这些仪器工具整合在一个工具室；
(5)流程动画制作：包括每个试验流程所有的交互步骤的人物、仪器工具的 动画制作。
7.根据权利要求3所述的一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，其特征在于：所述仿真培训终端包括5个子模块界面，分别是变压器高压试验模块、断路器试验模块、互感器试验模块、避雷器试验模块和化学试验模块；选择进入每个模块后，出现3个次级模块界面，分别是单人操作模式、多人协同模式和漫游模式：
所述单人操作模式：提供试验的全流程供学员学习，选择某个特定的试验操作流程进行培训学习；
所述多人协同模式：某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作，学员都加入试验空间后，即进行试验操作；学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的，学员按步骤完成所有试验流程学习；观众通过佩戴3D主动立体眼镜，观看环幕投影进入试验场景观看学员的操作；
所述漫游模式：对场景及试验流程进行观看，每个试验模块都可以通过选择进行手动漫游和自动漫游的方式对试验场景进行观看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910636320.9A CN110444066B (zh) | 2019-07-15 | 2019-07-15 | 基于全息教师及环幕互动的电气设备绝缘试验培训系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910636320.9A CN110444066B (zh) | 2019-07-15 | 2019-07-15 | 基于全息教师及环幕互动的电气设备绝缘试验培训系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110444066A CN110444066A (zh) | 2019-11-12 |
| CN110444066B true CN110444066B (zh) | 2021-09-28 |
Family
ID=68430448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910636320.9A Active CN110444066B (zh) | 2019-07-15 | 2019-07-15 | 基于全息教师及环幕互动的电气设备绝缘试验培训系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110444066B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967402A (zh) * | 2021-02-02 | 2021-06-15 | 平高集团有限公司 | 基于全息影像的开关设备交互式培训系统 |
| CN113393720A (zh) * | 2021-07-13 | 2021-09-14 | 国网浙江省电力有限公司浦江县供电公司 | 一种接地线vr培训室及培训方法 |
| CN114067622A (zh) * | 2021-11-25 | 2022-02-18 | 东莞市奥来文化科技有限公司 | 一种沉浸式全息ar未来教室系统及其教学方法 |
| CN114281193A (zh) * | 2021-12-24 | 2022-04-05 | 杭州电子科技大学 | 环幕场景下基于手势识别的虚拟现实交互装置 |
| CN114973835B (zh) * | 2022-06-22 | 2024-03-22 | 常州萃思信息科技有限公司 | 一种数字化深度沉浸式互动学习模型训练系统及实现方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968934A (zh) * | 2010-09-26 | 2011-02-09 | 煤炭科学研究总院重庆研究院 | 矿井仿真模拟培训演练系统 |
| CN102688603A (zh) * | 2011-03-22 | 2012-09-26 | 王鹏勃 | 基于增强现实与动作识别技术的实时魔幻类舞台表演的系统与方法 |
| CN104623888A (zh) * | 2013-11-14 | 2015-05-20 | 西安天动数字科技有限公司 | 一种虚拟对弈系统 |
| CN105824421A (zh) * | 2016-03-21 | 2016-08-03 | 北京上古视觉科技有限公司 | 基于全息投影交互方式的多模态生物识别系统及方法 |
| CN107340859A (zh) * | 2017-06-14 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人的多模态交互方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8860688B2 (en) * | 2011-03-02 | 2014-10-14 | Smart Technologies Ulc | 3D interactive input system and method |
-
2019
- 2019-07-15 CN CN201910636320.9A patent/CN110444066B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968934A (zh) * | 2010-09-26 | 2011-02-09 | 煤炭科学研究总院重庆研究院 | 矿井仿真模拟培训演练系统 |
| CN102688603A (zh) * | 2011-03-22 | 2012-09-26 | 王鹏勃 | 基于增强现实与动作识别技术的实时魔幻类舞台表演的系统与方法 |
| CN104623888A (zh) * | 2013-11-14 | 2015-05-20 | 西安天动数字科技有限公司 | 一种虚拟对弈系统 |
| CN105824421A (zh) * | 2016-03-21 | 2016-08-03 | 北京上古视觉科技有限公司 | 基于全息投影交互方式的多模态生物识别系统及方法 |
| CN107340859A (zh) * | 2017-06-14 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人的多模态交互方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110444066A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110444066B (zh) | 基于全息教师及环幕互动的电气设备绝缘试验培训系统 | |
| CN111240490A (zh) | 基于vr虚拟沉浸及环幕互动的设备绝缘试验培训系统 | |
| KR101505060B1 (ko) | 가상 현실 연동 서비스 제공 시스템 및 그 방법 | |
| CN110310530B (zh) | 基于环幕互动的电气设备绝缘试验仿真培训全息教师系统 | |
| CN103533445B (zh) | 一种基于主动交互的飞翔影院播放系统 | |
| CN111862711A (zh) | 一种基于5g物联虚拟现实娱乐休闲学习装置 | |
| CN108665555A (zh) | 一种融入真实人物形象的孤独症干预系统 | |
| CN201853377U (zh) | 一种用于虚拟互动教学系统的教室装置 | |
| CN208985412U (zh) | 智慧教育物理环境系统 | |
| Wallgrün et al. | Low-cost VR applications to experience real word places anytime, anywhere, and with anyone | |
| CN110738881A (zh) | 变电运行仿真实训系统及方法 | |
| KR101757420B1 (ko) | 투명 디스플레이를 이용한 상호작용 기반의 원격 화상 통신 및 강의 시스템 | |
| CN112071130A (zh) | 基于vr技术的知识教育系统及教育方法 | |
| KR20210097268A (ko) | 가상현실을 이용한 원격 교육 시스템 | |
| CN113941138A (zh) | 一种ar交互控制系统、装置及应用 | |
| CN210583568U (zh) | 一种智慧滑雪健身仿真模拟器 | |
| Yang et al. | A study of collaborative dancing in tele-immersive environments | |
| CN116117834A (zh) | 可交互的机器人变色系统 | |
| CN113577795B (zh) | 一种舞台视觉空间构建的方法 | |
| CN207216694U (zh) | 一种用于学生安全教育的虚拟现实系统 | |
| CN114067622A (zh) | 一种沉浸式全息ar未来教室系统及其教学方法 | |
| Guo | Research on application of digital interactive display technology in digital museum | |
| CN105225564A (zh) | 基于三维的电力系统通信反事故演练平台 | |
| Knudsen et al. | Presence production in a distributed shared virtual environment for exploring mathematics | |
| Hrad et al. | NEWTON-Vision and Reality of Future Education |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Ying Inventor after: Mu Hao Inventor after: Yu Pengcheng Inventor before: Zhang Ying Inventor before: Mu Hao Inventor before: Zhang Jing Inventor before: Yu Pengcheng |
|
| CB03 | Change of inventor or designer information |