CN111899590B - 一种仿真操作培训过程的混合现实观摩方法 - Google Patents

一种仿真操作培训过程的混合现实观摩方法 Download PDF

Info

Publication number
CN111899590B
CN111899590B CN202010863304.6A CN202010863304A CN111899590B CN 111899590 B CN111899590 B CN 111899590B CN 202010863304 A CN202010863304 A CN 202010863304A CN 111899590 B CN111899590 B CN 111899590B
Authority
CN
China
Prior art keywords
simulation
scene
training
mixed reality
virtual scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010863304.6A
Other languages
English (en)
Other versions
CN111899590A (zh
Inventor
苏虎
黄艳
陈宏川
吴典儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Hezong Lianheng Digital Technology Co ltd
Original Assignee
Chengdu Hezong Lianheng Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Hezong Lianheng Digital Technology Co ltd filed Critical Chengdu Hezong Lianheng Digital Technology Co ltd
Priority to CN202010863304.6A priority Critical patent/CN111899590B/zh
Publication of CN111899590A publication Critical patent/CN111899590A/zh
Application granted granted Critical
Publication of CN111899590B publication Critical patent/CN111899590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种仿真操作培训过程的混合现实观摩方法，仿真培训系统启动后，混合现实观摩系统启动，将自身系统注册为仿真培训系统的信息接收端，通过网络及相关数据传输协议从仿真培训系统接收仿真培训的状态参数。混合现实观摩系统利用状态参数驱动中加载的虚拟场景，并将需展示的状态参数在场景中显示。本发明将拍摄到的仿真设备或系统实时画面与仿真训练的虚拟场景进行混合，在不打扰仿真训练的情况下，向观摩学员提供一个与真实仿真训练环境高度一致的观摩教学环境；并对令观摩学员可以进入虚拟的仿真运行环境，根据需要从多个角度实时观摩整个仿真操作培训过程，观摩过程对操作者的仿真培训过程无任何打扰，有助于提升观摩教学的效果。

Description

一种仿真操作培训过程的混合现实观摩方法
技术领域
本发明虚拟现实领域，尤其涉及一种仿真操作培训过程的混合现实观摩方法。
背景技术
观摩教学是指在培训过程中，未直接参加训练的学员可通过对操作培训过程的观摩来学习操作要领，通过发现别人培训操作中的问题来识别错误操作、避免自己犯错，进而提高培训效率、提升培训效果。
在仿真器上进行仿真操作培训是常用的现代化培训手段。仿真培训通常具有设备实物与虚拟场景结合的特点。当进行仿真培训时，因仿真器空间限制、避免打扰训练等原因，通常只允许操作者及少数观摩学员进入仿真器。其他学员只能在仿真器外部通过摄像机监控画面、系统运行分屏画面等来实现观摩教学。观摩学员无法直观感受操作者所处的仿真运行环境，这是造成观摩教学效果不佳的主要原因。
发明内容
本发明的目的在于克服现有技术的不足，提供一种仿真操作培训过程的混合现实观摩方法，该方法将拍摄到的仿真设备或系统实时画面与仿真训练的虚拟场景进行混合，在不打扰仿真训练的情况下，向观摩学员提供一个与真实仿真训练环境高度一致的观摩教学环境。
本发明的目的是通过以下技术方案来实现的：一种仿真操作培训过程的混合现实观摩方法，包括以下步骤：
S1. 将N个摄像头安装于仿真培训系统的指定位置，并对摄像机的内、外参数P1...PN经过标定；其中，所述外参数建立于以基准点为原点的全局坐标系Cg中；
S2. 当仿真培训系统加载训练课程时，混合现实观摩系统同步加载当前仿真课程的虚拟场景VS；其中，所述虚拟场景VS建立于场景全局坐标系Cc中；
S3. 在虚拟场景VS中，去除仿真系统中所配备设备实物设备对应的三维模型，并通过N个由简单形状组成的几何体集合G1...GN，将模型被去除留下的空洞进行填充；
S4. 根据已标定的摄像机内外参数P1...PN、全局坐标系Cg与场景全局坐标系Cc，建立摄像机视频画面V1...VN与全局坐标系Cc中几何体集合G1...GN的映射关系R1...RN；
S5. 对几何体进行动态纹理与亮度调整处理；
S6. 将处理后的场景通过左右视差方式进行实时渲染，输出到虚拟现实头显设备，供观摩学员观看。
所述步骤S2具体为，当仿真培训系统加载训练课程时，混合现实观摩系统启动，将自身系统注册为仿真培训系统的信息接收端，通过网络及相关数据传输协议从仿真培训系统接收仿真培训的状态参数；混合现实观摩系统利用这些状态参数驱动中加载的虚拟场景，并将需展示的状态参数在场景中显示。
所述步骤S4中的映射关系为归一化的视频画面V1...VN二维坐标与三维空间上G1...GN内所有几何体顶点的纹理坐标的映射。
所述步骤S5包括以下子步骤：
S501. 将视频画面V1...VN注册为N个2D动态纹理T1...TN；
S502. 通过步骤S4中建立的映射关系R1...RN，将N个2D动态纹理T1...TN映射到虚拟场景中的几何体集合G1...GN的所有几何体上；
S503. 根据预设的光照阈值，调整几何体的亮度；将带有动态视频纹理的几何体集合G1...GN与虚拟场景进行融合。
本发明采用混合现实技术，将拍摄到的仿真设备或系统实时画面与仿真训练的虚拟场景进行混合，在不打扰仿真训练的情况下，向观摩学员提供一个与真实仿真训练环境高度一致的观摩教学环境；令观摩学员可以进入虚拟的仿真运行环境，根据需要从多个角度实时观摩整个仿真操作培训过程，观摩过程对操作者的仿真培训过程无任何打扰，有助于提升观摩教学的效果。
附图说明
图1是本发明的发明流程框图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本实施例的工作原理流程如下：
如图1，一种仿真操作培训过程的混合现实观摩方法，包括以下步骤：
一种仿真操作培训过程的混合现实观摩方法，包括以下步骤：
S1. 将N个摄像头安装于仿真培训系统的指定位置，并对摄像机的内、外参数P1...PN经过标定；其中，所述外参数建立于以基准点为原点的全局坐标系Cg中；
S2. 当仿真培训系统加载训练课程时，混合现实观摩系统同步加载当前仿真课程的虚拟场景VS；其中，所述虚拟场景VS建立于场景全局坐标系Cc中；
S3. 在虚拟场景VS中，去除仿真系统中所配备设备实物设备对应的三维模型，并通过N个由简单形状组成的几何体集合G1...GN，将模型被去除留下的空洞进行填充；
S4. 根据已标定的摄像机内外参数P1...PN、全局坐标系Cg与场景全局坐标系Cc，建立摄像机视频画面V1...VN与全局坐标系Cc中几何体集合G1...GN的映射关系R1...RN；
S5. 对几何体进行动态纹理与亮度调整处理；
S6. 将处理后的场景通过左右视差方式进行实时渲染，输出到虚拟现实头显设备，供观摩学员观看。
所述步骤S2具体为，当仿真培训系统加载训练课程时，混合现实观摩系统启动，将自身系统注册为仿真培训系统的信息接收端，通过网络及相关数据传输协议从仿真培训系统接收仿真培训的状态参数；混合现实观摩系统利用这些状态参数驱动中加载的虚拟场景，并将需展示的状态参数在场景中显示。
所述步骤S4中的映射关系为归一化的视频画面V1...VN二维坐标与三维空间上G1...GN内所有几何体顶点的纹理坐标的映射。
所述步骤S5包括以下子步骤：
S501. 将视频画面V1...VN注册为N个2D动态纹理T1...TN；
S502. 通过步骤S4中建立的映射关系R1...RN，将N个2D动态纹理T1...TN映射到虚拟场景中的几何体集合G1...GN的所有几何体上；
S503. 根据预设的光照阈值，调整几何体的亮度；将带有动态视频纹理的几何体集合G1...GN与虚拟场景进行融合。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种仿真操作培训过程的混合现实观摩方法，其特征在于，包括以下步骤：
S1. 将N个摄像头安装于仿真培训系统的指定位置，并对摄像机的内、外参数P1...PN进行标定；其中，所述外参数建立于以基准点为原点的全局坐标系Cg中；
S2. 当仿真培训系统加载训练课程时，混合现实观摩系统同步加载当前仿真课程的虚拟场景VS；其中，所述虚拟场景VS建立于场景全局坐标系Cc中；步骤S2具体为，当仿真培训系统加载训练课程时，混合现实观摩系统启动，将自身系统注册为仿真培训系统的信息接收端，通过网络及相关数据传输协议从仿真培训系统接收仿真培训的状态参数；混合现实观摩系统利用这些状态参数驱动中加载的虚拟场景，并将需展示的状态参数在场景中显示；
S3. 在虚拟场景VS中，去除仿真系统中所配备设备实物设备对应的三维模型，并通过N个由简单形状组成的几何体集合G1...GN，将模型被去除留下的空洞进行填充；
S4. 根据已标定的摄像机内外参数P1...PN、全局坐标系Cg与场景全局坐标系Cc，建立摄像机视频画面V1...VN与场景全局坐标系Cc中几何体集合G1...GN的映射关系R1...RN；步骤S4中的映射关系为归一化的视频画面V1...VN二维坐标与三维空间上G1...GN内所有几何体顶点的纹理坐标的映射；
S5. 对几何体进行动态纹理与亮度调整处理；步骤S5包括以下子步骤：
S501. 将视频画面V1...VN注册为N个2D动态纹理T1...TN；
S502. 通过步骤S4中建立的映射关系R1...RN，将N个2D动态纹理T1...TN映射到虚拟场景中的几何体集合G1...GN的所有几何体上；
S503. 根据预设的光照阈值，调整几何体的亮度；将带有动态纹理的几何体集合G1...GN与虚拟场景进行融合；
S6. 将处理后的场景通过左右视差方式进行实时渲染，输出到虚拟现实头显设备，供观摩学员观看。
CN202010863304.6A 2020-08-25 2020-08-25 一种仿真操作培训过程的混合现实观摩方法 Active CN111899590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863304.6A CN111899590B (zh) 2020-08-25 2020-08-25 一种仿真操作培训过程的混合现实观摩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863304.6A CN111899590B (zh) 2020-08-25 2020-08-25 一种仿真操作培训过程的混合现实观摩方法

Publications (2)

Publication Number Publication Date
CN111899590A CN111899590A (zh) 2020-11-06
CN111899590B true CN111899590B (zh) 2022-03-11

Family

ID=73225380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863304.6A Active CN111899590B (zh) 2020-08-25 2020-08-25 一种仿真操作培训过程的混合现实观摩方法

Country Status (1)

Country Link
CN (1) CN111899590B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106898049A (zh) * 2017-01-18 2017-06-27 北京商询科技有限公司 一种用于混合现实设备的空间匹配方法及系统
CN109427094A (zh) * 2017-08-28 2019-03-05 福建天晴数码有限公司 一种获取混合现实场景的方法及系统
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN109859538A (zh) * 2019-03-28 2019-06-07 中广核工程有限公司 一种基于混合现实的关键设备培训系统及方法
CN109961520A (zh) * 2019-01-29 2019-07-02 深圳职业技术学院 一种基于第三视角技术的vr/mr教室及其构建方法
CN111047708A (zh) * 2019-11-26 2020-04-21 中国人民解放军空军工程大学 一种基于混合现实的复杂设备高风险项目训练系统
CN111508285A (zh) * 2020-04-24 2020-08-07 中国人民解放军总医院 一种基于混合现实的医学急救培训方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017214559A1 (en) * 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality architectural design environment
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
CN108053694A (zh) * 2017-12-29 2018-05-18 杭州百子尖科技有限公司 基于虚拟增强现实的化工安全生产模拟和培训的系统及方法
US11972529B2 (en) * 2019-02-01 2024-04-30 Snap Inc. Augmented reality system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106898049A (zh) * 2017-01-18 2017-06-27 北京商询科技有限公司 一种用于混合现实设备的空间匹配方法及系统
CN109427094A (zh) * 2017-08-28 2019-03-05 福建天晴数码有限公司 一种获取混合现实场景的方法及系统
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN109961520A (zh) * 2019-01-29 2019-07-02 深圳职业技术学院 一种基于第三视角技术的vr/mr教室及其构建方法
CN109859538A (zh) * 2019-03-28 2019-06-07 中广核工程有限公司 一种基于混合现实的关键设备培训系统及方法
CN111047708A (zh) * 2019-11-26 2020-04-21 中国人民解放军空军工程大学 一种基于混合现实的复杂设备高风险项目训练系统
CN111508285A (zh) * 2020-04-24 2020-08-07 中国人民解放军总医院 一种基于混合现实的医学急救培训方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于混合现实的新型轻量级飞行模拟器系统;罗斌，姚鹏，翁冬冬，刘越，王涌天;《系统仿真学报》;20090930;5048、5049 *

Also Published As

Publication number Publication date
CN111899590A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US10602121B2 (en) Method, system and apparatus for capture-based immersive telepresence in virtual environment
CN109348119B (zh) 一种全景监控系统
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
WO2018112695A1 (zh) 一种画面显示的方法及移动终端
CN101999139A (zh) 用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视系统以及计算机程序
CN115174963B (zh) 视频生成方法、视频帧生成方法、装置及电子设备
CN106558017A (zh) 球形显示图像处理方法及系统
WO2023207963A1 (zh) 图像处理方法、装置、电子设备及存储介质
GB2596662A (en) Displaying objects based on a plurality of models
WO2021249140A1 (zh) 电烙铁操作指导信息生成方法、系统
CN115294207A (zh) 智慧校园监控视频与三维gis模型的融合调度系统及方法
US20220036644A1 (en) Image processing apparatus, image processing method, and program
CN113936121B (zh) 一种ar标注设置方法以及远程协作系统
CN113515193B (zh) 一种模型数据传输方法及装置
CN111932446B (zh) 三维全景地图的构建方法及装置
CN111899590B (zh) 一种仿真操作培训过程的混合现实观摩方法
CN112419827A (zh) 一种基于mr混合现实技术智能制造实训系统
CN109427094B (zh) 一种获取混合现实场景的方法及系统
CN114970177A (zh) 基于cave的沉浸式舰船动力仿真交互系统
CN114011066A (zh) 一种适用于ROS系统的Unity3D下视觉传感器的仿真方法
CN110288862B (zh) 三维教学模型控制方法、电子设备和可读存储介质
EP4135317A3 (en) Stereoscopic image acquisition method, electronic device and storage medium
CN116074485A (zh) 一种基于增强现实的通话方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant