CN107578663A - 一种基于虚拟现实操控手柄的教学实验操控方法 - Google Patents
一种基于虚拟现实操控手柄的教学实验操控方法 Download PDFInfo
- Publication number
- CN107578663A CN107578663A CN201710910967.7A CN201710910967A CN107578663A CN 107578663 A CN107578663 A CN 107578663A CN 201710910967 A CN201710910967 A CN 201710910967A CN 107578663 A CN107578663 A CN 107578663A
- Authority
- CN
- China
- Prior art keywords
- experiment
- handle
- display screen
- models
- motion capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种基于虚拟现实操控手柄的教学实验操控方法，用户通过动作捕捉手柄选择待操作的实验内容和其中用到的实验用具，然后动作捕捉手柄与实验用具实现虚拟互联，此时动作捕捉手柄上的动作捕捉传感器会实时采集手柄的运动过程，然后将采集信息实时发送给主控制器，主控制器将采集信息输出给其模型操控模块，模型操控模块操控实验用具的3D模型进行运功并于显示屏中显示运动过程实现对应的虚拟操作。本发明通过手柄输入选择控制信息并且在选择确定后启动动作捕捉功能，实现手柄运动的信息捕捉，并通过主控制器对3D模型进行运动处理后通过无线网络发送给显示屏进行对应的显示，无需外设动作捕捉设备，即可实现虚拟现实的互动操控功能。
Description
技术领域
本发明涉及基于虚拟现实的学习系统，一种基于虚拟现实操控手柄的教学实验操控方法。
背景技术
目前的教学模式还大多以书本进行教学，偶尔进行一些教学实验进行辅助教学。书本的内容多以文字和图片进行指导，不够立体，学生只能对书本中的内容进行背诵记录，无法通过实验操作实现因效施教。而为了实现实验教学的目的，学校需要大量采购实验仪器或实验试剂等，造成教学成本的增高，且实验中会存在着危险，需要做好实验的防范措施，避免学生受伤。
发明内容
本发明要解决的技术问题是提供基于虚拟现实操控手柄的教学实验操控方法，采用虚拟现实技术，。
本发明的技术方案为：
一种基于虚拟现实操控手柄的教学实验操控方法，首先用户通过动作捕捉手柄相对于显示屏选择待操作的实验内容，当选择完成后，进入对应的教学实验画面，此时，显示屏上会在选择的实验场景内显示多种实验用具，此时通过动作捕捉手柄选择对应的实验用具，用户通过动作捕捉手柄确认实验用具后，即动作捕捉手柄与实验用具实现虚拟互联，此时动作捕捉手柄上的动作捕捉传感器会实时采集手柄的运动速度、位移和运动方向，然后将采集信息实时发送给主控制器，主控制器将采集信息输出给其模型操控模块，模型操控模块操控实验用具的3D模型进行运功并于显示屏中显示运动过程，当运动至对应的位置时，用户通过动作捕捉手柄确认定位，主控制器会自动控制3D场景和3D模型进行下一步的动作并发送给显示屏进行显示，当显示屏播放完毕后，控制器会将下一步的控制指令发送给显示屏显示，用户根据显示屏的控制指令进行下一步的实验操作。
所述的动作捕捉手柄内集成有主控制器，分别与主控制器连接的存储器、选择输入按键、动作捕捉传感器和无线传输模块，所述的选择输入按键包括有方向选择键和确认键，所述的主控制器通过无线传输模块与带有无线传输功能的显示屏连接。
所述的实验内容的选择画面、实验用具的选择画面、实验场景的3D模型、实验用具的3D模型、控制命令数据库均设置于所述的存储器中，主控制器首先将所有实验内容的选择画面发送给显示屏进行显示，用户根据选择输入按键选择对应的待操作的实验场景和实验内容，当选择完后，主控制器从存储器中提取对应的实验场景的3D模型并发送给显示屏显示，然后将当前实验内容对应的所有实验用具的画面发送至显示屏显示，用户通过输入按键选择并确认对应的实验用具后，主控制器会从存储器中提取对应实验用具的3D模型并叠加于实验场景的3D模型中并发送至显示屏显示，然后动作捕捉手柄与实验用具实现虚拟互联，从而进行后续的实验操作。
所述的动作捕捉手柄与实验用具实现虚拟互联后，控制器的坐标系定位模块会将此时实验用具对应的图像位置确定为原点，然后确立图像三维坐标系，模型操控模块控制实验用具的3D模型在图像三维坐标系内进行对应速度的三维运动。
所述的控制器自动控制3D场景和3D模型进行下一步的动作的具体步骤是：控制器接受到定位操作信息后，模型操控模块从存储器中提取对应的实验场景和实验用具的自动化3D操作画面然后发送给显示屏进行后续的实验操作显示。
所述的存储器设置有多个实验内容数据库，每个实验内容数据库内存储有对应的一个实验场景的3D模型、多个实验用具的选择画面和3D模型、以及自动化3D操作画面，主控制器根据虚拟现实操控手柄的输入信息提取存储器中对应实验内容数据库内的内容进行处理并发送给显示屏进行显示。
本发明的优点：
本发明的虚拟现实操控手柄集合有输入控制功能和动作捕捉功能，可通过手柄输入选择控制信息并且在选择确定后启动动作捕捉功能，实现手柄运动的信息捕捉，并通过主控制器对3D模型进行运动处理后通过无线网络发送给显示屏进行对应的显示，无需外设动作捕捉设备或是深度图像采集设备，即可实现虚拟现实的互动操控功能；本发明在选择确认操作之前，动作捕捉传感器不会启动进行捕捉，避免能源浪费；本发明设置有自动播放阶段，无需始终对3D模型进行控制移动，当实验步骤操作完成后，会自动播放预设画面，降低了3D建模操控的成本；本发明的图像三维坐标系的建立是以实验用具的3D模型初次出现在实验场景3D模型中的位置作为坐标系的原点，然后确立图像三维坐标系，模型操控模块控制实验用具的3D模型在图像三维坐标系内进行对应速度的三维运动，避免后续坐标计算的负责度，降低了运算成本。
具体实施方式
一种基于虚拟现实操控手柄的教学实验操控方法，首先用户通过动作捕捉手柄相对于显示屏选择待操作的实验内容，当选择完成后，进入对应的教学实验画面，此时，显示屏上会在选择的实验场景内显示多种实验用具，此时通过动作捕捉手柄选择对应的实验用具，用户通过动作捕捉手柄确认实验用具后，即动作捕捉手柄与实验用具实现虚拟互联后，控制器的坐标系定位模块会将此时实验用具对应的图像位置确定为原点，然后确立图像三维坐标系，此时动作捕捉手柄上的动作捕捉传感器会实时采集手柄的运动速度、位移和运动方向，然后将采集信息实时发送给主控制器， 主控制器将采集信息输出给其模型操控模块，模型操控模块操控实验用具的3D模型在图像三维坐标系内进行运功并于显示屏中显示运动过程，当运动至对应的位置时，用户通过动作捕捉手柄确认定位，主控制器会自动控制3D场景和3D模型进行下一步的动作并发送给显示屏进行显示，即控制器接受到定位操作信息后，模型操控模块从存储器中提取对应的实验场景和实验用具的自动化3D操作画面然后发送给显示屏进行后续的实验操作显示，当显示屏播放完毕后，控制器会将下一步的控制指令发送给显示屏显示，用户根据显示屏的控制指令进行下一步的实验操作。
其中，动作捕捉手柄内集成有主控制器，分别与主控制器连接的存储器、选择输入按键、动作捕捉传感器和无线传输模块，选择输入按键包括有方向选择键和确认键，主控制器通过无线传输模块与带有无线传输功能的显示屏连接；存储器设置有多个实验内容数据库，每个实验内容数据库内存储有对应的一个实验场景的3D模型、多个实验用具的选择画面和3D模型、以及自动化3D操作画面，主控制器根据虚拟现实操控手柄的输入信息提取存储器中对应实验内容数据库内的内容进行处理并发送给显示屏进行显示。
上述实验内容的选择画面、实验用具的选择画面、实验场景的3D模型、实验用具的3D模型、控制命令数据库均设置于存储器中，主控制器首先将所有实验内容的选择画面发送给显示屏进行显示，用户根据选择输入按键选择对应的待操作的实验场景和实验内容，当选择完后，主控制器从存储器中提取对应的实验场景的3D模型并发送给显示屏显示，然后将当前实验内容对应的所有实验用具的画面发送至显示屏显示，用户通过输入按键选择并确认对应的实验用具后，主控制器会从存储器中提取对应实验用具的3D模型并叠加于实验场景的3D模型中并发送至显示屏显示，然后动作捕捉手柄与实验用具实现虚拟互联，从而进行后续的实验操作。
Claims (6)
1.一种基于虚拟现实操控手柄的教学实验操控方法，其特征在于：首先用户通过动作捕捉手柄相对于显示屏选择待操作的实验内容，当选择完成后，进入对应的教学实验画面，此时，显示屏上会在选择的实验场景内显示多种实验用具，此时通过动作捕捉手柄选择对应的实验用具，用户通过动作捕捉手柄确认实验用具后，即动作捕捉手柄与实验用具实现虚拟互联，此时动作捕捉手柄上的动作捕捉传感器会实时采集手柄的运动速度、位移和运动方向，然后将采集信息实时发送给主控制器，主控制器将采集信息输出给其模型操控模块，模型操控模块操控实验用具的3D模型进行运功并于显示屏中显示运动过程，当运动至对应的位置时，用户通过动作捕捉手柄确认定位，主控制器会自动控制3D场景和3D模型进行下一步的动作并发送给显示屏进行显示，当显示屏播放完毕后，控制器会将下一步的控制指令发送给显示屏显示，用户根据显示屏的控制指令进行下一步的实验操作。
2.根据权利要求1所述的一种基于虚拟现实操控手柄的教学实验操控方法，其特征在于：所述的动作捕捉手柄内集成有主控制器，分别与主控制器连接的存储器、选择输入按键、动作捕捉传感器和无线传输模块，所述的选择输入按键包括有方向选择键和确认键，所述的主控制器通过无线传输模块与带有无线传输功能的显示屏连接。
3.根据权利要求2所述的一种基于虚拟现实操控手柄的教学实验操控方法，其特征在于：所述的实验内容的选择画面、实验用具的选择画面、实验场景的3D模型、实验用具的3D模型、控制命令数据库均设置于所述的存储器中，主控制器首先将所有实验内容的选择画面发送给显示屏进行显示，用户根据选择输入按键选择对应的待操作的实验场景和实验内容，当选择完后，主控制器从存储器中提取对应的实验场景的3D模型并发送给显示屏显示，然后将当前实验内容对应的所有实验用具的画面发送至显示屏显示，用户通过输入按键选择并确认对应的实验用具后，主控制器会从存储器中提取对应实验用具的3D模型并叠加于实验场景的3D模型中并发送至显示屏显示，然后动作捕捉手柄与实验用具实现虚拟互联，从而进行后续的实验操作。
4.根据权利要求1所述的一种基于虚拟现实操控手柄的教学实验操控方法，其特征在于：所述的动作捕捉手柄与实验用具实现虚拟互联后，控制器的坐标系定位模块会将此时实验用具对应的图像位置确定为原点，然后确立图像三维坐标系，模型操控模块控制实验用具的3D模型在图像三维坐标系内进行对应速度的三维运动。
5.根据权利要求3所述的一种基于虚拟现实操控手柄的教学实验操控方法，其特征在于：所述的控制器自动控制3D场景和3D模型进行下一步的动作的具体步骤是：控制器接受到定位操作信息后，模型操控模块从存储器中提取对应的实验场景和实验用具的自动化3D操作画面然后发送给显示屏进行后续的实验操作显示。
6.根据权利要求3所述的一种基于虚拟现实操控手柄的教学实验操控方法，其特征在于：所述的存储器设置有多个实验内容数据库，每个实验内容数据库内存储有对应的一个实验场景的3D模型、多个实验用具的选择画面和3D模型、以及自动化3D操作画面，主控制器根据虚拟现实操控手柄的输入信息提取存储器中对应实验内容数据库内的内容进行处理并发送给显示屏进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710910967.7A CN107578663A (zh) | 2017-09-29 | 2017-09-29 | 一种基于虚拟现实操控手柄的教学实验操控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710910967.7A CN107578663A (zh) | 2017-09-29 | 2017-09-29 | 一种基于虚拟现实操控手柄的教学实验操控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107578663A true CN107578663A (zh) | 2018-01-12 |
Family
ID=61039851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710910967.7A Pending CN107578663A (zh) | 2017-09-29 | 2017-09-29 | 一种基于虚拟现实操控手柄的教学实验操控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578663A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753219A (zh) * | 2018-12-29 | 2019-05-14 | 广州欧科信息技术股份有限公司 | 基于虚拟现实的手工艺品制作系统、方法及装置 |
| CN110364051A (zh) * | 2019-07-26 | 2019-10-22 | 苏州千火信息科技有限公司 | 基于vr技术的虚拟实验系统 |
| CN111006720A (zh) * | 2019-12-18 | 2020-04-14 | 刘启 | 一种测量仪器的仿真模拟方法 |
| CN111667733A (zh) * | 2020-06-17 | 2020-09-15 | 济南大学 | 仿真实验操作中感知容器位置的方法及装置 |
| CN113377028A (zh) * | 2021-06-15 | 2021-09-10 | 湖南汽车工程职业学院 | 一种基于vr及5d的动力蓄电池测试教学系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106267813A (zh) * | 2016-09-28 | 2017-01-04 | 黄佳维 | 一种用于虚拟现实控制的交互手柄 |
| CN106526850A (zh) * | 2016-09-26 | 2017-03-22 | 罗松涛 | 一种基于vr操作的化工实验设备的构建方法 |
| CN106781797A (zh) * | 2016-12-24 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 虚拟现实教学方法和头戴式虚拟现实设备 |
| CN106777602A (zh) * | 2016-12-01 | 2017-05-31 | 北京金恒博远冶金技术发展有限公司 | 一种煤粉爆炸的仿真实验方法 |
| CN107170041A (zh) * | 2017-06-14 | 2017-09-15 | 武汉光驰教育科技股份有限公司 | 一种共享式实验室虚拟仿真方法和系统 |
-
2017
- 2017-09-29 CN CN201710910967.7A patent/CN107578663A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106526850A (zh) * | 2016-09-26 | 2017-03-22 | 罗松涛 | 一种基于vr操作的化工实验设备的构建方法 |
| CN106267813A (zh) * | 2016-09-28 | 2017-01-04 | 黄佳维 | 一种用于虚拟现实控制的交互手柄 |
| CN106777602A (zh) * | 2016-12-01 | 2017-05-31 | 北京金恒博远冶金技术发展有限公司 | 一种煤粉爆炸的仿真实验方法 |
| CN106781797A (zh) * | 2016-12-24 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 虚拟现实教学方法和头戴式虚拟现实设备 |
| CN107170041A (zh) * | 2017-06-14 | 2017-09-15 | 武汉光驰教育科技股份有限公司 | 一种共享式实验室虚拟仿真方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙博文等: "基于Kinect体感交互的多人在线虚拟实验系统", 《计算机科学》 * |
| 廖洪建等: "体感交互设计及其在三维虚拟实验中的应用", 《远程教育杂志》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753219A (zh) * | 2018-12-29 | 2019-05-14 | 广州欧科信息技术股份有限公司 | 基于虚拟现实的手工艺品制作系统、方法及装置 |
| CN110364051A (zh) * | 2019-07-26 | 2019-10-22 | 苏州千火信息科技有限公司 | 基于vr技术的虚拟实验系统 |
| CN111006720A (zh) * | 2019-12-18 | 2020-04-14 | 刘启 | 一种测量仪器的仿真模拟方法 |
| CN111006720B (zh) * | 2019-12-18 | 2021-06-11 | 刘启 | 一种测量仪器的仿真模拟方法 |
| CN111667733A (zh) * | 2020-06-17 | 2020-09-15 | 济南大学 | 仿真实验操作中感知容器位置的方法及装置 |
| CN113377028A (zh) * | 2021-06-15 | 2021-09-10 | 湖南汽车工程职业学院 | 一种基于vr及5d的动力蓄电池测试教学系统 |
| CN113377028B (zh) * | 2021-06-15 | 2022-11-18 | 湖南汽车工程职业学院 | 一种基于vr及5d的动力蓄电池测试教学系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578663A (zh) | 一种基于虚拟现实操控手柄的教学实验操控方法 | |
| CN108646926B (zh) | 机械制造模具虚拟装配培训系统及培训方法 | |
| CN107168537B (zh) | 一种协同式增强现实的可穿戴作业指导方法及系统 | |
| Marín et al. | A multimodal interface to control a robot arm via the web: a case study on remote programming | |
| Gutierrez et al. | IMA-VR: A multimodal virtual training system for skills transfer in Industrial Maintenance and Assembly tasks | |
| US10751877B2 (en) | Industrial robot training using mixed reality | |
| Miner et al. | An interactive virtual reality simulation system for robot control and operator training | |
| CN108333941A (zh) | 一种基于混合增强智能的云机器人协作学习方法 | |
| Lei et al. | Unified 3-D interactive human-centered system for online experimentation: Current deployment and future perspectives | |
| JP6430079B1 (ja) | 監視システムおよび監視方法 | |
| CN107368314B (zh) | 基于移动ar的机械制造工艺课程设计教学辅助系统及开发方法 | |
| CN107833503A (zh) | 配网核心作业增强现实仿真培训系统 | |
| KR20200114856A (ko) | 가상고장 모의훈련 콘텐츠를 이용한 발전소 고장 대비 훈련 시스템 및 방법 | |
| CN104615347A (zh) | 一种实现虚实画面同步的方法及装置 | |
| KR101242089B1 (ko) | 대화형 무대 장치 및 그의 시뮬레이션 방법 | |
| Rastogi et al. | Telerobotic control with stereoscopic augmented reality | |
| CN109087546A (zh) | 基于3d虚拟技术的废纸分拣加工仿真系统 | |
| CN104091476A (zh) | 实时沉浸式培训方法 | |
| CN110741327B (zh) | 基于增强现实及数字图像处理的泥胶玩具系统及其方法 | |
| Ortiz et al. | Smart university immersive virtual learning | |
| Marín et al. | A predictive interface based on virtual and augmented reality for task specification in a Web telerobotic system | |
| Papadopoulos et al. | An Advanced Human-Robot Interaction Interface for Teaching Collaborative Robots New Assembly Tasks | |
| JP6738258B2 (ja) | 運転訓練シミュレータシステム | |
| Malik et al. | The Design of Mini CNC Assembly Simulator Based on Virtual Reality Toolkit (VRTK) | |
| CN105006008A (zh) | 一种控制多个虚拟球员运动轨迹的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180112 |
|
| RJ01 | Rejection of invention patent application after publication |