CN112289125A - 一种车辆mr模拟驾驶实训方法及实训装置 - Google Patents

一种车辆mr模拟驾驶实训方法及实训装置 Download PDF

Info

Publication number
CN112289125A
CN112289125A CN202011277387.7A CN202011277387A CN112289125A CN 112289125 A CN112289125 A CN 112289125A CN 202011277387 A CN202011277387 A CN 202011277387A CN 112289125 A CN112289125 A CN 112289125A
Authority
CN
China
Prior art keywords
practical training
real
helmet
vehicle
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011277387.7A
Other languages
English (en)
Inventor
谢成昆
丁小平
田伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuzhou Yixing Science And Technology Co ltd
Original Assignee
Zhuzhou Yixing Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuzhou Yixing Science And Technology Co ltd filed Critical Zhuzhou Yixing Science And Technology Co ltd
Priority to CN202011277387.7A priority Critical patent/CN112289125A/zh
Publication of CN112289125A publication Critical patent/CN112289125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Rehabilitation Tools (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种车辆MR（Mixed Reality）模拟驾驶实训方法及实训装置，让实训人员戴上VR头盔坐在司机控制台前，用摄像头对司机控制台和实训人员进行摄像，将摄像头获取的影像传输到实训人员戴的VR头盔中，从而在VR头盔中显示实物与虚拟场景相结合的混合画面，实训人员根据VR头盔中显示的场景,通过操作司机控制台来完成车辆MR模拟驾驶实训。本发明采用真实场景与虚拟场景给合的MR模拟驾驶实训系统来进行车辆模拟驾驶的实训，能获得与基于真实驾驶场景实训类似的体验和学习。在保证实训和教学效果的前提下，MR模拟驾驶系统大幅度降低了实训成本。

Description

一种车辆MR模拟驾驶实训方法及实训装置
技术领域
本发明涉及实训教学领域，具体涉及一种车辆上实物与虚拟相结合的实训教学系统。
背景技术
传统的车辆实训和教学过程中，受制于到设备、场地、经费等条件制约，许多大型或有一定危险性的车辆教学活动难以开展。MR系统可模拟场景，能让只依赖于现有场地的背景，并获得与真实实训同等的体验和学习。可以说，在保证实训和教学效果的前提下，MR模拟驾驶系统减少了实际操作可能带来的困难和危险，并大幅度降低了实训成本。即使是一套实训系统相比，真实的机车实训系统也要比采用MR技术进行的机车的实训贵数百万元，且还是在不考虑维护成本的前提下。
发明内容
本发明要解决的技术问题是：针对真实的车辆实训系统造价昂贵的情况，提出一种真实场景与虚拟场景给合的MR模拟驾驶实训系统来大幅度降低车辆模拟驾驶实训成本。
针以上述问题，本发明提出的技术方案是：一种车辆MR模拟驾驶实训方法，让实训人员戴上VR头盔坐在司机控制台前，将虚拟的场景在VR头盔中显示出来，并用摄像头对司机控制台部件及实训人员在司机控制台的手部操作进行摄像，将摄像头获取的影像传输到实训人员戴的VR头盔中，从而在VR头盔中显示实物与虚拟场景相结合的混合画面，实训人员根据VR头盔中显示的实训提示,通过操作司机控制台及虚拟场景部件来完成车辆MR模拟驾驶实训。
优选的，用摄像头对司机控制台中的操控部件进行摄像，并根据司机控制台中的操控部件的真实位置来设置VR头盔的混合画面中相应的位置坐标，使得VR头盔中显示的司机控制台画面中的每个操控部件的坐标与实物中的司机控制台中对应的操控部件的真实位置一致。
优选的，还用摄像头对实训人员进行摄像，并根据实训人员手部的真实位置来设置VR头盔的混合画面中相应的位置坐标，使得实训人员在用手操作实物中的司机控制台上的操控部件时，能使VR头盔中显示出操作的虚拟操控与实际操作的真实的操控部件相同。
优选的，通过在VR头盔的混合画面中设置实训内容，实训人员根据混合画面中提示的实训内容，来操作真实的司机控制台中的操控部件，从而进行车辆MR模拟驾驶实训。
优选的，实训人员根据混合画面中内容的提示进行车辆MR模拟驾驶实训时，在混合画面中还设置操作信息反馈，所述操作信息反馈是指：实训人员根据混合画面中内容的提示操作真实的司机控制台中的操控部件后，实训人员的操作是否正确，是否已完成提示内容中的实训，都会在混合画面中用图像或语音的方式给出反馈信息。
优选的，实训人员还配备有VR手柄，在VR头盔显示的画面中还设置有虚拟操控，实训人员通过操作VR手柄来完成对虚拟操控的操作。
一种车辆MR实训装置，包括司机控制台、摄像头和VR头盔，实训时，实训人员戴上VR头盔坐在司机控制台前，摄像头设置在司机控制台的上方，使得摄像头能对司机控制台和实训人员手部操作进行摄像。
优选的，还包括显示屏和VR手柄，显示屏设置在控制台前方，实训人员手拿VR手柄，实训人员能通过操作VR手柄来完成对VR头盔显示画面中的虚拟操控的操作。
本发明的有益技术效果是：本发明采用真实场景与虚拟场景给合的MR模拟驾驶实训系统来进行车辆模拟驾驶的实训，能获得与基于真实驾驶场景实训类似的体验和学习。在保证实训和教学效果的前提下，MR模拟驾驶系统大幅度降低了实训成本。
附图说明
图1为实施例一的主视方向结构示意图；
图2为实施例一的左视方向结构示意图；
图中：1司机控制台、2显示屏、3摄像头、4支架。
具体实施方式
下面结合实施例和附图对本发明做进一步的描述：
实施例一
如图1和图2所示，车辆MR实训装置包括司机控制台1、显示屏2、摄像头3、VR头盔和VR手柄。实训时，实训人员戴上VR头盔坐在司机控制台1前，显示屏2设置在控制台上方，摄像头3设置在司机控制台的上方。且摄像头3安装在支架4上，使得摄像头3能对司机控制台1和实训人员手部操作进行摄像。显示屏2中显示与受训人员在VR头盔中同等视角的场景，所述的场景可以是车厢内的画面，也可以是整车的画面，甚至可以是站台、隧道、道岔、信号灯以及其它轨道旁的设备，具体显示的场景由实训的内容来设定。但是虚拟出来的场景中并没有控制台和实训人员，摄像头3将摄像所得到的控制台和实训人员首部操作与虚拟出来的场景一起输入到VR头盔中，从而将现实中的影像与虚拟的场景混合在一起，形成一个新的混合画面通过VR头盔显示给实训人员看。
为了让实训人员在操作真实的司机控制台1中的操控部件时，在VR头盔的混合画面中能显示出操作的操控部件一致，需要设置VR头盔的混合画面中各个操控部件的位置坐标。例如，实训人员在按下真实的司机控制台1中的开门按钮时，应该在VR头盔的混合画面中也显示的是按下了开门按钮，而不能是其它的按钮。为了实现上述的技术效果，本实施例中是采用摄像头3对司机控制台1中的操控部件进行摄像，并根据司机控制台1中的操控部件的真实位置来设置VR头盔的混合画面中相应的位置坐标，使得VR头盔中显示的司机控制台1画面中的每个操控部件的坐标与实物中的司机控制台1中对应的操控部件的真实位置一致。
不仅是司机控制台1的每个操控部件要求实物位置与混合画面的坐标对应、一致，而且实训人员不断进行各种操作时手指的位置也要与混合画面中的手指的坐标对应、一致。因此，本实施例中采用摄像头3对实训人员进行摄像，并根据实训人员手指的真实位置来设置VR头盔的混合画面中相应的位置坐标，使得实训人员在用手操作实物中的司机控制台1上的操控部件时，能使VR头盔中显示出操作的虚拟操控与实际操作的真实的操控部件相同。
本实施例中实训的内容是通过在VR头盔的混合画面中来进行设置的，实训人员根据混合画面中提示的实训内容，来操作真实的司机控制台1中的操控部件，从而进行车辆MR实训。例如：VR头盔的混合画面中显示“打开照明灯”这一实训内容，实训人员则应根据混合画面中的提示，按下司机控制台1中的照明灯开关按钮，从而完成“打开照明灯”这一实训内容。
实训人员根据混合画面中内容的提示进行车辆MR模拟驾驶实训时，在混合画面中还设置操作信息反馈。具体来说是指：实训人员根据混合画面中内容的提示操作真实的司机控制台1中的操控部件后，实训人员的操作是否正确，是否已完成提示内容中的实训，都会在混合画面中用图像或语音的方式给出反馈信息。例如，上述的实训人员进行“打开照明灯”这一实训内容时，如果实训人员是在实物中按下司机控制台1中的照明灯开关按钮，则会在VR头盔的混合画面中用图像或语音告知实训人员：“打开照明灯”这一实训内容已正确的完成。但是，如果实训人员是在实物中按下的是司机控制台1中的车门开关按钮，则会在VR头盔的混合画面中用图像或语音告知实训人员：“打开照明灯”这一实训内容操作有误，请进行正确的操作，直到实训人员正确的完成了这一实训内容，才进行下一项实训内容。
实训人员还配备有VR手柄，在VR头盔显示的画面中还设置有虚拟操控，实训人员通过操作VR手柄来完成对虚拟操控的操作。例如：实训内容是让实训人员走到车门处，由于车辆内的场景是虚拟出来，而实训人员的走动范围必须在摄像头3的摄像范围内，因此，实训人员并不能像在真实车厢内那样走几十米去指定的车门处。所以，当实训内容是让实训人员走到车门处时，VR头盔显示的画面中会出现个虚拟操控“是否到达车门处”，实训人员只要按下VR手柄的确定按钮，就能在VR头盔显示的混合画面中显示实训人员已经到车门处了。
综上所述，通过MR模拟驾驶系统将现实中的控制台和实训人员手部操作通过摄像头3摄像，从而将现实中的控制台、实训人员手部操作与虚拟的场景混合在一起，并将混合后的画面传到VR头盔中，供实训人员观看。实训人员通过观看VR头盔中的混合后的画面，对现实中的控制台进行操作来完成各种实训内容，能减少了实际操作可能带来的困难和危险，并大幅度降低了实训成本。
很显然，在不脱离本发明所述原理的前提下，作出的若干改进或修饰都应视为本发明的保护范围。

Claims (8)

1.一种车辆MR模拟驾驶实训方法，其物征在于，让实训人员戴上VR头盔坐在司机控制台前，用摄像头对司机控制台和实训人员进行摄像，将摄像头获取的影像传输到实训人员戴的VR头盔中，从而在VR头盔中显示实物与虚拟场景相结合的混合画面，实训人员根据VR头盔中显示的场景,通过操作司机控制台来完成车辆MR模拟驾驶实训。
2.根据权利要求1所述的一种车辆MR模拟驾驶实训方法，其物征在于，用摄像头对司机控制台上的操控部件进行摄像，并根据司机控制台上的操控部件的真实位置来设置VR头盔的混合画面中相应的位置坐标，使得VR头盔中显示的司机控制台画面中的每个操控部件的坐标与实物中的司机控制台中对应的操控部件的真实位置一致。
3.根据权利要求2所述的一种车辆MR模拟驾驶实训方法，其物征在于，还用摄像头对实训人员进行摄像，并根据实训人员手部的真实位置来设置VR头盔的混合画面中相应的位置坐标，使得实训人员在用手操作实物中的司机控制台上的操控部件时，能使VR头盔中显示出操作的虚拟操控与实际操作的真实的操控部件相同。
4.根据权利要求3所述的一种车辆MR模拟驾驶实训方法，其物征在于，通过在VR头盔的混合画面中设置实训内容，实训人员根据混合画面中的虚拟场景及操作真实的司机控制台中的操控部件，从而进行车辆MR模拟驾驶实训。
5.根据权利要求4所述的一种车辆MR模拟驾驶实训方法，其物征在于，实训人员根据混合画面中内容的虚拟场景及实物操作进行车辆MR模拟驾驶实训时，在混合画面中还设置操作信息反馈，所述操作信息反馈是指：实训人员根据混合画面中内容的提示操作真实的司机控制台中的操控部件后，实训人员的操作是否正确，是否已完成提示内容中的实训，都会在混合画面中用图像或语音的方式给出反馈信息。
6.根据权利要求1至5中任意一项所述的一种车辆MR模拟驾驶实训方法，其物征在于，实训人员还配备有VR手柄，在VR头盔显示的画面中还设置有虚拟操控，实训人员通过操作VR手柄来完成对虚拟场景中相关部件的操作。
7.一种车辆MR模拟驾驶实训装置，其物征在于，包括司机控制台、摄像头和VR头盔，实训时，实训人员戴上VR头盔坐在司机控制台前，摄像头设置在司机控制台的上方，使得摄像头能对司机控制台和实训人员手部操作进行摄像。
8.根据权利要求7所述的一种车辆MR模拟驾驶实训装置，其物征在于，还包括显示屏和VR手柄，显示屏设置在控制台前方，实训人员手拿VR手柄，实训人员能通过操作VR手柄来完成对VR头盔显示画面中对虚拟场景中相关部件的操作。
CN202011277387.7A 2020-11-16 2020-11-16 一种车辆mr模拟驾驶实训方法及实训装置 Pending CN112289125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011277387.7A CN112289125A (zh) 2020-11-16 2020-11-16 一种车辆mr模拟驾驶实训方法及实训装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011277387.7A CN112289125A (zh) 2020-11-16 2020-11-16 一种车辆mr模拟驾驶实训方法及实训装置

Publications (1)

Publication Number Publication Date
CN112289125A true CN112289125A (zh) 2021-01-29

Family

ID=74399062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011277387.7A Pending CN112289125A (zh) 2020-11-16 2020-11-16 一种车辆mr模拟驾驶实训方法及实训装置

Country Status (1)

Country Link
CN (1) CN112289125A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN113539008A (zh) * 2021-08-11 2021-10-22 深圳市绿色智城科技有限公司 基于ar的便携式城市轨道交通车辆驾驶模拟系统及方法
CN113589930A (zh) * 2021-07-30 2021-11-02 广州市旗鱼软件科技有限公司 一种混合现实模拟驾驶环境生成方法及系统
CN117456797A (zh) * 2023-12-26 2024-01-26 成都运达科技股份有限公司 一种模拟驾驶实训接续方法、系统及存储介质
CN113539008B (zh) * 2021-08-11 2024-05-31 深圳市深明数字智慧科技有限公司 基于ar的便携式城市轨道交通车辆驾驶模拟系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2233201A1 (es) * 2003-11-21 2005-06-01 Seat, S.A. Sistema de simulacion de realidad mixta.
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101770707A (zh) * 2010-01-15 2010-07-07 长安大学 一种基于摄像头的虚拟汽车驾驶系统及虚拟驾驶方法
CN106157731A (zh) * 2015-04-07 2016-11-23 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN107134194A (zh) * 2017-05-18 2017-09-05 河北中科恒运软件科技股份有限公司 沉浸式车辆模拟器
CN208477772U (zh) * 2018-01-14 2019-02-05 中国人民解放军海军军训器材研究所 用于舰艇装备训练的虚拟操作装置
CN109933208A (zh) * 2019-04-11 2019-06-25 湖北航天技术研究院特种车辆技术中心 一种基于虚拟现实的操作行为识别方法及系统
CN110111638A (zh) * 2019-05-28 2019-08-09 李伟 一种ar模拟驾驶方法和系统
KR20200116649A (ko) * 2019-04-02 2020-10-13 경상대학교산학협력단 Hmd 기반 혼합 현실 기술을 이용한 모의 항공 cpt 시뮬레이터 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2233201A1 (es) * 2003-11-21 2005-06-01 Seat, S.A. Sistema de simulacion de realidad mixta.
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101770707A (zh) * 2010-01-15 2010-07-07 长安大学 一种基于摄像头的虚拟汽车驾驶系统及虚拟驾驶方法
CN106157731A (zh) * 2015-04-07 2016-11-23 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN107134194A (zh) * 2017-05-18 2017-09-05 河北中科恒运软件科技股份有限公司 沉浸式车辆模拟器
CN208477772U (zh) * 2018-01-14 2019-02-05 中国人民解放军海军军训器材研究所 用于舰艇装备训练的虚拟操作装置
KR20200116649A (ko) * 2019-04-02 2020-10-13 경상대학교산학협력단 Hmd 기반 혼합 현실 기술을 이용한 모의 항공 cpt 시뮬레이터 시스템
CN109933208A (zh) * 2019-04-11 2019-06-25 湖北航天技术研究院特种车辆技术中心 一种基于虚拟现实的操作行为识别方法及系统
CN110111638A (zh) * 2019-05-28 2019-08-09 李伟 一种ar模拟驾驶方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
WO2022166264A1 (zh) * 2021-02-04 2022-08-11 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN113589930A (zh) * 2021-07-30 2021-11-02 广州市旗鱼软件科技有限公司 一种混合现实模拟驾驶环境生成方法及系统
CN113589930B (zh) * 2021-07-30 2024-02-23 广州市旗鱼软件科技有限公司 一种混合现实模拟驾驶环境生成方法及系统
CN113539008A (zh) * 2021-08-11 2021-10-22 深圳市绿色智城科技有限公司 基于ar的便携式城市轨道交通车辆驾驶模拟系统及方法
CN113539008B (zh) * 2021-08-11 2024-05-31 深圳市深明数字智慧科技有限公司 基于ar的便携式城市轨道交通车辆驾驶模拟系统及方法
CN117456797A (zh) * 2023-12-26 2024-01-26 成都运达科技股份有限公司 一种模拟驾驶实训接续方法、系统及存储介质
CN117456797B (zh) * 2023-12-26 2024-03-15 成都运达科技股份有限公司 一种模拟驾驶实训接续方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN112289125A (zh) 一种车辆mr模拟驾驶实训方法及实训装置
CN106710360B (zh) 基于增强虚拟现实人机交互的智能驾驶训练系统及方法
CN203038549U (zh) 一种腔镜手术操作训练器
US7095388B2 (en) Method and system for developing consistency of motion
CN105635669B (zh) 基于三维运动捕捉数据与实拍视频的动作对比系统及方法
CN103543827B (zh) 基于单个摄像机的沉浸式户外活动交互平台的实现方法
CN111240490A (zh) 基于vr虚拟沉浸及环幕互动的设备绝缘试验培训系统
CN206249634U (zh) 一种美术教学系统
CN108717808B (zh) 基于三维激光扫描建模的隧道施工虚拟教学系统及方法
CN109615969A (zh) 基于虚拟现实技术的汽车装配实验平台
CN206988735U (zh) 一种用于呈现多视角影像的实训类课程教学装置
CN112509401A (zh) 一种基于增强现实投影交互的远程实操教学方法与系统
CN116386414A (zh) 一种基于数字镜影的人机工效学调整线训练系统及方法
CN103585751A (zh) 射击游戏的瞄准方法
KR101680367B1 (ko) 시뮬레이터 카메라와 가상카메라 동기화에 의한 cg적용 영상제작시스템
JP2020199049A (ja) コーチングアプリケーションの構築装置、方法およびプログラム
CN211699299U (zh) 基于vr的电力安全教育系统
CN209525770U (zh) 电力安全事故触电急救虚拟现实培训装置
CN110634343A (zh) 挖掘机互动模拟设备
CN107705253B (zh) 一种生成视频激励源的方法及装置
CN109461351B (zh) 三屏交互的增强现实游戏训练系统
CN205158695U (zh) 一种基于语音提示的采煤机司机技能培训系统
CN210836642U (zh) 机械模型互动设备
KR101772431B1 (ko) Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템
CN208848211U (zh) 一种夜晚用于神经网络的图像采集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129

RJ01 Rejection of invention patent application after publication