KR102165692B1 - Military equipment maintenance training system using a virtual reality and operating method of thereof - Google Patents

Military equipment maintenance training system using a virtual reality and operating method of thereof Download PDF

Info

Publication number
KR102165692B1
KR102165692B1 KR1020190088717A KR20190088717A KR102165692B1 KR 102165692 B1 KR102165692 B1 KR 102165692B1 KR 1020190088717 A KR1020190088717 A KR 1020190088717A KR 20190088717 A KR20190088717 A KR 20190088717A KR 102165692 B1 KR102165692 B1 KR 102165692B1
Authority
KR
South Korea
Prior art keywords
maintenance
learner
training
virtual reality
virtual
Prior art date
Application number
KR1020190088717A
Other languages
Korean (ko)
Inventor
송현수
김보현
이준석
안승도
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020190088717A priority Critical patent/KR102165692B1/en
Application granted granted Critical
Publication of KR102165692B1 publication Critical patent/KR102165692B1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/003Simulators for teaching or training purposes for military purposes and tactics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02Rotary gyroscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a system for virtual maintenance training using virtual reality and a method for operating the same. The system for virtual maintenance training using virtual reality according to an embodiment of the present invention includes: a virtual maintenance training providing device generating maintenance training content for maintenance training target equipment to be subject to maintenance training in relation to a leaner provided with the maintenance training on the virtual reality and providing a maintenance scenario related to the maintenance training target equipment in accordance with a haptic signal from the learner; a model tool for the learner on the virtual reality to perform maintenance on the maintenance training target equipment; and a virtual reality device providing the learner on the virtual reality with the maintenance training content and the maintenance training target equipment provided from the virtual maintenance training providing device and displaying the learner′s haptic signal using the model tool on the virtual reality.

Description

가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법{Military equipment maintenance training system using a virtual reality and operating method of thereof}Military equipment maintenance training system using a virtual reality and operating method of thereof

본 발명은 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법에 관한 것으로, 보다 상세하게는 모형 공구를 이용하여 학습자에게 가상 현실 상에서 군용 장비의 정비 훈련을 제공하기 위한 시스템 및 이의 동작 방법에 관한 것이다.The present invention relates to a military equipment maintenance training system using virtual reality and a method of operation thereof, and more particularly, to a system for providing maintenance training of military equipment in virtual reality to learners using a model tool, and an operating method thereof. will be.

가상 현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서 그것을 사용하는 사람이 마치 실제 주변상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터(Human-Computer) 사이의 인터페이스를 말한다. 이러한 가상 현실은 훈련 시스템에 적용되어 학습자가 가상 현실 기기를 착용하여 가상의 훈련 환경에 참여함으로써 훈련의 몰입 효과를 높이는 몰입형 가상 환경 기술로 발전하였다. Virtual Reality refers to an interface between a human-computer that makes a specific environment or situation into a computer and makes it as if the person who uses it is interacting with the actual surrounding situation or environment. This virtual reality has been applied to a training system and developed into an immersive virtual environment technology that enhances the immersion effect of training by participating in a virtual training environment by wearing a virtual reality device.

가상 현실 기술들은 사용자로 하여금 컴퓨터 시뮬레이션 환경과 상호작용이 이루어질 수 있도록 발전되었으며, 최근 이러한 가상 현실 기술들을 적용한 게임과 마케팅, 교육 컨텐츠 등이 등장하면서 가상의 3차원(3D) 현상을 사용자가 손쉽게 동적 제어하기 위한 기술이 개발되어 왔다. 이러한 기술들의 대표적으로 HMD(Head Mounted Display) 방식은 사용자가 별도의 VR 컨트롤러를 조작함으로써, 가상의 3D 형상을 동적 제어하며, 디스플레이 방식은 사용자가 화면 상의 손가락 터치를 통해 가상의 3D 형상을 동적으로 제어한다. Virtual reality technologies have been developed so that users can interact with a computer simulation environment. Recently, games, marketing, and educational contents using these virtual reality technologies have appeared, allowing users to easily dynamically create virtual three-dimensional (3D) phenomena. Technology for controlling has been developed. Representative of these technologies, the HMD (Head Mounted Display) method dynamically controls the virtual 3D shape by the user manipulating a separate VR controller, and the display method dynamically controls the virtual 3D shape by the user touching a finger on the screen. Control.

이러한 종래의 가상 현실 환경에서 학습자에게 정비 훈련을 제공하기 위해서는, 단순히 가상 현실 환경 내에서 정비 위치(Marker)를 학습자가 터치하고, 학습자에게 정비 절차를 숙달시키도록 하는 방식을 사용했다. 그러나, 이러한 종래 방식의 가상 현실 상의 가상 정비 훈련 방식의 경우, 학습자에 대한 정비 절차의 학습은 숙달이 가능하나, 실제 정비를 위해 사용하는 공구 사용에 대해서는 숙달이 어려운 문제가 존재한다. In order to provide maintenance training to learners in such a conventional virtual reality environment, a method was used in which the learner simply touches a maintenance position (Marker) in the virtual reality environment and allows the learner to master the maintenance procedure. However, in the case of the conventional virtual maintenance training method in virtual reality, learning of the maintenance procedure for the learner can be mastered, but there is a problem that it is difficult to master the use of tools used for actual maintenance.

본 발명은 가상 현실을 이용한 군용 장비 정비 훈련 시 학습자에게 가상 현실 기반 정비 훈련 시 사용할 공구 모형을 가상 현실 상에서도 제공함으로써, 실제 환경에서의 실제 정비 시 공구 사용의 숙련도를 높일 수 있는 가상 현실을 이용한 가상 정비 훈련 시스템 및 이의 동작 방법을 제공하기 위한 것이다. The present invention provides a tool model to be used in virtual reality-based maintenance training to learners during maintenance training of military equipment using virtual reality in virtual reality, thereby increasing the skill of using tools during actual maintenance in a real environment. It is to provide a maintenance training system and a method of operation thereof.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. I will be able to.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 가상 현실을 이용한 군용 장비 정비 훈련 시스템은, 상기 가상 현실 상에서 상기 정비 훈련을 제공받는 학습자에게 정비 훈련을 실시할 정비 훈련 대상 장비의 정비 훈련 컨텐츠를 생성하고, 상기 학습자로부터의 햅틱 신호에 따라 상기 정비 훈련 대상 장비에 관한 정비 시나리오를 제공하는 가상 정비 훈련 제공 장치; 상기 가상 현실에서 상기 학습자가 상기 정비 훈련 대상 장비를 정비하기 위한 모형 공구; 및 상기 학습자에게 상기 가상 정비 훈련 제공 장치로부터 제공된 상기 정비 훈련 대상 장비와 상기 정비 훈련 컨텐츠를 상기 가상 현실 상으로 제공하고, 상기 학습자의 상기 모형 공구를 이용한 햅틱 신호를 상기 가상 현실 상으로 표시하는 가상 현실 장치를 포함할 수 있다. In order to solve the above technical problem, the military equipment maintenance training system using virtual reality according to an embodiment of the present invention is a maintenance training target equipment to perform maintenance training to learners who receive the maintenance training in the virtual reality. A virtual maintenance training providing device for generating maintenance training content of the learner and providing a maintenance scenario for the maintenance training target equipment according to a haptic signal from the learner; A model tool for the learner to maintain the equipment for maintenance training in the virtual reality; And a virtual providing the learner with the maintenance training target equipment and the maintenance training content provided from the virtual maintenance training providing device on the virtual reality, and displaying a haptic signal using the model tool of the learner on the virtual reality. It may include a real device.

실시예에 따라, 상기 가상 현실 장치는, 상기 학습자가 상기 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생하는 햅틱 글러브; 상기 학습자의 두부에 장착되어 상기 생성된 정비 훈련 컨텐츠를 상기 학습자에게 제공하는 HMD(Head Mounded Display); 상기 HMD가 제공하는 가상 현실 상의 정비 객체에 대한 상기 학습자의 제어 신호인 제2 햅틱 신호를 발생하는 가상 현실 컨트롤러; 상기 제1 햅틱 신호와 상기 제2 햅틱 신호를 가상 정비 훈련 제공 장치로 제공하는 통신부; 및 상기 햅틱 글러브, 상기 HMD 및 상기 가상 현실 컨트롤러의 3차원 공간 상의 위치 정보를 획득하여 학습자의 동작을 인식하는 모션 센서를 포함하는 가상 현실 장치를 포함할 수 있다. According to an embodiment, the virtual reality device may include: a haptic glove generating a first haptic signal generated when the learner manipulates the model tool; A Head Mounded Display (HMD) mounted on the learner's head and providing the generated maintenance training content to the learner; A virtual reality controller that generates a second haptic signal, which is a control signal of the learner for maintenance objects in virtual reality provided by the HMD; A communication unit that provides the first haptic signal and the second haptic signal to a virtual maintenance training providing apparatus; And a virtual reality device including the haptic glove, the HMD, and a motion sensor that recognizes a learner's motion by acquiring location information of the virtual reality controller in a three-dimensional space.

실시예에 따라, 상기 가상 정비 훈련 제공 장치는, 상기 모션 센서로부터 상기 학습자의 동작에 관한 동작 정보를 수신하고, 상기 동작 정보에 기반하여 상기 정비 교육을 수행하도록 제어할 수 있다. According to an embodiment, the apparatus for providing virtual maintenance training may control to receive operation information about the learner's operation from the motion sensor and perform the maintenance education based on the operation information.

실시예에 따라, 상기 모형 공구는, 동작 전원을 공급하는 전원 공급부; 상기 모형 공구에 대한 상기 학습자의 모션을 인식하기 위한 모형 공구 모션 센싱 신호를 발생하는 공구 모션 센서부;및 상기 가상 정비 훈련 제공 장치로 상기 모형 공구 모션 센싱 신호를 송신하는 통신부를 포함할 수 있다. According to an embodiment, the model tool includes a power supply for supplying operating power; A tool motion sensor unit that generates a model tool motion sensing signal for recognizing the learner's motion with respect to the model tool; and a communication unit that transmits the model tool motion sensing signal to the virtual maintenance training providing device.

실시예에 따라, 상기 공구 모션 센서부는, 상기 모형 공구의 선형 이동을 검출하는 가속도 센서; 상기 모형 공구의 자세 정보를 검출하는 자이로 센서;및 상기 모형 공구에 가해진 진동을 검출하는 진동 센서를 포함할 수 있다. According to an embodiment, the tool motion sensor unit includes: an acceleration sensor detecting a linear movement of the model tool; A gyro sensor that detects posture information of the model tool; and a vibration sensor that detects vibration applied to the model tool.

실시예에 따라, 상기 가상 정비 훈련 제공 장치는, 상기 학습자에게 정비 교육을 실시할 대상 장비의 정비 훈련 컨텐츠를 생성하여 제공하는 정비 훈련 컨텐츠 처리부; 상기 모형 공구, 상기 정비 훈련 대상 장비 및 상기 학습자가 정비 작업을 수행할 정비 작업 공간을 3차원(3D) 모델링하여 상기 학습자에게 가상 현실 상으로 제공하는 가상 현실 컨텐츠 생성부; 상기 학습자의 HMD로 제공하는 상기 정비 교육 컨텐츠의 3차원 영상을 출력하는 표시부; 상기 학습자가 선택한 장비의 정비 시나리오를 제공하도록 상기 정비 훈련 컨텐츠 처리부를 제어하고, 상기 제1 햅틱 신호와 상기 제2 햅틱 신호에 기반하여 상기 가상 현실 상의 상기 장비에 대한 정비 훈련을 수행하도록 상기 가상 현실 컨텐츠 생성부를 제어하고, 상기 학습자의 정비 훈련 결과를 제공하는 제어부를 포함할 수 있다. According to an embodiment, the apparatus for providing virtual maintenance training includes: a maintenance training content processing unit that generates and provides maintenance training content of target equipment to be provided with maintenance training to the learner; A virtual reality content generation unit that models the model tool, the maintenance training target equipment, and a maintenance work space in which the learner performs maintenance work in a virtual reality image to the learner; A display unit for outputting a 3D image of the maintenance education content provided to the learner's HMD; The virtual reality controls the maintenance training content processing unit to provide a maintenance scenario for the equipment selected by the learner, and performs maintenance training on the equipment in the virtual reality based on the first haptic signal and the second haptic signal. It may include a control unit that controls the content generation unit and provides a result of maintenance training of the learner.

실시예에 따라, 상기 정비 훈련 컨텐츠는, 상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야하는 위치 정보(Marker)를 포함할 수 있다. According to an embodiment, the maintenance training content includes a maintenance history of the maintenance target equipment, a maintenance scenario of the maintenance target equipment, maintenance guide information for the maintenance target equipment, and the model tool is located on a maintenance scenario of the maintenance target equipment. It can include location information (Marker) that should be done.

실시예에 따라, 상기 가상 현실 컨텐츠 생성부는, 상기 학습자가 상기 정비 대상 장비의 정비를 위해 필요한 모형 공구를 3차원 모델링하는 모형 공구 3차원 모델링부; 상기 정비 대상 장비를 3차원 모델링하는 정비 대상 장비 3차원 모델링부; 및 상기 학습자가 정비 작업을 진행하는 공간을 3차원 모델링하는 정비 작업 공간 3차원 모델링부를 포함할 수 있다. According to an embodiment, the virtual reality content generation unit may include: a model tool 3D modeling unit for 3D modeling a model tool required by the learner to maintain the maintenance target equipment; A maintenance target equipment three-dimensional modeling unit for three-dimensional modeling the maintenance target equipment; And a maintenance work space three-dimensional modeling unit for three-dimensional modeling a space in which the learner performs maintenance work.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 가상 현실을 이용한 군용 장비 정비 훈련 방법은, 가상 현실 내에서 가상 정비 훈련을 위한 정비 훈련 컨텐츠를 생성하는 단계; 상기 생성된 정비 훈련 컨텐츠를 포함하는 적어도 한 개 이상의 정비 교육 목차를 표시하는 단계; 상기 가상 현실 환경 내에 학습자가 선택한 정비 교육 목차에 해당하는 정비 훈련 대상 장비의 3차원 모델과 장비의 구성 요소를 표시하는 단계; 상기 학습자가 선택한 상기 훈련 대상 장비의 정비 범위에 따라 정비 시나리오에 따른 가상 정비 훈련을 제공하는 단계; 및 상기 학습자가 상기 가상 정비 훈련에 따른 모형 공구를 사용하여 상기 가상 현실 상 상기 장비에 대한 정비를 수행하는 단계를 포함할 수 있다. In order to solve the above technical problem, a military equipment maintenance training method using virtual reality according to an embodiment of the present invention includes: generating maintenance training content for virtual maintenance training in the virtual reality; Displaying at least one maintenance education table of contents including the generated maintenance training content; Displaying a 3D model of a maintenance training target equipment and components of the equipment corresponding to the maintenance education table of contents selected by the learner in the virtual reality environment; Providing virtual maintenance training according to a maintenance scenario according to a maintenance range of the training target equipment selected by the learner; And performing maintenance on the equipment in the virtual reality by the learner using a model tool according to the virtual maintenance training.

실시예에 따라, 상기 정비 학습 컨텐츠를 생성하는 단계는, 상기 정비 교육 대상 장비의 3차원 모델링을 수행하는 단계; 상기 정비 교육 대상 장비의 정비 훈련 컨텐츠를 생성하는 단계; 상기 정비 교육 대상 장비 훈련을 위해 필요한 공구를 정의하는 단계; 및 상기 정의된 공구를 3차원 모델링을 수행하는 단계를 포함할 수 있다. According to an embodiment, the generating of the maintenance learning content may include performing 3D modeling of the maintenance education target equipment; Generating maintenance training contents of the equipment for maintenance education; Defining a tool necessary for training the equipment for maintenance education; And performing three-dimensional modeling of the defined tool.

실시예에 따라, 상기 정비 훈련 컨텐츠는, 상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야 하는 위치 정보(Marker)를 포함할 수 있다. According to an embodiment, the maintenance training content includes a maintenance history of the maintenance target equipment, a maintenance scenario of the maintenance target equipment, maintenance guide information for the maintenance target equipment, and the model tool is located on a maintenance scenario of the maintenance target equipment. It may include location information (Marker) that should be done.

실시예에 따라, 상기 정비 훈련 컨텐츠를 생성하는 단계는, 상기 학습자에게 정비 교육을 실시할 대상 장비의 정비 훈련 컨텐츠를 생성하여 제공하는 단계; 상기 모형 공구, 상기 정비 훈련 대상 장비 및 상기 학습자가 정비 작업을 수행할 정비 작업 공간을 3차원(3D) 모델링하여 상기 학습자에게 가상 현실 상으로 제공하는 단계; 상기 학습자의 HMD로 제공하는 상기 정비 교육 컨텐츠의 3차원 영상을 출력하는 단계; 상기 학습자가 선택한 장비의 정비 시나리오를 제공하도록 상기 정비 훈련 컨텐츠 처리부를 제어하고, 상기 제1 햅틱 신호와 상기 제2 햅틱 신호에 기반하여 상기 가상 현실 상의 상기 장비에 대한 정비 훈련을 수행하는 단계; 및 상기 학습자의 정비 훈련 결과를 제공하는 단계를 포함할 수 있다. According to an embodiment, the generating of the maintenance training content includes: generating and providing maintenance training content for the target equipment to be provided to the learner; 3D modeling the model tool, the maintenance training target equipment, and a maintenance work space in which the learner will perform maintenance work, and providing the learner in virtual reality; Outputting a 3D image of the maintenance education content provided to the learner's HMD; Controlling the maintenance training content processing unit to provide a maintenance scenario of the equipment selected by the learner, and performing maintenance training on the equipment in the virtual reality based on the first haptic signal and the second haptic signal; And providing a result of maintenance training of the learner.

실시예에 따라, 상기 모형 공구는, 동작 전원을 공급하는 전원 공급부; 상기 모형 공구에 대한 상기 학습자의 모션을 인식하기 위한 모형 공구 모션 센싱 신호를 발생하는 공구 모션 센서부; 및 상기 가상 정비 훈련 제공 장치로 상기 모형 공구 모션 센싱 신호를 송신하는 통신부를 포함할 수 있다. According to an embodiment, the model tool includes a power supply for supplying operating power; A tool motion sensor unit for generating a model tool motion sensing signal for recognizing the learner's motion with respect to the model tool; And a communication unit for transmitting the model tool motion sensing signal to the virtual maintenance training providing device.

실시예에 따라, 상기 공구 모션 센서부는, 상기 모형 공구의 선형 이동을 검출하는 가속도 센서; 상기 모형 공구의 자세 정보를 검출하는 자이로 센서; 및 상기 모형 공구에 가해진 진동을 검출하는 진동 센서를 포함할 수 있다. According to an embodiment, the tool motion sensor unit includes: an acceleration sensor detecting a linear movement of the model tool; A gyro sensor for detecting posture information of the model tool; And a vibration sensor that detects vibration applied to the model tool.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 가상 현실을 이용한 가상 훈련 방법은, 가상 현실 장치를 통해 학습자에게 가상 정비 훈련을 제공하기 위한 정비 훈련 컨텐츠를 생성하는 단계; 상기 가상 현실 장치 상에 상기 학습자가 선택한 정비 대상 장비의 3차원 모델과 구성 요소를 표시하는 단계; 상기 학습자가 선택한 정비 대상 장비의 정비 훈련 목차 내 정비 범위에 따라 정비 시나리오를 제공하는 단계; 상기 정비 시나리오 중에 모형 공구가 필요한 위치인 정비 위치 가이드를 표시하는 단계; 및 상기 정비 위치 가이드 상에 상기 학습자가 상기 모형 공구를 위치시키면, 상기 모형 공구를 이용한 가상 정비 훈련을 제공하는 단계를 포함한다. In order to solve the above technical problem, a virtual training method using virtual reality according to an embodiment of the present invention includes: generating maintenance training content for providing virtual maintenance training to a learner through a virtual reality device; Displaying a 3D model and components of the equipment for maintenance selected by the learner on the virtual reality device; Providing a maintenance scenario according to a maintenance range within a maintenance training table of contents of the maintenance target equipment selected by the learner; Displaying a maintenance position guide, which is a position where a model tool is required during the maintenance scenario; And providing a virtual maintenance training using the model tool when the learner positions the model tool on the maintenance position guide.

실시예에 따라, 상기 학습자에 대한 평가 결과를 제공하는 단계를 더 포함할 수 있다. According to an embodiment, it may further include providing an evaluation result for the learner.

실시예에 따라, 상기 정비 학습 컨텐츠를 생성하는 단계는, 상기 정비 교육 대상 장비의 3차원 모델링을 수행하는 단계; 상기 정비 교육 대상 장비의 정비 훈련 컨텐츠를 생성하는 단계; 상기 정비 교육 대상 장비 훈련을 위해 필요한 공구를 정의하는 단계; 및 상기 정의된 공구를 3차원 모델링을 수행하는 단계를 포함할 수 있다. According to an embodiment, the generating of the maintenance learning content may include performing 3D modeling of the maintenance education target equipment; Generating maintenance training contents of the equipment for maintenance education; Defining a tool necessary for training the equipment for maintenance education; And performing three-dimensional modeling of the defined tool.

상기와 같이 구성되는 본 발명의 실시예에 따른 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법에 의하면, 실제 정비 대상의 실제 없이 가상 현실 상에서 3차원 렌더링된 정비 대상 객체를 대상으로 모형 공구를 이용하여 학습자가 정비 훈련을 수행함으로써, 학습자에게 실제 환경에서의 정비 훈련 절차에서의 공구 사용을 통한 정비 숙달도와 동일한 효과를 제공할 수 있다.According to the military equipment maintenance training system and its operation method using virtual reality according to an embodiment of the present invention configured as described above, a model tool is applied to the maintenance target object 3D rendered in virtual reality without the actual maintenance target. By using the learner to perform maintenance training, it is possible to provide the learner with the same effect as maintenance mastery through the use of tools in the maintenance training procedure in an actual environment.

상기와 같이 구성되는 본 발명의 실시예에 따른 군용 장비 정비 훈련 시스템 및 이의 동작 방법에 의하면, 특성상 그의 인가 및 취급이 어렵고, 매우 고가인 군용 장비에 대하여 실제 정비를 통한 학습 없이도, 가상 현실을 통한 정비 훈련을 학습자에게 시킬 수 있는 효과가 있다. According to the military equipment maintenance training system and its operation method according to the embodiment of the present invention configured as described above, it is difficult to approve and handle it due to its characteristics, and without learning through actual maintenance for very expensive military equipment, through virtual reality. There is an effect that maintenance training can be given to learners.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those of ordinary skill in the art from the following description. will be.

도 1은 본 발명의 일 실시예에 따른 가상 현실(Virtual Reality)(VR) 장치를 간략히 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 모형 공구(200)를 간략히 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 모형 공구(200)의 예시를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상 정비 훈련 제공 장치(500)를 간략히 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템의 동작을 개념적으로 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 가상 현실 상 정비 훈련을 위한 가상 현실 컨텐츠 생성하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템에서 학습자에게 가상 정비 훈련을 제공하기 위한 동작을 개념적으로 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템에서 학습자에게 가상 정비 훈련을 제공하는 운용 예를 나타낸 도면이다.
1 is a schematic diagram of a virtual reality (VR) device according to an embodiment of the present invention.
2 is a schematic view showing a model tool 200 according to an embodiment of the present invention.
3 is a view showing an example of a model tool 200 according to an embodiment of the present invention.
4 is a schematic diagram of an apparatus 500 for providing virtual maintenance training according to an embodiment of the present invention.
5 is a flowchart conceptually explaining the operation of the virtual maintenance training system according to an embodiment of the present invention.
6 is a flowchart for generating virtual reality content for maintenance training in virtual reality according to an embodiment of the present invention.
7 is a flowchart conceptually illustrating an operation for providing virtual maintenance training to a learner in a virtual maintenance training system according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of an operation of providing virtual maintenance training to learners in a virtual maintenance training system according to an embodiment of the present invention.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면 부호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the embodiments described below are only for explaining in detail enough that a person having ordinary knowledge in the technical field of the present invention can easily carry out the invention, and this limits the protection scope of the present invention. Does not mean. In addition, in describing various embodiments of the present invention, the same reference numerals will be used for components having the same technical characteristics.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 1은 본 발명의 일 실시예에 따른 가상 현실(Virtual Reality)(VR) 장치를 간략히 나타낸 도면이다. 1 is a schematic diagram of a virtual reality (VR) device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 장치(100)는 가상 현실을 이용한 가상 정비 훈련 시스템에서 학습자에게 가상 현실 환경을 제공하는 장치이다. Referring to FIG. 1, a virtual reality device 100 according to an embodiment of the present invention is a device that provides a virtual reality environment to a learner in a virtual maintenance training system using virtual reality.

가상 현실 장치(100)는 햅틱 글러브(100a), HMD(Head Mounted Display)(100b), 가상 현실 컨트롤러(100c), 모션 센서(100d), 통신부(100e)를 포함할 수 있다. 가상 현실 장치(100)의 각 구성은 예시적인 것이며, 필요에 따라 일부 구성이 추가되거나, 생략될 수 있다. The virtual reality device 100 may include a haptic glove 100a, a head mounted display (HMD) 100b, a virtual reality controller 100c, a motion sensor 100d, and a communication unit 100e. Each configuration of the virtual reality device 100 is exemplary, and some configurations may be added or omitted as necessary.

햅틱 글러브(100a)는 학습자가 가상 현실 상에서 정비 대상 장비에 대해 정비 시나리오에 따라 가상 정비를 수행할 때 필요한 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생한다. 여기서 상기 제1 햅틱 신호는 상기 학습자가 햅틱 글러브(100a)를 착용하여 모형 공구를 움켜쥐거나, 모형 공구의 용도에 따른 정비 작업(예컨대, 드라이버를 사용한 회전 동작 등) 시 발생되는 신호를 포함할 수 있으며, 본 발명의 일 실시 예에 따른 The haptic glove 100a generates a first haptic signal generated when a learner manipulates a model tool required when performing a virtual maintenance on a maintenance target equipment in a virtual reality according to a maintenance scenario. Here, the first haptic signal includes a signal generated when the learner wears a haptic glove 100a to grab a model tool or a maintenance work according to the purpose of the model tool (e.g., rotational motion using a driver, etc.) Can, according to an embodiment of the present invention

HMD(Head Mounded Display)(100b)는 상기 학습자의 두부에 장착되어 상기 생성된 정비 교육 컨텐츠를 가상 현실 상으로 제공한다. A Head Mounded Display (HMD) 100b is mounted on the learner's head to provide the generated maintenance education content in virtual reality.

가상 현실 컨트롤러(100c)는 상기 HMD가 제공하는 가상 현실 학습 컨텐츠 상의 객체에 대한 상기 학습자의 제어 신호인 제2 햅틱 신호를 발생한다. 여기서, 상기 제2 햅틱 신호는 상기 학습자가 상기 가상 현실 학습 컨텐츠 상의 객체를 선택하고, 가상 현실 환경을 제어하기 위한 신호이다.The virtual reality controller 100c generates a second haptic signal that is a control signal of the learner for an object on the virtual reality learning content provided by the HMD. Here, the second haptic signal is a signal for the learner to select an object on the virtual reality learning content and control a virtual reality environment.

모션 센서(100d)는 상기 햅틱 글러브(100a), 상기 HMD(100b) 및 상기 가상 현실 컨트롤러(100c)의 3차원 공간 상의 위치 정보를 획득하여 학습자의 동작을 인식한다. The motion sensor 100d recognizes the learner's motion by acquiring location information of the haptic glove 100a, the HMD 100b, and the virtual reality controller 100c in a three-dimensional space.

통신부(100e)는 상기 제1 햅틱 신호, 상기 제2 햅틱 신호 및 상기 위치 정보를 후술할 가상 정비 훈련 제공 장치(500)로 제공한다. The communication unit 100e provides the first haptic signal, the second haptic signal, and the location information to a virtual maintenance training providing apparatus 500 to be described later.

도 2는 본 발명의 일 실시예에 따른 모형 공구(200)를 간략히 나타낸 도면이다.2 is a schematic view showing a model tool 200 according to an embodiment of the present invention.

모형 공구(200)는 전원 공급부(205), 공구 모션 센서부(210), 통신부(220)를 포함할 수 있다. 모형 공구(200)의 각 구성은 예시적인 것이며, 필요에 따라 일부 구성이 추가되거나, 생략될 수 있다. The model tool 200 may include a power supply unit 205, a tool motion sensor unit 210, and a communication unit 220. Each configuration of the model tool 200 is exemplary, and some configurations may be added or omitted as necessary.

전원 공급부(205)는 모형 공구(200)내 각 기능 블록들(210, 220)으로 동작 전원을 공급하고, 공구 모션 센서부(210)는 상기 모형 공구에 대한 학습자의 공구 모션을 인식하기 위한 모형 공구 센싱 신호를 발생하고, 통신부(220)는 상기 가상 정비 훈련 제공 장치(500)로 상기 모형 공구 모션 센싱 신호를 송신한다. 그리고, 상기 공구 모션 센서부(210)는 상기 모형 공구(200)의 선형 이동을 검출하는 가속도 센서(210a), 상기 모형 공구(200)의 자세 정보를 검출하는 자이로 센서(210b), 상기 모형 공구(200)에 가해진 진동을 검출하는 진동 센서(210c)를 포함한다. The power supply unit 205 supplies operation power to each of the functional blocks 210 and 220 in the model tool 200, and the tool motion sensor unit 210 is a model for recognizing a learner's tool motion with respect to the model tool. A tool sensing signal is generated, and the communication unit 220 transmits the model tool motion sensing signal to the virtual maintenance training providing device 500. In addition, the tool motion sensor unit 210 includes an acceleration sensor 210a for detecting a linear movement of the model tool 200, a gyro sensor 210b for detecting posture information of the model tool 200, and the model tool It includes a vibration sensor (210c) for detecting the vibration applied to the 200.

도 3은 본 발명의 일 실시예에 따른 모형 공구(200)의 예시를 보여주는 도면이다. 도 3에서와 같이 본 발명의 일 실시예에 따른 모형 공구(200)는 참조번호 300과 같이 “+ 드라이버”, “드라이버”, 스패너, 육각 렌치 등 사전에 정해진 정비 시나리오 절차에 필요한 각종 공구들로 구성할 수 있다. 3 is a view showing an example of a model tool 200 according to an embodiment of the present invention. As shown in FIG. 3, the model tool 200 according to an embodiment of the present invention includes various tools necessary for a predetermined maintenance scenario procedure such as “+ driver”, “driver”, spanner, hexagon wrench, etc. Configurable.

도 4는 본 발명의 일 실시예에 따른 가상 정비 훈련 제공 장치(500)를 간략히 나타낸 도면이다.4 is a schematic diagram of an apparatus 500 for providing virtual maintenance training according to an embodiment of the present invention.

도 4에서와 같이 본 발명의 일 실시예에 따른 가상 정비 훈련 제공 장치(400)는 정비 훈련 컨텐츠 처리부(405), 가상 현실 컨텐츠 생성부(410), 표시부(415), 제어부(420), 통신부(425)를 포함한다. 가상 정비 훈련 제공 장치(400)의 각 구성은 예시적인 것이며, 필요에 따라 일부 구성이 추가되거나, 생략될 수 있다. As shown in FIG. 4, the apparatus 400 for providing virtual maintenance training according to an embodiment of the present invention includes a maintenance training content processing unit 405, a virtual reality content generation unit 410, a display unit 415, a control unit 420, and a communication unit. Includes 425. Each configuration of the apparatus 400 for providing virtual maintenance training is exemplary, and some configurations may be added or omitted as necessary.

정비 훈련 컨텐츠 처리부(405)는 상기 학습자에게 정비 교육을 실시할 대상 장비의 정비 훈련 컨텐츠를 생성한다. 구체적으로, 상기 정비 훈련 컨텐츠는 상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야하는 위치 정보(Marker)를 포함한다. The maintenance training content processing unit 405 generates maintenance training content for the target equipment to be provided with maintenance training to the learner. Specifically, the maintenance training content includes a maintenance history of the maintenance target equipment, a maintenance scenario of the maintenance target equipment, maintenance guide information for the maintenance target equipment, and location information where the model tool should be located in a maintenance scenario of the maintenance target equipment. Includes (Marker).

가상 현실 컨텐츠 생성부(410)는 학습자가 가상 현실 상에서 정비 교육 학습 중 사용할 모형 공구, 상기 정비 교육 대상 장비 및 상기 학습자가 정비 작업을 수행할 정비 작업 공간을 3차원(3D) 모델링하여 상기 학습자에게 가상 현실 상으로 제공한다. 본 발명의 일 실시 예에 따라 가상 현실 컨텐츠 생성부(410)는 주로 Unity 3D 소프트웨어를 사용하여 가상 현실을 학습자에게 제공할 수 있다. 가상 현실 컨텐츠 생성부(410)는 모형 공구 3차원 모델링부(410a), 정비 대상 장비 3차원 모델링부(410b), 정비 작업 공간 3차원 모델링부(410c)를 포함한다. The virtual reality content generation unit 410 provides a three-dimensional (3D) modeling of a model tool that the learner will use during maintenance education learning in virtual reality, the equipment for maintenance education, and a maintenance work space in which the learner will perform maintenance work. Provided in virtual reality. According to an embodiment of the present invention, the virtual reality content generation unit 410 may provide virtual reality to a learner mainly using Unity 3D software. The virtual reality content generation unit 410 includes a model tool 3D modeling unit 410a, a maintenance target equipment 3D modeling unit 410b, and a maintenance work space 3D modeling unit 410c.

모형 공구 3차원 모델링부(410a)는 상기 학습자가 상기 정비 대상 장비의 정비를 위해 필요한 모형 공구를 3차원 모델링하고, 정비 대상 장비 3차원 모델링부(410b)는 상기 정비 대상 장비를 3차원 모델링하고, 상기 학습자가 정비 작업을 진행하는 공간을 3차원 모델링하는 정비 작업 공간 3차원 모델링부(410c)를 포함한다. The model tool three-dimensional modeling unit 410a three-dimensionally models the model tool required for the maintenance of the maintenance target equipment by the learner, and the maintenance target equipment three-dimensional modeling unit 410b three-dimensionally models the maintenance target equipment , And a maintenance work space three-dimensional modeling unit 410c for three-dimensional modeling a space in which the learner performs maintenance work.

표시부(415)는 상기 학습자의 HMD(100b)로 제공하는 상기 정비 교육 컨텐츠의 3차원 영상을 출력함으로써, 피학습자가 학습자의 정비 훈련 과정을 모니터링 할 수 있다. The display unit 415 outputs a 3D image of the maintenance education content provided to the learner's HMD 100b, so that the learner can monitor the learner's maintenance training process.

제어부(420)는 상기 학습자가 선택한 장비의 정비 시나리오를 제공하도록 상기 정비 훈련 컨텐츠 처리부를 제어하고, 상기 제1 햅틱 신호와 상기 제2 햅틱 신호에 기반하여 상기 가상 현실 상의 상기 장비에 대한 정비 훈련을 수행하도록 상기 가상 현실 컨텐츠 생성부(410)를 제어하고, 상기 가상 현실 컨텐츠 생성부(410)가 상기 학습자에게 제공하고 있는 정비 훈련 컨텐츠와 상기 학습자의 정비 훈련 결과를 표시부(415)를 통해 제공한다. The control unit 420 controls the maintenance training content processing unit to provide a maintenance scenario for the equipment selected by the learner, and performs maintenance training on the equipment in the virtual reality based on the first haptic signal and the second haptic signal. The virtual reality content generation unit 410 is controlled to perform, and the maintenance training content provided by the virtual reality content generation unit 410 to the learner and the maintenance training result of the learner are provided through the display unit 415 .

또한, 제어부(420)는 가상 현실 장치(100)의 HMD(100b)를 통해 학습자가 선택한 학습 대상 장비의 정비 범위에 따라 정비 시나리오에 따른 가상 정비 훈련을 제공하면서, 모션 센서(100d)를 통해 센싱된 학습자 모션 센싱 신호들에 따라 가상 정비 훈련 학습을 제공하고, 장비의 정비 시나리오 상에서 모형 공구가 위치해야 하는 위치 정보(Marker)를 표시하도록 가상 현실 컨텐츠 생성부(410)를 제어한다. 또한, 제어부(420)는 모형 공구(200)로부터 수신된 공구 모션 센싱 신호에 따라 상기 위치 정보 지점에 학습자가 모형 공구(200)를 위치시켰음이 확인되면, 학습자가 모형 공구(200)를 이용하여 정비 절차를 수행할 수 있도록 가상 현실 컨텐츠를 생성하도록 가상 현실 컨텐츠 생성부(410)를 제어한다. 그리고, 제어부(420)는 통신부(425)를 통해 가상 현실 장치(100)와 신호들을 송수신한다. In addition, the controller 420 provides virtual maintenance training according to the maintenance scenario according to the maintenance range of the learning target equipment selected by the learner through the HMD 100b of the virtual reality device 100, while sensing through the motion sensor 100d. Provides virtual maintenance training learning according to the learner's motion sensing signals, and controls the virtual reality content generation unit 410 to display position information (Marker) where the model tool should be located in the maintenance scenario of the equipment. In addition, when it is confirmed that the learner has positioned the model tool 200 at the location information point according to the tool motion sensing signal received from the model tool 200, the control unit 420 uses the model tool 200 The virtual reality content generation unit 410 is controlled to generate virtual reality content so that the maintenance procedure can be performed. Further, the control unit 420 transmits and receives signals to and from the virtual reality device 100 through the communication unit 425.

도 5는 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템의 동작을 개념적으로 설명하기 위한 흐름도이다. 5 is a flowchart conceptually explaining the operation of the virtual maintenance training system according to an embodiment of the present invention.

가상 정비 훈련 제공 장치(400)는 가상 현실 환경 내에 정비 학습 컨텐츠를 포함하는 한 개 이상의 목차를 표시하고(S100), 가상 현실 환경 내 정비 훈련 대상 3차원 모델 및 구성 요소를 표시한다(S102). 그리고, 가상 정비 훈련 제공 장치(400)는 학습자가 가상 현실 내에서 정비 훈련 목차 내 정비 범위를 선택하고(S104), 정비 시나리오 진행 할지 여부를 결정한다(S106). 가상 정비 훈련 제공 장치(400)는 정비 시나리오 진행이 결정되면, 학습자의 동적 제어에 의한 작동 메커니즘을 구현(S108)하고, 모형 공구 인식 메커니즘을 구현(S110)한다. The virtual maintenance training providing apparatus 400 displays one or more table of contents including maintenance learning content in a virtual reality environment (S100), and displays a 3D model and components for maintenance training in the virtual reality environment (S102). Then, the virtual maintenance training providing apparatus 400 determines whether the learner selects a maintenance range within the maintenance training table of contents in the virtual reality (S104) and whether to proceed with the maintenance scenario (S106). When the progress of the maintenance scenario is determined, the virtual maintenance training providing apparatus 400 implements an operation mechanism by dynamic control of the learner (S108) and implements a model tool recognition mechanism (S110).

도 6은 본 발명의 일 실시예에 따른 가상 현실 상 정비 훈련을 위한 가상 현실 컨텐츠 생성하기 위한 흐름도이다. 6 is a flowchart for generating virtual reality content for maintenance training in virtual reality according to an embodiment of the present invention.

가상 정비 훈련 제공 장치(400)는 정비 훈련 대상 장비의 3차원 모델링을 수행하고(S202), 정비 훈련 대상 장비의 정비 훈련 컨텐츠를 생성한다(S204). 그리고, 가상 정비 훈련 제공 장치(400)는 정비 훈련 대상 장비 훈련을 위해 필요한 공구를 정의하고(S206), 상기 정의된 공구를 3차원 모델링을 수행하고(S208), 작업 환경 3차원 모델링을 수행한다(S210). The virtual maintenance training providing apparatus 400 performs 3D modeling of the equipment subject to maintenance training (S202), and generates maintenance training contents of the equipment subject to maintenance training (S204). In addition, the apparatus 400 for providing virtual maintenance training defines a tool required for training the target equipment for maintenance training (S206), performs 3D modeling of the defined tool (S208), and performs 3D modeling of the working environment. (S210).

도 7은 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템에서 학습자에게 가상 정비 훈련을 제공하기 위한 동작을 개념적으로 설명하기 위한 흐름도이다. 7 is a flowchart conceptually illustrating an operation for providing virtual maintenance training to a learner in a virtual maintenance training system according to an embodiment of the present invention.

가상 정비 훈련 시스템은 가상 현실 환경 내 정비 훈련 컨텐츠를 포함하는 한 개 이상의 목차를 표시하고(S302), 학습자로부터 정비 훈련 컨텐츠가 선택되면(S304), 가상 현실 환경 내 정비 훈련 대상 장비의 3차원 모델 및 구성 요소를 표시한다(S306). 가상 정비 훈련 시스템은 정비 훈련 목차 내 정비 범위를 선택하고(S308), 정비 범위에 해당하는 정비 시나리오를 로딩(loading)한다(S310). 그리고, 가상 정비 훈련 시스템은 정비 절차와 정비 위치 가이드를 표시하고(S312), 정비 절차에 따른 정비 훈련을 제공한다(S314). The virtual maintenance training system displays one or more table of contents including maintenance training content in a virtual reality environment (S302), and when the maintenance training content is selected from the learner (S304), a three-dimensional model of the maintenance training target equipment in the virtual reality environment And the components are displayed (S306). The virtual maintenance training system selects a maintenance range within the maintenance training table of contents (S308), and loads a maintenance scenario corresponding to the maintenance range (S310). Then, the virtual maintenance training system displays a maintenance procedure and a maintenance position guide (S312), and provides maintenance training according to the maintenance procedure (S314).

또한, 가상 정비 훈련 시스템은 정비 절차에 따른 정비 훈련을 학습자에게 제공하는 중(S314) 학습자가 모형 공구를 정비 위치 가이드 상으로 위치시키는지를 검사하고(S316), 모형 공구가 정비 위치 가이드 상에 위치하였다면, 정비 절차에 따라 정비 훈련 대상 장비를 상대로 가상 현실 상 정비를 수행하고(S318), 정비 위치 가이드 상으로 위치하지 않았다면, 정비 절차에 따른 정비 훈련 제공을 계속한다(S314).In addition, while providing maintenance training according to the maintenance procedure to the learner (S314), the virtual maintenance training system checks whether the learner positions the model tool on the maintenance position guide (S316), and the model tool is located on the maintenance position guide. If so, the maintenance is performed in virtual reality for the equipment subject to maintenance training according to the maintenance procedure (S318), and if it is not located on the maintenance position guide, maintenance training according to the maintenance procedure is continued (S314).

그리고, 가상 정비 훈련 시스템은 학습자로부터 가상 정비 훈련 종료 요청이 입력되면(S320), 훈련 결과를 저장하고(S322), 그렇지 않다면, 정비 절차에 따라 정비 훈련 대상 장비를 상대로 가상 현실 상 정비를 수행한다(S318). And, when the virtual maintenance training end request is inputted from the learner (S320), the training result is stored (S322), and if not, it performs maintenance in virtual reality on the maintenance training target equipment according to the maintenance procedure. (S318).

도 8은 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템에서 학습자에게 가상 정비 훈련을 제공하는 운용 예를 나타낸 도면이다. 도 8에서와 같이 본 발명의 일 실시예에 따른 가상 정비 훈련 시스템은, 전투기, 탱크, 함정 등과 같음 매우 고가이면서, 취급이 어려운 군사 장비들에 대하여 시간과 공간의 제약 없이 학습자들에게 가상 현실을 통한 정비 훈련 교육을 제공할 수 있다. FIG. 8 is a diagram illustrating an example of an operation of providing virtual maintenance training to learners in a virtual maintenance training system according to an embodiment of the present invention. As shown in FIG. 8, the virtual maintenance training system according to an embodiment of the present invention provides virtual reality to learners without limitation of time and space for very expensive and difficult to handle military equipment such as fighters, tanks, and ships. Maintenance training education can be provided.

상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The method described above can be implemented as computer-readable codes on a computer-readable recording medium. Computer-readable recording media include all types of recording media in which data that can be decoded by a computer system are stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed to a computer system connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the above has been described with reference to a preferred embodiment of the present invention, those of ordinary skill in the relevant technical field can use the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. It will be appreciated that various modifications and changes can be made.

Claims (17)

가상 현실을 이용한 군용 장비 정비 훈련 시스템에 있어서,
상기 가상 현실 상에서 상기 정비 훈련을 제공받는 학습자에게 정비 훈련을 실시할 정비 훈련 대상 장비의 정비 훈련 컨텐츠를 생성하고, 상기 학습자로부터의 햅틱 신호에 따라 상기 정비 훈련 대상 장비에 관한 정비 시나리오를 제공하는 가상 정비 훈련 제공 장치;
상기 가상 현실에서 상기 학습자가 상기 정비 훈련 대상 장비를 정비하기 위한 모형 공구; 및
상기 학습자에게 상기 가상 정비 훈련 제공 장치로부터 제공된 상기 정비 훈련 대상 장비와 상기 정비 훈련 컨텐츠를 상기 가상 현실 상으로 제공하고, 상기 학습자의 상기 모형 공구를 이용한 햅틱 신호를 상기 가상 현실 상으로 표시하는 가상 현실 장치;를 포함하며,
상기 가상 현실 장치는,
상기 학습자가 상기 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생하는 햅틱 글러브;
상기 학습자의 두부에 장착되어 상기 생성된 정비 훈련 컨텐츠를 상기 학습자에게 제공하는 HMD(Head Mounded Display);
상기 HMD가 제공하는 가상 현실 상의 정비 객체에 대한 상기 학습자의 제어 신호인 제2 햅틱 신호를 발생하는 가상 현실 컨트롤러;
상기 제1 햅틱 신호와 상기 제2 햅틱 신호를 상기 가상 정비 훈련 제공 장치로 제공하는 통신부; 및
상기 햅틱 글러브, 상기 HMD 및 상기 가상 현실 컨트롤러의 3차원 공간 상의 위치 정보를 획득하여 학습자의 동작을 인식하는 모션 센서;를 포함하고,
상기 가상 정비 훈련 제공 장치는,
상기 학습자에게 정비 교육을 실시할 대상 장비의 정비 훈련 컨텐츠를 생성하여 제공하는 정비 훈련 컨텐츠 처리부;
상기 학습자가 가상 현실 상에서 정비 훈련 중 사용할 모형 공구, 상기 정비 훈련 대상 장비 및 상기 학습자가 정비 작업을 수행할 정비 작업 공간을 3차원(3D) 모델링하여 상기 학습자에게 가상 현실 상으로 제공하는 가상 현실 컨텐츠 생성부;
상기 학습자의 HMD로 제공하는 상기 정비 교육 컨텐츠의 3차원 영상을 출력하는 표시부; 및
상기 학습자가 선택한 장비의 정비 범위에 따라 상기 정비 훈련 컨텐츠 처리부를 제어하여 정비 시나리오를 제공하고, 상기 제1 햅틱 신호와 상기 제2 햅틱 신호에 따라 상기 가상 현실 컨텐츠 생성부를 제어하여 상기 학습자가 상기 가상 현실상의 상기 장비에 대한 정비 훈련을 수행하도록 하되, 상기 가상 현실 컨텐츠 생성부를 제어하여 상기 장비의 정비 시나리오 상에서 모형 공구가 위치해야 하는 위치 정보(Marker)를 표시하고, 상기 모형 공구로부터 수신된 모형 공구 모션 센싱 신호에 따라 위치 정보 지점에 학습자가 모형 공구를 위치시켰음이 확인되면, 학습자가 상기 모형 공구를 이용하여 정비 절차를 수행하도록 상기 가상 현실 컨텐츠 생성부를 제어하고, 상기 학습자의 정비 훈련 결과를 상기 표시부를 통해 제공하는 제어부;를 포함하는 가상 현실을 이용한 군용 장비 정비 훈련 시스템.
In the military equipment maintenance training system using virtual reality,
A virtual for generating maintenance training contents of the maintenance training target equipment to perform maintenance training to the learner who is provided with the maintenance training in the virtual reality, and providing a maintenance scenario for the maintenance training target equipment according to a haptic signal from the learner. Equipment for providing maintenance training;
A model tool for the learner to maintain the equipment for maintenance training in the virtual reality; And
A virtual reality that provides the learner with the maintenance training target equipment and the maintenance training content provided from the virtual maintenance training providing device on the virtual reality, and displays a haptic signal using the model tool of the learner on the virtual reality It includes;
The virtual reality device,
A haptic glove generating a first haptic signal generated as the learner manipulates the model tool;
A Head Mounded Display (HMD) mounted on the learner's head and providing the generated maintenance training content to the learner;
A virtual reality controller that generates a second haptic signal, which is a control signal of the learner for maintenance objects in virtual reality provided by the HMD;
A communication unit that provides the first haptic signal and the second haptic signal to the virtual maintenance training providing device; And
A motion sensor for recognizing a learner's motion by acquiring location information of the haptic glove, the HMD, and the virtual reality controller in a three-dimensional space; and
The virtual maintenance training providing device,
A maintenance training content processing unit for generating and providing maintenance training content for the target equipment to be provided to the learner;
Virtual reality content provided to the learner in virtual reality by modeling a model tool that the learner will use during maintenance training in virtual reality, the equipment for maintenance training, and a maintenance work space in which the learner will perform maintenance work. Generation unit;
A display unit for outputting a 3D image of the maintenance education content provided to the learner's HMD; And
Provides a maintenance scenario by controlling the maintenance training content processing unit according to the maintenance range of the equipment selected by the learner, and controlling the virtual reality content generation unit according to the first haptic signal and the second haptic signal so that the learner Perform maintenance training on the equipment in reality, but by controlling the virtual reality content generator to display position information (Marker) where the model tool should be located in the maintenance scenario of the equipment, and the model tool received from the model tool When it is confirmed that the learner has placed the model tool at the location information point according to the motion sensing signal, the virtual reality content generator is controlled so that the learner performs a maintenance procedure using the model tool, and the maintenance training result of the learner is said. Military equipment maintenance training system using virtual reality including; a control unit provided through the display unit.
삭제delete 제1항에 있어서,
상기 가상 정비 훈련 제공 장치는,
상기 모션 센서로부터 상기 학습자의 동작에 관한 동작 정보를 수신하고, 상기 동작 정보에 기반하여 상기 정비 교육을 수행하도록 제어하는, 가상 현실을 이용한 군용 장비 정비 훈련 시스템.
The method of claim 1,
The virtual maintenance training providing device,
A military equipment maintenance training system using virtual reality that receives motion information about the learner's motion from the motion sensor, and controls to perform the maintenance education based on the motion information.
제1항에 있어서,
상기 모형 공구는,
동작 전원을 공급하는 전원 공급부;
상기 모형 공구에 대한 상기 학습자의 모션을 인식하기 위한 모형 공구 모션 센싱 신호를 발생하는 공구 모션 센서부;및
상기 가상 정비 훈련 제공 장치로 상기 모형 공구 모션 센싱 신호를 송신하는 통신부를 포함하는 가상 현실을 이용한 군용 장비 정비 훈련 시스템.
The method of claim 1,
The model tool,
A power supply for supplying operating power;
A tool motion sensor unit that generates a model tool motion sensing signal for recognizing the learner's motion with respect to the model tool; And
Military equipment maintenance training system using virtual reality including a communication unit for transmitting the model tool motion sensing signal to the virtual maintenance training providing device.
제4항에 있어서,
상기 공구 모션 센서부는,
상기 모형 공구의 선형 이동을 검출하는 가속도 센서;
상기 모형 공구의 자세 정보를 검출하는 자이로 센서;및
상기 모형 공구에 가해진 진동을 검출하는 진동 센서를 포함하는 가상 현실을 이용한 군용 장비 정비 훈련 시스템.
The method of claim 4,
The tool motion sensor unit,
An acceleration sensor detecting a linear movement of the model tool;
A gyro sensor for detecting posture information of the model tool; And
Military equipment maintenance training system using virtual reality including a vibration sensor that detects vibration applied to the model tool.
삭제delete 제1항에 있어서,
상기 정비 훈련 컨텐츠는,
상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야 하는 위치 정보(Marker)를 포함하는, 가상 현실을 이용한 군용 장비 정비 훈련 시스템.
The method of claim 1,
The maintenance training content,
Including a maintenance history of the maintenance target equipment, a maintenance scenario of the maintenance target equipment, maintenance guide information for the maintenance target equipment, and location information (Marker) at which the model tool should be located in a maintenance scenario of the maintenance target equipment, Military equipment maintenance training system using virtual reality.
제1항에 있어서,
상기 가상 현실 컨텐츠 생성부는,
상기 학습자가 상기 정비 대상 장비의 정비를 위해 필요한 모형 공구를 3차원 모델링하는 모형 공구 3차원 모델링부;
상기 정비 대상 장비를 3차원 모델링하는 정비 대상 장비 3차원 모델링부; 및
상기 학습자가 정비 작업을 진행하는 공간을 3차원 모델링하는 정비 작업 공간 3차원 모델링부;를 포함하는, 가상 현실을 이용한 군용 장비 정비 훈련 시스템.
The method of claim 1,
The virtual reality content generation unit,
A model tool 3D modeling unit for the learner to 3D model a model tool required for maintenance of the maintenance target equipment;
A maintenance target equipment three-dimensional modeling unit for three-dimensional modeling the maintenance target equipment; And
A maintenance work space three-dimensional modeling unit for three-dimensional modeling a space in which the learner performs maintenance work, including, military equipment maintenance training system using virtual reality.
가상 현실을 이용한 군용 장비 정비 훈련 방법에 있어서,
가상 정비 훈련 제공 장치가, 가상 현실 환경 내에 정비 훈련 컨텐츠를 포함하는 적어도 한 개 이상의 정비 교육 목차를 표시하는 단계;
상기 가상 정비 훈련 제공 장치가, 상기 가상 현실 환경 내에 학습자가 선택한 정비 교육 목차에 해당하는 정비 훈련 대상 장비의 3차원 모델과 장비의 구성 요소를 표시하는 단계; 및
상기 가상 정비 훈련 제공 장치가, 상기 학습자가 선택한 상기 훈련 대상 장비의 정비 범위에 따라 정비 시나리오에 따른 가상 정비 훈련을 제공하되, 상기 가상 정비 훈련에 따른 모형 공구를 사용하여 상기 가상 현실 상 상기 장비에 대한 정비를 수행토록 하는 단계;를 포함하며,
상기 가상 현실 환경 내에 상기 학습자가 선택한 정비 교육 목차에 해당하는 정비 훈련 대상 장비의 3차원 모델과 장비의 구성 요소를 표시하는 단계는,
상기 정비 훈련 대상 장비를 3차원 모델링하는 단계;
정비 훈련 대상 장비의 정비 훈련 컨텐츠를 생성하는 단계;
상기 학습자가 가상 현실 상에서 정비 훈련 중 사용할 모형 공구를 정의하여 3차원 모델링하는 단계;
상기 학습자가 정비 작업을 수행할 정비 작업 공간을 3차원(3D) 모델링하여 상기 학습자에게 가상 현실 상으로 제공하는 단계;를 포함하고,
상기 학습자가 선택한 상기 훈련 대상 장비의 정비 범위에 따라 정비 시나리오에 따른 가상 정비 훈련을 제공하되, 상기 가상 정비 훈련에 따른 모형 공구를 사용하여 상기 가상 현실 상 상기 장비에 대한 정비를 수행토록 하는 단계는,
정비 시나리오에 따른 가상 정비 훈련을 학습자에게 제공하는 중에, 상기 훈련 대상 장비의 정비 시나리오 상에서 모형 공구가 위치해야 하는 위치 정보(Marker)를 표시하고, 정비 절차에 따른 정비 훈련을 제공하는 단계;
상기 가상 정비 훈련에 따른 모형 공구로부터 수신된 모형 공구 모션 센싱 신호에 따라 위치 정보 지점에 학습자가 모형 공구를 위치시키는 지를 검사하는 단계;
검사결과, 위치 정보 지점에 학습자가 모형 공구를 위치시키는 경우에는 정비 절차에 따라 상기 훈련 대상 장비를 상대로 가상 현실 상 정비를 수행토록 하는 단계; 및
검사결과, 위치 정보 지점에 학습자가 모형 공구를 위치시키지 않는 경우에는 정비 절차에 따른 정비 훈련 제공을 계속하는 단계;를 포함하는 가상 현실을 이용한 군용 장비 정비 훈련 방법.
In the military equipment maintenance training method using virtual reality,
Displaying, by the virtual maintenance training providing apparatus, at least one maintenance education table of contents including maintenance training contents in a virtual reality environment;
Displaying, by the virtual maintenance training providing apparatus, a 3D model of the equipment to be maintained and components of the equipment corresponding to a table of contents of maintenance education selected by the learner in the virtual reality environment; And
The apparatus for providing virtual maintenance training provides virtual maintenance training according to a maintenance scenario according to the maintenance range of the training target equipment selected by the learner, and the device in the virtual reality is provided with a model tool according to the virtual maintenance training. Including;
In the virtual reality environment, displaying a 3D model of a maintenance training target equipment and components of the equipment corresponding to the maintenance education contents selected by the learner,
3D modeling the equipment for maintenance training;
Generating maintenance training content of the equipment for maintenance training;
3D modeling by defining a model tool to be used by the learner during maintenance training in virtual reality;
3D modeling a maintenance work space in which the learner will perform maintenance work, and providing the learner in a virtual reality image; Including,
The step of providing virtual maintenance training according to a maintenance scenario according to the maintenance range of the training target equipment selected by the learner, and performing maintenance on the equipment in the virtual reality using a model tool according to the virtual maintenance training ,
While providing virtual maintenance training according to a maintenance scenario to a learner, displaying location information (Marker) at which the model tool should be located in the maintenance scenario of the training target equipment, and providing maintenance training according to the maintenance procedure;
Checking whether the learner positions the model tool at the location information point according to the model tool motion sensing signal received from the model tool according to the virtual maintenance training;
If the learner positions the model tool at the location information point as a result of the inspection, performing maintenance in virtual reality on the training target equipment according to a maintenance procedure; And
As a result of the inspection, if the learner does not place the model tool at the location information point, continuing to provide maintenance training according to the maintenance procedure; Military equipment maintenance training method using virtual reality comprising.
삭제delete 제9항에 있어서,
상기 정비 훈련 컨텐츠는,
상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야 하는 위치 정보(Marker)를 포함하는, 가상 현실을 이용한 군용 장비 정비 훈련 방법.
The method of claim 9,
The maintenance training content,
Including a maintenance history of the maintenance target equipment, a maintenance scenario of the maintenance target equipment, maintenance guide information for the maintenance target equipment, and location information (Marker) at which the model tool should be located in a maintenance scenario of the maintenance target equipment, Military equipment maintenance training method using virtual reality.
삭제delete 삭제delete 삭제delete 삭제delete 제9항에 있어서,
상기 학습자에 대한 평가 결과를 제공하는 단계;를 더 포함하는, 가상 현실을 이용한 군용 장비 정비 훈련 방법.
The method of claim 9,
Providing an evaluation result for the learner; further comprising, military equipment maintenance training method using virtual reality.
삭제delete
KR1020190088717A 2019-07-23 2019-07-23 Military equipment maintenance training system using a virtual reality and operating method of thereof KR102165692B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190088717A KR102165692B1 (en) 2019-07-23 2019-07-23 Military equipment maintenance training system using a virtual reality and operating method of thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190088717A KR102165692B1 (en) 2019-07-23 2019-07-23 Military equipment maintenance training system using a virtual reality and operating method of thereof

Publications (1)

Publication Number Publication Date
KR102165692B1 true KR102165692B1 (en) 2020-11-04

Family

ID=73571200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190088717A KR102165692B1 (en) 2019-07-23 2019-07-23 Military equipment maintenance training system using a virtual reality and operating method of thereof

Country Status (1)

Country Link
KR (1) KR102165692B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947752A (en) * 2021-02-09 2021-06-11 中国人民解放军火箭军工程大学 Cooperative man-machine interaction control method based on intelligent equipment
WO2022103077A1 (en) * 2020-11-13 2022-05-19 농업회사법인 보리누리주식회사 Vr-based smart farm education platform system and method of same
KR20220081599A (en) * 2020-12-09 2022-06-16 제이나인 주식회사 Real object multi-directional recognition training system based on 3D design data and the method using it
KR102508541B1 (en) * 2022-05-25 2023-03-08 이인환 The virtual maintenance training system and method for the military equipment
KR20230079932A (en) 2021-11-29 2023-06-07 제이나인 주식회사 Portable Military Maintenance Training System using Object Recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120052783A (en) * 2010-11-16 2012-05-24 한국전자통신연구원 Apparatus for managing a reconfigurable platform for virtual reality based training simulator
KR101636360B1 (en) * 2015-10-26 2016-07-06 국방과학연구소 A virtual maintenance training system using a virtual reality
KR101981701B1 (en) * 2018-06-20 2019-05-23 주식회사 에스피지코리아 Educational Training Apparatus and Methods Using Virtual Reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120052783A (en) * 2010-11-16 2012-05-24 한국전자통신연구원 Apparatus for managing a reconfigurable platform for virtual reality based training simulator
KR101636360B1 (en) * 2015-10-26 2016-07-06 국방과학연구소 A virtual maintenance training system using a virtual reality
KR101981701B1 (en) * 2018-06-20 2019-05-23 주식회사 에스피지코리아 Educational Training Apparatus and Methods Using Virtual Reality

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022103077A1 (en) * 2020-11-13 2022-05-19 농업회사법인 보리누리주식회사 Vr-based smart farm education platform system and method of same
KR20220081599A (en) * 2020-12-09 2022-06-16 제이나인 주식회사 Real object multi-directional recognition training system based on 3D design data and the method using it
KR102469149B1 (en) * 2020-12-09 2022-11-22 제이나인 주식회사 Real object multi-directional recognition training system based on 3D design data and the method using it
CN112947752A (en) * 2021-02-09 2021-06-11 中国人民解放军火箭军工程大学 Cooperative man-machine interaction control method based on intelligent equipment
CN112947752B (en) * 2021-02-09 2024-05-07 中国人民解放军火箭军工程大学 Collaborative human-computer interaction control method based on intelligent equipment
KR20230079932A (en) 2021-11-29 2023-06-07 제이나인 주식회사 Portable Military Maintenance Training System using Object Recognition
KR102508541B1 (en) * 2022-05-25 2023-03-08 이인환 The virtual maintenance training system and method for the military equipment

Similar Documents

Publication Publication Date Title
KR102165692B1 (en) Military equipment maintenance training system using a virtual reality and operating method of thereof
US20200042097A1 (en) Holographic interface for manipulation
Wang et al. Design, strategies, and issues towards an augmented reality-based construction training platform
US3919691A (en) Tactile man-machine communication system
US11810259B2 (en) System and method for generating asynchronous augmented reality instructions
KR101636360B1 (en) A virtual maintenance training system using a virtual reality
KR101262848B1 (en) Apparatus of reconfigurable platform for virtual reality based training simulator
CN112105486B (en) Augmented reality for industrial robots
CN107890672A (en) Visible sensation method and device, storage medium, the electronic equipment of compensating sound information
EP1709519A1 (en) A virtual control panel
US9472119B2 (en) Computer-implemented operator training system and method of controlling the system
KR100936090B1 (en) The semi-immersive multi computerized numuerical control machine tools simulation system
RU2013109310A (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US20190355281A1 (en) Learning support system and recording medium
Rehman et al. Gestures and marker based low-cost interactive writing board for primary education
Rodríguez-Sedano et al. Design and evaluation of a graphical user interface for facilitating expert knowledge transfer: a teleoperation case study
US11449146B2 (en) Interactive holographic human-computer interface
KR102469149B1 (en) Real object multi-directional recognition training system based on 3D design data and the method using it
KR102247808B1 (en) Virtual training system with node-based scenario authoring
KR101839191B1 (en) Education apparatus for the iron-taping operation in the blast furnace
Cortés et al. Evaluation of interaction methods in an Extended Reality training environment
Arkhipov et al. Structure synthesis of visualization system for the adaptive training complexes
Frazier An implementation and usability study of a natural user interface virtual piano
JP7475948B2 (en) Training system, method and program
KR20230079932A (en) Portable Military Maintenance Training System using Object Recognition

Legal Events

Date Code Title Description
GRNT Written decision to grant