KR102212336B1 - A head mounted display apparatus having an emergency navigating function with imu - Google Patents

A head mounted display apparatus having an emergency navigating function with imu Download PDF

Info

Publication number
KR102212336B1
KR102212336B1 KR1020190088841A KR20190088841A KR102212336B1 KR 102212336 B1 KR102212336 B1 KR 102212336B1 KR 1020190088841 A KR1020190088841 A KR 1020190088841A KR 20190088841 A KR20190088841 A KR 20190088841A KR 102212336 B1 KR102212336 B1 KR 102212336B1
Authority
KR
South Korea
Prior art keywords
head
user
display device
worn
emergency
Prior art date
Application number
KR1020190088841A
Other languages
Korean (ko)
Other versions
KR20210011665A (en
Inventor
최치원
배영헌
정희재
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190088841A priority Critical patent/KR102212336B1/en
Publication of KR20210011665A publication Critical patent/KR20210011665A/en
Application granted granted Critical
Publication of KR102212336B1 publication Critical patent/KR102212336B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 HMD 프레임의 일 측에 설치되며 IMU 센서를 포함하는 센서부; 상기 센서부에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 상기 추적된 사용자의 이동 경로를 이용하여 탈출 경로를 생성하는 연산부; 상기 연산부가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치에 자동으로 표시되는 내비게이션 영상 정보에 따라 신속하고 안전하게 탈출할 수 있다.
또한, 본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.The present invention relates to a head-worn display device having an emergency navigation function using an IMU sensor, and more specifically, as a head-worn display device, an HMD that can be worn by a user for work at a hazardous work site. frame; An optical system disposed in front of both eyes of a user wearing the HMD frame, and allowing the real world through the user's field of view to be transmitted and seen; A display that outputs image light so that navigation image information can be provided to a user in an optimized screen along with the real world transmitted through the optical system; A sensor unit installed on one side of the HMD frame and including an IMU sensor; An operation unit for tracking a moving path of a working user based on the information collected by the sensor unit, and generating an escape path using the tracked user's moving path when an emergency event occurs; It is characterized in that it comprises a control unit that generates navigation image information for guiding the escape route generated by the operation unit based on an augmented reality, and transmits it to the display.
According to the head-worn display device having an emergency navigation function using the IMU sensor proposed in the present invention, the user who is working by using the IMU sensor provided in the head-worn display device worn by users who enter the dangerous work site By tracking the movement path and outputting navigation image information that guides the user's movement path based on augmented reality when an emergency event occurs, it is automatically displayed on the head-worn display device worn by the user in case of an emergency. You can escape quickly and safely according to the displayed navigation video information.
In addition, according to the head-worn display device having an emergency navigation function using the IMU sensor proposed in the present invention, the escape route is shared and propagated with other adjacent head-worn display devices, and the shared escape route is transferred to the IMU sensor. By optimizing according to the location and posture of each user and outputting navigation image information that guides based on augmented reality, users who are working at risky work sites are aware of an emergency situation It is possible to minimize human damage by moving quickly according to the optimized and guided navigation image information.

Description

IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치{A HEAD MOUNTED DISPLAY APPARATUS HAVING AN EMERGENCY NAVIGATING FUNCTION WITH IMU}Head-worn display device with emergency navigation function using IMU sensor {A HEAD MOUNTED DISPLAY APPARATUS HAVING AN EMERGENCY NAVIGATING FUNCTION WITH IMU}

본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것이다.The present invention relates to a head-worn display device, and more specifically, to a head-worn display device having an emergency navigation function using an IMU sensor.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
Various wearable devices are being developed according to the trend of lightening and miniaturization of digital devices. A head mounted display, which is a type of wearable device, refers to various devices that can be worn by a user to receive multimedia contents and the like. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMD) are divided into see-through type and see-closed type, and the transmissive type is mainly used for Augmented Reality (AR), and the sealed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-type head mounted display (HMD). As shown in FIGS. 1 and 2, respectively, a head-mounted display in the form of a general eyeglass or a band projects the image information of augmented reality (AR) onto the real world through a lens worn on the face or head of the user and transmitted. To the user.

한편, 유독물질이 저장된 탱크, 액화천연가스 저장탱크, 선박 탱크, 화학설비 공장 등의 산업시설은 주기적으로 유지보수 및 청소 작업이 이루어지고 있다. 이러한 유지보수 및 청소 작업에 투입되는 작업자들은 대부분이 마스크, 랜턴, 안전모 등의 간단한 안전장비를 구비한 상태로 작업에 투입되는데, 복잡한 내부 구조 및 산업시설의 설비에서 누출되는 환경 유해 가스나 화재 시에 발생하는 연기 등으로 인한 시인성 저하 때문에, 위급상황 시 작업자의 탈출이 어렵고, 이로 인한 치명적인 인명사고가 발생될 수 있다.
Meanwhile, industrial facilities such as tanks in which toxic substances are stored, liquefied natural gas storage tanks, ship tanks, and chemical facility factories are regularly maintained and cleaned. Most of the workers involved in maintenance and cleaning work are put into work with simple safety equipment such as masks, lanterns, and hard hats.In the case of environmentally harmful gases or fires leaking from facilities of complex internal structures and industrial facilities Due to the decrease in visibility due to smoke generated in the vehicle, it is difficult for the worker to escape in an emergency situation, which can lead to a fatal accident.

일반적으로 화재 등의 위급상황 발생 시, 비상구 또는 지정된 대피장소로 사람들을 유도하기 위해 비상구 방향을 표시하는 비상구 유도등이 건물 내에 부착되어 있다. 그러나 실제 위급상황 발생 시에는, 작업자가 복잡한 내부 구조를 정확히 파악하지 못하고 있을 수 있으며, 산업시설 내에서 발생한 연기 등에 의해 비상구 유도등이 가려져서 시인성이 저하되므로, 사람들이 비상구 유도등을 제대로 확인하기 어렵게 되어, 신속한 탈출이 어려운 한계가 있다. 따라서 사고가 발생한 위급상황에서 위험작업 현장으로부터 작업자가 신속하게 탈출할 수 있도록 안내해 줄 수 있는 기술의 개발이 필요한 실정이다.
In general, in the event of an emergency such as a fire, an emergency exit guidance light indicating the direction of the emergency exit is attached in the building to guide people to the emergency exit or designated evacuation site. However, in the event of an actual emergency, the operator may not be able to accurately grasp the complex internal structure, and the emergency exit guidance light is covered by smoke generated in the industrial facility and the visibility decreases, making it difficult for people to properly check the emergency exit guidance light. There is a limit in which it is difficult to escape quickly. Therefore, it is necessary to develop a technology that can guide workers to quickly escape from dangerous work sites in an emergency situation where an accident occurs.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1644933호(발명의 명칭: 재난 대피 경로 안내 방법 및 그 시스템, 공고일자: 2016년 08월 12일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Patent No. 10-1644933 (name of the invention: disaster evacuation route guidance method and system, notification date: August 12, 2016) and the like have been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치에 자동으로 표시되는 내비게이션 영상 정보에 따라 신속하고 안전하게 탈출할 수 있는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the previously proposed methods, and uses an IMU sensor provided in a head-worn display device worn by users entering a dangerous work site to determine a moving path of a working user. Navigation automatically displayed on the head-worn display device worn by the user in the event of an emergency by outputting navigation image information that tracks and guides the escape route generated from the user's moving route based on augmented reality when an emergency event occurs An object of the present invention is to provide a head-worn display device having an emergency navigation function using an IMU sensor that can escape quickly and safely according to image information.

또한, 본 발명은, 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention shares and propagates the escape route with other adjacent head-worn display devices, optimizes the shared escape route according to the location and posture of each user using an IMU sensor, and guides the navigation based on augmented reality. By outputting video information, users who are working on dangerous work sites recognize the occurrence of an emergency situation, and each user can quickly move according to the navigation video information that is optimized for their situation and guided to minimize human damage. Another object is to provide a head-worn display device having an emergency navigation function using an IMU sensor.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치는,A head-worn display device having an emergency navigation function using an IMU sensor according to a feature of the present invention for achieving the above object,

머리 착용형 디스플레이 장치로서,As a head-worn display device,

위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 HMD 프레임;HMD frame that the user can wear on the head for work in the hazardous work site;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;An optical system disposed in front of both eyes of a user wearing the HMD frame, and allowing the real world through the user's field of view to be transmitted and seen;

상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이;A display for outputting image light so that navigation image information can be provided to a user in an optimized screen along with the real world transmitted through the optical system;

상기 HMD 프레임의 일 측에 설치되며 IMU 센서를 포함하는 센서부;A sensor unit installed on one side of the HMD frame and including an IMU sensor;

상기 센서부에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 상기 추적된 사용자의 이동 경로를 이용하여 탈출 경로를 생성하는 연산부;An operation unit for tracking a moving path of a working user based on the information collected by the sensor unit, and generating an escape path using the tracked user's moving path when an emergency event occurs;

상기 연산부가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
It is characterized in that it comprises a control unit that generates navigation image information for guiding the escape route generated by the operation unit based on an augmented reality, and transmits it to the display.

바람직하게는, 상기 HMD 프레임은,Preferably, the HMD frame,

사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다.
It may be configured in the form of a helmet or goggles having a frame structure that allows light to enter while the user is wearing it on the head.

바람직하게는, 상기 연산부는,Preferably, the calculation unit,

추적 시작 신호를 입력받은 시점부터 상기 사용자의 이동 경로를 추적할 수 있다.
The user's moving path may be traced from the time when the trace start signal is input.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head wearable display device,

위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치로 구성되고, 복수의 머리 착용형 디스플레이 장치 중 하나의 머리 착용형 디스플레이 장치의 디스플레이를 통해 내비게이션 영상 정보의 출력 시 상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치에서도 상기 연산부가 생성한 탈출 경로가 공유되도록 전파할 수 있다.
Consisting of a plurality of head-worn display devices that can be worn by users who are put to work in dangerous work sites, and navigation image information through the display of one of the plurality of head-worn display devices During the output of, the escape route generated by the operation unit may be propagated to be shared in other head-worn display devices adjacent under the control of the controller.

더욱 바람직하게는, 상기 머리 착용형 디스플레이 장치는,More preferably, the head wearable display device,

위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치가 서로 무선으로 연동되고, 위급 상황으로 판단되면 자동으로 상기 연산부가 생성한 탈출 경로의 공유를 통해 위험 지역을 벗어날 수 있는 탈출 경로를 증강현실 기반으로 안내하도록 기능할 수 있다.
A plurality of head-worn display devices, which can be worn by users who are put to work at the dangerous work site, are wirelessly linked to each other, and if it is judged as an emergency situation, it is dangerous by automatically sharing the escape route generated by the operation unit. It can function to guide the escape route that can leave the area based on augmented reality.

더더욱 바람직하게는, 상기 제어부는,Even more preferably, the control unit,

다른 머리 착용형 디스플레이 장치로부터 공유된 탈출 경로를, 상기 센서부에 의해 수집되는 정보에 기초하여 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어할 수 있다.
Generates navigation image information that guides based on augmented reality by optimizing the escape route shared from other head-worn display devices according to the user's location and posture based on the information collected by the sensor unit, and transmits control to the display can do.

더더욱 바람직하게는, 상기 제어부는,Even more preferably, the control unit,

다른 머리 착용형 디스플레이 장치로부터 공유된 탈출 경로와 상기 연산부가 생성한 탈출 경로를 비교하여, 상기 사용자에게 최적의 탈출 경로를 선정하고, 선정된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어할 수 있다.
By comparing the escape route shared by other head-worn display devices with the escape route generated by the operation unit, selects the optimal escape route to the user, and generates navigation image information that guides the selected escape route based on augmented reality. Thus, transmission can be controlled with the display.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head wearable display device,

상기 HMD 프레임에 장착되어 위치 정보를 제공하기 위한 GPS 모듈;A GPS module mounted on the HMD frame to provide location information;

상기 HMD 프레임에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라;A camera mounted on the HMD frame to capture an image in a user's gaze direction;

상기 머리 착용형 디스플레이 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부;A power supply unit for supplying power for driving the head-worn display device;

상기 전원 공급부의 온/오프를 위한 스위치부; 및A switch unit for on/off of the power supply unit; And

상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 송수신하기 위한 데이터 통신을 수행하는 통신부를 더 포함하여 구성할 수 있다.It may be configured to further include a communication unit for performing data communication for transmitting and receiving an escape route with another head-worn display device adjacent under the control of the controller.

본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치에 자동으로 표시되는 내비게이션 영상 정보에 따라 신속하고 안전하게 탈출할 수 있다.
According to the head-worn display device having an emergency navigation function using the IMU sensor proposed in the present invention, the user who is working by using the IMU sensor provided in the head-worn display device worn by users who enter the dangerous work site By tracking the movement path and outputting navigation image information that guides the user's movement path based on augmented reality when an emergency event occurs, it is automatically displayed on the head-worn display device worn by the user in case of an emergency. You can escape quickly and safely according to the displayed navigation video information.

또한, 본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 인접하는 다른 머리 착용형 디스플레이 장치와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.In addition, according to the head-worn display device having an emergency navigation function using the IMU sensor proposed in the present invention, the escape route is shared and propagated with other adjacent head-worn display devices, and the shared escape route is transferred to the IMU sensor. By optimizing according to the location and posture of each user and outputting navigation image information that guides based on augmented reality, users who are working at risky work sites recognize the occurrence of an emergency, and each user responds to their own situation. It is possible to minimize human damage by moving quickly according to the optimized and guided navigation image information.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치의 디스플레이 화면을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치들 사이에 탈출 경로를 공유하는 구현 일례의 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치가 최적의 탈출 경로를 안내하는 구성을 도시한 도면.1 is a view showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a diagram showing a schematic configuration of a general band-type head mounted display (HMD).
3 is a view showing the configuration of a head-worn display device having an emergency navigation function using an IMU sensor according to an embodiment of the present invention as a function block.
FIG. 4 is a view showing, for example, a display screen of a head-worn display device having an emergency navigation function using an IMU sensor according to an embodiment of the present invention.
5 is a view showing the configuration of an example implementation of sharing an escape route between head-worn display devices having an emergency navigation function using an IMU sensor according to an embodiment of the present invention.
6 is a view showing a configuration in which a head-worn display device having an emergency navigation function using an IMU sensor according to an embodiment of the present invention guides an optimal escape route.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is said to be connected to another part, this includes not only the case that it is directly connected, but also the case that it is indirectly connected with another element interposed therebetween. In addition, the inclusion of certain components means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 3은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 구성을 기능블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 디스플레이(130), 센서부(140), 연산부(150) 및 제어부(160)를 포함하여 구성될 수 있으며, GPS 모듈(170), 카메라(180), 전원 공급부(190), 스위치부(200) 및 통신부(210)를 더 포함하여 구성될 수 있다.
3 is a diagram showing the configuration of a head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention as a functional block. As shown in FIG. 3, a head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention includes an HMD frame 110, an optical system 120, and a display 130. ), a sensor unit 140, an operation unit 150, and a control unit 160, and a GPS module 170, a camera 180, a power supply unit 190, a switch unit 200, and a communication unit ( 210) may be further included.

HMD 프레임(110)은, 위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(130) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다. 여기서, 위험작업 현장은 산업시설, 국방, 치안 등의 분야에서의 위험한 작업 현장으로 이해될 수 있다.
The HMD frame 110 is a frame configuration of a head-worn display device 100 that can be worn by a user on the head for work in a hazardous work site. The HMD frame 110 may be configured in the form of a helmet or goggles having a frame structure that allows light to enter while the user is wearing it on the head. Here, when the HMD frame 110 has a helmet shape, it may be configured with a helmet (not shown) worn on the user's head and a frame (not shown) of the display 130 disposed in front of the helmet. In addition, when the HMD frame 110 is configured in the form of goggles, it may be configured with a band frame (not shown) that can be worn on the user's head and a goggle frame (not shown) fastened and fixed to the band frame. Here, the dangerous work site can be understood as a dangerous work site in fields such as industrial facilities, defense, and security.

광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.
The optical system 120 is disposed in front of both eyes of a user wearing the HMD frame 110, and is configured to allow the real world to be transmitted through the user's field of view. The optical system 120 may be formed of a transparent lens in the form of a glass through which the real world can be seen through the user's field of view.

디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보(10)가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(160)의 제어 하에, 산업시설, 국방, 치안 등의 분야에서의 위험작업 현장에서 작업 중인 사용자에게 위급상황 이벤트 발생 시 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 출력할 수 있다.
The display 130 may output image light so that the navigation image information 10 can be provided as an optimized screen to the user together with the real world transmitted through the optical system 120. This display 130, under the control of a controller 160, which will be described later, guides a user who is working at a hazardous work site in fields such as industrial facilities, defense, and security to guide an escape route when an emergency event occurs, based on augmented reality. The navigation image information 10 may be output.

센서부(140)는, HMD 프레임(110)의 일 측에 설치되며 IMU 센서를 포함할 수 있다. 센서부(140)는, 도 1 및 도 2에 도시된 바와 같은 머리 착용형 디스플레이 장치(100)의 HMD 프레임(110)에 부착될 수 있으며, 부착 위치는 머리 착용형 디스플레이 장치(100)의 자세를 가장 정확하게 측정할 수 있는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다. 또한, 센서부(140)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다.
The sensor unit 140 is installed on one side of the HMD frame 110 and may include an IMU sensor. The sensor unit 140 may be attached to the HMD frame 110 of the head-worn display device 100 as shown in FIGS. 1 and 2, and the attachment position is the posture of the head-worn display device 100 As a position that can measure the most accurately, it may be attached to the center between portions where both eyes of the user are located, or may be attached to the left or right side. In addition, the sensor unit 140 may be applied to the HMD frame 110 in a detachable form.

특히, 본 발명의 센서부(140)가 포함하는 IMU 센서는, 3축 가속도계, 3축 자이로계 및 3축 지자계를 포함하는 9축 센서로서, 머리 착용형 디스플레이 장치(100)의 정확한 자세 파악이 가능할 수 있다. 보다 구체적으로, IMU 센서는 MPU9250 센서로 구현될 수 있다.
In particular, the IMU sensor included in the sensor unit 140 of the present invention is a 9-axis sensor including a three-axis accelerometer, a three-axis gyro meter, and a three-axis geomagnetic field, and the correct posture of the head-worn display device 100 is identified. This could be possible. More specifically, the IMU sensor may be implemented as an MPU9250 sensor.

또한, 센서부(140)는 IMU 센서 이외에, 사용자의 위치 파악을 위한 센서를 더 포함할 수 있고, 환경 유해 가스나 온습도 등을 검출할 수 있는 센서를 포함할 수도 있다. 실시예에 따라서는, 정확한 실내 측위를 위해, 센서부(140)는, HMD 프레임(110)에 설치되는 IMU 센서 이외에, 사용자의 신발 등에 설치되는 IMU 센서, MEMS 압력 센서 등을 포함할 수도 있다.
In addition, in addition to the IMU sensor, the sensor unit 140 may further include a sensor for identifying the user's location, and may include a sensor capable of detecting environmentally harmful gases or temperature and humidity. Depending on the embodiment, for accurate indoor positioning, the sensor unit 140 may include, in addition to an IMU sensor installed on the HMD frame 110, an IMU sensor or a MEMS pressure sensor installed on a user's shoe or the like.

연산부(150)는, 센서부(140)에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 추적된 사용자의 이동 경로를 이용하여 탈출 경로를 생성할 수 있다. 여기서, 위급상황 이벤트는, 유해 가스 누출, 화재 발생 등 산업시설, 국방, 치안 등의 위험작업 현장에서 발생할 수 있는 위급상황으로서, 머리 착용형 디스플레이 장치(100)의 제어부(160)가 위급상황 여부를 직접 판단할 수 있으나, 다른 머리 착용형 디스플레이 장치(100) 또는 관제 서버 등으로부터 위급상황 이벤트 발생을 전달받을 수도 있다.
Based on the information collected by the sensor unit 140, the calculation unit 150 can track the moving path of the working user, and generate an escape path using the tracked user's moving path when an emergency event occurs. have. Here, the emergency event is an emergency situation that may occur at hazardous work sites such as industrial facilities such as hazardous gas leakage or fire, national defense, and security, and whether the controller 160 of the head-worn display device 100 is in an emergency situation. Although it may be directly determined, the occurrence of an emergency event may be transmitted from another head-worn display device 100 or a control server.

또한, 연산부(150)는, 추적 시작 신호를 입력받은 시점부터 사용자의 이동 경로를 추적할 수 있다. 즉, 연산부(150)는, 입력 인터페이스를 통해 사용자로부터 추적 시작 신호를 입력받으면, 센서부(140)에 의해 수집되는 사용자의 위치 정보 및 자세 정보에 기초하여 사용자의 이동 경로를 추적하고, 위급상황이 발생하면 추적된 이동 경로를 역산하여 탈출 경로를 생성할 수 있다. 이때, 연산부(150)는, 추후 상세히 설명할 GPS 모듈(170)에서 수집된 정보와 센서부(140)에서 측정된 정보를 결합하여, 더욱 정확하게 사용자의 이동 경로를 추적할 수 있다.
In addition, the operation unit 150 may track the user's moving path from the time when the tracking start signal is input. That is, when receiving a tracking start signal from the user through the input interface, the calculation unit 150 tracks the user's moving path based on the user's location information and posture information collected by the sensor unit 140, and When this occurs, an escape route can be created by inverting the tracked movement route. In this case, the calculation unit 150 may more accurately track the user's moving path by combining the information collected by the GPS module 170 and the information measured by the sensor unit 140, which will be described in detail later.

한편, 실시예에 따라서는, 연산부(150)는 클라우드 형태로 구현될 수 있다. 즉, 머리 착용형 디스플레이 장치(100)와 네트워크로 연결된 클라우드 관제 서버가, 머리 착용형 디스플레이 장치(100)의 센서부(140)로부터 정보를 전송받아 작업 중인 사용자의 이동 경로를 정밀하게 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로를 역산해 탈출 경로를 생성하여 제어부(160)에 전송할 수도 있다.
Meanwhile, depending on the embodiment, the operation unit 150 may be implemented in a cloud form. That is, the cloud control server connected to the head-worn display device 100 through a network receives information from the sensor unit 140 of the head-worn display device 100 and precisely tracks the moving path of the working user, When an emergency event occurs, an escape route may be generated by inverting the user's moving route and transmitted to the controller 160.

제어부(160)는, 연산부(150)가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 디스플레이(130)로 전송되도록 제어할 수 있다. 이때, 제어부(160)는, 센서부(140)에 의해 수집되는 정보 및 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180)에서 촬영된 영상 등에 기초하여 사용자의 위치, 자세, 방향, 각도 등에 따라 탈출 경로를 안내하는 화살표, 탈출 경로, 탈출 경로 상의 현재 위치 정보 등을 포함하는 내비게이션 영상 정보(10)를 생성할 수 있다.
The control unit 160 may generate the navigation image information 10 for guiding the escape route generated by the operation unit 150 based on an augmented reality, and control it to be transmitted to the display 130. At this time, the control unit 160 is based on the information collected by the sensor unit 140 and the image captured by the camera 180 for capturing an image in the user's gaze direction by being mounted on the HMD frame 110. It is possible to generate navigation image information 10 including an arrow guiding an escape route, an escape route, and current location information on the escape route according to a location, posture, direction, angle, etc.

도 4는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 디스플레이(130) 화면을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 제어부(160)는, 사용자의 위치, 자세, 방향 등에 최적화 된 내비게이션 영상 정보(10)를 생성하고, 생성된 내비게이션 영상 정보(10)를 디스플레이(130)로 전송하여, 디스플레이(130)에서 광학계(120)를 통해 투과되어 보이는 실제 세계 위에 탈출 경로를 안내하는 화살표, 탈출 경로 등의 내비게이션 영상 정보(10)가 최적화되어 제공될 수 있다. 따라서 사용자는, 조명의 부재, 연기 등으로 시야가 확보되지 않는 상황에서도, 내비게이션 영상 정보(10)를 이용해 탈출 경로를 파악하고 신속하게 이동할 수 있다.
FIG. 4 is a diagram illustrating, for example, a screen of a display 130 of a head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention. As shown in Fig. 4, the controller 160 of the head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention optimizes the user's position, posture, direction, etc. Generated navigation image information 10, transmits the generated navigation image information 10 to the display 130, and guides an escape route on the real world seen through the optical system 120 from the display 130. Navigation image information 10 such as arrows and escape routes may be optimized and provided. Therefore, the user can grasp the escape route using the navigation image information 10 and move quickly even in a situation where the view is not secured due to the absence of lighting or smoke.

한편, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(170)과, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180)와, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(190)와, 전원 공급부(190)의 온/오프를 위한 스위치부(200)와, 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 송수신하기 위한 데이터 통신을 수행하는 통신부(210)를 더 포함하여 구성될 수 있다.
Meanwhile, the head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention is mounted on the HMD frame 110 to provide location information, and a GPS module 170, The camera 180 is mounted on the HMD frame 110 to capture an image in the user's gaze direction, a power supply unit 190 for supplying power for driving the head-worn display device 100, and a power supply unit A switch unit 200 for on/off of 190 and a communication unit 210 performing data communication for transmitting/receiving an escape route with another head-worn display device 100 adjacent under the control of the controller 160 It may be configured to further include.

또한, GPS 모듈(170)은 위험작업 현장에서 작업 중인 사용자의 현장 위치 정보를 제공하고, 카메라(180)는 위험작업 현장에서 작업 중인 사용자가 바라보는 시선의 작업 현장을 촬영할 수 있다. 또한, 스위치부(200)는 전원 공급부(190)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(210)는 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(210)와 연동하여 연결 접속되고, 탈출 경로가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(210)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
In addition, the GPS module 170 provides site location information of a user who is working at a dangerous work site, and the camera 180 may photograph a work site of the gaze viewed by the user working at the dangerous work site. In addition, the switch unit 200 may be formed in a separate device connected to the HMD frame 110 by wire or by installing a switch for on/off of the power supply unit 190 on one side of the HMD frame 110 I can. In addition, the communication unit 210 may be connected and connected in connection with the communication unit 210 of another adjacent head wearable display device 100, and may perform data communication so that an escape route can be shared with each other. Here, it may be understood that the communication unit 210 applies various wireless communication methods including 3G/4G/5G and LTE, in which Internet access is possible.

또한, 머리 착용형 디스플레이 장치(100)는 디스플레이(130)를 통해 제공되는 내비게이션 영상 정보(10)에 대응하는 청각적 정보를 더 출력할 수도 있다. 예를 들어, 도 4에 도시된 바와 같은 내비게이션 영상 정보(10)와 대응하여 전방 5m 앞에서 우회전과 같은 음향 정보를 제공할 수 있다. 이를 위해, 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 음성 통신이 가능한 마이크, 스피커 등을 더 포함할 수 있다.
In addition, the head-worn display device 100 may further output auditory information corresponding to the navigation image information 10 provided through the display 130. For example, in response to the navigation image information 10 as illustrated in FIG. 4, sound information such as a right turn may be provided 5m ahead. To this end, the head-worn display device 100 may further include a microphone and a speaker capable of voice communication in the HMD frame 110.

한편, 머리 착용형 디스플레이 장치(100)는, 위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고, 복수의 머리 착용형 디스플레이 장치(100) 중 하나의 머리 착용형 디스플레이 장치(100)의 디스플레이(130)를 통해 내비게이션 영상 정보(10)의 출력 시, 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)에서도 연산부(150)가 생성한 탈출 경로가 공유되도록 전파할 수 있다.
On the other hand, the head-worn display device 100 is composed of a plurality of head-worn display devices 100 that can be worn by users, respectively, for work at a hazardous work site, and a plurality of head-worn display devices When the navigation image information 10 is output through the display 130 of one of the head-worn display devices 100, the other head-worn display device 100 adjacent to the controller 160 is also controlled. The escape route generated by the operation unit 150 may be propagated to be shared.

도 5는 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)들 사이에 탈출 경로를 공유하는 구현 일례의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, 위급상황 이벤트 발생을 인지하고 탈출 경로를 생성한 머리 착용형 디스플레이 장치(100)가, 인접한 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 공유하도록 전파함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 공유된 탈출 경로를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.
5 is a diagram showing a configuration of an example implementation of sharing an escape route between head-worn display devices 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention. As shown in Fig. 5, the head wearable display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention recognizes the occurrence of an emergency event and creates an escape route. By propagating the type display device 100 to share the escape route with the other adjacent head-worn display device 100, users who are put into the dangerous work site and working recognize the occurrence of an emergency situation and quickly follow the shared escape route. It can be moved to a minimum to minimize human damage.

또한, 머리 착용형 디스플레이 장치(100)는, 위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)가 서로 무선으로 연동되고, 위급상황으로 판단되면 자동으로 연산부(150)가 생성한 탈출 경로의 공유를 통해, 위험 지역을 벗어날 수 있는 탈출 경로를 증강현실 기반으로 안내하도록 기능할 수 있다.
In addition, in the head-worn display device 100, a plurality of head-worn display devices 100, each of which can be worn by users inputted for work in a hazardous work site, are wirelessly interlocked with each other, and are determined as an emergency situation. If so, it may function to guide an escape route that can escape from a dangerous area based on augmented reality through the sharing of the escape route automatically generated by the operation unit 150.

한편, 머리 착용형 디스플레이 장치(100)의 제어부(160)는, 다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로를, 센서부(140)에 의해 수집되는 정보에 기초하여 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 즉, 탈출 경로를 공유하더라도 각각의 사용자의 위치, 자세, 방향 등의 상황이 모두 상이하므로, 제어부(160)는 디스플레이(130)로 출력되는 내비게이션 영상 정보(10)를 최적화하여 공유된 탈출 경로로 안내할 수 있다.
On the other hand, the control unit 160 of the head wearable display device 100, based on the information collected by the sensor unit 140, the escape route shared from the other head wearable display device 100, the user's location and The navigation image information 10 which is optimized according to the posture and guided based on augmented reality may be generated and transmitted to the display 130. That is, even if the escape route is shared, the situation such as the location, posture, and direction of each user is all different, so the control unit 160 optimizes the navigation image information 10 output to the display 130 to provide the shared escape route. I can guide you.

또한, 제어부(160)는, 다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로와 연산부(150)가 생성한 탈출 경로를 비교하여, 사용자에게 최적의 탈출 경로를 선정하고, 선정된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 여기서, 공유된 탈출 경로는 복수일 수 있으며, 제어부(160)는 탈출 경로의 비교를 위해 다른 머리 착용형 디스플레이 장치(100)로부터 카메라(180) 영상, 센서부(140)에서 수집된 정보, 사고 위치 등 판단을 위한 정보를 수집할 수 있다.
In addition, the control unit 160 compares the escape route shared by the other head wearable display device 100 with the escape route generated by the operation unit 150, selects an optimal escape route for the user, and selects the selected escape route. The navigation image information 10 that guides the augmented reality may be generated and transmitted to the display 130. Here, the shared escape route may be plural, and the control unit 160 includes an image of the camera 180 from the other head-worn display device 100, information collected from the sensor unit 140, and an accident for comparison of the escape route. It is possible to collect information for determination such as location.

도 6은 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)가 최적의 탈출 경로를 안내하는 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 제어부(160)는, 연산부(150)에서 생성한 탈출 경로 1과 다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로 2를 상호 비교하여, 사용자의 위치 등 상황에 맞는 최적의 탈출 경로를 선정할 수 있다. 예를 들어, 연산부(150)에서는 사용자의 이동 경로를 추적하고 추적된 이동 경로를 기반으로 탈출 경로를 생성하는데, 해당 사용자가 이동한 이동 경로상에 사고가 발생하여 탈출이 불가능한 경우, 제어부(160)는 공유된 탈출 경로를 최적의 탈출 경로로 선정할 수 있다. 또한, 공유된 탈출 경로보다 해당 사용자의 이동 경로를 이용한 탈출 경로가 더 가깝고 빠른 경우, 제어부(160)는 연산부(150)에서 생성한 탈출 경로를 최적의 탈출 경로로 선정할 수 있다.
6 is a diagram illustrating a configuration in which a head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention guides an optimal escape route. As shown in Figure 6, the control unit 160 of the head-worn display device 100 having an emergency navigation function using an IMU sensor according to an embodiment of the present invention, the escape route generated by the calculation unit 150 By comparing 1 and the escape route 2 shared by the other head-worn display device 100, an optimal escape route suitable for a situation, such as a user's location, may be selected. For example, the operation unit 150 tracks the user's moving path and generates an escape route based on the tracked moving path. If an accident occurs on the moving path the user has moved and escape is impossible, the control unit 160 ) Can select the shared escape route as the optimal escape route. In addition, when the escape route using the user's moving route is closer and faster than the shared escape route, the controller 160 may select the escape route generated by the operation unit 150 as an optimal escape route.

본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 위험작업 현장에 투입되는 사용자들이 착용하는 머리 착용형 디스플레이 장치(100)에 구비되는 IMU 센서를 이용해 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 사용자의 이동 경로로부터 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 출력함으로써, 위급상황 발생 시 사용자가 착용한 머리 착용형 디스플레이 장치(100)에 자동으로 표시되는 내비게이션 영상 정보(10)에 따라 신속하고 안전하게 탈출할 수 있다.
According to the head-worn display device 100 having an emergency navigation function using an IMU sensor proposed in the present invention, an IMU sensor provided in the head-worn display device 100 worn by users who enter dangerous work sites By using to track the moving path of the working user and output the navigation image information 10 that guides the user's moving path based on augmented reality when an emergency event occurs, the user wears it in case of an emergency. It is possible to quickly and safely escape according to the navigation image information 10 automatically displayed on the head wearable display device 100.

또한, 본 발명에서 제안하고 있는 IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 인접하는 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 공유 및 전파하고, 공유된 탈출 경로를 IMU 센서를 이용해 각각의 사용자의 위치 및 자세에 따라 최적화하여 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 출력함으로써, 위험작업 현장에 투입되어 작업 중인 사용자들이 위급상황 발생을 인지하고 각각의 사용자가 자신의 상황에 최적화되어 안내되는 내비게이션 영상 정보(10)를 따라 신속하게 이동하여 인명 피해를 최소화할 수 있다.
In addition, according to the head-worn display device 100 having an emergency navigation function using the IMU sensor proposed in the present invention, sharing and propagating an escape route with other adjacent head-worn display devices 100, and sharing By optimizing the escape route using the IMU sensor according to the location and posture of each user and outputting the navigation image information (10) that guides the user based on augmented reality, the users who are working at the dangerous work site recognize the occurrence of an emergency situation. And, each user can quickly move along the navigation image information 10 that is optimized and guided to his or her own situation, thereby minimizing human damage.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.

10: 내비게이션 영상 정보
100: 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 센서부
150: 연산부
160: 제어부
170: GPS 모듈
180: 카메라
190: 전원 공급부
200: 스위치부
210: 통신부10: navigation video information
100: Head-worn display device according to an embodiment of the present invention
110: HMD frame
120: optical system
130: display
140: sensor unit
150: operation unit
160: control unit
170: GPS module
180: camera
190: power supply
200: switch unit
210: communication department

Claims (8)

머리 착용형 디스플레이 장치(100)로서,
위험작업 현장에서의 작업을 위해 사용자가 머리에 착용할 수 있는 HMD 프레임(110);
상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보(10)가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
상기 HMD 프레임(110)의 일 측에 설치되며 IMU 센서를 포함하는 센서부(140);
상기 센서부(140)에 의해 수집되는 정보에 기초하여, 작업 중인 사용자의 이동 경로를 추적하고, 위급상황 이벤트 발생 시 상기 추적된 사용자의 이동 경로를 역산하여 탈출 경로를 생성하는 연산부(150);
상기 연산부(150)가 생성한 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하는 제어부(160);
상기 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(170);
상기 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(180);
상기 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(190);
상기 전원 공급부(190)의 온/오프를 위한 스위치부(200); 및
상기 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)와 탈출 경로를 송수신하기 위한 데이터 통신을 수행하는 통신부(210)를 포함하며,
상기 위급상황 이벤트는, 상기 제어부(160)의 위급상황 판단에 따라 발생하거나, 다른 머리 착용형 디스플레이 장치(100)로부터 수신하여 발생하고,
상기 머리 착용형 디스플레이 장치(100)는,
위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고, 복수의 머리 착용형 디스플레이 장치(100) 중 하나의 머리 착용형 디스플레이 장치(100)의 디스플레이(130)를 통해 내비게이션 영상 정보(10)의 출력 시 상기 제어부(160)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100)에서도 상기 연산부(150)가 생성한 탈출 경로가 공유되도록 전파하고,
상기 머리 착용형 디스플레이 장치(100)는,
위험작업 현장에서의 작업을 위해 투입되는 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)가 서로 무선으로 연동되고, 위급 상황으로 판단되면 자동으로 상기 연산부(150)가 생성한 탈출 경로의 공유를 통해 위험지역을 벗어날 수 있는 탈출 경로를 증강현실 기반으로 안내하도록 기능하며,
상기 제어부(160)는,
다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로와 상기 연산부(150)가 생성한 탈출 경로를 비교하여, 상기 사용자에게 제공할 탈출 경로를 선정하고, 선정된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하며, 탈출 경로의 비교를 위해 다른 머리 착용형 디스플레이 장치(100)로부터 카메라(180) 영상, 센서부(140)에서 수집된 정보를 포함하는 정보를 수집하는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).As a head-worn display device 100,
HMD frame 110 that the user can wear on the head for work in the hazardous work site;
An optical system 120 disposed in front of both eyes of a user wearing the HMD frame 110 and allowing the real world to be transmitted through the user's field of view;
A display 130 for outputting image light so that the navigation image information 10 can be provided to a user along with the real world transmitted through the optical system 120;
A sensor unit 140 installed on one side of the HMD frame 110 and including an IMU sensor;
An operation unit 150 that tracks a moving path of a working user based on the information collected by the sensor unit 140 and generates an escape path by inverting the tracked user's moving path when an emergency event occurs;
A control unit 160 that generates navigation image information 10 for guiding the escape route generated by the operation unit 150 based on augmented reality, and transmits and controls the navigation image information 10 to the display 130;
A GPS module 170 mounted on the HMD frame 110 to provide location information;
A camera 180 mounted on the HMD frame 110 to capture an image in a user's gaze direction;
A power supply unit 190 for supplying power for driving the head-worn display device 100;
A switch unit 200 for on/off of the power supply unit 190; And
And a communication unit 210 performing data communication for transmitting/receiving an escape route with another head-worn display device 100 adjacent under the control of the controller 160,
The emergency event is generated according to the judgment of the emergency situation by the control unit 160 or is received from another head-worn display device 100,
The head wearable display device 100,
Consisting of a plurality of head-worn display devices 100 that can be worn by users who are put to work in dangerous work sites, one of the plurality of head-worn display devices 100 ( When the navigation image information 10 is output through the display 130 of 100), the escape route generated by the operation unit 150 is shared in the other head-worn display device 100 adjacent to the control unit 160 Spread as much as possible,
The head wearable display device 100,
A plurality of head-worn display devices 100, which can be worn by users who are put to work at a dangerous work site, are wirelessly interlocked with each other, and automatically escape generated by the calculation unit 150 when it is determined as an emergency situation It functions to guide the escape route that can escape from the dangerous area based on augmented reality through the sharing of the route,
The control unit 160,
By comparing the escape route shared by the other head wearable display device 100 with the escape route generated by the operation unit 150, selects an escape route to be provided to the user, and guides the selected escape route based on augmented reality. The navigation image information 10 is generated and transmitted to the display 130, and for comparison of the escape route, the camera 180 image and the sensor unit 140 are collected from the other head-worn display device 100. A head-worn display device 100 having an emergency navigation function using an IMU sensor, characterized in that collecting information including information. 제1항에 있어서, 상기 HMD 프레임(110)은,
사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성되는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).The method of claim 1, wherein the HMD frame (110),
A head-worn display having an emergency navigation function using an IMU sensor, characterized in that it is configured in the form of a helmet or goggles having a frame structure that allows light to enter while worn by the user. Device 100. 제1항에 있어서, 상기 연산부(150)는,
추적 시작 신호를 입력받은 시점부터 상기 사용자의 이동 경로를 추적하는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).The method of claim 1, wherein the operation unit 150,
A head-worn display device 100 having an emergency navigation function using an IMU sensor, characterized in that tracking the movement path of the user from a time when a tracking start signal is received. 삭제delete 삭제delete 제1항에 있어서, 상기 제어부(160)는,
다른 머리 착용형 디스플레이 장치(100)로부터 공유된 탈출 경로를, 상기 센서부(140)에 의해 수집되는 정보에 기초하여 사용자의 위치 및 자세에 따라 증강현실 기반으로 안내하는 내비게이션 영상 정보(10)를 생성하여 상기 디스플레이(130)로 전송 제어하는 것을 특징으로 하는, IMU 센서를 이용한 위급상황 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).The method of claim 1, wherein the control unit 160,
Navigation image information 10 that guides an escape route shared from another head-worn display device 100 based on augmented reality based on the location and posture of the user based on the information collected by the sensor unit 140 A head-worn display device 100 having an emergency navigation function using an IMU sensor, characterized in that generating and controlling transmission to the display 130. 삭제delete 삭제delete
KR1020190088841A 2019-07-23 2019-07-23 A head mounted display apparatus having an emergency navigating function with imu KR102212336B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190088841A KR102212336B1 (en) 2019-07-23 2019-07-23 A head mounted display apparatus having an emergency navigating function with imu

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190088841A KR102212336B1 (en) 2019-07-23 2019-07-23 A head mounted display apparatus having an emergency navigating function with imu

Publications (2)

Publication Number Publication Date
KR20210011665A KR20210011665A (en) 2021-02-02
KR102212336B1 true KR102212336B1 (en) 2021-02-05

Family

ID=74558758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190088841A KR102212336B1 (en) 2019-07-23 2019-07-23 A head mounted display apparatus having an emergency navigating function with imu

Country Status (1)

Country Link
KR (1) KR102212336B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213915A1 (en) 2021-12-07 2023-06-07 Psa Automobiles Sa Remote control of a vehicle function with sensor fusion of touchscreen and IMU

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495641B1 (en) * 2021-05-14 2023-02-06 주식회사 피앤씨솔루션 Omnidirectional external observation system for tanks using ar hmd
KR102573067B1 (en) * 2022-12-14 2023-09-01 주식회사 피앤씨솔루션 An augmented reality glasses device that can analyze the wearer’s condition using an eye-tracking camera and an illuminance sensor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6082272B2 (en) * 2013-02-25 2017-02-15 東京エレクトロン株式会社 Support information display method, substrate processing apparatus maintenance support method, support information display control apparatus, substrate processing system, and program
KR102362117B1 (en) * 2014-07-01 2022-02-11 삼성전자주식회사 Electroninc device for providing map information
KR20160017593A (en) * 2014-08-06 2016-02-16 넥시스 주식회사 Method and program for notifying emergency exit by beacon and wearable glass device
KR101848276B1 (en) * 2016-07-29 2018-04-12 선문대학교 산학협력단 Smart wearable device for disaster response and disaster response system using thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021213915A1 (en) 2021-12-07 2023-06-07 Psa Automobiles Sa Remote control of a vehicle function with sensor fusion of touchscreen and IMU

Also Published As

Publication number Publication date
KR20210011665A (en) 2021-02-02

Similar Documents

Publication Publication Date Title
KR102212336B1 (en) A head mounted display apparatus having an emergency navigating function with imu
US11231897B2 (en) Display system, display device, information display method, and program
CN108378450B (en) Method for realizing intelligent fire-fighting helmet for sensing explosion accident and predicting risk
US10952488B2 (en) Sensor assisted head mounted displays for welding
KR102201959B1 (en) A head mounted display apparatus having an emergency situation sharing function in an emergency
US20110261176A1 (en) Tactical vision system
US10788671B2 (en) Enhanced vision for firefighter using heads up display and gesture sensing
JP7003633B2 (en) Transparent display device, display control method, and computer program
KR101671981B1 (en) Method and system for providing a position of co-operated firemen by using a wireless communication, method for displaying a position of co-operated firefighter, and fire hat for performing the method
JPH0854282A (en) Head-mounted display device
JP2007121600A (en) Image information display device
JPWO2015060393A1 (en) Remote action guidance system and processing method thereof
US20170123211A1 (en) Self-Contained Breathing Apparatus Face Piece Lens Vision System
JP6590050B2 (en) Display device, display system, display device control method, and program
KR102103404B1 (en) A operation situation sharing system using head mounted display apparatus
Wilson et al. Design of monocular head-mounted displays for increased indoor firefighting safety and efficiency
KR20200061564A (en) Comand and control system for supporting compound disasters accident
US20210059344A1 (en) Wearable assisted perception module for navigation and communication in hazardous environments
KR102254174B1 (en) A head mounted display apparatus with night vision function
KR102305405B1 (en) Remote work support system using head mounted display apparatus and augmented reality
KR102324129B1 (en) A head mounted display apparatus having a navigating function with map information and imu sensor
KR102409880B1 (en) Collaborative systems and methods for field and remote site using HMD
JPH04370207A (en) Helmet equipped with display
RU2535229C2 (en) Helmet with projection system
KR102396379B1 (en) A head mounted display apparatus capable of detaching and attaching sensor module

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant