KR102324129B1 - A head mounted display apparatus having a navigating function with map information and imu sensor - Google Patents

A head mounted display apparatus having a navigating function with map information and imu sensor Download PDF

Info

Publication number
KR102324129B1
KR102324129B1 KR1020200021732A KR20200021732A KR102324129B1 KR 102324129 B1 KR102324129 B1 KR 102324129B1 KR 1020200021732 A KR1020200021732 A KR 1020200021732A KR 20200021732 A KR20200021732 A KR 20200021732A KR 102324129 B1 KR102324129 B1 KR 102324129B1
Authority
KR
South Korea
Prior art keywords
information
user
unit
display device
gait
Prior art date
Application number
KR1020200021732A
Other languages
Korean (ko)
Other versions
KR20210106786A (en
Inventor
최치원
배영헌
정희재
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020200021732A priority Critical patent/KR102324129B1/en
Publication of KR20210106786A publication Critical patent/KR20210106786A/en
Application granted granted Critical
Publication of KR102324129B1 publication Critical patent/KR102324129B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 HMD 프레임의 일 측에 설치되며 IMU 센서로 구성되는 센서부; 지도 정보를 저장하는 저장부; 상기 센서부에 의해 수집되는 정보에 기초하여, 상기 HMD 프레임을 착용한 사용자의 보폭 및 이동 방향을 포함하는 보행 정보를 연산하는 연산부; GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 상기 지도 정보 및 보행 정보를 이용해 목적지까지의 경로를 생성하는 경로 생성부; 및 상기 경로 생성부가 생성한 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 사용자의 보행 정보를 연산하고, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 저장부에 저장된 지도 정보와 연산된 보행 정보를 이용해 목적지까지의 경로를 생성하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, GPS 신호를 이용한 위치 추적이 어려운 환경에서도 내비게이션 기능을 사용해 경로 안내를 받을 수 있다.
또한, 본 발명에서 제안하고 있는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 사전 훈련된 모델을 기초로 전이 학습을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자에 최적화된 보행 예측 모델을 생성하고, 보행 예측 모델을 이용해 보행 정보를 연산 또는 보정함으로써, 각각의 사용자의 보행 패턴에 따라 정확하게 보행 정보 및 경로를 생성할 수 있으므로, GPS를 이용하지 않고도 정확도 높은 내비게이션 기능을 제공할 수 있다.The present invention relates to a head mounted display device having a navigation function using map information and an IMU sensor, and more particularly, to a head worn display device, comprising: an HMD frame that a user can wear on the head; an optical system disposed in front of both eyes of a user wearing the HMD frame and allowing the real world to be transmitted through the user's field of vision; a display for outputting image light so that navigation image information along with the real world transmitted through the optical system can be provided to the user as an optimized screen; a sensor unit installed on one side of the HMD frame and configured as an IMU sensor; a storage unit for storing map information; a calculating unit for calculating walking information including a stride length and a moving direction of a user wearing the HMD frame based on the information collected by the sensor unit; a route generator for generating a route to a destination by using the map information and walking information when a location tracking impossible event using a GPS signal occurs; and a controller for controlling transmission to the display by generating navigation image information for guiding the route generated by the route generator based on augmented reality.
According to the head mounted display device having a navigation function using map information and an IMU sensor proposed in the present invention, the user's gait information is calculated using the IMU sensor provided in the head mounted display device, and a location using a GPS signal When an untrackable event occurs, the route to the destination is generated using the map information stored in the storage and the calculated gait information to output the navigation image information that guides the user based on augmented reality. You can use the function to receive route guidance.
In addition, according to the head mounted display device having a navigation function using map information and an IMU sensor proposed in the present invention, it is optimized for each user by learning the gait pattern of each user through transfer learning based on a pre-trained model. By generating a gait prediction model and calculating or correcting gait information using the gait prediction model, gait information and routes can be accurately generated according to each user’s gait pattern, so that high-accuracy navigation functions can be performed without using GPS. can provide

Description

지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치{A HEAD MOUNTED DISPLAY APPARATUS HAVING A NAVIGATING FUNCTION WITH MAP INFORMATION AND IMU SENSOR}A head mounted display device having a navigation function using map information and an IMU sensor {A HEAD MOUNTED DISPLAY APPARATUS HAVING A NAVIGATING FUNCTION WITH MAP INFORMATION AND IMU SENSOR}

본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 관한 것이다.The present invention relates to a head mounted display device, and more particularly, to a head mounted display device having a navigation function using map information and an IMU sensor.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.Various wearable devices are being developed in accordance with the trend of weight reduction and miniaturization of digital devices. A head mounted display, which is a type of wearable device, refers to various devices that a user can wear on the head to receive multimedia contents. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. Such a head mounted display (HMD) is divided into a see-through type and a see-closed type, and the transparent type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.1 is a diagram illustrating a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-type head mounted display (HMD). As shown in FIGS. 1 and 2, a general head-mounted display in the form of glasses or a band is worn on the user's face or head and is transmitted through a lens that projects augmented reality (AR) image information to the real world. will be provided to the user.

이와 같은 헤드 마운티드 디스플레이 장치에 있어서, 사용자와의 효과적인 상호작용을 위해 각종 센서를 부착하기도 한다. 그 중에서 위치 정보는 헤드 마운티드 디스플레이 장치를 착용한 사용자의 위치를 파악하고, 이에 따라 다양한 기능을 제공하기 위해 활용되는 정보로서, GPS 위성에서 보내는 신호를 수신해 사용자의 현재 위치를 계산하는 위성항법시스템(Global Positioning System, GPS)이 주로 사용된다. 그러나 GPS 위치 정보는 실내나 지하 등 GPS 위성 신호의 수신이 제한되는 상황에서는 사용할 수 없는 한계가 있다.In such a head mounted display device, various sensors may be attached for effective interaction with a user. Among them, location information is information used to determine the location of a user wearing a head mounted display device and provide various functions accordingly. A satellite navigation system that receives a signal from a GPS satellite and calculates the user's current location (Global Positioning System, GPS) is mainly used. However, there is a limitation that GPS location information cannot be used in situations where reception of GPS satellite signals is restricted, such as indoors or underground.

스마트폰 등 이동통신망을 사용하는 휴대 단말기에서는 GPS 사용이 어려울 때 이동통신사 기지국을 사용하기도 하지만, 오차 범위가 커서 사용에 제한이 많을 뿐 아니라, 헤드 마운티드 디스플레이 장치가 이동통신망을 사용하지 않을 때는 적용하기 어려운 한계가 있다.Mobile terminals using mobile communication networks, such as smartphones, sometimes use the mobile operator's base station when GPS is difficult to use. There are difficult limits.

특히, 헤드 마운티드 디스플레이 장치는, 화재, 산업시설의 유지보수 등 각종 위험 상황에도 활용될 수 있기 때문에, 헤드 마운티드 디스플레이 장치의 정확한 위치 확인 및 경로 안내 등 내비게이션 기능이 중요하다. 따라서, GPS 사용이 어려운 환경에서도 내비게이션 기능을 사용할 수 있는 헤드 마운티드 디스플레이 장치의 개발이 필요한 실정이다.In particular, since the head mounted display device can be used in various dangerous situations such as fire and maintenance of industrial facilities, a navigation function such as accurate location check and route guidance of the head mounted display device is important. Accordingly, there is a need to develop a head mounted display device capable of using a navigation function even in an environment where it is difficult to use GPS.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-2073723호(발명의 명칭: 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치, 등록일자: 2020년 01월 30일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Registered Patent No. 10-2073723 (Title of the invention: a head-worn display device with an inertial measurement device capable of correcting a geomagnetic field error, registration date: January 30, 2020) etc. have been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 사용자의 보행 정보를 연산하고, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 저장부에 저장된 지도 정보와 연산된 보행 정보를 이용해 목적지까지의 경로를 생성하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, GPS 신호를 이용한 위치 추적이 어려운 환경에서도 내비게이션 기능을 사용해 경로 안내를 받을 수 있는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and calculates the user's gait information using an IMU sensor provided in a head mounted display device, and generates a location tracking impossible event using a GPS signal By using the map information stored in the city and storage unit and calculated gait information to generate a route to the destination and output navigation image information that guides based on augmented reality, the navigation function can be used even in an environment where it is difficult to track the location using GPS signals. An object of the present invention is to provide a head-mounted display device capable of receiving guidance and having a navigation function using map information and an IMU sensor.

또한, 본 발명은, 사전 훈련된 모델을 기초로 전이 학습을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자에 최적화된 보행 예측 모델을 생성하고, 보행 예측 모델을 이용해 보행 정보를 연산 또는 보정함으로써, 각각의 사용자의 보행 패턴에 따라 정확하게 보행 정보 및 경로를 생성할 수 있으므로, GPS를 이용하지 않고도 정확도 높은 내비게이션 기능을 제공할 수 있는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention learns each user's gait pattern through transfer learning based on a pre-trained model to generate a gait prediction model optimized for each user, and calculates or corrects gait information using the gait prediction model, A head-worn display device having a navigation function using map information and an IMU sensor, which can provide a high-accuracy navigation function without using GPS because it can accurately generate gait information and routes according to each user's gait pattern Another purpose is to provide

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치는,A head-wearable display device having a navigation function using map information and an IMU sensor according to a feature of the present invention for achieving the above object,

머리 착용형 디스플레이 장치로서,A head-worn display device comprising:

사용자가 머리에 착용할 수 있는 HMD 프레임;HMD frame that can be worn on the user's head;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;an optical system disposed in front of both eyes of a user wearing the HMD frame and allowing the real world to be transmitted through the user's field of vision;

상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이;a display for outputting image light so that navigation image information along with the real world transmitted through the optical system can be provided to the user as an optimized screen;

상기 HMD 프레임의 일 측에 설치되며 IMU 센서로 구성되는 센서부;a sensor unit installed on one side of the HMD frame and configured as an IMU sensor;

지도 정보를 저장하는 저장부;a storage unit for storing map information;

상기 센서부에 의해 수집되는 정보에 기초하여, 상기 HMD 프레임을 착용한 사용자의 보폭 및 이동 방향을 포함하는 보행 정보를 연산하는 연산부;a calculating unit for calculating walking information including a stride length and a moving direction of a user wearing the HMD frame based on the information collected by the sensor unit;

GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 상기 지도 정보 및 보행 정보를 이용해 목적지까지의 경로를 생성하는 경로 생성부; 및a route generator for generating a route to a destination by using the map information and walking information when a location tracking impossible event using a GPS signal occurs; and

상기 경로 생성부가 생성한 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.It is characterized in that it includes a control unit for generating navigation image information for guiding the route generated by the route generator based on augmented reality and transmitting the information to the display.

바람직하게는, 상기 경로 생성부는,Preferably, the path generating unit,

GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, GPS 모듈에서 제공된 최종 위치, 상기 지도 정보 및 상기 보행 정보를 이용해 현재 위치를 추정하는 현재 위치 추정부; 및a current location estimator for estimating the current location using the final location provided by the GPS module, the map information, and the walking information when a location tracking impossible event using a GPS signal occurs; and

상기 추정된 현재 위치 및 상기 지도 정보를 이용해 목적지까지의 경로를 산출하는 경로 산출부를 포함할 수 있다.and a route calculator configured to calculate a route to a destination by using the estimated current location and the map information.

더욱 바람직하게는, 상기 현재 위치 추정부는,More preferably, the current location estimating unit,

상기 GPS 모듈에서 최종 위치가 제공된 시점으로부터의 걸음 수를 더 이용해 상기 현재 위치를 추정할 수 있다.The current location may be estimated by further using the number of steps taken from the point in time when the final location is provided by the GPS module.

더더욱 바람직하게는, 상기 머리 착용형 디스플레이 장치는,Even more preferably, the head mounted display device,

상기 HMD 프레임에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라를 더 포함하며,It is mounted on the HMD frame and further includes a camera for taking an image in the direction of the user's gaze,

상기 현재 위치 추정부는,The current location estimation unit,

상기 카메라에서 촬영된 사용자의 시선 방향의 영상을 이용해 상기 추정된 현재 위치를 보정할 수 있다.The estimated current position may be corrected using the image in the user's gaze direction captured by the camera.

더욱 바람직하게는, 상기 경로 산출부는,More preferably, the path calculation unit,

상기 HMD 프레임을 착용한 사용자의 이동에 따라 상기 연산부가 연산하는 보행 정보를 이용해, 상기 경로를 실시간으로 업데이트할 수 있다.The route may be updated in real time by using the gait information calculated by the calculator according to the movement of the user wearing the HMD frame.

바람직하게는,Preferably,

인공지능 기술을 이용해 보행 패턴을 학습하여, 센서부에 의해 수집되는 정보로부터 보행 정보를 예측하는 보행 예측 모델을 생성하는 인공지능 학습부를 더 포함하며,It further includes an artificial intelligence learning unit that learns a gait pattern using artificial intelligence technology, and generates a gait prediction model that predicts gait information from information collected by the sensor unit,

상기 연산부는,The calculation unit,

상기 보행 예측 모델을 이용해, 상기 보행 정보를 연산하거나, 연산된 보행 정보를 보정할 수 있다.Using the gait prediction model, the gait information may be calculated or the calculated gait information may be corrected.

더욱 바람직하게는, 상기 인공지능 학습부는,More preferably, the artificial intelligence learning unit,

사전 훈련된 모델을 기초로, 전이 학습(Transfer learning)을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자에 최적화된 상기 보행 예측 모델을 생성할 수 있다.Based on the pre-trained model, the gait prediction model optimized for the individual user may be generated by learning the gait pattern of each user through transfer learning.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head mounted display device,

상기 HMD 프레임에 장착되어 위치 정보를 제공하기 위한 GPS 모듈;a GPS module mounted on the HMD frame to provide location information;

상기 머리 착용형 디스플레이 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부;a power supply unit for supplying power for driving the head mounted display device;

상기 전원 공급부의 온/오프를 위한 스위치부; 및a switch unit for on/off of the power supply unit; and

상기 제어부의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치 및/또는 서버와 데이터 통신을 수행하는 통신부를 더 포함하여 구성할 수 있다.It may be configured to further include a communication unit for performing data communication with other adjacent head-wearable display devices and/or servers under the control of the control unit.

본 발명에서 제안하고 있는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 머리 착용형 디스플레이 장치에 구비되는 IMU 센서를 이용해 사용자의 보행 정보를 연산하고, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 저장부에 저장된 지도 정보와 연산된 보행 정보를 이용해 목적지까지의 경로를 생성하여 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력함으로써, GPS 신호를 이용한 위치 추적이 어려운 환경에서도 내비게이션 기능을 사용해 경로 안내를 받을 수 있다.According to the head mounted display device having a navigation function using map information and an IMU sensor proposed in the present invention, the user's gait information is calculated using the IMU sensor provided in the head mounted display device, and a location using a GPS signal When an untrackable event occurs, the route to the destination is generated using the map information stored in the storage and the calculated gait information to output the navigation image information that guides the user based on augmented reality. You can use the function to receive route guidance.

또한, 본 발명에서 제안하고 있는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에 따르면, 사전 훈련된 모델을 기초로 전이 학습을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자에 최적화된 보행 예측 모델을 생성하고, 보행 예측 모델을 이용해 보행 정보를 연산 또는 보정함으로써, 각각의 사용자의 보행 패턴에 따라 정확하게 보행 정보 및 경로를 생성할 수 있으므로, GPS를 이용하지 않고도 정확도 높은 내비게이션 기능을 제공할 수 있다.In addition, according to the head mounted display device having a navigation function using map information and an IMU sensor proposed in the present invention, it is optimized for each user by learning the gait pattern of each user through transfer learning based on a pre-trained model. By generating a gait prediction model and calculating or correcting gait information using the gait prediction model, gait information and routes can be accurately generated according to each user’s gait pattern, so that high-accuracy navigation functions can be performed without using GPS. can provide

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에서, 경로 생성부의 세부적인 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치의 경로 생성부가 경로를 생성하는 구체적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에서, 내비게이션 영상이 표시된 사용자의 뷰 필드를 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치에서, 전이 학습을 통해 보행 예측 모델을 생성하는 과정을 도시한 도면.1 is a view showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a view showing a schematic configuration of a general band-type head mounted display (HMD).
3 is a view showing the configuration of a head-mounted display device having a navigation function using map information and an IMU sensor according to an embodiment of the present invention as functional blocks.
4 is a diagram illustrating a detailed configuration of a route generating unit as functional blocks in a head-wearable display device having a navigation function using map information and an IMU sensor according to an embodiment of the present invention.
5 is a diagram illustrating a detailed flow of a route generation unit of a head-mounted display device having a navigation function using map information and an IMU sensor according to an embodiment of the present invention;
6 is a view illustrating a user's field of view on which a navigation image is displayed in a head-mounted display device having a navigation function using map information and an IMU sensor according to an embodiment of the present invention.
7 is a diagram illustrating a process of generating a gait prediction model through transfer learning in a head-mounted display device having a navigation function using map information and an IMU sensor according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 3은 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 구성을 기능블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 디스플레이(130), 센서부(140), 저장부(150), 연산부(160), 경로 생성부(170) 및 제어부(180)를 포함하여 구성될 수 있으며, 카메라(190), 인공지능 학습부(200)를 더 포함하여 구성될 수 있다.3 is a diagram illustrating the configuration of a head-wearable display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention as functional blocks. As shown in FIG. 3 , the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention includes an HMD frame 110 , an optical system 120 , and a display ( 130 ), the sensor unit 140 , the storage unit 150 , the calculation unit 160 , the path generation unit 170 and the control unit 180 may be configured to include a camera 190 , an artificial intelligence learning unit 200 . ) may be further included.

HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(130) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.The HMD frame 110 is a frame configuration of the head wearable display device 100 that can be worn on the user's head. The HMD frame 110 may be configured in the form of a helmet or goggles having a frame structure through which light can enter while being worn on the user's head. Here, when the HMD frame 110 is made in the form of a helmet, it may be composed of a helmet (not shown) worn on the user's head and a frame (not shown) of the display 130 disposed in front of the helmet. In addition, when the HMD frame 110 is configured in the form of goggles, it may be composed of a band frame (not shown) that can be worn on a user's head, and a goggles frame (not shown) that is fastened and fixed to the band frame.

광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.The optical system 120 is disposed in front of both eyes of the user wearing the HMD frame 110 and is configured to allow the real world to be transmitted through the user's field of view. The optical system 120 may be configured as a transparent lens in the form of a glass through which the real world through the user's field of view can be transmitted.

디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(180)의 제어 하에, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 사용자에게 목적지까지의 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 출력할 수 있다.The display 130 may output image light so that navigation image information along with the real world transmitted through the optical system 120 and viewed can be provided on a screen optimized to the user. Under the control of the controller 180, which will be described later, the display 130 may output navigation image information for guiding a route to a destination to the user based on augmented reality when a location tracking impossible event using a GPS signal occurs.

센서부(140)는, HMD 프레임(110)의 일 측에 설치되며 IMU 센서로 구성될 수 있다. 센서부(140)는, 도 1 및 도 2에 도시된 바와 같은 머리 착용형 디스플레이 장치(100)의 HMD 프레임(110)에 부착될 수 있으며, 부착 위치는 머리 착용형 디스플레이 장치(100)의 자세를 가장 정확하게 측정할 수 있는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다. 또한, 센서부(140)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다. The sensor unit 140 is installed on one side of the HMD frame 110 and may be configured as an IMU sensor. The sensor unit 140 may be attached to the HMD frame 110 of the head mounted display device 100 as shown in FIGS. 1 and 2 , and the attachment position is the posture of the head mounted display device 100 . As a position that can most accurately measure , it may be attached to the center between the parts where both eyes of the user are located, or it may be attached to the left or right side. In addition, the sensor unit 140 may be applied to the HMD frame 110 in a detachable form.

특히, 본 발명의 센서부(140)는 IMU 센서로 구성될 수 있는데, IMU 센서는 3축 가속도계, 3축 자이로계 및 3축 지자계를 포함하는 9축 센서로서, 머리 착용형 디스플레이 장치(100)의 정확한 자세 파악이 가능할 수 있다. 보다 구체적으로, IMU 센서는 MPU9250 센서로 구현될 수 있다.In particular, the sensor unit 140 of the present invention may be configured as an IMU sensor. The IMU sensor is a 9-axis sensor including a 3-axis accelerometer, a 3-axis gyroscope, and a 3-axis geomagnetic field, and the head mounted display device 100 ) can be accurately identified. More specifically, the IMU sensor may be implemented as an MPU9250 sensor.

또한, 센서부(140)는 IMU 센서 이외에, 사용자의 위치 파악을 위한 센서를 더 포함하여 구성될 수 있고, 환경 유해 가스나 온습도 등을 검출할 수 있는 센서를 포함할 수도 있다. 실시예에 따라서는, 정확한 실내 측위를 위해, 센서부(140)는, HMD 프레임(110)에 설치되는 IMU 센서 이외에, 사용자의 신발 등에 설치되는 IMU 센서, MEMS 압력 센서 등을 포함할 수도 있다.In addition, the sensor unit 140 may be configured to further include a sensor for identifying the user's location in addition to the IMU sensor, and may include a sensor capable of detecting environmental harmful gases, temperature and humidity, and the like. According to an embodiment, for accurate indoor positioning, the sensor unit 140 may include, in addition to the IMU sensor installed on the HMD frame 110 , an IMU sensor installed on a user's shoes, a MEMS pressure sensor, and the like.

저장부(150)는, 지도 정보를 저장할 수 있다. 즉, 머리 착용형 디스플레이 장치(100)의 저장부(150)에 사용자의 작업 공간, 방문 공간 등의 지도 정보를 미리 저장하여, 내비게이션 기능이 필요할 때 사용할 수 있다. 이때, 지도 정보가 필요할 때 추후 상세히 설명할 통신부(240)가 서버 등과 통신하여 지도 정보를 수신하고 저장부(150)에 저장할 수 있으며, 저장된 지도 정보는 디지털 지도, 모바일 지도 등의 형태일 수 있다.The storage unit 150 may store map information. That is, map information such as a user's work space and visit space may be stored in advance in the storage unit 150 of the head mounted display device 100 and used when a navigation function is required. In this case, when map information is needed, the communication unit 240, which will be described in detail later, communicates with a server, etc. to receive the map information and store it in the storage unit 150, and the stored map information may be in the form of a digital map, a mobile map, etc. .

연산부(160)는, 센서부(140)에 의해 수집되는 정보에 기초하여, HMD 프레임(110)을 착용한 사용자의 보폭 및 이동 방향을 포함하는 보행 정보를 연산할 수 있다. 즉, 연산부(160)는, IMU 센서에서 수집되는 사용자의 자세 정보에 기초하여, 사용자의 한 걸음의 거리인 보폭과 이동 방향을 추정할 수 있다. 실시예에 따라서는, 연산부(160)는 수평적인 이동 방향뿐 아니라 수직적 이동 방향도 분석 및 연산하여, 복수의 층으로 이루어진 실내 공간에서 몇 층에 있는지 등 구체적인 위치를 추적할 수 있다. 또한, 연산부(160)가 연산하는 보행 정보는, 보폭 및 이동 방향 이외에도, 보행 종류(걷기, 달리기 등), 보행 속도, 걸음 수 등을 더 포함할 수도 있다.The calculation unit 160 may calculate walking information including the stride length and movement direction of the user wearing the HMD frame 110 based on the information collected by the sensor unit 140 . That is, the calculator 160 may estimate the stride length and movement direction, which are the distance of the user's one step, based on the user's posture information collected from the IMU sensor. According to an embodiment, the calculating unit 160 may analyze and calculate not only the horizontal movement direction but also the vertical movement direction to track a specific location, such as which floor it is on in an indoor space composed of a plurality of floors. In addition, the gait information calculated by the calculator 160 may further include a gait type (walking, running, etc.), gait speed, number of steps, and the like, in addition to the stride length and movement direction.

경로 생성부(170)는, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 지도 정보 및 보행 정보를 이용해 목적지까지의 경로를 생성할 수 있다. 이때, GPS 신호를 이용한 위치 추적 불가 이벤트는, GPS 모듈(210) 오류, GPS 신호의 수신 불가, GPS 신호 수신 강도가 임계값 미만 등을 포함할 수 있다. 경로 생성부(170)는, 연산부(160)에서 연산된 보행 정보와 저장부(150)에 저장되어 있는 지도 정보를 이용해서, GPS를 이용하지 않고도 목적지까지의 경로를 생성할 수 있다.The route generator 170 may generate a route to a destination by using map information and walking information when a location tracking impossible event using a GPS signal occurs. In this case, the location tracking impossible event using the GPS signal may include an error in the GPS module 210 , an inability to receive a GPS signal, and a GPS signal reception strength less than a threshold value. The route generator 170 may generate a route to a destination without using GPS by using the walking information calculated by the operator 160 and the map information stored in the storage 150 .

예를 들어, 내비게이션 기능 이용 중, 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 실내나 지하 등에 진입하여 GPS 이용이 불가능해진 경우, 미리 정해진 시간 동안 GPS 신호 수신 강도가 임계값 미만이 되어 GPS 신호를 이용한 위치 추적 불가 이벤트가 발생하게 되면, 경로 생성부(170)는 지도 정보 및 보행 정보를 이용해 목적지까지의 경로를 업데이트하여 내비게이션 영상 정보가 제공되도록 할 수 있다. 또는, GPS 이용이 불가능한 상황에서 사용자가 내비게이션 기능을 활성화하면, 경로 생성부(170)가 지도 정보 및 보행 정보를 이용해 목적지까지의 경로를 생성할 수 있다. 이를 위해, 연산부(160)는 GPS 신호를 이용한 위치 추적 여부에 상관없이, 센서부(140)에서 수집된 정보에 기초해 보행 정보를 지속적으로 연산해 저장부(150)에 저장할 수 있다.For example, while using the navigation function, when the user wearing the head mounted display device 100 enters indoors or underground and the GPS becomes unavailable, the GPS signal reception strength becomes less than the threshold value for a predetermined period of time. When a location tracking impossible event using a signal occurs, the route generator 170 may update a route to a destination using map information and walking information to provide navigation image information. Alternatively, when the user activates the navigation function in a situation where GPS is unavailable, the route generator 170 may generate a route to the destination by using the map information and walking information. To this end, the calculating unit 160 may continuously calculate and store walking information in the storage unit 150 based on the information collected by the sensor unit 140 , regardless of whether the position is tracked using the GPS signal.

이하에서는, 도 4를 참조하여 경로 생성부(170)의 세부적인 구성에 대해 상세히 설명하도록 한다.Hereinafter, a detailed configuration of the path generator 170 will be described in detail with reference to FIG. 4 .

도 4는 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에서, 경로 생성부(170)의 세부적인 구성을 기능블록으로 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 경로 생성부(170)는, 현재 위치 추정부(171) 및 경로 산출부(172)를 포함하여 구성될 수 있다.4 is a diagram illustrating a detailed configuration of a route generating unit 170 as a functional block in the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention. . As shown in FIG. 4 , the route generating unit 170 of the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention includes a current location estimation unit 171 . ) and a path calculating unit 172 may be included.

현재 위치 추정부(171)는, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, GPS 모듈(210)에서 제공된 최종 위치, 지도 정보 및 보행 정보를 이용해 현재 위치를 추정할 수 있다. 즉, 목적지까지의 경로 생성을 위해, 먼저 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 현재 위치를 추정할 수 있다. 현재 위치 추정부(171)는, GPS 모듈(210)에서 제공된 최종 위치로부터, 사용자의 보폭 및 이동 방향을 이용해 현재 위치를 추정할 수 있고, 지도 정보를 함께 이용하기 때문에 지도상에서 어디에 위치하는지를 정확하게 판단할 수 있다.The current location estimator 171 may estimate the current location using the final location, map information, and walking information provided from the GPS module 210 when a location tracking impossible event using the GPS signal occurs. That is, in order to generate a route to a destination, the current location of the user who wears the head mounted display apparatus 100 may be estimated first. The current location estimator 171 may estimate the current location from the final location provided by the GPS module 210 using the user's stride length and movement direction, and accurately determine where the location is located on the map because map information is used together. can do.

여기서, 현재 위치 추정부(171)는, GPS 모듈(210)에서 최종 위치가 제공된 시점으로부터의 걸음 수를 더 이용해 현재 위치를 추정할 수 있다. 즉, GPS 신호에는 위치 정보 및 시간 정보가 포함되므로, GPS 신호가 마지막으로 수신된 최종 위치 및 시점과, 그 최종 위치 및 시점으로부터 보폭, 이동 방향, 걸음 수 등의 보행 정보를 이용해 현재 위치를 추정할 수 있다.Here, the current location estimator 171 may estimate the current location by further using the number of steps from the point in time when the final location is provided by the GPS module 210 . In other words, since the GPS signal includes location information and time information, the current location is estimated using the last location and time at which the GPS signal was last received, and walking information such as stride length, movement direction, and number of steps from the final location and time point. can do.

한편, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(190)를 더 포함할 수 있는데, 현재 위치 추정부(171)는, 카메라(190)에서 촬영된 사용자의 시선 방향의 영상을 이용해 추정된 현재 위치를 보정할 수 있다. 즉, 현재 위치 추정부(171)에서 추정된 현재 위치와 지도 정보를 카메라(190)에서 촬영된 영상과 비교하여, 촬영된 영상과 매칭되도록 추정된 현재 위치를 보정함으로써, 정확도를 향상시킬 수 있다.On the other hand, the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention is mounted on the HMD frame 110 and is a camera for photographing an image in the user's gaze direction. ( 190 ) may be further included, and the current position estimator 171 may correct the estimated current position using the image in the user's gaze direction captured by the camera 190 . That is, by comparing the current location and map information estimated by the current location estimator 171 with the image captured by the camera 190, and correcting the estimated current location to match the captured image, accuracy can be improved. .

경로 산출부(172)는, 추정된 현재 위치 및 지도 정보를 이용해 목적지까지의 경로를 산출할 수 있다. 즉, 경로 산출부(172)는, 지도 정보를 이용해 현재 위치 추정부(171)가 추정한 현재 위치로부터 목적지까지의 경로를 산출해, 내비게이션 기능이 구현되도록 할 수 있다. 또한, 경로 산출부(172)는, HMD 프레임(110)을 착용한 사용자의 이동에 따라 연산부(160)가 연산하는 보행 정보를 이용해, 경로를 실시간으로 업데이트할 수 있다.The route calculator 172 may calculate a route to the destination by using the estimated current location and map information. That is, the route calculating unit 172 may calculate a route from the current location estimated by the current location estimation unit 171 to the destination by using the map information to implement the navigation function. Also, the route calculator 172 may update the route in real time by using the gait information calculated by the calculator 160 according to the movement of the user wearing the HMD frame 110 .

도 5는 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 경로 생성부(170)가 경로를 생성하는 구체적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 경로 생성부(170)는, 현재 위치 추정부(171)가 GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, GPS 모듈(210)에서 제공된 최종 위치, 지도 정보 및 보행 정보를 이용해 현재 위치를 추정하는 현재 위치 추정 단계(S110), 경로 산출부(172)가 추정된 현재 위치 및 지도 정보를 이용해 목적지까지의 경로를 산출하는 경로 산출 단계(S120), 및 경로 산출부(172)가 HMD 프레임(110)을 착용한 사용자의 이동에 따라 연산부(160)가 연산하는 보행 정보를 이용해, 경로를 실시간으로 업데이트하는 경로 업데이트 단계(S130)를 순차적으로 처리함으로써, 경로를 생성하여 사용자에게 내비게이션 기능을 제공할 수 있다.5 is a diagram illustrating a detailed flow of the route generation unit 170 of the head mounted display device 100 having a navigation function using map information and an IMU sensor generates a route according to an embodiment of the present invention. As shown in FIG. 5 , the route generating unit 170 of the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention includes a current location estimation unit 171 . ) when a location tracking impossible event using a GPS signal occurs, the current location estimation step (S110) of estimating the current location using the final location, map information, and walking information provided from the GPS module 210, the route calculation unit 172 A route calculation step (S120) of calculating a route to the destination using the estimated current location and map information, and the route calculator 172 calculates according to the movement of the user wearing the HMD frame 110 By sequentially processing the route update step ( S130 ) of updating the route in real time using the walking information, a route may be generated and a navigation function may be provided to the user.

제어부(180)는, 경로 생성부(170)가 생성한 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 이때, 제어부(180)는, 센서부(140)에 의해 수집되는 정보 및 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(190)에서 촬영된 영상 등에 기초하여 사용자의 위치, 자세, 방향, 각도 등에 따라 경로를 안내하는 화살표, 목적지까지의 경로, 경로상의 현재 위치 정보 등을 포함하는 내비게이션 영상 정보를 생성할 수 있다.The controller 180 may generate navigation image information for guiding the route generated by the route generator 170 based on augmented reality, and transmit and control the transmission to the display 130 . At this time, the control unit 180, based on the information collected by the sensor unit 140 and the image captured by the camera 190 mounted on the HMD frame 110 to take an image in the user's gaze direction, etc. Navigation image information including arrows for guiding a route, a route to a destination, and current location information on a route according to a location, posture, direction, and angle may be generated.

도 6은 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에서, 내비게이션 영상이 표시된 사용자의 뷰 필드(10)를 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)의 제어부(180)는, 사용자의 위치, 자세, 방향 등에 최적화된 내비게이션 영상 정보(20)를 생성하고, 생성된 내비게이션 영상 정보(20)를 디스플레이(130)로 전송하여, 디스플레이(130)에서 광학계(120)를 통해 투과되어 보이는 실제 세계 위에 목적지까지의 경로를 안내하는 화살표, 지도상의 경로 표시 등의 내비게이션 영상 정보(20)가 최적화되어 제공될 수 있다. 따라서 사용자는, GPS 이용이 불가능한 상황에서도, 내비게이션 영상 정보(20)를 이용해 목적지까지의 경로를 파악하고 신속하게 이동할 수 있다.6 is a view showing, for example, a user's field of view 10 on which a navigation image is displayed in the head-mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention. am. As shown in FIG. 6 , the controller 180 of the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention may include a user's position, posture, direction, etc. The optimized navigation image information 20 is generated, the generated navigation image information 20 is transmitted to the display 130, and the path to the destination on the real world transmitted through the optical system 120 from the display 130 is transmitted. Navigation image information 20 such as arrows guiding , route indication on a map, etc. may be optimized and provided. Accordingly, even in a situation where the use of GPS is impossible, the user can use the navigation image information 20 to identify a route to a destination and move quickly.

인공지능 학습부(200)는, 인공지능 기술을 이용해 보행 패턴을 학습하여, 센서부(140)에 의해 수집되는 정보로부터 보행 정보를 예측하는 보행 예측 모델을 생성할 수 있다. 연산부(160)는, 보행 예측 모델을 이용해, 보행 정보를 연산하거나, 연산된 보행 정보를 보정할 수 있다.The artificial intelligence learning unit 200 may learn a gait pattern using artificial intelligence technology and generate a gait prediction model for predicting gait information from information collected by the sensor unit 140 . The calculator 160 may use the gait prediction model to calculate gait information or correct the calculated gait information.

여기서, 인공지능 기술은, CNN(Convolutional neural network), RNN(Recurrent Neural Network) 등의 인공신경망 기반의 딥러닝 기술일 수 있으며, CNN과 LSTM(Long short-term memory) RNN을 결합한 앙상블 딥러닝 등을 사용할 수도 있다. 또한, 랜덤 포레스트(Random Forest), 가중 랜덤 포레스트 분류기(WRFR), 캐스케이드 회귀 포레스트(Cascade Regression Forest) 등을 사용할 수도 있다.Here, the artificial intelligence technology may be an artificial neural network-based deep learning technology such as a convolutional neural network (CNN) and a recurrent neural network (RNN), and ensemble deep learning that combines a CNN and a long short-term memory (LSTM) RNN, etc. can also be used. In addition, a random forest, a weighted random forest classifier (WRFR), a cascade regression forest, etc. may be used.

또한, 인공지능 학습부(200)가 학습하는 보행 패턴은, 센서부(140)에서 수집된 정보와 보폭, 이동 방향 등의 보행 정보 사이의 연관성에 대한 데이터일 수 있으며, 사용자의 보폭, 이동 방향, 걸음 수, 보행 종류 등 다양한 각 사용자의 특징적인 패턴을 분석할 것일 수 있다.In addition, the gait pattern learned by the artificial intelligence learning unit 200 may be data on a correlation between the information collected by the sensor unit 140 and gait information such as stride length and movement direction, and the user's stride length and movement direction. , the number of steps, the type of walking, and the like, may analyze the characteristic patterns of various users.

한편, 인공지능 학습부(200)는, 사전 훈련된 모델을 기초로, 전이 학습(Transfer learning)을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자에 최적화된 보행 예측 모델을 생성할 수 있다. 전이 학습은 새로운 문제에 대해 사전 훈련된 모델을 재사용하는 것이다. 이미 훈련된 모델을 사용하므로, 상대적으로 적은 데이터로 깊은 신경망을 훈련시킬 수 있는 장점이 있다. 또한, 대부분의 실제 문제들은 일반적으로 복잡한 모델을 훈련시키기 위해 수백만 개의 라벨이 붙은 데이터를 가지고 있지 않기 때문에 유용하게 사용될 수 있다.Meanwhile, the artificial intelligence learning unit 200 may generate a gait prediction model optimized for an individual user by learning a gait pattern of an individual user through transfer learning based on the pre-trained model. Transfer learning is the reuse of pre-trained models for new problems. Since it uses an already trained model, it has the advantage of being able to train deep neural networks with relatively little data. Also, most real-world problems can be useful because you don't usually have millions of labeled data to train complex models.

도 7은 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에서, 전이 학습을 통해 보행 예측 모델을 생성하는 과정을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는, 서버가 다양한 사용자들로부터 수집된 다수의 보행 패턴 데이터(빅데이터)를 이용해 학습하여 구성한 모델을 전달받아 사용할 수 있다. 각각의 머리 착용형 디스플레이 장치(100)에는 착용한 사용자의 센서 수집 정보와 보행 정보 등을 포함하는 보행 패턴이 저장될 수 있는데, 인공지능 학습부(200)가 저장되어 있는 개별 사용자의 보행 패턴을 이용해 서버로부터 전달받은 사전 학습된 모델을 훈련시켜서, 개별 사용자에 최적화된 보행 예측 모델을 생성할 수 있다. 이와 같이, 전이 학습을 이용함으로써, 개별 사용자에 대해 수집된 보행 패턴 데이터가 상대적으로 적은 양이더라도, 효율적이고 신속하게 정확도 높은 보행 예측 모델을 생성할 수 있다.7 is a diagram illustrating a process of generating a gait prediction model through transfer learning in the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention. As shown in FIG. 7 , the head-wearable display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention includes a plurality of gait pattern data collected by a server from various users. You can use (big data) to receive and use a model constructed by learning. Each of the head-wearable display devices 100 may store a gait pattern including sensor collection information and gait information of the wearing user. By using the pre-trained model received from the server, it is possible to generate a gait prediction model optimized for individual users. As described above, by using transfer learning, it is possible to efficiently and quickly generate a highly accurate gait prediction model even if the amount of gait pattern data collected for each user is relatively small.

한편, 본 발명의 일실시예에 따른 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(210), 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(220), 전원 공급부(220)의 온/오프를 위한 스위치부(230), 및 제어부(180)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100) 및/또는 서버와 데이터 통신을 수행하는 통신부(240)를 더 포함하여 구성될 수 있다.On the other hand, the head mounted display device 100 having a navigation function using map information and an IMU sensor according to an embodiment of the present invention is mounted on the HMD frame 110 to provide a GPS module 210 for providing location information, A power supply unit 220 for supplying power for driving the head-wearable display device 100, a switch unit 230 for on/off of the power supply unit 220, and a control unit adjacent to the control unit 180 It may be configured to further include a communication unit 240 for performing data communication with another head-mounted display device 100 and/or the server.

이때, 머리 착용형 디스플레이 장치(100)가 GPS 모듈(210)을 포함하여 구성되더라도, GPS 모듈(210)의 사용이 제한되거나 오류가 있을 때, 지도 정보 및 IMU 센서를 이용해 내비게이션 기능을 제공할 수 있게 된다. 또한, 스위치부(230)는 전원 공급부(220)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(240)는 서버와 통신하여 사전 훈련된 모델을 전달받아 보행 정보 예측을 위해 사용할 수 있으며, 실시예에 따라서는, 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(240)와 연동하여 연결 접속되고, 목적지까지의 경로가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(240)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.At this time, even if the head mounted display device 100 is configured to include the GPS module 210, when the use of the GPS module 210 is limited or there is an error, the navigation function can be provided using the map information and the IMU sensor. there will be In addition, the switch unit 230 may be formed on one side of the HMD frame 110 by installing a switch for on/off of the power supply unit 220 or in a separate device connected to the HMD frame 110 by wire. can In addition, the communication unit 240 may communicate with the server to receive a pre-trained model and use it for gait information prediction, and according to an embodiment, communicate with the communication unit 240 of another head-mounted display device 100 adjacent thereto. Data communication can be performed so that they are connected to each other by interworking and a route to a destination can be shared with each other. Here, the communication unit 240 may be understood that various wireless communication methods including 3G/4G/5G and LTE capable of Internet access are applied.

또한, 머리 착용형 디스플레이 장치(100)는 디스플레이(130)를 통해 제공되는 내비게이션 영상 정보(20)에 대응하는 청각적 정보를 더 출력할 수도 있다. 예를 들어, 도 6에 도시된 바와 같은 내비게이션 영상 정보(20)와 대응하여 “전방 5m 앞에서 우회전”과 같은 음향 정보를 제공할 수 있다. 이를 위해, 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 음성 통신이 가능한 마이크, 스피커 등을 더 포함할 수 있다.Also, the head mounted display device 100 may further output auditory information corresponding to the navigation image information 20 provided through the display 130 . For example, in response to the navigation image information 20 as shown in FIG. 6 , sound information such as “turn right in front of 5 m” may be provided. To this end, the head mounted display device 100 may further include a microphone, a speaker, etc. capable of voice communication in the HMD frame 110 .

본 발명에서 제안하고 있는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 머리 착용형 디스플레이 장치(100)에 구비되는 IMU 센서를 이용해 사용자의 보행 정보를 연산하고, GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 저장부(150)에 저장된 지도 정보와 연산된 보행 정보를 이용해 목적지까지의 경로를 생성하여 증강현실 기반으로 안내하는 내비게이션 영상 정보(20)를 출력함으로써, GPS 신호를 이용한 위치 추적이 어려운 환경에서도 내비게이션 기능을 사용해 경로 안내를 받을 수 있다.According to the head mounted display device 100 having a navigation function using map information and an IMU sensor proposed in the present invention, the user's gait information is calculated using the IMU sensor provided in the head mounted display device 100 and , when an event that cannot be tracked using a GPS signal occurs, a route to the destination is generated using the map information stored in the storage unit 150 and the calculated walking information by outputting the navigation image information 20 that guides based on the augmented reality. , Even in an environment where it is difficult to track a location using GPS signals, you can use the navigation function to receive route guidance.

또한, 본 발명에서 제안하고 있는 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100)에 따르면, 사전 훈련된 모델을 기초로 전이 학습을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자에 최적화된 보행 예측 모델을 생성하고, 보행 예측 모델을 이용해 보행 정보를 연산 또는 보정함으로써, 각각의 사용자의 보행 패턴에 따라 정확하게 보행 정보 및 경로를 생성할 수 있으므로, GPS를 이용하지 않고도 정확도 높은 내비게이션 기능을 제공할 수 있다.In addition, according to the head-mounted display device 100 having a navigation function using map information and an IMU sensor proposed in the present invention, the individual user's gait pattern is learned through transfer learning based on a pre-trained model. By generating a gait prediction model optimized for the user, and calculating or correcting gait information using the gait prediction model, gait information and routes can be accurately generated according to each user's gait pattern, so A navigation function may be provided.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

10: 뷰 필드
20: 내비게이션 영상 정보
100: 본 발명에 따른 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 센서부
150: 저장부
160: 연산부
170: 경로 생성부
171: 현재 위치 추정부
172: 경로 산출부
180: 제어부
190: 카메라
200: 인공지능 학습부
210: GPS 모듈
220: 전원 공급부
230: 스위치부
240: 통신부
S110: 현재 위치 추정 단계
S120: 경로 산출 단계
S130: 경로 업데이트 단계10: Field of View
20: navigation video information
100: head mounted display device according to the present invention
110: HMD frame
120: optical system
130: display
140: sensor unit
150: storage
160: arithmetic unit
170: path generator
171: current location estimation unit
172: path calculation unit
180: control unit
190: camera
200: artificial intelligence learning department
210: GPS module
220: power supply
230: switch unit
240: communication department
S110: Current location estimation step
S120: Path calculation step
S130: Path update step

Claims (8)

머리 착용형 디스플레이 장치(100)로서,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 내비게이션 영상 정보(20)가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
상기 HMD 프레임(110)의 일 측에 설치되며 IMU 센서로 구성되는 센서부(140);
지도 정보를 저장하는 저장부(150);
상기 센서부(140)에 의해 수집되는 정보에 기초하여, 상기 HMD 프레임(110)을 착용한 사용자의 보폭 및 이동 방향을 포함하는 보행 정보를 연산하는 연산부(160);
GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, 상기 지도 정보 및 보행 정보를 이용해 목적지까지의 경로를 생성하는 경로 생성부(170);
상기 경로 생성부(170)가 생성한 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보(20)를 생성하여 상기 디스플레이(130)로 전송 제어하는 제어부(180); 및
인공지능 기술을 이용해, 상기 센서부(140)에서 수집된 정보와 보폭 및 이동 방향을 포함하는 보행 정보 사이의 연관성에 대한 데이터인 보행 패턴을 학습하여, 센서부(140)에 의해 수집되는 정보로부터 보행 정보를 예측하는 보행 예측 모델을 생성하는 인공지능 학습부(200)를 포함하며,
상기 연산부(160)는,
상기 보행 예측 모델을 이용해, 상기 보행 정보를 연산하거나, 연산된 보행 정보를 보정하고,
상기 인공지능 학습부(200)는,
사전 훈련된 모델을 기초로, 전이 학습(Transfer learning)을 통해 개별 사용자의 보행 패턴을 학습하여 개별 사용자를 위한 상기 보행 예측 모델을 생성하는 것을 특징으로 하는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
A head-wearable display device 100 comprising:
HMD frame 110 that can be worn on the user's head;
an optical system 120 disposed in front of both eyes of a user wearing the HMD frame 110 and allowing the real world to be transmitted through the user's field of view;
a display 130 for outputting image light so that navigation image information 20 can be provided to a user along with the real world transmitted through the optical system 120;
a sensor unit 140 installed on one side of the HMD frame 110 and configured as an IMU sensor;
a storage unit 150 for storing map information;
a calculation unit 160 for calculating walking information including the stride length and movement direction of the user wearing the HMD frame 110 based on the information collected by the sensor unit 140;
a route generating unit 170 for generating a route to a destination by using the map information and walking information when a location tracking impossible event using a GPS signal occurs;
a controller 180 for generating navigation image information 20 for guiding the route generated by the route generator 170 based on augmented reality and transmitting and controlling the information to the display 130; and
Using artificial intelligence technology, a gait pattern, which is data on the correlation between the information collected by the sensor unit 140 and gait information including stride length and movement direction, is learned, and from the information collected by the sensor unit 140 . It includes an artificial intelligence learning unit 200 that generates a gait prediction model that predicts gait information,
The calculation unit 160,
By using the gait prediction model, the gait information is calculated or the calculated gait information is corrected,
The artificial intelligence learning unit 200,
A navigation function using map information and an IMU sensor, characterized in that the gait prediction model for each user is generated by learning the gait pattern of each user through transfer learning based on the pre-trained model. A head-wearable display device 100 having.
 제1항에 있어서, 상기 경로 생성부(170)는,
GPS 신호를 이용한 위치 추적 불가 이벤트 발생 시, GPS 모듈(210)에서 제공된 최종 위치, 상기 지도 정보 및 상기 보행 정보를 이용해 현재 위치를 추정하는 현재 위치 추정부(171); 및
상기 추정된 현재 위치 및 상기 지도 정보를 이용해 목적지까지의 경로를 산출하는 경로 산출부(172)를 포함하는 것을 특징으로 하는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
According to claim 1, wherein the path generating unit 170,
a current location estimation unit 171 for estimating the current location using the final location provided by the GPS module 210, the map information, and the walking information when a location tracking impossible event using a GPS signal occurs; and
Head-wearable display device 100 having a navigation function using map information and an IMU sensor, characterized in that it includes a route calculation unit 172 for calculating a route to a destination using the estimated current location and the map information. ).
 제2항에 있어서, 상기 현재 위치 추정부(171)는,
상기 GPS 모듈(210)에서 최종 위치가 제공된 시점으로부터의 걸음 수를 더 이용해 상기 현재 위치를 추정하는 것을 특징으로 하는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
The method of claim 2, wherein the current location estimating unit 171,
A head mounted display device 100 having a navigation function using map information and an IMU sensor, characterized in that the current location is estimated by further using the number of steps from the point in time when the final location is provided in the GPS module 210 .
 제3항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
상기 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(190)를 더 포함하며,
상기 현재 위치 추정부(171)는,
상기 카메라(190)에서 촬영된 사용자의 시선 방향의 영상을 이용해 상기 추정된 현재 위치를 보정하는 것을 특징으로 하는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
According to claim 3, wherein the head mounted display device 100,
It is mounted on the HMD frame 110 and further includes a camera 190 for taking an image in the user's gaze direction,
The current location estimating unit 171,
A head mounted display device 100 having a navigation function using map information and an IMU sensor, characterized in that the estimated current position is corrected using the image in the user's gaze direction captured by the camera 190 .
 제2항에 있어서, 상기 경로 산출부(172)는,
상기 HMD 프레임(110)을 착용한 사용자의 이동에 따라 상기 연산부(160)가 연산하는 보행 정보를 이용해, 상기 경로를 실시간으로 업데이트하는 것을 특징으로 하는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).
The method of claim 2, wherein the path calculating unit 172,
It has a navigation function using map information and an IMU sensor, characterized in that the route is updated in real time using the gait information calculated by the calculator 160 according to the movement of the user wearing the HMD frame 110 . A head-worn display device 100 .
 삭제delete 삭제delete 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
상기 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(210);
상기 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(220);
상기 전원 공급부(220)의 온/오프를 위한 스위치부(230); 및
상기 제어부(180)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100) 및/또는 서버와 데이터 통신을 수행하는 통신부(240)를 더 포함하여 구성하는 것을 특징으로 하는, 지도 정보와 IMU 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치(100).According to any one of claims 1 to 5, wherein the head mounted display device 100,
a GPS module 210 mounted on the HMD frame 110 to provide location information;
a power supply unit 220 for supplying power for driving the head wearable display device 100;
a switch unit 230 for on/off of the power supply unit 220; and
Map information and an IMU sensor, characterized in that it further comprises a communication unit 240 for performing data communication with another head-mounted display device 100 and/or a server adjacent to the control unit 180 under the control of the control unit 180. A head-wearable display device 100 having a navigation function used.
KR1020200021732A 2020-02-21 2020-02-21 A head mounted display apparatus having a navigating function with map information and imu sensor KR102324129B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200021732A KR102324129B1 (en) 2020-02-21 2020-02-21 A head mounted display apparatus having a navigating function with map information and imu sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200021732A KR102324129B1 (en) 2020-02-21 2020-02-21 A head mounted display apparatus having a navigating function with map information and imu sensor

Publications (2)

Publication Number Publication Date
KR20210106786A KR20210106786A (en) 2021-08-31
KR102324129B1 true KR102324129B1 (en) 2021-11-11

Family

ID=77489497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021732A KR102324129B1 (en) 2020-02-21 2020-02-21 A head mounted display apparatus having a navigating function with map information and imu sensor

Country Status (1)

Country Link
KR (1) KR102324129B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058892A1 (en) * 2021-10-09 2023-04-13 삼성전자 주식회사 Electronic device and method for providing location-based service

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
KR102221817B1 (en) * 2013-10-11 2021-02-26 에스케이플래닛 주식회사 Mobile terminal for providing location information, method and system for measuring the location information
KR102362117B1 (en) * 2014-07-01 2022-02-11 삼성전자주식회사 Electroninc device for providing map information
KR101848276B1 (en) * 2016-07-29 2018-04-12 선문대학교 산학협력단 Smart wearable device for disaster response and disaster response system using thereof
KR20190104945A (en) * 2019-08-23 2019-09-11 엘지전자 주식회사 Xr device and method for controlling the same

Also Published As

Publication number Publication date
KR20210106786A (en) 2021-08-31

Similar Documents

Publication Publication Date Title
KR101762297B1 (en) Calibration of virtual reality systems
CA3107374C (en) Systems and methods for autonomous machine tracking and localization of mobile objects
JP2021524021A (en) Dynamic structured light for depth detection systems
CN106682572B (en) Target tracking method and system and first electronic device
CN108022302B (en) Stereo display device of Inside-Out space orientation's AR
JP2017037554A (en) Image display device, computer program, and image display system
KR20190098003A (en) Method for estimating pose of device and thereof
CN105393284A (en) Space carving based on human physical data
US20130024117A1 (en) User Navigation Guidance and Network System
US11334747B2 (en) Augmented reality (AR) device and method of predicting pose therein
CN110494792B (en) Visual tracking of peripheral devices
CN103246543A (en) Display control device, display control method, and program
US10254123B2 (en) Navigation system with vision augmentation mechanism and method of operation thereof
US11914762B2 (en) Controller position tracking using inertial measurement units and machine learning
JP2016045874A (en) Information processor, method for information processing, and program
KR102284464B1 (en) Wearable augmented reality device with location tracking function using uwb and imu sensor
CN110895676B (en) dynamic object tracking
JP2017058945A (en) Information processing system, portable terminal, server device, information processing method, and program
KR102324129B1 (en) A head mounted display apparatus having a navigating function with map information and imu sensor
JP2021060627A (en) Information processing apparatus, information processing method, and program
KR20210011665A (en) A head mounted display apparatus having an emergency navigating function with imu
US11376514B2 (en) Experience system, experience providing method, and computer readable recording medium
US11409360B1 (en) Biologically-constrained drift correction of an inertial measurement unit
KR102578119B1 (en) Smart glasses operation method interworking to mobile device
US20230384114A1 (en) Personal protective equipment for navigation and map generation within a visually obscured environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right