KR20150084200A - 헤드 마운트 디스플레이 및 제어 방법 - Google Patents

헤드 마운트 디스플레이 및 제어 방법 Download PDF

Info

Publication number
KR20150084200A
KR20150084200A KR1020140003971A KR20140003971A KR20150084200A KR 20150084200 A KR20150084200 A KR 20150084200A KR 1020140003971 A KR1020140003971 A KR 1020140003971A KR 20140003971 A KR20140003971 A KR 20140003971A KR 20150084200 A KR20150084200 A KR 20150084200A
Authority
KR
South Korea
Prior art keywords
hmd
virtual map
destination
user
virtual
Prior art date
Application number
KR1020140003971A
Other languages
English (en)
Inventor
조은형
김종호
이도영
김지환
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140003971A priority Critical patent/KR20150084200A/ko
Priority to US14/193,971 priority patent/US9639986B2/en
Priority to PCT/KR2014/001843 priority patent/WO2015105236A1/en
Publication of KR20150084200A publication Critical patent/KR20150084200A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

본 명세서는 헤드 마운트 디스플레이 및 제어 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이를 착용한 유저가 버추얼 맵을 통해 전방에 위치한 적어도 하나의 오브젝트를 인식하는 방법을 제공한다.
일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)에 있어서, 비주얼 정보를 디스플레이하는 디스플레이 유닛; 상기 HMD의 위치를 센싱하는 위치 센싱 유닛; 상기 HMD의 전방에 위치한 적어도 하나의 오브젝트를 센싱하는 카메라 유닛; 및 상기 디스플레이 유닛, 상기 위치 센싱 유닛 및 상기 카메라 유닛을 제어하는 프로세서를 포함하되, 상기 프로세서는 상기 HMD의 위치 정보를 획득하고, 상기 HMD의 위치 정보에 기초하여, 상기 HMD의 전방에 위치하는 상기 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 맵을 생성하고, 상기 제 1 버추얼 맵을 디스플레이하되, 상기 제 1 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고 상기 HMD로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵인, HMD를 제공한다.

Description

헤드 마운트 디스플레이 및 제어 방법 {A HEAD MOUNTED DISPLAY AND THE METHOD OF CONTROLLING THEREOF}
본 명세서는 헤드 마운트 디스플레이 및 제어 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이를 착용한 유저가 버추얼 맵을 통해 전방에 위치한 적어도 하나의 오브젝트를 인식하는 방법을 제공한다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
예를 들어, HMD는 유저가 HMD를 착용하고 있는 동안 길을 안내하는 맵 애플리케이션을 제공할 수 있다. 즉, 투시형 방식으로 HMD를 이용하고 있는 동안, 전방에 위치한 오브젝트들이 투시되어 유저에게 보이는 것과 별개로 맵을 디스플레이하여, 유저가 길을 용이하게 찾을 수 있도록 유도할 수 있다.
일 실시예에 있어서, 본 명세서는 HMD의 전방에 위치한 적어도 하나의 오브젝트를 곡면 맵으로 나타내는 버추얼 맵을 HMD를 통해 제공하는 것을 목적으로 한다.
다른 일 실시예에 있어서, 본 명세서는 HMD의 전방에 위치한 적어도 하나의 오브젝트를 유저가 인식하지 못하는 경우, 유저가 인식하지 못하는 오브젝트에 대응하는 버추얼 오브젝트를 버추얼 맵에 디스플레이하여, 유저에게 위치를 제공하는 것을 목적으로 한다.
또한, 다른 일 실시예에 있어서, 본 명세서는 유저에 의해 설정된 목적지의 유무에 기초하여, HMD에 디스플레이되는 버추얼 맵의 기울기를 결정하는 것을 목적으로 한다.
또한, 다른 일 실시예에 있어서, 본 명세서는 유저에 의해 설정된 목적지가 있는 경우, HMD와 목적지와의 거리에 기초하여 버추얼 맵의 기울기를 결정하는 것을 목적으로 한다.
또한, 다른 일 실시예에 있어서, 본 명세서는 유저에 의해 설정된 목적지가 없는 경우, HMD가 전방으로 이동한다면, 이동한 HMD의 위치에 기초하여 디스플레이되는 버추얼 맵을 변경하는 것을 목적으로 한다.
일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)에 있어서, 비주얼 정보를 디스플레이하는 디스플레이 유닛; 상기 HMD의 위치를 센싱하는 위치 센싱 유닛; 상기 HMD의 전방에 위치한 적어도 하나의 오브젝트를 센싱하는 카메라 유닛; 및 상기 디스플레이 유닛, 상기 위치 센싱 유닛 및 상기 카메라 유닛을 제어하는 프로세서를 포함하되, 상기 프로세서는 상기 HMD의 위치 정보를 획득하고, 상기 HMD의 위치 정보에 기초하여, 상기 HMD의 전방에 위치하는 상기 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 맵을 생성하고, 상기 제 1 버추얼 맵을 디스플레이하되, 상기 제 1 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고 상기 HMD로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵인, HMD를 제공한다.
다른 일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서, 상기 HMD의 위치 정보를 획득하는 단계; 상기 HMD의 위치 정보에 기초하여, 상기 HMD가 향한 방향에 위치하는 상기 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 앱을 생성하는 단계; 및 상기 제 1 버추얼 맵을 디스플레이하는 단계로서, 상기 제 1 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고 상기 HMD로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵인, 제어 방법을 제공한다.
일 실시예에 있어서, 유저는 HMD를 통해 전방에 위치하는 오브젝트가 투시되어 유저에게 제공되는 것 이외에 버추얼 맵을 통해 전방에 위치하는 오브젝트의 위치를 인식할 수 있다.
다른 일 실시예에 있어서, 유저는 HMD를 착용한 상태에서, 유저가 인식하지 못하는 오브젝트를 곡면 맵으로 나타나는 버추얼 맵을 통해 용이하게 인식할 수 있다.
또한, 다른 일 실시예에 있어서, 유저에 의해 설정된 목적지의 유무에 기초하여, 유저는 다양한 기울기로 제공되는 버추얼 맵을 제공받을 수 있다.
또한, 다른 일 실시예에 있어서, 유저에 의해 설정된 목적지가 있는 경우, HMD와 목적지와의 거리에 기초하여, 다양한 기울기로 제공되는 버추얼 맵을 제공받을 수 있다.
또한, 다른 일 실시예에 있어서, 유저에 의해 설정된 목적지가 없는 경우, 유저가 전방으로 이동한다면, 이동한 유저의 위치에 기초하여 변경된 버추얼 맵을 제공받을 수 있다.
도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타내는 도면이다.
도 2는 본 명세서의 HMD를 통해 전방에 위치한 적어도 하나의 오브젝트를 바라보는 모습을 나타내는 도면이다.
도 3a 및 도 3b는 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다.
도 4a 및 도 4b는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다.
도 5a 및 도 5b는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다.
도 6a 및 도 6b는 본 명세서의 HMD의 제어 방법의 제 4 실시예를 나타내는 도면이다.
도 7a 및 도 7b는 본 명세서의 HMD의 제어 방법의 제 5 실시예를 나타내는 도면이다.
도 8a 및 도 8b는 본 명세서의 HMD의 제어 방법의 제 6 실시예를 나타내는 도면이다.
도 9는 본 명세서의 HMD의 제어 방법의 순서도를 나타내는 도면이다.
본 명세서에서 사용되는 용어는 일 실시예에 따른 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 본 명세서가 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 명세서의 HMD의 블록도를 나타내는 도면이다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.
도 1에 도시된 바와 같이, 일 실시예에 따른 HMD(100)는 디스플레이 유닛(110), 위치 센싱 유닛(120), 카메라 유닛(130) 및 프로세서(140)를 포함할 수 있다.
디스플레이 유닛(110)은 비주얼 정보를 디스플레이할 수 있다. 여기에서, 비주얼 정보는 컨텐츠, 애플리케이션, 이미지, 동영상 등을 포함할 수 있다. 또한, 디스플레이 유닛(110)은 프로세서(140)의 제어 명령에 기초하여 비주얼 정보를 스크린에 출력할 수 있다.
한편, 본 명세서에서, HMD(100)는 다양한 방식으로 디스플레이 스크린에 이미지를 출력할 수 있다. 일 예로서, HMD(100)는 투시형(see-through) 방식으로 이미지를 출력할 수 있다. 여기에서, 투시형(see-through) 방식은 디스플레이 스크린이 투명한 것으로, HMD(100)를 착용한 상태에서 유저가 주위 환경을 인식하면서 컨텐츠를 이용할 수 있는 방식을 나타낸다. 다른 일 예로서, HMD(100)는 전방 주사(front-light) 방식으로 이미지를 출력할 수 있다. 여기에서, 전방 주사 방식은 빛이 유저의 눈에 직접 투사되지 않고 반사된 영상을 거울과 같은 반사체를 통해 디스플레이하는 방식을 나타낸다.
또한, 다른 일 예로서, HMD(100)는 암막형(see-closed) 방식으로 이미지를 출력할 수 있다. 여기에서, 암막형 방식은 디스플레이 스크린을 통해 외부 환경을 볼 수 없는 상태에서, 디스플레이 스크린을 통해 컨텐츠를 이용하는 방식을 나타낸다. 본 명세서에서, HMD(100)는 투시형 방식으로 이미지를 디스플레이하는 것으로 가정하도록 한다.
본 명세서에서, 디스플레이 유닛(110)은 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트를 나타내는 버추얼 맵을 디스플레이할 수 있다. 또한, 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고, 적어도 하나의 오브젝트가 HMD(100)로부터 거리가 증가함에 따라 기울기가 증가할 수 있다. 이와 관련하여, 도 3 내지 도 8의 실시예에서 다시 설명하도록 한다.
위치 센싱 유닛(120)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여, HMD(100)의 위치를 센싱하고, 이를 신호 형태로 프로세서(140)에 전달할 수 있다.
위치 센싱 유닛(120)은 적어도 하나의 센싱 수단을 포함할 수 있다. 일 실시예로서, 적어도 하나의 센싱 수단은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 및 그립 센서 등의 센싱 수단을 포함할 수 있다.
또한, 위치 센싱 유닛(120)은 상술한 다양한 센싱 수단을 통칭하는 것으로서, 유저의 다양한 입력 및 HMD(100)의 환경을 센싱하여, 프로세서(140)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나의 엘리먼트에 통합되어 포함될 수 있다.
본 명세서에서, 위치 센싱 유닛(120)은 HMD(100)의 위치 정보를 센싱할 수 있다. 여기에서, HMD(100)의 위치 정보는 HMD(100)의 지리적 위치, 지상으로부터 HMD(100)의 높이, HMD(100)의 속도 등을 포함할 수 있다.
카메라 유닛(130)은 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(130)은 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 카메라 유닛(130)이 향하고 있는 방향에 해당할 수 있다. 또한, 카메라 유닛(130)은 화각 영역 내의 이미지를 센싱하여 프로세서(140)에 전달할 수 있다. 여기에서, 화각 영역은 이미지를 센싱하는 때에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다.
본 명세서에서, 카메라 유닛(130)은 HMD(100)의 전방에 위치한 적어도 하나의 오브젝트를 센싱할 수 있다. 또한, 카메라 유닛(130)은 전방에 위치한 적어도 하나의 오브젝트의 높이를 센싱할 수 있다.
프로세서(140)는 데이터를 프로세싱하고, 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다. 본 명세서에서, 프로세서(140)는 HMD(100)의 위치 정보를 획득할 수 있다. 또한, 프로세서(140)는 HMD(100)의 위치 정보에 기초하여, HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 맵을 생성할 수 있다. 또한, 프로세서(140)는 제 1 버추얼 맵을 디스플레이할 수 있다. 이와 관련하여, 도 3 내지 도 8의 실시예에서 다시 설명하도록 한다.
본 명세서의 일 실시예로서, HMD(100)가 수행하는 동작들은 프로세서(140)에 의해 제어될 수 있다. 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 HMD(100)가 수행/제어하는 것으로 설명하도록 한다.
한편, 도 1에는 도시되지 않았으나, HMD(100)는 커뮤니케이션 유닛, 파워 유닛, 스토리지 유닛, 오디오 유닛 등을 포함할 수 있다. 커뮤니케이션 유닛은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.
파워 유닛은 HMD(100) 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, HMD(100)에 파워를 공급할 수 있다. 또한, 스토리지 유닛은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낼 수 있다. 또한, 오디오 유닛은 마이크 및 스피커를 통해 오디오 데이터를 수신하거나 출력할 수 있다.
도 1에 도시된 HMD(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 HMD(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 명세서의 HMD를 통해 전방에 위치한 적어도 하나의 오브젝트를 바라보는 모습을 나타내는 도면이다. 보다 상세하게는, 도 2는 HMD(100)의 디스플레이 유닛(110)에 버추얼 맵이 디스플레이되지 않고, 유저에게 전방에 위치한 오브젝트가 투시되어 제공되는 것을 나타낸다.
본 명세서에서, HMD(100)는 유저에게 착용된 상태인 것으로 가정한다. 또한, 본 명세서에서, HMD(100)에는 한 쌍의 투시형 방식의 디스플레이 유닛(110)을 포함할 수 있다. 또한, 한 쌍의 디스플레이 유닛(110)은 동일한 컨텐츠를 디스플레이하는 것이므로, 본 명세서에서, 한쪽의 디스플레이 유닛(110)에 디스플레이된 컨텐츠를 기준으로 설명하도록 한다.
먼저, HMD(100)는 전방에 위치한 적어도 하나의 오브젝트를 유저에게 나타낼 수 있다. 이 경우, HMD(100)의 디스플레이 유닛(110)은 투시형 방식이므로 HMD(100)의 전방에 위치한 오브젝트를 유저가 용이하게 볼 수 있다. 즉, 도 2에 도시된 바와 같이, HMD(100)를 착용한 유저는 전방에 위치한 A(A1,A2), B(B1,B2), C(C1,C2) 및 D(D1,D2)와 같은 오브젝트를 HMD(100)를 통해 볼 수 있다. 여기에서, A1 및 A2 오브젝트는 HMD(100)를 기준으로 좌우 전방에 위치한 오브젝트로서, HMD(100)로부터 동일한 거리에 위치한 것으로 가정한다. 이는, B 내지 D 오브젝트에 대하여도 동일한 것으로 가정한다.
또한, HMD(100)는 전방에 위치한 오브젝트를 디스플레이 유닛(110) 상에 투시형 방식으로 제공함과 동시에, 다양한 컨텐츠를 디스플레이 유닛(110)에 디스플레이할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, HMD(100)는 디스플레이 유닛(100)에 시계, 문자 메세지 도착 알림 등의 컨텐츠를 디스플레이할 수 있다. 이러한 컨텐츠들은 유저의 시야를 가리지 않게 하기 위하여 반투명하게 디스플레이될 수 있다. 이를 통해, 유저는 HMD(100)를 통해 전방에 위치한 오브젝트를 인식함과 동시에 문자, 전화 등의 다양한 컨텐츠도 이용할 수 있다.
한편, 유저는 HMD(100)를 착용한 상태에서 유저가 전방에서 인식할 수 있는 오브젝트를 제외한 나머지 오브젝트의 위치를 알기를 원할 수 있다. 이 경우, HMD(100)는 유저에게 맵 컨텐츠를 제공할 수 있다. 이때, 유저의 편의를 위해, HMD(100)는 전방에 위치한 오브젝트에 겹치지 않게 맵을 제공할 필요가 있다. 이와 관련하여, 도 3 내지 도 8의 실시예를 통하여, 유저가 인식하기 용이한 버추얼 맵을 제공하는 방법을 설명하도록 한다.
도 3은 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 3a는 HMD(100)를 착용한 유저에게 제공되는 제 1 버추얼 맵(200)을 나타내고, 도 3b는 HMD(100)를 착용한 유저(10)에게 제공되는 제 1 버추얼 맵(200)의 기울기를 나타낸다.
먼저, HMD(100)는 유저(10)로부터 입력 신호를 디텍트하여, 맵 애플리케이션을 실행할 수 있다. 여기에서, 입력 신호는 제스처 신호, 음성 신호, 터치 신호 등을 포함할 수 있다. 이 경우, HMD(100)는 HMD(100)의 위치 정보를 획득할 수 있다. 여기에서, HMD(100)의 위치 정보는 HMD(100)의 지리적 위치, HMD(100)의 높이, HMD(100)의 이동 속도 등을 포함할 수 있다. 예를 들어, HMD(100)의 지리적 위치는 HMD(100)의 지리적 좌표로서, GPS를 통해 인식되는 HMD(100)의 위치에 해당할 수 있다. 또한, 예를 들어, HMD(100)의 높이는 카메라 또는 GPS를 통해 인식되는 지상에서부터 HMD(100)의 높이를 나타내고, HMD(100)의 이동 속도는 GPS를 통해 인식되는 HMD(100)의 이동 속도를 나타낼 수 있다. 이외에도 HMD(100)의 위치 정보는 다양한 정보를 포함할 수 있다.
다음으로, HMD(100)는 획득된 HMD(100)의 위치 정보에 기초하여, HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 맵(200)을 생성할 수 있다. 여기에서, 버추얼 오브젝트는 HMD(100)의 전방에 위치한 적어도 하나의 오브젝트를 가상으로 나타내는 오브젝트에 해당한다. 도 3a 및 도 3b에 도시된 바와 같이, 버추얼 오브젝트는 실제 오브젝트와 유사한 형태로 디스플레이될 수 있다. 또한, 버추얼 오브젝트는 실제 오브젝트와 HMD(100)와의 거리에 기초하여 평면적 또는 입체적으로 디스플레이될 수 있다.
또한, 여기에서, 제 1 버추얼 맵(200)은 유저(10)가 맵 애플리케이션을 실행하는 경우에, 처음으로 제공되는 버추얼 맵에 해당할 수 있다. 또한, 제 1 버추얼 맵(200)은 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트를 나타내는 맵으로서, 유저(10)가 실제로 인식할 수 있는 오브젝트 뿐만 아니라 유저(10)에게 인식되지 않는 오브젝트까지 디스플레이할 수 있다.
예를 들어, 도 3a에 도시된 바와 같이, 제 1 버추얼 맵(200)은 유저(10)가 인식할 수 있는 오브젝트인 A, B, C 및 D 오브젝트 뿐만 아니라 유저(10)가 인식할 수 없는 오브젝트인 E 및 F 오브젝트를 디스플레이할 수 있다. 여기에서, 유저(10)가 인식할 수 없는 오브젝트는 HMD(100)로부터 먼 거리에 위치하거나, 다른 오브젝트에 가려져서 유저(10)가 인식하기 어려운 오브젝트에 해당할 수 있다. 즉, 유저는 제 1 버추얼 맵(200)을 통해 전방에서 인식할 수 없는 위치에 어떠한 오브젝트가 있는지 알 수 있다.
또한, HMD(100)는 생성된 제 1 버추얼 맵(200)을 디스플레이 유닛(110)에 디스플레이할 수 있다. 여기에서, 제 1 버추얼 맵(200)은 제 1 오브젝트의 상단에서부터 디스플레이되고 HMD(100)로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵에 해당할 수 있다. 또한, 제 1 버추얼 맵(200)는 AR(Augmented Reality) 방식으로 구현될 수 있다. 이외에도, 제 1 버추얼 맵(200)은 디스플레이 유닛(110)상에 다양한 방식으로 구현될 수 있다. 이와 관련하여, 도 3b를 참조하면, 제 1 버추얼 맵(200)은 HMD(100)로부터 가장 가까운 오브젝트인 A 오브젝트에서부터 F 오브젝트로 멀어질수록 곡면의 기울기가 증가하는 것을 알 수 있다. 따라서, 제 1 버추얼 맵(200)의 기울기가 큰 쪽에 위치하는 버추얼 오브젝트는 유저(10)로부터 거리가 먼 오브젝트에 해당할 수 있다. 여기에서, A로 표시된 오브젝트는 도 3a에 도시된 A1 또는 A2 오브젝트에 대응될 수 있다.
일 예로서, 제 1 오브젝트는 HMD(100)의 전방에 위치한 적어도 하나의 오브젝트 중 첫번째로 가깝게 위치한 오브젝트에 해당할 수 있다. 예를 들어, 도 3a에서 제 1 오브젝트는 A 오브젝트(A1 또는 A2)에 해당할 수 있다. 따라서, HMD(100)는 A1 또는 A2 오브젝트의 상단에서부터 제 1 버추얼 맵(200)을 디스플레이할 수 있다. 다른 일 예로서, 제 1 오브젝트는 HMD(100)로부터 기 설정된 거리에 위치한 적어도 하나의 오브젝트에 해당할 수 있다. 예를 들어, 도 3b에서 제 1 오브젝트는 HMD(100)로부터 기 설정된 거리(d)에 위치한 A 오브젝트에 해당할 수 있다. 따라서, HMD(100)는 A 오브젝트의 상단에서부터 제 1 버추얼 맵(200)을 디스플레이할 수 있다.
한편, HMD(100)는 전방에 위치한 적어도 하나의 오브젝트의 높이를 획득할 수 있다. 이는, 도 1에서 상술한 카메라 유닛 또는 위치 센싱 유닛을 통해서 획득될 수 있다. 또한, HMD(100)는 획득한 적어도 하나의 오브젝트의 높이에 기초하여 제 1 버추얼 맵(200)의 높이를 결정할 수 있다. 보다 상세하게는, HMD(100)는 획득한 적어도 하나의 오브젝트의 높이에 기초하여 제 1 버추얼 맵(200)이 디스플레이되기 시작하는 높이를 결정할 수 있다.
일 예로서, HMD(100)는 전방에 위치한 적어도 하나의 오브젝트 중 가장 높은 오브젝트의 상단에 제 1 버추얼 맵(200)을 디스플레이할 수 있다. 예를 들어, 도 3b에 도시된 바와 같이, HMD(100)는 가장 높은 오브젝트인 A 오브젝트로부터 기 설정된 높이(h) 상단에 제 1 버추얼 맵(200)을 디스플레이할 수 있다. 다른 일 예로서, HMD(100)는 전방에 위치한 적어도 하나의 오브젝트 중 기 설정된 오브젝트의 상단에 제 1 버추얼 맵(200)을 디스플레이할 수 있다. 예를 들어, 기 설정된 오브젝트는 유저(10)에 의해 설정된 목적지에 해당할 수 있다. 따라서, HMD(100)는 유저(10)에 의해 설정된 목적지에 해당하는 오브젝트의 상단에 제 1 버추얼 맵(200)을 디스플레이할 수 있다.
또한, HMD(100)는 전방에 위치한 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 좌우 반전하지 않고 제 1 버추얼 맵(200)에 디스플레이할 수 있다. 도 3a에 도시된 바와 같이, HMD(100)는 전방에 위치한 적어도 하나의 오브젝트의 상단에 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 디스플레이할 수 있다. 여기에서, 버추얼 오브젝트는 제 1 버추얼 맵(200) 상에 디스플레이되고, 전방에 위치한 적어도 하나의 오브젝트의 방향을 좌우반전하지 않고 방향을 동일하게 유지하여 디스플레이할 수 있다. 즉, HMD(100)는 제 1 버추얼 맵(200)을 통해 적어도 하나의 오브젝트를 좌우반전하지 않은 상태에서 유저(10)에게 위치를 제공할 수 있다.
이하, 도 4 내지 도 8에서는 HMD(100)를 착용한 유저(10)가 맵 애플리케이션을 이용하는 경우에, 목적지가 있는지 여부에 따라 버추얼 맵(200)을 제공하는 방법에 대하여 설명하도록 한다. 또한, 이하에서 HMD(100)는 유저(10)에 의해 착용된 상태인 것으로 가정한다.
도 4는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 4a는 유저(10)에 의해 설정된 목적지가 없는 경우에, 유저(10)에게 제공되는 제 2 버추얼 맵(200)을 나타내고, 도 4b는 목적지가 없는 경우에, 유저(10)에게 제공되는 제 2 버추얼 맵(200)의 기울기를 나타낸다.
먼저, 도 4는 도 3에서의 HMD(100)의 위치를 기준으로 유저(10)가 전방을 향하여 이동한 상태를 나타내는 것으로 가정하도록 한다. 보다 상세하게는, 도 4a 및 도 4b는 유저(10)가 오브젝트 A의 위치 또는 오브젝트 A를 지나친 위치에 있는 상태인 것으로 가정하도록 한다.
이 경우, HMD(100)는 HMD(100)의 위치 정보를 획득할 수 있다. 여기에서, HMD(100)의 위치 정보는 상술한 도 3과 비교하여, 이동된 HMD(100)의 위치 정보에 해당할 수 있다. 또한, HMD(100)는 위치 정보에 기초하여, 제 2 버추얼 맵(200)을 생성할 수 있다. 여기에서, 제 2 버추얼 맵(200)은 이동한 HMD(100)의 위치 정보에 기초하여, HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 버추얼 맵에 해당할 수 있다. 도 4a를 참조하면, HMD(100)는 제 2 버추얼 맵(200)에 HMD(100)의 전방에 위치한 B, C, D 및 E 오브젝트에 대응하는 버추얼 오브젝트들을 디스플레이할 수 있다. 또한, HMD(100)는 유저(10)의 시야에 보이지 않지만, 전방에 위치한 오브젝트인 F, G 오브젝트를 제 2 버추얼 맵(200)에 디스플레이할 수 있다. 이를 통해, 유저(10)는 시야에 보이지 않는 오브젝트들의 위치를 제 2 버추얼 맵(200)을 통해 인식할 수 있다. 또한, HMD(100)는 A 오브젝트를 지나쳤기 때문에 제 2 버추얼 맵(200) 상에 A 오브젝트를 디스플레이하지 않을 수 있다.
다음으로, HMD(100)는 생성된 제 2 버추얼 맵(200)을 디스플레이 유닛(110)에 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 제 1 오브젝트의 상단에서부터 제 2 버추얼 맵(200)을 디스플레이할 수 있다. 도 3에서 상술한 바와 같이, 제 1 오브젝트는 HMD(100)의 전방에 위치한 적어도 하나의 오브젝트에 해당할 수 있다. 또한, 제 1 오브젝트는 HMD(100)로부터 기 설정된 거리에 위치한 적어도 하나의 오브젝트에 해당할 수 있다. 또한, 제 2 버추얼 맵(200)은 AR(Augmented Reality) 방식으로 구현될 수 있다.
여기에서, 제 2 버추얼 맵(200)은 HMD(100)로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵에 해당할 수 있다. 또한, 제 2 버추얼 맵(200)의 기울기는 도 3에 도시된 제 1 버추얼 맵의 기울기와 동일할 수 있다. 이는 도 3 및 도 4의 경우, 유저(10)에 의해 설정된 목적지가 없는 상태로서, 유저가 전방으로 이동함에 따라 버추얼 맵의 기울기에는 변화없이 버추얼 맵에 디스플레이된 버추얼 오브젝트만이 변경되었기 때문이다. 따라서, 도 4b를 참조하면, 제 2 버추얼 맵(200)의 기울기는 도 3b에 도시된 제 1 버추얼 맵의 기울기와 동일한 상태에서, 제 2 버추얼 맵을 구성하는 버추얼 오브젝트만이 변경된 것을 알 수 있다.
즉, 유저(10)가 맵 애플리케이션에서 목적지를 설정하지 않은 상태에서 전방으로 이동하는 경우, 디스플레이되는 버추얼 맵의 기울기는 변하지 않은 상태에서, 유저에게 제공되는 버추얼 오브젝트들이 변경될 수 있다. 따라서, 유저(10)는 전방으로 이동하면서 제 2 버추얼 맵(200)에 디스플레이되는 버추얼 오브젝트가 실시간으로 변하는 것을 인식할 수 있다.
다음으로, 도 5 및 도 6은 유저(10)에 의해 설정된 목적지가 있는 경우에, 설정된 목적지와 HMD(100)와의 거리에 기초하여 제 1 버추얼 맵(200)의 기울기를 결정하는 경우를 나타낸다.
먼저, 도 5는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 5a는 유저에 의해 설정된 목적지가 HMD(100)로부터 기 설정된 거리 범위 내에 있는 경우에 유저(10)에게 제공되는 제 1 버추얼 맵(200)을 나타내고, 도 5b는 유저에 의해 설정된 목적지가 HMD(100)로부터 기 설정된 거리 범위 내에 있는 경우에 유저(10)에게 제공되는 제 1 버추얼 맵(200)의 기울기를 나타낸다.
한편, HMD(100)는 유저(10)에 의해 설정된 목적지가 있는 경우에, 제 1 버추얼 맵(200) 상에 목적지를 나타내는 목적지 인디케이터(210)를 디스플레이할 수 있다. 도 5a를 참조하면, HMD(100)는 유저에 의해 C2 오브젝트가 목적지로 설정될 수 있다. 이 경우, HMD(100)는 제 1 버추얼 맵(200) 상에 나타난 버추얼 오브젝트 중 C2 오브젝트에 목적지 인디케이터(210)를 디스플레이할 수 있다. 이를 통해, 유저는 자신이 설정한 목적지의 위치를 용이하게 인식할 수 있다.
또한, HMD(100)는 목적지가 HMD(100)로부터 기 설정된 거리 범위에 있는 경우에 제 1 버추얼 맵(200)의 기울기를 상대적으로 크게 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 목적지가 HMD(100)로부터 기 설정된 거리 범위에 있는 경우에 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 크게 디스플레이할 수 있다.
예를 들어, 도 5에서 기 설정된 거리 범위는 HMD(100)와 D 오브젝트(D1, D2) 간의 거리 범위인 것으로 가정할 수 있다. 이 경우, 유저에 의해 설정된 목적지인 C2 오브젝트는 기 설정된 거리 범위에 해당할 수 있다. 따라서, HMD(100)는 도 5b에 도시된 바와 같이, 제 1 버추얼 맵(200)의 기울기를 도 3b에 도시된 제 1 버추얼 맵의 기울기보다 더 크게 디스플레이할 수 있다. 이를 통해, 유저(10)는 제 1 버추얼 맵(200)의 기울기가 큰 상태에서 C2 오브젝트의 위치를 확인할 수 있어, 목적지가 HMD(100)로부터 멀지 않은 곳에 위치함을 인식할 수 있다. 또한, 도 5b에 도시된 바와 같이, 유저(10)가 직접 인식할 수 없는 E, F 오브젝트가 버추얼 오브젝트로서 유저에게 제공되어, 유저(10)는 E,F 오브젝트의 위치를 제 1 버추얼 맵(200)을 통해 인식할 수 있다.
한편, 도 5에 도시되지 않았으나, 목적지가 기 설정된 거리 범위에 있는 경우, HMD(100)를 착용한 유저(10)가 전방으로 이동한다면, HMD(100)는 이동된 HMD(100)의 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 예를 들어, 도 5a를 참조하면, HMD(100)를 착용한 유저가 A 오브젝트에서 B 오브젝트를 향하여 걸어가는 경우, HMD(100)는 이동한 HMD(100)의 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 이 경우, 제 2 버추얼 맵은 도 5에 도시된 제 1 버추얼 맵에 비해 기울기가 더 클 수 있다. 따라서, 유저(10)는 제 2 버추얼 맵에 나타난 목적지 B 오브젝트가 더 가까워졌음을 인지할 수 있다.
다음으로, 도 6은 본 명세서의 HMD의 제어 방법의 제 4 실시예를 나타내는 도면이다. 보다 상세하게는, 도 6a는 유저에 의해 설정된 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 유저(10)에게 제공되는 제 1 버추얼 맵(200)을 나타내고, 도 6b는 유저에 의해 설정된 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 유저(10)에게 제공되는 제 1 버추얼 맵(200)의 기울기를 나타낸다.
한편, 도 5에서 상술한 바와 같이, HMD(100)는 유저(10)에 의해 설정된 목적지가 있는 경우에, 제 1 버추얼 맵(200) 상에 목적지를 나타내는 목적지 인디케이터(210)를 디스플레이할 수 있다. 도 6a를 참조하면, HMD(100)는 유저에 의해 E2 오브젝트를 목적지로 설정할 수 있다. 이 경우, HMD(100)는 제 1 버추얼 맵(200) 상에 나타난 버추얼 오브젝트 중 E2 오브젝트에 목적지 인디케이터(210)를 디스플레이할 수 있다.
또한, HMD(100)는 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 제 1 버추얼 맵(200)의 기울기를 상대적으로 작게 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 목적지가 HMD(100)로부터 기 설정된 거리 범위 내에 있는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 작게 디스플레이할 수 있다.
예를 들어, 도 6에서 기 설정된 거리 범위는 HMD(100)와 D 오브젝트(D1, D2 포함) 간의 거리 범위에 해당하는 것으로 가정할 수 있다. 이 경우, 유저에 의해 설정된 목적지인 E2 오브젝트는 기 설정된 거리 범위 외에 해당할 수 있다. 따라서, HMD(100)는 도 6b에 도시된 바와 같이, 제 1 버추얼 맵(200)의 기울기를 도 3b에 도시된 제 1 버추얼 맵의 기울기보다 더 작게 디스플레이할 수 있다. 이를 통해, 유저(10)는 제 1 버추얼 맵(200)의 기울기가 작은 상태에서 E2 오브젝트의 위치를 확인함으로써, 목적지가 HMD(100)로부터 먼 곳에 위치함을 인식할 수 있다.
한편, 도 6에는 도시되지 않았으나, 목적지가 기 설정된 거리 범위 외에 있는 경우, HMD(100)를 착용한 유저(10)가 전방으로 이동한다면, HMD(100)는 이동된 HMD(100)의 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 예를 들어 도 6a를 참조하면, HMD(100)를 착용한 유저가 A 오브젝트에서 B 오브젝트를 향하여 걸어가는 경우, HMD(100)는 이동한 HMD(100)의 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 이 경우, 제 2 버추얼 맵은 도 6에 도시된 제 1 버추얼 맵에 비해 기울기가 더 클 수 있다. 따라서, 유저(10)는 제 2 버추얼 맵에 나타난 목적지 E 오브젝트가 더 가까워졌음을 인지할 수 있다.
한편, 도 5 및 도 6의 실시예는 일 실시예로서 이에 한정되지 않는다. 예를 들어, HMD(100)는 목적지가 HMD(100)로부터 기 설정된 거리 범위 내에 있는 경우에 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 작게 디스플레이할 수도 있다. 또한, 예를 들어, HMD(100)는 목적지가 HMD(100)로부터 기 설정된 거리 범위 외에 있는 경우에 목적지가 HMD(100)로부터 기 설정된 거리 범위 내에 있는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 크게 디스플레이할 수도 있다.
다음으로, 도 7 및 도 8은 유저에 의해 설정된 목적지가 있는 경우에, 목적지가 유저가 인식가능한 적어도 하나의 오브젝트에 해당하는지 여부에 기초하여 버추얼 맵의 기울기를 결정하는 경우를 나타낸다.
먼저, 도 7은 본 명세서의 HMD의 제어 방법의 제 5 실시예를 나타내는 도면이다. 보다 상세하게는, 도 7a는 유저에 의해 설정된 목적지가 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하는 경우에 유저(10)에게 제공되는 버추얼 맵(200)을 나타내고, 도 7b는 유저에 의해 설정된 목적지가 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하는 경우에 제공되는 버추얼 맵(200)의 기울기를 나타낸다.
HMD(100)는 목적지가 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하는 경우에 제 1 버추얼 맵(200)의 기울기를 상대적으로 작게 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 목적지가 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하는 경우에 목적지가 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 작게 디스플레이할 수 있다.
여기에서, 전방에 위치하는 적어도 하나의 오브젝트는 유저(10)가 제 1 버추얼 맵(200)이 디스플레이되지 않은 상태에서 인식 가능한 오브젝트에 해당할 수 있다. 예를 들어, 도 7에서 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트는 A(A1,A2), B(B1,B2), C(C1,C2), D(D1,D2)에 해당한다. 즉, 도 7에서 HMD(100)의 전방에는 상술한 오브젝트 외에 다양한 오브젝트가 존재할 수 있으나, HMD(100)를 착용한 유저는 상술한 A, B, C 및 D 오브젝트를 인식할 수 있는 것으로 가정한다. 또한, 도 7에서, 유저(10)에 의해 설정된 목적지는 D2 오브젝트인 것으로 가정한다. 이는, 제 1 버추얼 맵(200)에 나타난 목적지 인디케이터(210)가 D2 오브젝트에 위치하는 것을 통해 알 수 있다.
이 경우, 도 7b에 도시된 바와 같이, HMD(100)는 제 1 버추얼 맵(200)의 기울기를 도 3b에 도시된 버추얼 맵의 기울기보다 작게 디스플레이할 수 있다. 이는, 목적지가 유저(10)가 인식할 수 있는 오브젝트 중에 위치하고 있으므로, 제 1 버추얼 맵(200)의 기울기를 크게 하여 유저(10)의 정면에 보이게 하지 않아도 되기 때문이다. 즉, 유저(10)는 제 1 버추얼 맵(200)의 기울기가 작은 경우, 제 1 버추얼 맵(200)을 보지 않더라도, HMD(100)의 전방에 위치한 오브젝트 중에서 목적지를 용이하게 찾을 수 있을 것이다.
한편, 도 7에는 도시되지 않았으나, 목적지가 HMD(100)의 전방에 위치한 적어도 하나의 오브젝트 중에 위치하는 경우, HMD(100)를 착용한 유저(10)가 전방으로 이동한다면, HMD(100)는 이동된 HMD(100)의 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 예를 들어, 도 7b를 참조하면, HMD(100)를 착용한 유저가 A 오브젝트 위치에서 B 오브젝트 위치로 이동하는 경우, HMD(100)는 이동된 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 이 경우, 제 2 버추얼 맵은 도 7b 에 도시된 버추얼 맵(100)에 비해 기울기가 더 작을 수 있다. 따라서, 유저(10)는 제 2 버추얼 맵에 나타난 목적지 D2 오브젝트가 유저에게 더 가까워졌음을 인지할 수 있다.
다음으로, 도 8은 본 명세서의 HMD의 제어 방법의 제 6 실시예를 나타내는 도면이다. 도 8a는 유저에 의해 설정된 목적지가 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 유저(10)에게 제공되는 제 1 버추얼 맵(200)을 나타내고, 도 8b는 유저에 의해 설정된 목적지가 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 제공되는 제 1 버추얼 맵(200)의 기울기를 나타낸다.
HMD(100)는 목적지가 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 제 1 버추얼 맵(200)의 기울기를 상대적으로 크게 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 목적지가 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 목적지가 전방에 위치하는 적어도 하나의 오브젝트 중에 위치하는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 크게 디스플레이할 수 있다.
예를 들어, 도 8에서 HMD(100)의 전방에 위치하는 적어도 하나의 오브젝트는 A(A1,A2), B(B1,B2), C(C1,C2) 및 D(D1,D2)에 해당한다. 즉, 도 8에서 HMD(100) 전방에는 상술한 오브젝트 외에 다양한 오브젝트가 존재할 수 있으나, HMD(100)를 착용한 유저는 상술한 A, B, C 및 D의 오브젝트를 인식할 수 있는 것으로 가정하도록 한다. 또한, 도 8에서, 유저(10)에 의해 설정된 목적지는 F2 오브젝트인 것으로 가정한다. 이때, HMD(100)를 착용한 유저(10)는 F2 오브젝트를 직접 볼 수는 없으나, 제 1 버추얼 맵(200)에 디스플레이된 버추얼 오브젝트를 통해 인식할 수 있다.
이 경우, 도 8b에 도시된 바와 같이, HMD(100)는 제 1 버추얼 맵(200)의 기울기를도 3b에 도시된 제 1 버추얼 맵의 기울기보다 크게 디스플레이할 수 있다. 이는, 목적지가 유저(10)가 인식할 수 있는 오브젝트 중에 위치하지 않으므로, 제 1 버추얼 맵(200)의 기울기를 크게 하여 유저(10)가 제 1 버추얼 맵(200) 상에서 목적지를 용이하게 찾을 수 있게 하기 위함이다.
한편, 도 8에는 도시되지 않았으나, 목적지가 HMD(100)의 전방에 위치한 적어도 하나의 오브젝트 중에 위치하지 않는 경우, HMD(100)를 착용한 유저(10)가 전방으로 이동한다면, HMD(100)는 이동된 HMD(100)의 위치에 기초하여, 제 2 버추얼 맵을 디스플레이할 수 있다. 예를 들어, 도 8b를 참조하면, HMD(100)를 착용한 유저(10)가 A 오브젝트 위치에서 B 오브젝트 위치로 이동하는 경우, HMD(100)는 이동된 위치에 기초하여 제 2 버추얼 맵을 디스플레이할 수 있다. 이 경우, 제 2 버추얼 맵은 도 8b에 도시된 제 1 버추얼 맵(200)에 비해 기울기가 더 작을 수 있다. 따라서, 유저(10)는 제 2 버추얼 맵에 나타난 목적지 F2 오브젝트가 유저에게 더 가까워졌음을 인식할 수 있다.
한편, 도 7 및 도 8의 실시예는 일 실시예로서 이에 한정되지 않는다. 예를 들어, HMD(100)는 목적지가 적어도 하나의 오브젝트 중에 위치하는 경우에 목적지가 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 크게 디스플레이할 수도 있다. 또한, 예를 들어, HMD(100)는 목적지가 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 목적지가 적어도 하나의 오브젝트 중에 위치하는 경우에 비해 제 1 버추얼 맵(200)의 기울기를 작게 디스플레이할 수도 있다.
도 9는 본 명세서의 HMD의 제어 방법의 순서도를 나타내는 도면이다.
먼저, HMD는 HMD의 위치 정보를 획득할 수 있다(S910). 여기에서, HMD는 유저에게 착용된 상태인 것으로 가정한다. 또한, 도 3에서 상술한 바와 같이, 위치 정보는 HMD의 지리적 위치, HMD의 높이, HMD의 이동 속도 등을 포함할 수 있다.
다음으로, HMD는 HMD의 위치 정보에 기초하여, HMD의 전방에 위치하는 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 맵을 생성할 수 있다(S920). 도 3에서 상술한 바와 같이, 제 1 버추얼 맵은 유저가 인식할 수 있는 오브젝트에 대응하는 버추얼 오브젝트 뿐만 아니라 거리, 장애물 등으로 인해 유저가 인식할 수 없는 오브젝트의 버추얼 오브젝트를 디스플레이할 수 있다.
다음으로, HMD는 제 1 버추얼 맵을 디스플레이할 수 있다(S930). 도 3에서 상술한 바와 같이, 여기에서, 제 1 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고 HMD로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵에 해당할 수 있다. 또한, 제 1 버추얼 맵은 AR 방식으로 구현될 수 있다. 일 예로서, 제 1 오브젝트는 HMD의 전방에 위치한 적어도 하나의 오브젝트 중 첫번째로 가깝게 위치한 오브젝트에 해당할 수 있다. 다른 일 예로서, 제 1 오브젝트는 HMD로부터 기 설정된 거리에 위치한 적어도 하나의 오브젝트에 해당할 수 있다. 한편, HMD는 제 1 버추얼 맵에 HMD의 전방에 위치한 적어도 하나의 오브젝트의 방향을 좌우 반전하지 않은 상태에서 디스플레이할 수 있다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 명세서의 권리범위에 속한다.
일 실시예에 따른 헤드 마운트 디스플레이 및 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 헤드 마운트 디스플레이를 제어하는 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.
10: 유저
100: HMD
200: 버추얼 맵

Claims (20)

  1. 헤드 마운트 디스플레이(HMD)에 있어서,
    비주얼 정보를 디스플레이하는 디스플레이 유닛;
    상기 HMD의 위치를 센싱하는 위치 센싱 유닛;
    상기 HMD의 전방에 위치한 적어도 하나의 오브젝트를 센싱하는 카메라 유닛; 및
    상기 디스플레이 유닛, 상기 위치 센싱 유닛 및 상기 카메라 유닛을 제어하는 프로세서를 포함하되,
    상기 프로세서는
    상기 HMD의 위치 정보를 획득하고,
    상기 HMD의 위치 정보에 기초하여, 상기 HMD의 전방에 위치하는 상기 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 맵을 생성하고,
    상기 제 1 버추얼 맵을 디스플레이하되, 상기 제 1 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고 상기 HMD로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵인, HMD.
  2. 제 1 항에 있어서,
    상기 제 1 오브젝트는 상기 HMD의 전방에 위치한 상기 적어도 하나의 오브젝트 중 첫번째로 가깝게 위치한 오브젝트에 해당하는, HMD.
  3. 제 1 항에 있어서,
    상기 제 1 오브젝트는 상기 HMD로부터 기 설정된 거리에 위치한 적어도 하나의 오브젝트에 해당하는, HMD.
  4. 제 1 항에 있어서,
    상기 제 1 버추얼 맵은 상기 적어도 하나의 오브젝트의 방향을 좌우 반전하지 않고 디스플레이하는, HMD.
  5. 제 1 항에 있어서,
    상기 제 1 버추얼 맵의 기울기는 목적지 유무에 기초하여 결정되는, HMD.
  6. 제 5 항에 있어서,
    상기 프로세서는
    상기 목적지가 없는 경우, 상기 HMD를 착용한 유저가 전방으로 이동한다면, 상기 이동된 HMD의 위치에 기초하여 제 2 버추얼 맵을 디스플레이하는 것을 더 포함하는, HMD.
  7. 제 6 항에 있어서,
    상기 제 2 버추얼 맵의 기울기는 상기 제 1 버추얼 맵의 기울기와 동일한, HMD.
  8. 제 5 항에 있어서,
    상기 프로세서는
    상기 목적지가 있는 경우, 상기 HMD와 상기 목적지와의 거리에 기초하여 상기 제 1 버추얼 맵의 기울기를 결정하는 것을 더 포함하는, HMD.
  9. 제 8 항에 있어서,
    상기 프로세서는
    상기 목적지가 상기 HMD로부터 기 설정된 거리 범위에 있는 경우에 상기 목적지가 상기 HMD로부터 상기 기 설정된 거리 범위 외에 있는 경우에 비해 상기 제 1 버추얼 맵의 기울기를 크게 디스플레이하는 것을 더 포함하는, HMD.
  10. 제 9 항에 있어서,
    상기 프로세서는
    상기 목적지가 상기 HMD로부터 상기 기 설정된 거리 범위에 있는 경우, 상기 HMD를 착용한 유저가 전방으로 이동한다면, 상기 이동된 HMD의 위치에 기초하여 제 2 버추얼 맵을 디스플레이하되, 상기 제 2 버추얼 맵의 기울기는 상기 제 1 버추얼 맵의 기울기에 비해 큰, HMD.
  11. 제 5 항에 있어서,
    상기 프로세서는
    상기 목적지가 상기 적어도 하나의 오브젝트 중에 위치하는 경우에 상기 목적지가 상기 적어도 하나의 오브젝트 중에 위치하지 않는 경우에 비해 상기 제 1 버추얼 맵의 기울이를 작게 디스플레이하는 것을 더 포함하는, HMD.
  12. 제 11항에 있어서,
    상기 프로세서는
    상기 목적지가 상기 적어도 하나의 오브젝트 중에 위치하는 경우, 상기 HMD를 착용한 유저가 전방으로 이동한다면, 상기 이동된 HMD의 위치에 기초하여 제 2 버추얼 맵을 디스플레이하되, 상기 제 2 버추얼 맵의 기울기는 상기 제 1 버추얼 맵의 기울기에 비해 작은, HMD.
  13. 제 11 항에 있어서,
    상기 적어도 하나의 오브젝트는 유저가 상기 제 1 버추얼 맵이 디스플레이되지 않은 상태에서 인식 가능한 오브젝트에 해당하는, HMD.
  14. 제 1 항에 있어서,
    상기 프로세서는
    상기 적어도 하나의 오브젝트의 높이를 획득하고,
    상기 적어도 하나의 오브젝트의 높이에 기초하여, 상기 제 1 버추얼 맵의 높이를 결정하는 것을 더 포함하는, HMD.
  15. 제 14 항에 있어서,
    상기 프로세서는
    상기 적어도 하나의 오브젝트 중 가장 높은 오브젝트의 상단에 상기 제 1 버추얼 맵을 디스플레이하는 것을 더 포함하는, HMD.
  16. 제 1 항에 있어서,
    상기 프로세서는
    목적지가 있는 경우, 상기 제 1 버추얼 맵에 상기 목적지를 나타내는 목적지 인디케이터를 디스플레이하는 것을 더 포함하는, HMD.
  17. 제 1 항에 있어서,
    상기 HMD는 유저에게 착용된 상태인, HMD.
  18. 제 1 항에 있어서,
    상기 HMD의 위치 정보는 상기 HMD의 지리적 위치, 상기 HMD의 높이, 상기 HMD의 이동 속도를 포함하는, HMD.
  19. 제 1 항에 있어서,
    상기 제 1 버추얼 맵은 AR(Augmented Reality)로 구현되는, HMD.
  20. 헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서,
    상기 HMD의 위치 정보를 획득하는 단계;
    상기 HMD의 위치 정보에 기초하여, 상기 HMD가 향한 방향에 위치하는 상기 적어도 하나의 오브젝트에 대응하는 버추얼 오브젝트를 나타내는 제 1 버추얼 앱을 생성하는 단계; 및
    상기 제 1 버추얼 맵을 디스플레이하는 단계로서, 상기 제 1 버추얼 맵은 제 1 오브젝트의 상단에서부터 디스플레이되고 상기 HMD로부터 거리가 증가함에 따라 기울기가 증가하는 곡면 맵인, 제어 방법.
KR1020140003971A 2014-01-13 2014-01-13 헤드 마운트 디스플레이 및 제어 방법 KR20150084200A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140003971A KR20150084200A (ko) 2014-01-13 2014-01-13 헤드 마운트 디스플레이 및 제어 방법
US14/193,971 US9639986B2 (en) 2014-01-13 2014-02-28 Head mounted display and method of controlling thereof
PCT/KR2014/001843 WO2015105236A1 (en) 2014-01-13 2014-03-06 A head mounted display and method of controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140003971A KR20150084200A (ko) 2014-01-13 2014-01-13 헤드 마운트 디스플레이 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20150084200A true KR20150084200A (ko) 2015-07-22

Family

ID=53521832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140003971A KR20150084200A (ko) 2014-01-13 2014-01-13 헤드 마운트 디스플레이 및 제어 방법

Country Status (3)

Country Link
US (1) US9639986B2 (ko)
KR (1) KR20150084200A (ko)
WO (1) WO2015105236A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877901B1 (ko) * 2016-12-29 2018-07-12 세종대학교산학협력단 Vr영상을 제공하는 방법 및 그 전자 장치
US11119571B2 (en) 2017-09-22 2021-09-14 Samsung Electronics Co., Ltd. Method and device for displaying virtual image

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762761B2 (en) * 2016-01-26 2017-09-12 Kabushiki Kaisha Toshiba Image forming apparatus and printing sheet to be watched by using smart glass
KR102360179B1 (ko) * 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
KR102381370B1 (ko) * 2016-02-19 2022-03-31 삼성전자주식회사 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
CN107771310B (zh) * 2016-06-22 2020-12-04 华为技术有限公司 头戴式显示设备及其处理方法
CN114236837A (zh) 2016-12-05 2022-03-25 凯斯西储大学 用于显示交互式增强现实展示的系统、方法和介质
US10366540B2 (en) 2017-03-23 2019-07-30 Htc Corporation Electronic apparatus and method for virtual reality or augmented reality system
CN113031759B (zh) * 2020-12-11 2023-07-21 联想(北京)有限公司 定位方法、装置及头戴式显示设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19920709A1 (de) 1999-05-05 2000-11-16 Siemens Ag Verfahren zum Gewinnen einer dreidimensionalen Kartendarstellung und Navigationssystem
US8140197B2 (en) 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
US7735230B2 (en) 2006-03-29 2010-06-15 Novatac, Inc. Head-mounted navigation system
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
EP2282171B1 (en) * 2009-07-27 2014-03-19 HTC Corporation Method for adjusting navigation frame, navigation apparatus and computer program product
US8436872B2 (en) * 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
JP5560852B2 (ja) 2010-03-31 2014-07-30 株式会社デンソー 車外撮影画像表示システム
JP2012002568A (ja) 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877901B1 (ko) * 2016-12-29 2018-07-12 세종대학교산학협력단 Vr영상을 제공하는 방법 및 그 전자 장치
US11119571B2 (en) 2017-09-22 2021-09-14 Samsung Electronics Co., Ltd. Method and device for displaying virtual image

Also Published As

Publication number Publication date
WO2015105236A1 (en) 2015-07-16
US9639986B2 (en) 2017-05-02
US20150199849A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
US10379346B2 (en) Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
KR20150084200A (ko) 헤드 마운트 디스플레이 및 제어 방법
CA2913650C (en) Virtual object orientation and visualization
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8866852B2 (en) Method and system for input detection
US9304320B2 (en) Head-mounted display and method of controlling the same
KR102088020B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
KR102292192B1 (ko) 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법
KR102063076B1 (ko) 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US9317972B2 (en) User interface for augmented reality enabled devices
US9058054B2 (en) Image capture apparatus
US20130246967A1 (en) Head-Tracked User Interaction with Graphical Interface
US20130117707A1 (en) Velocity-Based Triggering
KR20150026375A (ko) 포터블 디바이스 및 그 제어 방법
US20150199081A1 (en) Re-centering a user interface
US20150185971A1 (en) Ring-Based User-Interface
KR20150026201A (ko) 디지털 디바이스 및 제어 방법
US9547406B1 (en) Velocity-based triggering
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11697068B2 (en) Mobile platform as a physical interface for interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application