KR101857466B1 - Head mounted display and method for calibrating the same - Google Patents

Head mounted display and method for calibrating the same Download PDF

Info

Publication number
KR101857466B1
KR101857466B1 KR1020170076695A KR20170076695A KR101857466B1 KR 101857466 B1 KR101857466 B1 KR 101857466B1 KR 1020170076695 A KR1020170076695 A KR 1020170076695A KR 20170076695 A KR20170076695 A KR 20170076695A KR 101857466 B1 KR101857466 B1 KR 101857466B1
Authority
KR
South Korea
Prior art keywords
marker
display unit
transparency
head
displaying
Prior art date
Application number
KR1020170076695A
Other languages
Korean (ko)
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020170076695A priority Critical patent/KR101857466B1/en
Application granted granted Critical
Publication of KR101857466B1 publication Critical patent/KR101857466B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A head mounted display and a method of calibrating the same are disclosed. A method of calibrating a head mounted display in accordance with one disclosed embodiment, which is performed in a head mounted display having one or more processors and a memory storing one or more programs executed by the one or more processors, comprises the steps of: acquiring each gaze position information of a user with respect to a plurality of reference points, and matching and acquiring the coordinate of each reference point with the gaze position information corresponding to the corresponding reference point; checking whether a calibration event due to the down slip of the head mounted display occurs; displaying a marker for calibration on a display unit when the calibration event occurs; calculating gaze position information of a user staring at the marker; and calculating a calibration value corresponding to the down slip of the head mounted display based on the gaze position information of the user staring at the marker and gaze position information corresponding to one or more reference points. According to the present invention, it is easy to calibrate any errors caused by the down slip of the head mounted display.

Description

헤드 마운트 디스플레이 및 그 캘리브레이션 방법{HEAD MOUNTED DISPLAY AND METHOD FOR CALIBRATING THE SAME}HEAD MOUNTED DISPLAY AND METHOD FOR CALIBRATING THE SAME [0002]

본 발명의 실시예는 헤드 마운트 디스플레이 기술과 관련된다.Embodiments of the invention relate to head mounted display technology.

헤드 마운트 디스플레이(Head Mounted Display)는 사용자의 머리에 착용한 상태에서 영상을 디스플레이 하는 장치이다. 최근, 헤드 마운트 디스플레이를 사용하여 가상 현실 또는 증강 현실의 콘텐츠를 제공하는 기술이 증가하고 있다. 한편, 헤드 마운트 디스플레이는 그 자체의 무게 때문에 시간이 지날수록 점점 아래로 내려오게 된다. 이 경우, 헤드 마운트 디스플레이의 시선 추적 수단(예를 들어, 카메라 등)의 위치가 변경되어 사용자의 시선 위치 값에 오차가 발생하는 바, 이를 캘리브레이션 해 줄 필요가 있다.A head mounted display (head mounted display) is a device for displaying an image while wearing on a user's head. Recently, techniques for providing contents of virtual reality or augmented reality using head-mounted displays are increasing. On the other hand, the head-mounted display will gradually descend over time because of its own weight. In this case, since the position of the line-of-sight tracking means (e.g., camera, etc.) of the head-mounted display is changed and an error occurs in the line-of-sight position value of the user, it needs to be calibrated.

한국공개특허공보 제10-2017-0013653호(2017.02.07)Korean Patent Publication No. 10-2017-0013653 (Feb.

본 발명의 실시예는 헤드 마운트 디스플레이의 흘러 내림에 의한 오차를 용이하게 캘리브레이션 해 줄 수 있는 헤드 마운트 디스플레이 및 그 캘리브레이션 방법을 제공하기 위한 것이다.An embodiment of the present invention is to provide a head mount display and a method of calibrating the head mount display, which can easily calibrate an error caused by flowing down of the head mount display.

개시되는 일 실시예에 따른 헤드 마운트 디스플레이의 캘리브레이션 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 헤드 마운트 디스플레이에서 수행되는 방법으로서, 복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하는 단계; 상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계; 상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 단계; 상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하는 단계; 및 상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하는 단계를 포함한다.A method of calibrating a head mounted display in accordance with one disclosed embodiment is a method performed in a head mounted display having one or more processors and a memory storing one or more programs executed by the one or more processors, Acquiring gaze position information of the user with respect to each of the reference points, storing coordinates of each reference point and gaze position information corresponding to the reference point, and storing the coordinates; Confirming whether or not a calibration event due to flow-down of the head-mounted display occurs; Displaying a marker for calibration on the display unit when the calibration event occurs; Calculating gaze position information of a user gazing at the marker; And calculating a calibration value according to the flow of the head-mounted display based on the line-of-sight position information of the user gazing at the marker and the line-of-sight position information corresponding to the one or more reference points.

상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계는, 상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하는 단계; 상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 기 설정된 제2 변화 범위를 초과하는지 여부를 확인하는 단계; 및 상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 캘리브레이션 이벤트 신호를 발생시키는 단계를 포함한다.Wherein the step of confirming whether or not the calibration event occurs comprises the steps of: confirming whether the positional change is less than a predetermined first change range when a positional change of the head-mounted display occurs; Confirming whether the positional change of the head-mounted display exceeds a predetermined second change range for a preset time, when the positional change is less than a predetermined first change range; And generating a calibration event signal when the position change exceeds a predetermined second change range.

상기 헤드 마운트 디스플레이의 캘리브레이션 방법은, 상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하는 단계를 더 포함할 수 있다.The method of calibrating the head mount display may further include determining that the positional change is due to a change in the user's head posture when the positional change is equal to or greater than a predetermined first change range.

상기 마커를 디스플레이부에 표시하는 단계는, 상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시할 수 있다.The step of displaying the marker on the display unit may display the marker on the display unit while adjusting the transparency of the content displayed on the display unit.

상기 마커를 디스플레이부에 표시하는 단계는, 상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시할 수 있다.The step of displaying the marker on the display unit may display the screen of the marker for the calibration with a first transparency and the screen of the content with a second transparency lower than the first transparency.

상기 마커를 디스플레이부에 표시하는 단계는, 상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시할 수 있다.The step of displaying the marker on the display unit may be performed by using one component of the content displayed on the display unit as the marker.

상기 마커를 디스플레이부에 표시하는 단계는, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시할 수 있다.The step of displaying the marker on the display unit may display the transparency of the component used as the marker among the contents and the transparency of the other components of the content except for the marker.

상기 마커를 디스플레이부에 표시하는 단계는, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시할 수 있다.The step of displaying the marker on the display unit may include displaying the component using the marker as a first transparency and the other components except the marker as a second transparency lower than the first transparency have.

상기 마커를 디스플레이부에 표시하는 단계는, 상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시할 수 있다.The step of displaying the marker on the display unit may display the marker on the display unit at the same position as any one of the plurality of reference points.

개시되는 일 실시예에 따른 헤드 마운트 디스플레이는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하는 헤드 마운트 디스플레이 이고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하기 위한 명령; 상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령; 상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하기 위한 명령; 상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하기 위한 명령; 및 상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하기 위한 명령을 포함한다.A head-mounted display in accordance with one disclosed embodiment includes one or more processors; Memory; And one or more programs configured to be stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs are stored in the memory of the user's gaze position Instructions for matching the coordinate of each reference point with the gaze position information corresponding to the corresponding reference point and storing the information; A command for confirming whether or not a calibration event due to flow-down of the head-mounted display occurs; A command for displaying a marker for calibration on the display unit when the calibration event occurs; An instruction to calculate gaze position information of a user gazing at the marker; And instructions for calculating a calibration value according to the flow of the head-mounted display based on the line-of-sight position information of the user staring the marker and the line-of-sight position information corresponding to the one or more reference points.

상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령은, 상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하기 위한 명령; 상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 기 설정된 제2 변화 범위를 초과하는지 여부를 확인하기 위한 명령; 및 상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 캘리브레이션 이벤트 신호를 발생시키기 위한 명령을 포함할 수 있다.Wherein the command for confirming whether or not the calibration event is generated includes a command for confirming whether the position change is less than a predetermined first change range when a position change of the head mount display occurs; A command for confirming whether or not the positional change of the head-mounted display exceeds a predetermined second change range for a predetermined time, when the positional change is less than a predetermined first change range; And generating a calibration event signal when the position change exceeds a predetermined second change range.

상기 하나 이상의 프로그램들은, 상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하기 위한 명령을 더 포함할 수 있다.The one or more programs may further include instructions for determining that the positional change is due to a change in the head posture of the user when the positional change is equal to or greater than a predetermined first change range.

상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시하기 위한 명령을 포함할 수 있다.The instruction to display the marker on the display unit may include an instruction to display the marker on the display unit while adjusting the transparency of the content displayed on the display unit.

상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시하기 위한 명령을 포함할 수 있다.The instructions for displaying the marker on the display unit may include a command for displaying the screen of the marker for the calibration with a first transparency and the screen of the content with a second transparency lower than the first transparency have.

상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시하기 위한 명령을 포함할 수 있다.The instruction to display the marker on the display unit may include an instruction to display using the one component of the content displayed on the display unit as the marker.

상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시하기 위한 명령을 포함할 수 있다.The instruction for displaying the marker on the display unit may include instructions for displaying the transparency of a component used as the marker among the contents and the transparency of another component of the content except for the marker.

상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시하기 위한 명령을 포함할 수 있다.Wherein the command for displaying the marker on the display unit includes a step of displaying a component used as the marker in the content with a first transparency and a component other than the marker in a second transparency lower than the first transparency, ≪ / RTI >

상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시하기 위한 명령을 포함할 수 있다.The instruction to display the marker on the display unit may include an instruction to display the marker on the display unit at the same position as any one of the plurality of reference points.

개시되는 실시예에 의하면, 헤드 마운트 디스플레이의 흘러 내림에 의해 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 하나의 마커를 디스플레이부에 표시하고, 이를 기반으로 캘리브레이션을 수행함으로써, 사용자가 헤드 마운트 디스플레이를 통해 콘텐츠를 감상하는 중에도 용이하고 신속하게 캘리브레이션을 수행할 수 있으며, 사용자의 콘텐츠 감상 방해를 최소화 할 수 있게 된다.According to the disclosed embodiment, when a calibration event is generated by the falling of the head-mounted display, one marker for calibration is displayed on the display unit, and calibration is performed based on the marker, It is possible to perform the calibration easily and quickly while listening to the contents, and it is possible to minimize interference of the user's appreciation of the contents.

도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이에서 복수 개의 기준점을 표시하는 상태를 나타낸 도면
도 4은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 캘리브레이션 방법을 설명하기 위한 흐름도
도 5는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이에서 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 상태를 나타낸 도면
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a view of a head mount display according to an embodiment of the present invention;
2 is a block diagram showing the configuration of a head mount display according to an embodiment of the present invention.
3 is a view illustrating a state in which a plurality of reference points are displayed in a head mount display according to an embodiment of the present invention;
4 is a flowchart illustrating a method of calibrating a head-mounted display according to an embodiment of the present invention.
5 is a view showing a state in which a marker for calibration is displayed on a display unit in a head mount display according to an embodiment of the present invention
6 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in the exemplary embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular forms of the expressions include plural forms of meanings. In this description, the expressions "comprising" or "comprising" are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, terms such as " transmission ", "transmission "," transmission ", "reception ", and the like, of a signal or information refer not only to the direct transmission of signals or information from one component to another But also through other components. In particular, "transmitting" or "transmitting" a signal or information to an element is indicative of the final destination of the signal or information and not a direct destination. This is the same for "reception" of a signal or information. Also, in this specification, the fact that two or more pieces of data or information are "related" means that when one piece of data (or information) is acquired, at least a part of the other data (or information) can be obtained based thereon.

한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.On the other hand, directional terms such as the top, bottom, one side, the other, and the like are used in connection with the orientation of the disclosed figures. Since the elements of the embodiments of the present invention can be positioned in various orientations, directional terms are used for illustrative purposes and not limitation.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Also, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 나타낸 도면이다.1 is a view of a head mount display in accordance with an embodiment of the present invention.

도 1을 참조하면, 헤드 마운트 디스플레이(100)는 디스플레이부(102), 프레임(104), 및 헤드 장착부(106)를 포함할 수 있다. Referring to FIG. 1, the head mounted display 100 may include a display portion 102, a frame 104, and a head mounting portion 106.

디스플레이부(102)는 콘텐츠를 시각적으로 표시하는 부분이다. 콘텐츠는 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등 디스플레이부(102)를 통하여 화면 상에 시각적으로 표시할 수 있는 다양한 형태의 콘텐츠를 포함할 수 있다. 디스플레이부(102)는 제1 디스플레이(102-1) 및 제2 디스플레이(102-2)를 포함할 수 있다. 제1 디스플레이(102-1)는 사용자의 두 눈 중 어느 한쪽 눈(예를 들어, 오른쪽 눈)과 대응하여 마련될 수 있다. 제2 디스플레이(102-2)는 사용자의 두 눈 중 다른 쪽 눈(예를 들어, 왼쪽 눈)과 대응하여 마련될 수 있다. 제1 디스플레이(102-1) 및 제2 디스플레이(102-2)는 시스루(See Through) 형태로 마련될 수도 있다. The display unit 102 is a part for visually displaying the contents. The content may include various types of content that can be visually displayed on the screen through the display unit 102 such as a moving image, an image, a game, a web page, a virtual reality, and augmented reality. The display unit 102 may include a first display 102-1 and a second display 102-2. The first display 102-1 may be provided in correspondence with any one of the two eyes of the user (e.g., the right eye). The second display 102-2 may be provided in correspondence with the other eye (e.g., the left eye) of the two eyes of the user. The first display 102-1 and the second display 102-2 may be provided in a see-through manner.

프레임(104)은 디스플레이부(102)와 결합되어 마련될 수 있다. 프레임(104)은 디스플레이부(102)를 고정시키는 역할을 할 수 있다. 또한, 프레임(104)은 헤드 마운트 디스플레이(100)의 각종 부품들이 장착되는 공간을 제공하도록 마련될 수 있다. The frame 104 may be provided in association with the display unit 102. The frame 104 may serve to fix the display unit 102. [ In addition, the frame 104 may be provided to provide space for mounting various components of the head-mounted display 100. Fig.

헤드 장착부(106)는 헤드 마운트 디스플레이(100)가 사용자의 헤드 부분에 장착되도록 마련될 수 있다. 예시적인 실시예에서, 헤드 장착부(106)는 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)를 포함할 수 있다. 제1 헤드 장착부(106-1)는 프레임(104)의 일측에서 후방으로 마련될 수 있다. 제2 헤드 장착부(106-2)는 프레임(104)의 타측에서 후방으로 마련될 수 있다. 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)는 사용자의 헤드 부분을 감싸며 마련될 수 있다. 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)는 착용이 용이하도록 플렉서블 한 재질로 이루어질 수 있다. 여기서는, 헤드 장착부(106)가 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)를 포함하는 것으로 도시하였으나, 이에 한정되는 것은 아니며 헤드 장착부(106)는 프레임(104)의 일측과 타측을 연결하며 일체로 형성될 수도 있다. The head mounting portion 106 may be provided such that the head mounted display 100 is mounted on the head portion of the user. In an exemplary embodiment, the head mount 106 may include a first head mount 106-1 and a second head mount 106-2. The first head mounting portion 106-1 may be provided from one side of the frame 104 to the rear side. The second head mount 106-2 may be provided rearward from the other side of the frame 104. [ The first head mounting portion 106-1 and the second head mounting portion 106-2 may be provided to surround the head portion of the user. The first head mounting portion 106-1 and the second head mounting portion 106-2 may be made of a flexible material for easy wearing. Although the head mounting portion 106 is shown here as including the first head mounting portion 106-1 and the second head mounting portion 106-2 in this embodiment, the present invention is not limited thereto, Or may be integrally formed by connecting one side and the other side.

헤드 마운트 디스플레이(100)는 헤드 마운트 디스플레이(100)의 자체 무게에 의해 헤드 마운트 디스플레이(100)가 사용자의 머리 부분에서 조금씩 흘러 내림에 따라, 시선 추적 수단(예를 들어, 카메라 등)의 위치가 변경되어 발생되는 오차를 캘리브레이션(Calibration) 해 줄 수 있다. The head mount display 100 is configured such that the position of the eye tracking means (e.g., a camera, etc.) is adjusted such that as the head mount display 100 is slightly tumbled from the user ' And can calibrate the error generated by the change.

도 2는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 구성을 나타낸 블록도이다. 2 is a block diagram showing a configuration of a head mount display according to an embodiment of the present invention.

도 2를 참조하면, 헤드 마운트 디스플레이(100)는 이벤트 검출부(111), 마커 표시부(113), 시선 추적부(115), 및 캘리브레이션부(117)를 포함할 수 있다. 이벤트 검출부(111), 마커 표시부(113), 시선 추적부(115), 및 캘리브레이션부(117)는 프레임(104) 또는 헤드 장착부(106) 등에 마련될 수 있다. Referring to FIG. 2, the head mount display 100 may include an event detection unit 111, a marker display unit 113, a gaze tracking unit 115, and a calibration unit 117. The event detection unit 111, the marker display unit 113, the eye tracking unit 115, and the calibration unit 117 may be provided on the frame 104 or the head mounting unit 106 or the like.

이벤트 검출부(111)는 캘리브레이션 이벤트가 발생하는지 여부를 검출할 수 있다. 여기서, 캘리브레이션 이벤트는 사용자가 헤드 마운트 디스플레이(100)를 헤드 부분에 착용한 상태에서, 헤드 마운트 디스플레이(100)의 자체 무게에 의해 헤드 마운트 디스플레이(100)가 조금씩 흘러 내리는 것에 기반하여 발생될 수 있다. 즉, 캘리브레이션 이벤트는 헤드 마운트 디스플레이(100)가 시간이 지남에 따라 조금씩 흘러 내려 헤드 마운트 디스플레이(100)에 장착된 시선 추적부(115)의 위치(즉, 공간 상의 좌표)가 변경되는 것에 의해 발생될 수 있다. The event detection unit 111 can detect whether or not a calibration event occurs. Here, the calibration event may be generated based on the fact that the head mounted display 100 is slightly lowered by the own weight of the head mounted display 100, with the user wearing the head mounted display 100 on the head portion . That is, the calibration event is caused by the fact that the head mount display 100 gradually flows down over time and the position (i.e., coordinates on the space) of the eye tracking unit 115 mounted on the head mount display 100 changes .

구체적으로, 헤드 마운트 디스플레이(100)가 사용자의 헤드 부분에 장착된 경우, 헤드 마운트 디스플레이(100)는 시간이 지남에 따라 헤드 마운트 디스플레이(100)의 자체 무게에 의해 조금씩 흘러 내리게 된다. 이때, 시선 추적부(115)는 헤드 마운트 디스플레이(100)에서 사용자의 눈 전방에 위치하는 프레임(104)에 장착되므로, 시선 추적부(115)도 위치 변화가 발생하여 원 위치에서 조금씩 내려오게 된다. Specifically, when the head mounted display 100 is mounted on the head portion of the user, the head mounted display 100 gradually flows down by the own weight of the head mounted display 100 over time. At this time, since the gaze tracking unit 115 is mounted on the frame 104 positioned in front of the user's eyes in the head-mounted display 100, the gaze tracking unit 115 also changes its position slightly from the original position .

이벤트 검출부(111)는 헤드 마운트 디스플레이(100)의 흘러 내림에 의한 시선 추적부(115)(또는 디스플레이부(102))의 위치 변화를 검출하여 캘리브레이션 이벤트의 발생 여부를 검출할 수 있다. 이벤트 검출부(111)는 캘리브레이션 이벤트가 검출되는 경우, 캘리브레이션 이벤트 신호를 발생시킬 수 있다. 이벤트 검출부(111)는 자이로 센서 또는 가속도 센서 등을 통해 시선 추적부(115)의 위치 변화를 검출할 수 있다. The event detecting unit 111 can detect whether a calibration event has occurred by detecting a change in the position of the visual line tracking unit 115 (or the display unit 102) due to the dropping of the head mount display 100. [ The event detection unit 111 may generate a calibration event signal when a calibration event is detected. The event detection unit 111 can detect a change in the position of the gaze tracking unit 115 through a gyro sensor or an acceleration sensor.

이벤트 검출부(111)는 기 설정된 시간 동안 헤드 마운트 디스플레이(100)의 흘러 내림에 의한 시선 추적부(115)의 위치 변화가 기 설정된 변화 범위를 초과하는 경우, 캘리브레이션 이벤트 신호를 발생시킬 수 있다. 한편, 개시되는 실시예에서는, 헤드 마운트 디스플레이(100)의 흘러 내림에 의한 시선 추적부(115)의 위치 변화를 검출하여야 하므로, 사용자의 머리 부분의 자세 변화에 의한 위치 변화는 배제시킬 필요가 있다. 이벤트 검출부(111)가 캘리브레이션 이벤트의 발생 여부를 검출하는 동작에 대한 자세한 설명은 후술하기로 한다. The event detecting unit 111 may generate a calibration event signal when the position change of the visual tracker 115 due to the dropping of the head mount display 100 for a preset time exceeds a preset change range. On the other hand, in the disclosed embodiment, it is necessary to detect a change in position of the eye-tracking unit 115 due to the dropping of the head-mounted display 100, . A detailed description of the operation in which the event detection unit 111 detects the occurrence of a calibration event will be described later.

마커 표시부(113)는 이벤트 검출부(111)에서 캘리브레이션 이벤트 신호가 발생하는 경우, 디스플레이부(102)에 캘리브레이션을 위한 마커를 표시할 수 있다. 마커 표시부(113)는 해당 마커가 캘리브레이션을 위한 마커임을 사용자에게 안내하면서 마커를 디스플레이부(102)에 표시할 수 있다. 이때, 마커 표시부(113)는 제1 디스플레이(102-1) 및 제2 디스플레이(102-2) 중 하나 이상에 마커를 표시할 수 있다. 예시적인 실시예에서, 마커 표시부(113)는 마커를 디스플레이부(102)에 표시하면서 사용자가 마커를 응시할 것을 안내해 줄 수 있다. 마커는 사용자가 한 곳을 응시하기에 용이한 형태로 마련될 수 있다. 상기 마커는 1점 시선 캘리브레이션을 위한 마커일 수 있다. The marker display unit 113 may display a marker for calibration on the display unit 102 when the event detection unit 111 generates a calibration event signal. The marker display unit 113 can display the marker on the display unit 102 while guiding the user that the marker is a marker for calibration. At this time, the marker display unit 113 may display a marker on at least one of the first display 102-1 and the second display 102-2. In the exemplary embodiment, the marker display section 113 can display a marker on the display section 102 and guide the user to gaze on the marker. The marker may be provided in a form that is easy for the user to gaze at one place. The marker may be a marker for one-point eye calibration.

마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠를 종료시키고 캘리브레이션을 위한 마커를 표시할 수 있다. 또한, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠의 투명도를 조절한 상태에서 캘리브레이션을 위한 마커를 표시할 수 있다. 예를 들어, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠의 투명도를 마커의 투명도 보다 낮게 조절할 수 있다. 즉, 콘텐츠를 종료시키지 않고 사용자로 하여금 콘텐츠(투명도가 낮아진 콘텐츠)를 그대로 즐기면서 마커를 응시하도록 할 수도 있다. 마커 표시부(113)는 콘텐츠 화면과 캘리브레이션을 위한 마커 화면을 오버레이(Overlay)하여 표시할 수 있다. 이때, 마커 표시부(113)는 캘리브레이션을 위한 마커 화면은 제1 투명도로 하고, 콘텐츠 화면은 제1 투명도 보다 투명도가 낮은 제2 투명도를 갖도록 할 수 있다. The marker display unit 113 may terminate the content displayed on the display unit 102 and display a marker for calibration. The marker display unit 113 may display a marker for calibration in a state in which the transparency of the content displayed on the display unit 102 is adjusted. For example, the marker display unit 113 can adjust the transparency of the content displayed on the display unit 102 to be lower than the transparency of the marker. In other words, the user can gaze at the marker while enjoying the content (content with lower transparency) intact without ending the content. The marker display unit 113 can overlay and display the content screen and the marker screen for calibration. At this time, the marker display unit 113 may set the marker screen for calibration to be the first transparency, and the content screen may have the second transparency that is lower than the first transparency.

또한, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠의 일 구성 요소를 캘리브레이션을 위한 마커로 사용할 수 있다. 이때, 마커 표시부(113)는 콘텐츠 화면에서 상기 마커로 사용되는 구성 요소의 투명도를 다른 구성 요소들의 투명도와 다르게 구성할 수 있다. 즉, 마커 표시부(113)는 콘텐츠 화면에서 마커로 사용되는 구성 요소는 제1 투명도를 갖도록 하고, 마커로 사용되는 구성 요소 이외의 다른 구성 요소는 제1 투명도 보다 낮은 제2 투명도를 갖도록 할 수 있다. In addition, the marker display unit 113 can use one component of the content displayed on the display unit 102 as a marker for calibration. At this time, the marker display unit 113 may configure the transparency of the component used as the marker on the content screen to be different from the transparency of the other components. In other words, the marker display unit 113 may have a first transparency of a component used as a marker in a content screen, and a component other than a component used as a marker may have a second transparency lower than the first transparency .

시선 추적부(115)는 디스플레이부(102)에 표시되는 마커에 대응하는 사용자의 시선 위치를 산출하여 시선 위치 정보를 생성할 수 있다. 시선 추적부(115)는 헤드 마운트 디스플레이(100)의 프레임(104)에 장착될 수 있다. 시선 추적부(115)는 사용자의 동공을 센싱하는 센서 또는 사용자의 동공을 촬영하는 카메라 등을 포함할 수 있다. The gaze tracking unit 115 can generate the gaze position information by calculating the gaze position of the user corresponding to the marker displayed on the display unit 102. [ The eye-tracking unit 115 may be mounted on the frame 104 of the head-mounted display 100. The gaze tracking unit 115 may include a sensor for sensing a pupil of a user or a camera for photographing a pupil of a user.

캘리브레이션부(117)는 마커에 대응하는 시선 위치 정보 및 기 설정된 기준점에 대응하는 시선 위치 정보를 기반으로 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션 값을 산출할 수 있다. The calibration unit 117 can calculate the calibration value according to the flow of the head mount display 100 based on the line-of-sight position information corresponding to the marker and the line-of-sight position information corresponding to the predetermined reference point.

구체적으로, 캘리브레이션부(117)는 사용자가 헤드 마운트 디스플레이(100)를 최초 착용하는 경우, 디스플레이부(102)의 화면에 복수 개의 기준점을 표시하고, 각 기준점의 좌표와 그에 대응하는 시선 위치 정보를 매칭하여 저장할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 캘리브레이션부(117)는 디스플레이부(102)의 화면을 9개의 영역으로 구분한 후, 9개의 각 영역의 중심에 기준점(a1 ~ a9)을 순차적으로 표시(예를 들어, a1부터 a9까지 순차적으로 표시)하면서 해당 기준점을 응시하는 사용자의 시선 위치 정보를 획득할 수 있다. 그리고, 캘리브레이션부(117)는 각 기준점(a1 ~ a9)의 좌표와 그에 대응하는 시선 위치 정보를 매칭하여 각각 저장할 수 있다. 여기서는, 디스플레이부(102)의 화면을 9개의 영역으로 구분한 후 9개의 각 영역의 중심을 기준점으로 하였으나, 기준점의 개수 및 위치가 이에 한정되는 것은 아니다. 헤드 마운트 디스플레이(100)는 각 기준점(a1 ~ a9)에 대응하는 시선 위치 정보를 최초 캘리브레이션 값(또는 기준 캘리브레이션 값)으로 설정할 수 있다. Specifically, when the user wears the head mount display 100 for the first time, the calibration unit 117 displays a plurality of reference points on the screen of the display unit 102 and displays the coordinate of each reference point and the corresponding gaze position information And can be stored in a matching manner. For example, as shown in FIG. 3, the calibration unit 117 divides the screen of the display unit 102 into nine areas, and then sequentially arranges the reference points a1 to a9 at the centers of nine areas It is possible to acquire gaze position information of a user gazing at the corresponding reference point while displaying a display (for example, sequentially displaying a1 to a9). Then, the calibration unit 117 may store the coordinates of the reference points a1 to a9 and the gaze position information corresponding thereto, respectively. Although the screen of the display unit 102 is divided into nine regions, the center of each of the nine regions is used as a reference point, but the number and position of the reference points are not limited thereto. The head mount display 100 can set the gaze position information corresponding to each of the reference points a1 to a9 as the initial calibration value (or the reference calibration value).

한편, 마커 표시부(113)는 캘리브레이션 이벤트 신호 발생 시, 캘리브레이션을 위한 마커를 디스플레이부(102)의 화면에서 복수 개의 기준점(a1 ~ a9) 중 어느 하나의 기준점과 동일한 위치에 표시할 수 있다. 예를 들어, 마커 표시부(113)는 기준점(a5)과 동일한 위치에 마커를 표시하고, 시선 추적부(115)는 상기 마커를 응시하는 사용자의 시선 위치를 산출하여 시선 위치 정보를 생성할 수 있다. The marker display unit 113 may display a marker for calibration at the same position as any one of the reference points a1 to a9 on the screen of the display unit 102 when a calibration event signal is generated. For example, the marker display unit 113 may display a marker at the same position as the reference point a5, and the gaze tracking unit 115 may generate the gaze position information by calculating the gaze position of the user gazing at the marker .

여기서, 캘리브레이션부(117)는 마커(기준점(a5)과 동일한 위치에 표시된 마커)에 대응하는 시선 위치 정보(헤드 마운트 디스플레이(100)가 흘러 내린 후 시선 위치 값) 및 기 설정된 기준점(즉, 기준점(a5))에 대응하는 시선 위치 정보(헤드 마운트 디스플레이(100)가 흘러 내리기 전의 시선 위치 값)의 차이에 해당하는 값을 캘리브레이션 값으로 산출할 수 있다. 캘리브레이션부(117)는 산출한 캘리브레이션 값을 각 기준점(a1 ~ a9)들에 적용하여 그에 대응하는 시선 위치 정보를 각각 갱신함으로써, 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션을 수행 할 수 있다. Here, the calibration unit 117 calculates the line-of-sight position information (the line-of-sight position value after the head-mounted display 100 flows down) corresponding to the marker (marker displayed at the same position as the reference point a5) (the visual line position value before the head mount display 100 flows down) corresponding to the line-of-sight position information (a5) of the head-mounted display 100 can be calculated as the calibration value. The calibration unit 117 may apply the calculated calibration values to the reference points a1 to a9 and update the gaze position information corresponding thereto to perform calibration according to the flow of the head mounted display 100 .

개시되는 실시예에 의하면, 헤드 마운트 디스플레이(100)의 흘러 내림에 의해 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 하나의 마커를 디스플레이부(102)에 표시하고, 이를 기반으로 캘리브레이션을 수행함으로써, 사용자가 헤드 마운트 디스플레이(100)를 통해 콘텐츠를 감상하는 중에도 용이하고 신속하게 캘리브레이션을 수행할 수 있으며, 사용자의 콘텐츠 감상 방해를 최소화 할 수 있게 된다.According to the disclosed embodiment, when a calibration event is generated by the falling of the head mount display 100, one marker for calibration is displayed on the display unit 102, and calibration is performed based on the marker, The user can easily and quickly perform the calibration even while listening to the contents through the head mount display 100, thereby minimizing interference of the user's appreciation of the contents.

한편, 여기서는 마커 표시부(113)가 복수 개의 기준점(a1 ~ a9) 중 어느 하나의 기준점과 동일한 위치에 마커를 표시하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 복수 개의 기준점(a1 ~ a9)들과 다른 위치에 마커를 표시할 수도 있다. The marker display unit 113 displays markers at the same position as any one of the plurality of reference points a1 to a9. However, the present invention is not limited to this, and a plurality of reference points a1 to a9 Markers can also be displayed at locations.

예를 들어, 도 3에서 마커 표시부(113)가 마커(M)를 기준점(a5, a6, a8, a9)으로 둘러 싸인 영역의 내부 중앙에 표시하였다고 하면, 캘리브레이션부(117)는 마커(M)의 위치를 기준점으로 하는 경우 그에 대응하는 시선 위치 정보(기준점 시선 위치 정보)를 산출한 후, 마커(M)에 대응하는 시선 위치 정보(마커 시선 위치 정보)와 기준점 시선 위치 정보를 기반으로 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션 값을 산출할 수도 있다. 이때, 캘리브레이션부(117)는 디스플레이부(102)의 화면에서 기준점(a5)(또는 기준점(a8))에 대응하는 시선 위치 정보 및 기준점(a6)(또는 기준점(a9))에 대응하는 시선 위치 정보를 기반으로 x축 방향의 기준점 시선 위치 정보를 산출할 수 있다. 또한, 캘리브레이션부(117)는 디스플레이부(102)의 화면에서 기준점(a5)(또는 기준점(a6))에 대응하는 시선 위치 정보 및 기준점(a8)(또는 기준점(a9))에 대응하는 시선 위치 정보를 기반으로 y축 방향의 기준점 시선 위치 정보를 산출할 수 있다.For example, if the marker display unit 113 in FIG. 3 displays the marker M in the center of the area enclosed by the reference points a5, a6, a8, and a9, the calibration unit 117 reads the marker M, (Marker point line position information) corresponding to the marker M and the reference point line position information corresponding to the marker M when the position of the reference point is the reference point, The calibration value according to the flow of the display 100 may be calculated. At this time, the calibration unit 117 obtains the line of sight position information corresponding to the reference point a5 (or the reference point a8) on the screen of the display unit 102 and the line position information corresponding to the reference point a6 (or the reference point a9) The reference point line position information in the x-axis direction can be calculated based on the information. The calibration unit 117 also calculates the line of sight position information corresponding to the reference point a5 (or the reference point a6) on the screen of the display unit 102 and the line position information corresponding to the reference point a8 (or the reference point a9) The reference point line position information in the y-axis direction can be calculated based on the information.

헤드 마운트 디스플레이(100)에는 헤드 마운트 디스플레이(100)의 흘러 내림에 따라 캘리브레이션을 수행하기 위한 어플리케이션이 설치될 수 있다. 헤드 마운트 디스플레이(100)는 프로세서 및 그 프로세서에 의해 액세스 가능한 메모리와 같은 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 상기 어플리케이션은 컴퓨터 판독 가능 저장 매체에 상주할 수 있다. 상기 어플리케이션은 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 어플리케이션의 명령어들은 프로세서에 의해 실행되는 경우, 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. The head mount display 100 may be provided with an application for performing calibration according to the flow of the head mount display 100. [ The head mount display 100 may include a computer readable storage medium, such as a processor and a memory accessible by the processor. The application may reside in a computer readable storage medium. The application includes a predetermined set of instructions executable by the processor. The instructions of the application, when executed by the processor, may cause the processor to perform an operation according to the exemplary embodiment.

도 4은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 캘리브레이션 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a method of calibrating a head-mounted display according to an exemplary embodiment of the present invention. In the illustrated flow chart, the method is described as being divided into a plurality of steps, but at least some of the steps may be performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, One or more steps may be added and performed.

도 4를 참조하면, 헤드 마운트 디스플레이(100)는 복수 개의 기준점에 대한 시선 위치 정보를 획득하고, 각 기준점의 좌표와 그에 대응하는 시선 위치 정보를 매칭하여 저장한다(S 101). Referring to FIG. 4, the head mount display 100 acquires gaze position information on a plurality of reference points, and stores coordinate values of corresponding reference points and corresponding gaze position information (S 101).

다음으로, 헤드 마운트 디스플레이(100)는 캘리브레이션 이벤트가 발생하는지 여부를 확인한다(S 103). 구체적으로, 헤드 마운트 디스플레이(100)는 시선 추적부(115)(또는 디스플레이부(102))의 위치 변화가 발생한 경우, 시선 추적부(115)의 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인한다. 여기서, 시선 추적부(115)의 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 헤드 마운트 디스플레이(100)는 시선 추적부(115)의 위치 변화가 사용자의 머리 부분의 자세 변화(예를 들어, 사용자가 고개를 좌우 또는 상하로 움직이는 것에 따른 변화)에 의한 것으로 판단할 수 있다. Next, the head mount display 100 confirms whether a calibration event occurs (S103). Specifically, the head mount display 100 determines whether the position change of the gaze tracking section 115 (or the display section 102) is less than a predetermined first change range . Here, when the position change of the gaze tracking section 115 is equal to or larger than the predetermined first change range, the head mount display 100 determines that the position change of the gaze tracking section 115 changes the posture of the user's head A change due to a user moving his or her head leftward or rightward or up and down).

한편, 시선 추적부(115)의 위치 변화가 기 설정된 제1 변화 범위 미만(즉, 사용자가 머리를 고정하고 있는 상태에서 헤드 마운트 디스플레이(100)의 무게에 의해 흘러내리는 위치 변화)이고, 기 설정된 시간 동안 시선 추적부(115)의 누적된 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 헤드 마운트 디스플레이(100)는 캘리브레이션 이벤트가 발생한 것으로 판단하여 캘리브레이션 이벤트 신호를 발생시킬 수 있다. 제2 변화 범위는 제1 변화 범위 보다 작게 설정될 수 있다. On the other hand, when the position change of the gaze tracking section 115 is less than a predetermined first change range (i.e., a position change of the head-mounted display 100 due to the weight of the head-mounted display 100) The head mounted display 100 may determine that a calibration event has occurred and generate a calibration event signal when the accumulated position change of the eye tracking unit 115 exceeds the predetermined second change range for a predetermined period of time. The second change range may be set to be smaller than the first change range.

단계 S 103의 확인 결과, 캘리브레이션 이벤트가 발생하는 경우, 헤드 마운트 디스플레이(100)는 디스플레이부(102)에 캘리브레이션을 위한 마커를 표시한다(S 105). If it is determined in step S 103 that a calibration event has occurred, the head mount display 100 displays a marker for calibration on the display unit 102 (S 105).

다음으로, 헤드 마운트 디스플레이(100)는 사용자의 시선을 추적하여 마커를 응시하는 사용자의 시선 위치 정보를 산출한다(S 107). Next, the head mount display 100 tracks the user's gaze and calculates gaze position information of the user gazing at the marker (S 107).

다음으로, 헤드 마운트 디스플레이(100)는 마커에 대응하는 시선 위치 정보와 기 설정된 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션 값을 산출한다(S 109). Next, the head mount display 100 calculates the calibration value according to the flow of the head mount display 100 based on the line-of-sight position information corresponding to the marker and the line-of-sight position information corresponding to the predetermined one or more reference points 109).

다음으로, 헤드 마운트 디스플레이(100)는 산출한 캘리브레이션 값을 각 기준점들에 적용하여 그에 대응하는 시선 위치 정보를 각각 갱신한다(S 111).Next, the head mount display 100 applies the calculated calibration value to each reference point, and updates the gaze position information corresponding thereto, respectively (S 111).

도 5는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이에서 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 상태를 나타낸 도면이다. FIG. 5 is a view illustrating a state where a marker for calibration is displayed on a display unit in a head mount display according to an embodiment of the present invention.

도 5의 (a)를 참조하면, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠를 종료시킨 후, 마커(M)를 표시할 수 있다. 이때, 마커 표시부(113)는 “Look at the point to go next”라는 안내 문구를 표시하여 사용자가 마커(M)를 응시하도록 할 수 있다. Referring to FIG. 5A, the marker display unit 113 can display the marker M after terminating the content displayed on the display unit 102. FIG. At this time, the marker display unit 113 may display a guiding phrase " Look at the point to go next " to allow the user to look at the marker M. [

도 5의 (b)를 참조하면, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠(여기서는 키보드로 도시됨)의 투명도를 원래의 투명도보다 낮도록 조절한 후, 마커(M) 및 안내 문구를 표시할 수 있다. 5B, the marker display unit 113 adjusts the transparency of the content displayed on the display unit 102 (here, shown as a keyboard) to be lower than the original transparency, You can display a guiding text.

도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.FIG. 6 is a block diagram illustrating and illustrating a computing environment 10 including a computing device suitable for use in the exemplary embodiments. In the illustrated embodiment, each of the components may have different functions and capabilities than those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 헤드 마운트 디스플레이(예를 들어, 헤드 마운트 디스플레이(100))일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, the computing device 12 may be a head mounted display (e.g., head mounted display 100).

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer readable storage medium 16, The processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiment discussed above. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16. The one or more programs may include one or more computer-executable instructions, which when executed by the processor 14 cause the computing device 12 to perform operations in accordance with the illustrative embodiment .

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and / or other suitable forms of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 may be any type of storage medium such as a memory (volatile memory such as random access memory, non-volatile memory, or any suitable combination thereof), one or more magnetic disk storage devices, Memory devices, or any other form of storage medium that can be accessed by the computing device 12 and store the desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12, including processor 14, computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.The computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. The exemplary input and output device 24 may be any type of device, such as a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or touch screen), a voice or sound input device, An input device, and / or an output device such as a display device, a printer, a speaker, and / or a network card. The exemplary input and output device 24 may be included within the computing device 12 as a component of the computing device 12 and may be coupled to the computing device 12 as a separate device distinct from the computing device 12 It is possible.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, . Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100 : 헤드 마운트 디스플레이
102 : 디스플레이부
102-1 : 제1 디스플레이
102-2 : 제2 디스플레이
104 : 프레임
106 : 헤드 장착부
106-1 : 제1 헤드 장착부
106-2 : 제2 헤드 장착부
111 : 이벤트 검출부
113 : 마커 표시부
115 : 시선 추적부
117 : 캘리브레이션부100: Head mount display
102:
102-1: First display
102-2: Second display
104: frame
106: Head mounting portion
106-1: first head mounting portion
106-2: second head mounting portion
111: Event detection unit
113: marker display section
115: eye tracking unit
117: Calibration part

Claims (18)

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 헤드 마운트 디스플레이에서 수행되는 방법으로서,
복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하는 단계;
상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계;
상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 단계;
상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하는 단계; 및
상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하는 단계를 포함하고,
상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계는,
상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하는 단계;
상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 상기 제1 변화 범위 보다 작게 설정된 제2 변화 범위를 초과하는지 여부를 확인하는 단계; 및
상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 상기 헤드 마운트 디스플레이의 자체 무게에 의한 흘러 내림으로 판단하여 캘리브레이션 이벤트 신호를 발생시키는 단계를 포함하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
One or more processors, and
A method performed on a head mounted display having a memory for storing one or more programs executed by the one or more processors,
Acquiring gaze position information of a user with respect to a plurality of reference points, storing coordinates of each reference point and sight line position information corresponding to the reference point in a matching manner;
Confirming whether or not a calibration event due to flow-down of the head-mounted display occurs;
Displaying a marker for calibration on the display unit when the calibration event occurs;
Calculating gaze position information of a user gazing at the marker; And
Calculating a calibration value according to the flow of the head-mounted display based on the line-of-sight position information of the user gazing at the marker and the line-of-sight position information corresponding to the one or more reference points,
Wherein the step of verifying whether the calibration event occurs comprises:
Determining whether the positional change is less than a predetermined first change range when a change in position of the head-mounted display occurs;
Confirming whether the position change of the head-mounted display exceeds a second change range set to be smaller than the first change range, for a predetermined time, when the position change is less than the predetermined first change range; And
And generating a calibration event signal by determining that the head-mounted display is caused to flow by its own weight when the positional change exceeds a predetermined second change range.
삭제delete 청구항 1에 있어서,
상기 헤드 마운트 디스플레이의 캘리브레이션 방법은,
상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하는 단계를 더 포함하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
A method of calibrating a head-mounted display,
Further comprising the step of determining that the positional change is due to a change in the head posture of the user when the positional change is equal to or greater than a predetermined first change range.
청구항 1에 있어서,
상기 마커를 디스플레이부에 표시하는 단계는,
상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
The step of displaying the marker on the display unit includes:
And displaying the marker on the display unit while adjusting the transparency of the content displayed on the display unit.
청구항 4에 있어서,
상기 마커를 디스플레이부에 표시하는 단계는,
상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method of claim 4,
The step of displaying the marker on the display unit includes:
Wherein the screen of the marker for the calibration is displayed with a first transparency and the screen of the content is displayed with a second transparency lower than the first transparency.
청구항 1에 있어서,
상기 마커를 디스플레이부에 표시하는 단계는,
상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
The step of displaying the marker on the display unit includes:
And displaying one component of the content displayed on the display unit as the marker.
청구항 6에 있어서,
상기 마커를 디스플레이부에 표시하는 단계는,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method of claim 6,
The step of displaying the marker on the display unit includes:
Wherein the display of the content is different from the transparency of the component used as the marker and the transparency of the other components of the content except the marker.
청구항 7에 있어서,
상기 마커를 디스플레이부에 표시하는 단계는,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method of claim 7,
The step of displaying the marker on the display unit includes:
Wherein the component used as the marker in the content is represented by a first transparency and the other components except the marker are represented by a second transparency lower than the first transparency.
청구항 1에 있어서,
상기 마커를 디스플레이부에 표시하는 단계는,
상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
The step of displaying the marker on the display unit includes:
Wherein the marker is displayed on the display unit at the same position as any one of the plurality of reference points.
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하는 헤드 마운트 디스플레이 이고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하기 위한 명령;
상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령;
상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하기 위한 명령;
상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하기 위한 명령; 및
상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하기 위한 명령을 포함하고,
상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령은,
상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하기 위한 명령;
상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 상기 제1 변화 범위 보다 작게 설정된 제2 변화 범위를 초과하는지 여부를 확인하기 위한 명령; 및
상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 상기 헤드 마운트 디스플레이의 자체 무게에 의한 흘러 내림으로 판단하여 캘리브레이션 이벤트 신호를 발생시키기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
One or more processors;
Memory; And
A head mount display comprising one or more programs,
Wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
Acquiring gaze position information of a user with respect to a plurality of reference points, storing coordinates of each reference point and gaze position information corresponding to the reference point, and storing the coordinates;
A command for confirming whether or not a calibration event due to flow-down of the head-mounted display occurs;
A command for displaying a marker for calibration on the display unit when the calibration event occurs;
An instruction to calculate gaze position information of a user gazing at the marker; And
Instructions for calculating a calibration value according to flow of the head-mounted display based on line-of-sight position information of a user staring the marker and line-of-sight position information corresponding to the one or more reference points,
Wherein the instruction to determine whether the calibration event occurs comprises:
When the position change of the head mount display occurs, determining whether the position change is less than a predetermined first change range;
Determining whether a position change of the head-mounted display exceeds a second change range set to be smaller than the first change range, for a predetermined time, when the position change is less than a predetermined first change range; And
And generating a calibration event signal by determining that the head-mounted display is caused to flow by its own weight when the positional change exceeds a predetermined second change range.
삭제delete 청구항 10에 있어서,
상기 하나 이상의 프로그램들은,
상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하기 위한 명령을 더 포함하는, 헤드 마운트 디스플레이.
The method of claim 10,
The one or more programs,
Further comprising instructions for determining that the position change is due to a user's head posture change if the position change is greater than or equal to a predetermined first change range.
청구항 10에 있어서,
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
The method of claim 10,
The command for displaying the marker on the display unit includes:
And displaying the marker on the display unit while adjusting the transparency of the content displayed on the display unit.
청구항 13에 있어서,
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
14. The method of claim 13,
The command for displaying the marker on the display unit includes:
Wherein the screen of the marker for the calibration is displayed with a first transparency and the screen of the content is displayed with a second transparency lower than the first transparency.
청구항 10에 있어서,
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
The method of claim 10,
The command for displaying the marker on the display unit includes:
And displaying, using the one component of the content displayed on the display unit, as the marker.
청구항 15에 있어서,
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
16. The method of claim 15,
The command for displaying the marker on the display unit includes:
And displaying the transparency of a component of the content that is used as the marker and the transparency of another component of the content other than the marker.
청구항 16에 있어서,
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
18. The method of claim 16,
The command for displaying the marker on the display unit includes:
Wherein the marking comprises at least one of a first transparency, a second transparency, and a second transparency, the second transparency being indicative of a first transparency component of the content.
청구항 10에 있어서,
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.The method of claim 10,
The command for displaying the marker on the display unit includes:
And displaying the marker at the same position as any one of the plurality of reference points on the display unit.
KR1020170076695A 2017-06-16 2017-06-16 Head mounted display and method for calibrating the same KR101857466B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170076695A KR101857466B1 (en) 2017-06-16 2017-06-16 Head mounted display and method for calibrating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170076695A KR101857466B1 (en) 2017-06-16 2017-06-16 Head mounted display and method for calibrating the same

Publications (1)

Publication Number Publication Date
KR101857466B1 true KR101857466B1 (en) 2018-05-15

Family

ID=62186963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170076695A KR101857466B1 (en) 2017-06-16 2017-06-16 Head mounted display and method for calibrating the same

Country Status (1)

Country Link
KR (1) KR101857466B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083252A (en) * 2015-08-15 2018-07-20 구글 엘엘씨 System and method for biomechanically based eye signals for interacting with real and virtual objects
CN111190482A (en) * 2018-11-15 2020-05-22 托比股份公司 Method and apparatus for calibrating an eye tracker
KR20200059509A (en) * 2018-11-21 2020-05-29 네이버웹툰 주식회사 Method for providing user interface using gaze recognition and user apparatus using the same
US20200183488A1 (en) * 2018-12-10 2020-06-11 Samsung Electronics Co., Ltd. Compensating For A Movement of A Sensor Attached To A Body Of A User

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229730A (en) * 2000-11-30 2002-08-16 Mixed Reality Systems Laboratory Inc Information processing unit, complex reality providing device and method thereof, and storage medium
JP2016018213A (en) * 2014-07-10 2016-02-01 セイコーエプソン株式会社 Hmd calibration with direct geometric modeling
KR20160071139A (en) * 2014-12-11 2016-06-21 삼성전자주식회사 Method for calibrating a gaze and electronic device thereof
WO2016098406A1 (en) * 2014-12-17 2016-06-23 ソニー株式会社 Information processing apparatus, information processing method and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229730A (en) * 2000-11-30 2002-08-16 Mixed Reality Systems Laboratory Inc Information processing unit, complex reality providing device and method thereof, and storage medium
JP2016018213A (en) * 2014-07-10 2016-02-01 セイコーエプソン株式会社 Hmd calibration with direct geometric modeling
KR20160071139A (en) * 2014-12-11 2016-06-21 삼성전자주식회사 Method for calibrating a gaze and electronic device thereof
WO2016098406A1 (en) * 2014-12-17 2016-06-23 ソニー株式会社 Information processing apparatus, information processing method and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083252A (en) * 2015-08-15 2018-07-20 구글 엘엘씨 System and method for biomechanically based eye signals for interacting with real and virtual objects
KR102196975B1 (en) * 2015-08-15 2020-12-30 구글 엘엘씨 System and method for biomechanical-based eyeball signals to interact with real and virtual objects
CN111190482A (en) * 2018-11-15 2020-05-22 托比股份公司 Method and apparatus for calibrating an eye tracker
CN111190482B (en) * 2018-11-15 2024-01-26 托比股份公司 Method and apparatus for calibrating an eye tracker
KR20200059509A (en) * 2018-11-21 2020-05-29 네이버웹툰 주식회사 Method for providing user interface using gaze recognition and user apparatus using the same
KR102216020B1 (en) * 2018-11-21 2021-02-17 네이버웹툰 유한회사 Method for providing user interface using gaze recognition and user apparatus using the same
US20200183488A1 (en) * 2018-12-10 2020-06-11 Samsung Electronics Co., Ltd. Compensating For A Movement of A Sensor Attached To A Body Of A User
WO2020122318A1 (en) * 2018-12-10 2020-06-18 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
US10990168B2 (en) 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
CN113164040A (en) * 2018-12-10 2021-07-23 三星电子株式会社 Compensating for movement of a sensor attached to a user's body

Similar Documents

Publication Publication Date Title
US11693476B2 (en) Menu navigation in a head-mounted display
US10096167B2 (en) Method for executing functions in a VR environment
KR101857466B1 (en) Head mounted display and method for calibrating the same
US11513605B2 (en) Object motion tracking with remote device
KR102038379B1 (en) Focus Adjusting Virtual Reality Headset
US9223402B2 (en) Head mounted display and method of controlling digital device using the same
MX2021010979A (en) Reality-guided roaming in virtual reality.
US10134197B2 (en) Computer graphics presentation systems and methods
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US20150097772A1 (en) Gaze Signal Based on Physical Characteristics of the Eye
US10845595B1 (en) Display and manipulation of content items in head-mounted display
KR20210107741A (en) User interaction on head-mounted display with eye tracking
EP3695622B1 (en) Adaptation of presentation speed
KR20220100051A (en) Slip-resistant eye tracking user interface
KR102198867B1 (en) Method for user input and user interface device executing the method
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
JP2017033465A (en) Method and program
JP2024031946A (en) headset adjustment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant