KR20200120467A - Head mounted display apparatus and operating method thereof - Google Patents

Head mounted display apparatus and operating method thereof Download PDF

Info

Publication number
KR20200120467A
KR20200120467A KR1020190109494A KR20190109494A KR20200120467A KR 20200120467 A KR20200120467 A KR 20200120467A KR 1020190109494 A KR1020190109494 A KR 1020190109494A KR 20190109494 A KR20190109494 A KR 20190109494A KR 20200120467 A KR20200120467 A KR 20200120467A
Authority
KR
South Korea
Prior art keywords
hand
user
hmd device
display area
display
Prior art date
Application number
KR1020190109494A
Other languages
Korean (ko)
Inventor
권태혁
김덕호
유병욱
이건일
이원우
이재웅
임성훈
정지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP20788403.2A priority Critical patent/EP3931676A4/en
Priority to PCT/KR2020/004820 priority patent/WO2020209624A1/en
Priority to US16/844,388 priority patent/US11520409B2/en
Publication of KR20200120467A publication Critical patent/KR20200120467A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Provided are an HMD device capable of improving immersion of a user by grasping the intention of the user regarding an interaction with an object in a display area based on a direction in which the hands of a user are directed, and an operation method thereof. According to the present disclosure, the operation method of the HMD device can comprise the following operations of: displaying at least one object in a display area of a transparent display; photographing hands of a user interacting with the displayed object; determining a direction in which the hands interacting with the object are directed based on the photographed image; and executing a predetermined function of the HMD device matching the object interacting with the hands of the user and the direction in which the hands are directed.

Description

HMD 장치 및 그 동작 방법{HEAD MOUNTED DISPLAY APPARATUS AND OPERATING METHOD THEREOF}HMD device and its operation method {HEAD MOUNTED DISPLAY APPARATUS AND OPERATING METHOD THEREOF}

본 발명은 HMD 장치 및 그 동작 방법에 관한 것으로, 보다 상세하게는 사용자의 손이 향하는 방향에 기초하여 사용자의 의도를 파악하고, 파악된 사용자의 의도에 따라 소정의 기능을 실행할 수 있는 HMD 장치 및 그 동작 방법에 관한 것이다.The present invention relates to an HMD device and a method of operation thereof, and more particularly, an HMD device capable of identifying a user's intention based on a direction in which the user's hand is directed, and executing a predetermined function according to the determined user's intention; and It's about how it works.

최근 기술의 발전에 따라, 신체에 착용 가능한 다양한 형태의 웨어러블 장치가 나오고 있다. 그 중 헤드 마운티드 디스플레이(Head Mounted Display) 장치는 사용자의 머리에 착용하는 웨어러블 장치로써, 투명 디스플레이를 통해 가상 오브젝트에 대한 시각적 정보를 제공함으로써 사용자에게 증강현실 서비스를 제공할 수 있다.With the recent development of technology, various types of wearable devices that can be worn on the body are emerging. Among them, a head mounted display device is a wearable device worn on the user's head, and may provide an augmented reality service to a user by providing visual information on a virtual object through a transparent display.

종래의 웨어러블 장치들은 음성 인식이나 물리적인 터치 인식에 기반하여 사용자와 인터랙션을 할 수 있는데, 이러한 인터랙션 방식은 사용자 편의성에 한계를 갖는다.Conventional wearable devices can interact with a user based on voice recognition or physical touch recognition, but such an interaction method has limitations in user convenience.

본 개시는 사용자의 손이 향하는 방향에 기초하여 디스플레이 영역 내 객체와의 인터랙션에 관한 사용자의 의도를 파악함으로써, 사용자의 몰입도를 향상시킬 수 있는 HMD 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.An object of the present disclosure is to provide an HMD device capable of improving user immersion and an operating method thereof by grasping a user's intention for an interaction with an object in a display area based on the direction the user's hand is facing. .

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention that are not mentioned can be understood by the following description, and will be more clearly understood by examples of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by the means shown in the claims and combinations thereof.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 투명 디스플레이의 디스플레이 영역 내에 적어도 하나의 객체를 디스플레이하는 동작, 상기 디스플레이된 객체와 인터랙션하는 사용자의 손을 촬영하는 동작, 상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손이 향하는 방향을 판단하는 동작 및 상기 손과 인터랙션하는 객체 및 상기 손이 향하는 방향에 매칭된 상기 HMD 장치의 소정의 기능을 실행하는 동작을 포함하는 HMD(Head Mounted Display) 장치의 동작 방법을 제공할 수 있다.As a technical means for achieving the above-described technical problem, a first aspect of the present disclosure includes an operation of displaying at least one object in a display area of a transparent display, an operation of photographing a user's hand interacting with the displayed object, Determining a direction in which the hand interacting with the object faces, based on the captured image, and executing a predetermined function of the HMD device matched with the object interacting with the hand and the direction in which the hand faces It is possible to provide a method of operating a HMD (Head Mounted Display) device.

또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제2 측면은, 투명 디스플레이, 하나 이상의 인터페이스를 저장하는 메모리 및 상기 하나 이상의 인터페이스를 실행함으로써 상기 HMD 장치를 제어하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는 투명 디스플레이의 디스플레이 영역 내에 적어도 하나의 객체를 디스플레이하고, 상기 디스플레이된 객체와 인터랙션하는 사용자의 손을 촬영하고, 상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손이 향하는 방향을 판단하고, 상기 손과 인터랙션하는 객체 및 상기 손이 향하는 방향에 매칭된 상기 HMD 장치의 소정의 기능을 실행하는, HMD 장치를 제공할 수 있다.In addition, as a technical means for achieving the above-described technical problem, a second aspect of the present disclosure includes a transparent display, a memory storing one or more interfaces, and at least one processor for controlling the HMD device by executing the one or more interfaces. Including, wherein the at least one processor displays at least one object in the display area of the transparent display, photographs a user's hand interacting with the displayed object, and interacts with the object based on the captured image It is possible to provide an HMD device that determines a direction in which the hand faces, and executes a predetermined function of the HMD device matched with an object that interacts with the hand and the direction in which the hand faces.

또한, 본 개시의 제3 측면은, 투명 디스플레이의 디스플레이 영역 내에 적어도 하나의 객체를 표시하는 동작, 상기 표시된 객체와 인터랙션하는 사용자의 손을 촬영하는 동작, 상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손이 향하는 방향을 판단하는 동작 및 상기 손과 인터랙션하는 객체 및 상기 손이 향하는 방향에 매칭된 HMD 장치의 소정의 기능을 실행하는 동작을 수행하도록 하는 프로그램이 저장된, 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.In addition, a third aspect of the present disclosure includes an operation of displaying at least one object in a display area of a transparent display, an operation of photographing a user's hand interacting with the displayed object, and an interaction with the object based on the captured image. A computer-readable record storing a program for determining the direction in which the hand is directed and an object that interacts with the hand and an operation for executing a predetermined function of the HMD device matched with the direction in which the hand is facing Media can be provided.

본 개시에 의하면, 사용자의 손이 향하는 방향에 기초하여 디스플레이 영역 내 객체와의 인터랙션에 관한 사용자의 의도를 파악함으로써, 사용자의 몰입도를 향상시킬 수 있는 HMD 장치 및 그 동작 방법을 제공할 수 있는 효과가 있다.According to the present disclosure, by grasping a user's intention regarding an interaction with an object in a display area based on a direction in which the user's hand is directed, an HMD device capable of improving user's immersion and an operating method thereof can be provided. It works.

도 1은 일부 실시예에 따른 HMD 장치의 사용 환경을 나타낸 도면이다.
도 2는 일부 실시예에 따른 HMD 장치가 디스플레이 영역에 객체를 표시하는 방법을 나타낸 도면이다.
도 3은 일부 실시예에 따른 HMD 장치의 동작 방법을 나타내는 흐름도이다.
도 4는 일부 실시예 따른 HMD 장치의 손 제스처 분석 방법을 순서대로 나타낸 흐름도이다.
도 5는 일부 실시예 따른 HMD 장치의 디스플레이 영역 내 손의 위치를 판단하는 방법을 나타낸 도면이다.
도 6은 일부 실시예 따른 HMD 장치의 손 각도 측정 방법을 나타낸 도면이다.
도 7은 일부 실시예 따른 HMD 장치의 손 각도 측정 방법을 나타낸 도면이다.
도 8은 일부 실시예 따른 HMD 장치가 디스플레이 영역에 표시할 이미지를 생성하는 방법을 순서대로 나타낸 도면이다.
도 9는 일부 실시예 따른 HMD 장치가 사용자의 백 스크린 입력에 대응하여 백 스크린 이미지를 생성하는 방법을 순서대로 나타낸 흐름도이다.
도 10은 일부 실시예 따른 HMD 장치가 표시하는 플로팅 객체에 대한 사용자의 백 스크린 입력 방법을 나타낸 도면이다.
도 11은 일부 실시예 따른 HMD 장치가 표시하는 객체 및 사용자의 손의 인터랙션 방법을 나타낸 도면이다.
도 12는 일부 실시예 따른 HMD 장치 및 외부 장치에 대한 사용자의 개별 입력 방법을 나타낸 도면이다.
도 13은 일부 실시예 따른 외부 디스플레이 장치 및 HMD 장치의 플로팅 객체에 대한 사용자의 동시 입력 방법을 나타낸 도면이다.
도 14는 일부 실시예 따른 외부 장치와 동시에 사용되는 HMD 장치가 표시하는 객체 및 사용자의 손의 인터랙션 방법을 나타낸 도면이다.
도 15는 일부 실시예 따른 HMD 장치가 표시하는 객체 및 사용자의 손의 인터랙션 방법을 나타낸 도면이다.
도 16은 일부 실시예 따른 HMD 장치의 구성을 나타낸 블록도이다.1 is a diagram illustrating a use environment of an HMD device according to some embodiments.
2 is a diagram illustrating a method of displaying an object on a display area by an HMD device according to some embodiments.
3 is a flowchart illustrating a method of operating an HMD device according to some embodiments.
4 is a flowchart sequentially illustrating a hand gesture analysis method of an HMD device according to some embodiments.
5 is a diagram illustrating a method of determining a position of a hand in a display area of an HMD device according to some embodiments.
6 is a diagram illustrating a method of measuring a hand angle of an HMD device according to some embodiments.
7 is a diagram illustrating a method of measuring a hand angle of an HMD device according to some embodiments.
8 is a diagram sequentially illustrating a method of generating an image to be displayed on a display area by an HMD device according to some embodiments.
9 is a flowchart sequentially illustrating a method of generating a back screen image in response to a user's back screen input by an HMD device according to some embodiments.
10 is a diagram illustrating a method of inputting a back screen by a user to a floating object displayed by an HMD device according to some embodiments.
11 is a diagram illustrating a method of interaction between an object displayed by an HMD device and a user's hand according to some embodiments.
12 is a diagram illustrating a user's individual input method for an HMD device and an external device according to some embodiments.
13 is a diagram illustrating a method for simultaneously inputting a user to a floating object of an external display device and an HMD device according to some embodiments.
14 is a diagram illustrating an interaction method between an object displayed by an HMD device used simultaneously with an external device and a user's hand according to some embodiments.
15 is a diagram illustrating a method of interacting an object displayed by an HMD device and a user's hand according to some embodiments.
16 is a block diagram showing a configuration of an HMD device according to some embodiments.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features, and advantages will be described later in detail with reference to the accompanying drawings, and accordingly, a person of ordinary skill in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of known technologies related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description will be omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar elements.

도 1은 일부 실시예에 따른 HMD 장치의 사용 환경을 나타낸 도면이다.1 is a diagram illustrating a use environment of an HMD device according to some embodiments.

도 1을 참조하면, 일부 실시예에 따른 HMD(Head Mounted Display) 장치(1000)는 투명 디스플레이(1003)를 통해 이미지를 표시할 수 있다.Referring to FIG. 1, a head mounted display (HMD) device 1000 according to some embodiments may display an image through a transparent display 1003.

HMD 장치(1000)는, 예를 들어, 안경과 동일한 방식으로 사용자(11)의 머리에 착용될 수 있다. 사용자(11)의 머리에 착용된 HMD 장치(1000)는 투명 디스플레이(1003)를 통해 이미지를 표시할 수 있다.The HMD device 1000 may be worn on the head of the user 11 in the same manner as, for example, glasses. The HMD device 1000 worn on the head of the user 11 may display an image through the transparent display 1003.

HMD 장치(1000)가 투명 디스플레이(1003)를 통해 이미지를 표시하면, HMD 장치(1000)를 착용한 사용자(11)는 디스플레이 영역(16)에 이미지가 표시된 것으로 인식할 수 있다. When the HMD device 1000 displays an image through the transparent display 1003, the user 11 wearing the HMD device 1000 may recognize that the image is displayed on the display area 16.

즉, 디스플레이 영역(16)은 HMD 장치(1000)가 투명 디스플레이(1003)를 통해 이미지를 표시할 수 있는 가상의 영역을 의미한다. 예를 들어, HMD 장치(1000)를 착용한 사용자(11)는 투명 디스플레이(1003)를 통해 표시되는 이미지로서, 소정의 객체(161)가 디스플레이 영역(16) 상의 특정 위치에 표시되는 것으로 인식할 수 있다. 즉, HMD 장치(1000)는 투명 디스플레이(1003)를 통해 디스플레이 영역(16)에 이미지를 표시할 수 있다. That is, the display area 16 refers to a virtual area in which the HMD device 1000 can display an image through the transparent display 1003. For example, as an image displayed through the transparent display 1003, the user 11 wearing the HMD device 1000 may recognize that a predetermined object 161 is displayed at a specific position on the display area 16. I can. That is, the HMD device 1000 may display an image on the display area 16 through the transparent display 1003.

HMD 장치(1000)는 디스플레이 영역(16)에 원근감을 가지는 이미지를 표시함으로써 사용자(11)로 하여금 투명 디스플레이(1003)로부터 소정의 거리만큼 떨어진 곳에 객체(161)가 위치하고 있는 것으로 인식하게 할 수 있다. HMD 장치(1000)는, 예를 들어, 디스플레이 영역(16)에 원근감을 가지는 이미지를 표시하기 위해, 양안 시차를 이용하는 스테레오 스코픽 3D(Stereoscopic 3D, S3D) 방식을 사용할 수 있으나, 이에 한정되는 것은 아니다.The HMD device 1000 may cause the user 11 to recognize that the object 161 is located at a distance from the transparent display 1003 by a predetermined distance by displaying an image having a sense of perspective on the display area 16. . The HMD device 1000 may use a stereoscopic 3D (S3D) method that uses binocular parallax, for example, to display an image having a sense of perspective on the display area 16, but is not limited thereto. .

HMD 장치(1000)가 투명 디스플레이(1003)에 이미지를 표시하는 동안, 사용자(11)는 투명 디스플레이를 투과하는 빛을 통해 외부 환경을 인지할 수 있다. 즉, HMD 장치(1000)는 투명 디스플레이(1003)를 시-스루(see-through) 디스플레이로 활용하여 사용자(11)에게 증강 현실(augmented reality, AR)의 경험을 제공할 수 있다.While the HMD device 1000 displays an image on the transparent display 1003, the user 11 may perceive an external environment through light passing through the transparent display. That is, the HMD device 1000 may provide the user 11 with an augmented reality (AR) experience by using the transparent display 1003 as a see-through display.

HMD 장치(1000)를 착용한 사용자(11)는 투명 디스플레이(1003)를 투과하는 빛을 통해 외부 디스플레이(18)에 표시되는 이미지를 인식할 수 있다. The user 11 wearing the HMD device 1000 may recognize an image displayed on the external display 18 through light passing through the transparent display 1003.

외부 디스플레이(18)는, 예를 들어, HMD 장치(1000)와 구별되는 별도의 외부 장치에 포함된 디스플레이로서, 투명 디스플레이(1003)를 통해 디스플레이 영역(16)에 표시되는 객체(161)와 구별되는 별도의 객체(181)를 표시할 수 있다.The external display 18 is, for example, a display included in a separate external device distinguished from the HMD device 1000, and is distinguished from the object 161 displayed on the display area 16 through the transparent display 1003 A separate object 181 may be displayed.

외부 디스플레이(18)는, 다른 예로, 가상 이미지로 구현된 가상 디스플레이로서, 투명 디스플레이(1003)를 통해 디스플레이 영역(16)에 표시되는 객체(161)와 구별되는 별도의 객체(181)를 표시할 수 있다.The external display 18, as another example, is a virtual display implemented as a virtual image, and displays a separate object 181 that is distinguished from the object 161 displayed in the display area 16 through the transparent display 1003. I can.

사용자(11)는 디스플레이 영역(16)에 표시되는 객체(161) 및 외부 디스플레이(18)에 표시되는 객체(181)를 동시에 인식할 수 있다. The user 11 may simultaneously recognize the object 161 displayed on the display area 16 and the object 181 displayed on the external display 18.

HMD 장치(1000)는 투명 디스플레이(1003)에 표시되는 객체(161) 및 사용자(11)의 인터랙션(interaction)을 감지할 수 있다.The HMD device 1000 may detect an interaction between the object 161 and the user 11 displayed on the transparent display 1003.

HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지로부터 디스플레이 영역(16) 내에 위치하는 사용자(11)의 손을 검출할 수 있다. The HMD device 1000 may capture an image in front of the HMD device 1000 using the camera 1005. The HMD device 1000 may detect a hand of the user 11 located in the display area 16 from an image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 카메라(1005)를 통해 촬영된 이미지에 기초하여 사용자(11)의 손의 제스처를 분석할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지를 분석하여, 디스플레이 영역(16) 상의 사용자(11)의 손의 위치, 형상 또는 이동 방향 중 적어도 하나에 관한 정보를 획득할 수 있다.The HMD device 1000 may analyze a gesture of a hand of the user 11 based on, for example, an image captured by the camera 1005. The HMD device 1000 may analyze an image captured by the camera 1005 to obtain information on at least one of the position, shape, or movement direction of the user's 11 hand on the display area 16.

HMD 장치(1000)에 포함된 카메라(1005)는, 예를 들어, RGB 이미지와 깊이(depth) 정보를 획득할 수 있는 RGB-Depth 카메라일 수 있다. HMD 장치(1000)는 RGB-Depth 카메라를 통해 RGB 이미지 및 깊이 정보를 동시에 획득할 수 있다. The camera 1005 included in the HMD device 1000 may be, for example, an RGB-Depth camera capable of obtaining an RGB image and depth information. The HMD device 1000 may simultaneously acquire RGB image and depth information through an RGB-Depth camera.

HMD 장치(1000)는, 다른 예로, RGB 이미지를 획득할 수 있는 RGB 카메라 및 깊이 정보를 획득할 수 있는 Depth 카메라를 포함할 수 있다. HMD 장치(1000)는 RGB 카메라 및 Depth 카메라를 서로 연동하여 사용할 수 있다. HMD 장치(1000)는 서로 연동된 RGB 카메라 및 Depth 카메라를 통해 RGB 이미지 및 깊이 정보를 개별적으로 획득할 수 있다.As another example, the HMD device 1000 may include an RGB camera capable of obtaining an RGB image and a depth camera capable of obtaining depth information. The HMD device 1000 may use an RGB camera and a depth camera in conjunction with each other. The HMD device 1000 may individually acquire RGB image and depth information through an RGB camera and a depth camera interlocked with each other.

RGB 이미지 및 깊이 정보를 획득한 HMD 장치(1000)는 카메라 좌표계(camera coordinate system)를 기준으로 손의 3차원 위치를 획득할 수 있다. HMD 장치(1000)는 획득된 3차원 위치를 디스플레이 영역(16)에 관한 이미지 좌표계(Image Coordinate System) 상의 2차원 위치로 변환할 수 있다.The HMD device 1000 having acquired the RGB image and depth information may acquire a 3D position of a hand based on a camera coordinate system. The HMD apparatus 1000 may convert the acquired 3D position into a 2D position on an image coordinate system with respect to the display area 16.

RGB-Depth 카메라를 통해 획득한 RGB 이미지 및 깊이 정보를 사용하여 이미지에 포함된 신체를 검출하고, 검출된 신체의 3차원 위치를 획득하는 것은 영상 처리 분야에서 통용되는 기술로서, 본 개시에서는 RGB-Depth 카메라를 사용한 이미지 촬영 및 분석 원리에 관한 자세한 설명을 생략하기로 한다.Using the RGB image and depth information acquired through the RGB-Depth camera, detecting a body included in an image and obtaining a 3D position of the detected body is a technique commonly used in the image processing field. A detailed description of the principle of image capture and analysis using a depth camera will be omitted.

한편, HMD 장치(1000)는 사용자(11)의 손의 제스처의 분석 결과에 기초하여 사용자(11)의 손과 객체(161)의 인터랙션을 감지할 수 있다.Meanwhile, the HMD device 1000 may detect an interaction between the user 11's hand and the object 161 based on the analysis result of the user's 11's hand gesture.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 디스플레이 영역(16)에 표시된 객체(161)와 인터랙션하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다. The HMD device 1000 may determine a direction in which the hand of the user 11 interacting with the object 161 displayed on the display area 16 is directed, based on the image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정할 수 있다. HMD 장치(1000)는 측정된 각도에 기초하여, 디스플레이 영역(16)에 표시된 객체(161)와 인터랙션하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다. The HMD device 1000 may measure, for example, an angle between the bottom surface of the hand of the user 11 and the surface of the transparent display 1003. The HMD device 1000 may determine a direction in which the hand of the user 11 interacting with the object 161 displayed on the display area 16 is directed based on the measured angle.

HMD 장치(1000)는, 예를 들어, 디스플레이 영역(16)에 표시된 객체(161)와 인터랙션하는 사용자(11)의 손을, 손의 바닥 면이 HMD 장치(1000)의 반대 방향을 향하는 외측 방향의 손(141) 및 손의 바닥 면이 HMD 장치(1000) 방향을 향하는 내측 방향의 손(142) 중 어느 하나로 구분할 수 있다.HMD device 1000, for example, the hand of the user 11 interacting with the object 161 displayed on the display area 16, the bottom surface of the hand in an outward direction toward the opposite direction of the HMD device 1000 The hand 141 of the hand and the bottom surface of the hand may be classified as one of the hand 142 in the inward direction toward the HMD device 1000.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손이 향하는 방향에 기초하여 디스플레이 영역(16)에 대한 객체(161)의 표시 여부를 결정할 수 있다.The HMD device 1000 may determine whether to display the object 161 on the display area 16 based on, for example, a direction in which the user 11's hand is facing.

HMD 장치(1000)는, 예를 들어, 객체(161)의 특성에 기초하여 디스플레이 영역(16)에 대한 객체(161)의 표시 방법을 결정할 수 있다. The HMD apparatus 1000 may determine, for example, a display method of the object 161 on the display area 16 based on the characteristics of the object 161.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손이 향하는 방향과 관계없이, 사용자(11)로 하여금 디스플레이 영역(16) 내에 위치한 손보다 항상 앞에 있는 것으로 인식할 수 있도록 객체(161)를 표시할 수 있다. The HMD device 1000, for example, irrespective of the direction in which the user's hand is facing, the object 161 so that the user 11 can recognize that it is always in front of the hand located in the display area 16. ) Can be displayed.

반대로, HMD 장치(1000)는, 예를 들어, 사용자(11)의 손이 향하는 방향과 관계없이, 사용자(11)로 하여금 디스플레이 영역(16) 내에 위치한 손보다 항상 뒤에 있는 것으로 인식할 수 있도록 객체(161)를 표시할 수 있다.Conversely, the HMD device 1000, for example, regardless of the direction in which the user's hand is facing, the object so that the user 11 can recognize that it is always behind the hand located in the display area 16. (161) can be displayed.

HMD 장치(1000)는, 다른 예로, 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정하고, 측정된 거리에 기초하여, 디스플레이 영역(16) 내에 위치한 손보다 앞 또는 뒤에 있는 것으로 인식할 수 있도록 객체(161)를 표시할 수 있다. As another example, the HMD device 1000 measures the distance between the transparent display 1003 and the hand of the user 11, and based on the measured distance, the HMD device 1000 is determined to be in front of or behind the hand located in the display area 16. The object 161 may be displayed so that it can be recognized.

즉, HMD 장치(1000)는 사용자(11)의 손이 향하는 방향과 관계없이 사용자(11)로 하여금 투명 디스플레이(1003)로부터 소정의 거리만큼 떨어진 곳에 위치하고 있는 것으로 인식할 수 있도록 객체(161)를 표시할 수 있다.That is, the HMD device 1000 displays the object 161 so that the user 11 can recognize that it is located at a distance from the transparent display 1003 by a predetermined distance regardless of the direction in which the user's hand is facing. Can be displayed.

즉, HMD 장치(1000)는 디스플레이 영역(16)에 표시할 객체(161)의 특성 또는 사용자(11)의 손이 향하는 방향 중 적어도 하나에 기초하여 디스플레이 영역(16)에 대한 객체(161)의 표시 방법을 결정할 수 있다.That is, the HMD device 1000 is based on at least one of the characteristics of the object 161 to be displayed on the display area 16 or the direction in which the user's hand is facing. You can decide how to display it.

본 개시에서, HMD 장치(1000)가 사용자(11)로 하여금 손보다 앞에 있는 것으로 인식할 수 있도록 표시하는 원근감을 가지는 객체를 플로팅 객체(floating object)로, 손보다 뒤에 있는 것으로 인식할 수 있도록 표시하는 원근감을 가지는 객체를 배경 객체(background object)로 지칭하기로 한다.In the present disclosure, an object having a perspective that the HMD device 1000 displays so that the user 11 can recognize that it is in front of the hand is displayed as a floating object, so that it can be recognized as being behind the hand. An object having a sense of perspective is referred to as a background object.

HMD 장치(1000)가 사용자(11)의 손이 향하는 방향 또는 객체(161)의 특성 중 적어도 하나에 기초하여 디스플레이 영역(16)에 대한 객체(161)의 표시 방법을 결정하는 실시예에 대해서는 도 2를 통해 후술한다.An embodiment in which the HMD device 1000 determines a display method of the object 161 on the display area 16 based on at least one of the direction in which the user's hand is facing or the characteristics of the object 161 is illustrated in FIG. It will be described later through 2.

한편, HMD 장치(1000)는 디스플레이 영역(16)에 표시된 객체(161)에 대한 인터랙션 방법에 관하여, 사용자(11)의 손이 향하는 방향 또는 객체(161)의 특성 중 적어도 하나에 관한 조건을 설정할 수 있다.On the other hand, the HMD device 1000 sets a condition for at least one of a direction in which the user 11's hand faces or a characteristic of the object 161 with respect to the interaction method with the object 161 displayed on the display area 16. I can.

HMD 장치(1000)는, 예를 들어, 디스플레이 영역(16)에 표시할 객체(161)가 플로팅 객체일 경우, 사용자(11)로 하여금 디스플레이 영역(16) 내에 위치한 손보다 앞에 있는 것으로 인식할 수 있도록 객체(161)를 표시할 수 있다. HMD 장치(1000)는 디스플레이 영역(16)에 플로팅 객체를 표시함과 동시에, 사용자(11)의 손이 향하는 방향이 내측 방향인 경우에만 플로팅 객체에 대한 인터랙션이 이루어지도록 조건을 설정할 수 있다.For example, when the object 161 to be displayed on the display area 16 is a floating object, the HMD device 1000 may recognize that the user 11 is in front of a hand located in the display area 16. The object 161 can be displayed so that it is possible. The HMD device 1000 may display the floating object on the display area 16 and set a condition so that the interaction with the floating object is performed only when the user 11's hand is in the inward direction.

반대로, 디스플레이 영역(16)에 표시할 객체(161)가 배경 객체일 경우, HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역(16) 내에 위치한 손보다 뒤에 있는 것으로 인식할 수 있도록 객체(161)를 표시할 수 있다. HMD 장치(1000)는 디스플레이 영역(16)에 배경 객체를 표시함과 동시에, 사용자(11)의 손이 향하는 방향이 외측 방향인 경우에만 배경 객체에 대한 인터랙션이 이루어지도록 조건을 설정할 수 있다.Conversely, when the object 161 to be displayed on the display area 16 is a background object, the HMD device 1000 may recognize that the user 11 is behind a hand positioned in the display area 16. 161) can be displayed. The HMD device 1000 may display a background object on the display area 16 and set a condition so that an interaction with the background object is performed only when the direction in which the user's hand is facing is the outer direction.

본 개시에서, 사용자(11)의 외측 방향의 손(141)이 디스플레이 영역(16)에 표시된 객체와 인터랙션하는 동작을 온 스크린(on screen) 입력으로, 사용자(11)의 내측 방향의 손(142)이 디스플레이 영역(16)에 표시된 객체와 인터랙션하는 동작을 백 스크린(back screen) 입력으로 지칭하기로 한다.In the present disclosure, an operation in which the hand 141 in the outward direction of the user 11 interacts with the object displayed on the display area 16 is an on-screen input, and the hand 142 in the inward direction of the user 11 ), the interaction with the object displayed on the display area 16 will be referred to as a back screen input.

한편, 디스플레이 영역(16)에 표시된 객체(161) 객체에 대한 인터랙션이 이루어지면, HMD 장치(1000)는 사용자(11)의 손과 인터랙션하는 객체(161) 및 객체(161)를 터치한 사용자(11)의 손이 향하는 방향에 매칭된 소정의 기능을 실행할 수 있다.On the other hand, when an interaction with the object 161 displayed on the display area 16 is made, the HMD device 1000 is the object 161 interacting with the hand of the user 11 and the user touching the object 161 ( 11) It is possible to execute a predetermined function matching the direction of the hand.

HMD 장치(1000)는, 예를 들어, 사용자(11)가 디스플레이 영역(16)에 표시된 객체(161)에 대하여 외측 방향의 손(141) 또는 내측 방향의 손(142)을 사용하는 인터랙션을 수행함에 따라, 손의 방향에 관계없이 객체(161)에 대응되는 소정의 제1 기능을 실행할 수 있다.The HMD device 1000, for example, performs an interaction using the hand 141 in the outward direction or the hand 142 in the inward direction with respect to the object 161 displayed on the display area 16 by the user 11 Accordingly, a predetermined first function corresponding to the object 161 can be executed regardless of the direction of the hand.

HMD 장치(1000)는, 다른 예로, 사용자(11)가 디스플레이 영역(16)에 표시된 객체(161)와 외측 방향의 손(141)을 사용하여 인터랙션을 수행함에 따라, 손의 방향 및 온 스크린 입력을 통해 선택된 객체(161)에 대응되는 소정의 제2 기능을 실행할 수 있다. As another example, the HMD device 1000 performs an interaction with the object 161 displayed on the display area 16 and the hand 141 in an outward direction, so that the hand direction and on-screen input A second function corresponding to the object 161 selected through may be executed.

반대로, HMD 장치(1000)는 사용자(11)가 디스플레이 영역(16)에 표시된 객체(161)와 내측 방향의 손(142)을 사용하여 인터랙션을 수행함에 따라, 손의 방향 및 백 스크린 입력을 통해 선택된 객체(161)에 대응되는 소정의 제3 기능을 실행할 수 있다.Conversely, as the user 11 performs an interaction using the object 161 displayed on the display area 16 and the hand 142 in the inward direction, the HMD device 1000 performs a hand direction and a back screen input. A third function corresponding to the selected object 161 may be executed.

도 2는 일부 실시예에 따른 HMD 장치가 디스플레이 영역에 객체를 표시하는 방법을 나타낸 도면이다.2 is a diagram illustrating a method of displaying an object on a display area by an HMD device according to some embodiments.

일부 실시예에 따른 HMD 장치(1000)는 객체의 특성에 기초하여 디스플레이 영역에 대한 객체의 표시 방법을 결정할 수 있다.The HMD device 1000 according to some embodiments may determine a display method of an object in the display area based on the characteristics of the object.

도 2의 (a)를 참조하면, 일부 실시예에 따른 디스플레이 영역 내에 위치한 외측 방향의 손(141)이 온 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 A 객체(261) 및 B 객체(263)와 중첩된 모습이 도시되어있다. Referring to FIG. 2A, an outward hand 141 located in the display area according to some embodiments is used for on-screen input, so that the object A 261 and the object B 263 displayed in the display area The superimposed appearance is shown.

HMD 장치(1000)는, 예를 들어, B 객체(263)를 플로팅 객체로 설정할 수 있다. 즉, HMD 장치(1000)는, 사용자(11)의 손이 향하는 방향과 관계없이 사용자(11)로 하여금 디스플레이 영역 내에 위치한 손보다 항상 앞에 있는 것으로 인식할 수 있도록 B 객체(263)를 표시할 수 있다. The HMD device 1000 may set the B object 263 as a floating object, for example. That is, the HMD device 1000 may display the B object 263 so that the user 11 can recognize that it is always in front of the hand located in the display area regardless of the direction the user 11's hand is facing. have.

사용자(11)의 외측 방향의 손(141)이 디스플레이 영역에 표시된 A 객체(261)와 인터랙션하는 동안, 사용자(11)는 B 객체(263)가 사용자(11)의 외측 방향의 손(141)보다 앞에 있는 것으로 인식할 수 있다.While the user 11's outward hand 141 interacts with the A object 261 displayed in the display area, the user 11 receives the B object 263 and the user 11's outward hand 141 It can be recognized as being in front of it.

한편, 도 2의 (b)를 참조하면, 일부 실시예에 따른 디스플레이 영역 내에 위치한 내측 방향의 손(142)이 백 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 A 객체(261) 및 C 객체(265)와 중첩된 모습이 도시되어있다.Meanwhile, referring to (b) of FIG. 2, an inward hand 142 located in the display area according to some embodiments is used for back screen input, so that the A object 261 and the C object 265 are displayed in the display area. ) And overlapped.

HMD 장치(1000)는, 예를 들어, C 객체(265)를 배경 객체로 설정할 수 있다. 즉, HMD 장치(1000)는, 사용자(11)의 손이 향하는 방향과 관계없이 사용자(11)로 하여금 디스플레이 영역 내에 위치한 손보다 항상 뒤에 있는 것으로 인식할 수 있도록 C 객체(265)를 표시할 수 있다. The HMD device 1000 may set the C object 265 as a background object, for example. That is, the HMD device 1000 can display the C object 265 so that the user 11 can recognize that it is always behind the hand located in the display area regardless of the direction the user 11's hand is facing. have.

사용자(11)의 내측 방향의 손(142)이 디스플레이 영역에 표시된 A 객체(261)와 인터랙션하는 동안, 사용자(11)는 C 객체(265)가 사용자(11)의 내측 방향의 손(142)보다 뒤에 있는 것으로 인식할 수 있다.While the user 11's inward hand 142 interacts with the A object 261 displayed on the display area, the user 11 receives the C object 265 and the user 11’s inward hand 142 It can be recognized as being behind.

한편, 일부 실시예에 따른 HMD 장치(1000)는 사용자(11)의 손이 향하는 방향 또는 객체의 특성 중 적어도 하나에 기초하여 디스플레이 영역에 대한 객체의 표시 방법을 결정할 수 있다.Meanwhile, the HMD apparatus 1000 according to some embodiments may determine a display method of an object in the display area based on at least one of a direction in which the user 11's hand is facing or characteristics of the object.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손이 향하는 방향에 기초하여, 디스플레이 영역 내에서 사용자(11)의 손과 객체가 중첩되는 영역에 객체를 표시할지 여부를 판단할 수 있다.The HMD device 1000 may determine whether to display an object in an area where the user 11's hand and the object overlap within the display area, for example, based on the direction in which the user's 11 hand is facing. have.

도 2의 (c)를 참조하면, 일부 실시예에 따른 디스플레이 영역 내에 위치한 외측 방향의 손(141)이 온 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 A 객체(261) 및 외부 디스플레이(18)에 표시된 D 객체(281)와 중첩된 모습이 도시되어있다.Referring to FIG. 2C, an outward hand 141 located in the display area according to some embodiments is used for on-screen input, so that the object A 261 and the external display 18 displayed in the display area are An overlapped state with the displayed D object 281 is shown.

HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 외측 방향의 손(141)보다 뒤에 있는 것으로 인식할 수 있도록 A 객체(261)를 표시할 수 있다. 즉, HMD 장치(1000)는 A 객체(261)를 배경 객체로 설정할 수 있다.The HMD device 1000 may display the object A 261 so that the user 11 may recognize that it is behind the hand 141 in the outer direction located in the display area. That is, the HMD device 1000 may set the A object 261 as a background object.

예를 들어, 사용자(11)의 손이 향하는 방향이 외측 방향인 것으로 판단되면, HMD 장치(1000)는 디스플레이 영역에 표시되는 A 객체(261)에서 외측 방향의 손(141) 및 A 객체(261)가 중첩되는 영역을 제거할 수 있다. 이와 같이 사용자의 손 및 객체가 중첩되는 영역을 제거하는 이미지 표시 방식은 일반적으로 손 가림 제거(Hand Occlusion) 방식으로 지칭된다.For example, if it is determined that the direction in which the user's hand is facing is an outward direction, the HMD device 1000 displays the hand 141 and the A object 261 in the outward direction from the A object 261 displayed on the display area. ) Can be removed. In this way, an image display method in which a region in which a user's hand and an object overlap is removed is generally referred to as a hand occlusion method.

HMD 장치(1000)가 손 가림 제거 방식을 통해 객체로부터 사용자의 손 및 객체가 중첩되는 영역을 제거하는 구체적인 방법은 도 8의 실시예를 통해 후술한다.A specific method of removing the area where the user's hand and the object overlap from the object through the hand blocking removal method by the HMD device 1000 will be described later through the embodiment of FIG. 8.

HMD 장치(1000)가 디스플레이 영역에 표시되는 A 객체(261)에서 외측 방향의 손(141) 및 A 객체(261)가 중첩 영역되는 영역을 제거함에 따라, 사용자(11)는 외측 방향의 손(141)이 디스플레이 영역에 표시되는 A 객체(261)보다 앞에 위치하고 있는 것으로 인식할 수 있다.As the HMD device 1000 removes the area where the outer hand 141 and the A object 261 overlap from the A object 261 displayed on the display area, the user 11 It may be recognized that the 141 is positioned in front of the A object 261 displayed on the display area.

한편, 도 2의 (d)를 참조하면, 일부 실시예에 따른 디스플레이 영역 내에 위치한 내측 방향의 손(142)이 백 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 A 객체(261) 및 외부 디스플레이(18)에 표시된 D 객체(281)와 중첩된 모습이 도시되어있다.Meanwhile, referring to (d) of FIG. 2, the inward hand 142 located in the display area according to some embodiments is used for back screen input, so that the object A 261 and the external display 18 displayed in the display area are A state overlapped with the D object 281 shown in) is shown.

HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 내측 방향의 손(142)보다 앞에 있는 것으로 인식할 수 있도록 A 객체(261)를 표시할 수 있다. 즉, HMD 장치(1000)는 A 객체(261)를 플로팅 객체로 설정할 수 있다.The HMD device 1000 may display the object A 261 so that the user 11 may recognize that it is in front of the inward hand 142 located in the display area. That is, the HMD device 1000 may set the A object 261 as a floating object.

예를 들어, 사용자(11)의 손이 향하는 방향이 내측 방향인 것으로 판단되면, HMD 장치(1000)는 내측 방향의 손(142) 및 A 객체(261)의 중첩 여부와 관계없이 디스플레이 영역에 A 객체(261)의 모든 영역을 표시할 수 있다.For example, if it is determined that the direction in which the user's hand is facing is the inward direction, the HMD device 1000 displays A in the display area regardless of whether the inward hand 142 and the A object 261 overlap. All areas of the object 261 can be displayed.

HMD 장치(1000)가 디스플레이 영역에 완전한 A 객체(261)를 표시함에 따라, 사용자(11)는 내측 방향의 손(142)이 디스플레이 영역에 표시된 A 객체(261)보다 뒤에 위치하고 있는 것으로 인식할 수 있다.As the HMD device 1000 displays the complete A object 261 on the display area, the user 11 can recognize that the inward hand 142 is located behind the A object 261 displayed on the display area. have.

HMD 장치(1000)는, 다른 예로, 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정하고, 측정된 거리 및 객체의 종류에 기초하여, 디스플레이 영역 내에서 사용자(11)의 손과 객체가 중첩되는 영역에 객체를 표시할지 여부를 판단할 수 있다.As another example, the HMD device 1000 measures the distance between the transparent display 1003 and the hand of the user 11, and based on the measured distance and the type of the object, the hand of the user 11 It can be determined whether to display the object in the area where the and object overlap.

HMD 장치(1000)는, 예를 들어, 카메라(1005)를 통해 촬영된 이미지에 기초하여 객체와 인터랙션하는 사용자(11)의 손의 깊이를 식별하고, 식별된 손의 깊이 및 객체의 종류에 기초하여, 디스플레이 영역 내에서 사용자(11)의 손과 객체가 중첩되는 영역에 객체를 표시할지 여부를 판단할 수 있다.The HMD device 1000, for example, identifies the depth of the hand of the user 11 interacting with an object based on an image captured through the camera 1005, and based on the identified depth of the hand and the type of the object. Thus, it is possible to determine whether to display the object in an area where the user 11's hand and the object overlap within the display area.

다시 도 2의 (c)를 참조하면, HMD 장치(1000)는 외측 방향의 손(141)이 투명 디스플레이(1003)로부터 소정의 거리 이내에 위치한 경우에만, 사용자(11)로 하여금 디스플레이 영역 내에 위치한 외측 방향의 손(141)보다 뒤에 있는 것으로 인식할 수 있도록 A 객체(261)를 표시할 수 있다. Referring back to FIG. 2(c), the HMD device 1000 causes the user 11 to cause the user 11 only when the outward hand 141 is located within a predetermined distance from the transparent display 1003. The object A 261 may be displayed so that it can be recognized as being behind the hand 141 in the direction.

A 객체(261)에 대한 온 스크린 입력에 사용되던 외측 방향의 손(141)이 투명 디스플레이(1003)로부터의 소정의 거리를 벗어나면, HMD 장치(1000)는, 도 2의 (d)에 도시된 것과 유사하게, 사용자(11)로 하여금 디스플레이 영역 내에 위치한 외측 방향의 손(141)보다 앞에 있는 것으로 인식할 수 있도록 A 객체(261)를 표시할 수 있다.When the outward hand 141 used for on-screen input to the A object 261 is out of a predetermined distance from the transparent display 1003, the HMD device 1000 is shown in FIG. 2(d). Similarly, the object A 261 may be displayed so that the user 11 may recognize that it is in front of the hand 141 in the outward direction located in the display area.

즉, HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리에 기초하여, A 객체(261)를 배경 객체 또는 플로팅 객체 중 어느 하나로 설정함으로써, 사용자(11)로 하여금 A 객체(261)가 투명 디스플레이(1003)로부터 소정의 거리만큼 떨어진 곳에 위치하고 있는 것으로 인식하게 할 수 있다.That is, the HMD device 1000 sets the object A 261 as either a background object or a floating object based on the distance between the transparent display 1003 and the hand of the user 11, thereby causing the user 11 to The object A 261 may be recognized as being located at a distance from the transparent display 1003 by a predetermined distance.

도 3은 일부 실시예에 따른 HMD 장치의 동작 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a method of operating an HMD device according to some embodiments.

도 3을 참조하면, 일부 실시예에 따른 HMD 장치(1000)는, S301 단계에서, 투명 디스플레이(1003)를 통해 디스플레이 영역 내에 적어도 하나의 객체를 표시할 수 있다. HMD 장치(1000)를 착용한 사용자(11)는 투명 디스플레이(1003)를 통해 표시되는 이미지로서, 적어도 하나의 객체가 디스플레이 영역 상의 특정 위치에 표시되는 것으로 인식할 수 있다.Referring to FIG. 3, the HMD apparatus 1000 according to some embodiments may display at least one object in the display area through the transparent display 1003 in step S301. The user 11 wearing the HMD device 1000 may recognize that as an image displayed through the transparent display 1003, at least one object is displayed at a specific position on the display area.

HMD 장치(1000)는, S302 단계에서, 디스플레이 영역에 표시된 객체와 인터랙션하는 사용자(11)의 손을 촬영할 수 있다. HMD 장치(1000)는, 예를 들어, HMD 장치(1000)를 착용한 사용자(11)의 전방의 이미지를 촬영할 수 있는 카메라(1005)를 사용하여, 디스플레이 영역에 표시된 객체와 인터랙션하는 사용자(11)의 손을 촬영할 수 있다.The HMD device 1000 may capture a hand of the user 11 interacting with an object displayed on the display area in step S302. The HMD device 1000 uses, for example, a camera 1005 capable of capturing an image in front of the user 11 wearing the HMD device 1000, and interacts with the object displayed in the display area. )'S hand can be photographed.

사용자(11)의 손을 촬영한 HMD 장치(1000)는, S303 단계에서, 촬영된 이미지에 기초하여 객체와 인터랙션하는 손이 향하는 방향을 판단할 수 있다. HMD 장치(1000)는, 예를 들어, 디스플레이 영역에 표시된 객체와 인터랙션하는 사용자(11)의 손을, 손의 바닥 면이 투명 디스플레이(1003)의 반대 방향을 향하는 외측 방향의 손 및 손의 바닥 면이 투명 디스플레이(1003) 방향을 향하는 내측 방향의 손 중 어느 하나로 구분할 수 있다.The HMD device 1000 photographing the hand of the user 11 may determine a direction in which the hand interacting with the object faces based on the photographed image in step S303. The HMD device 1000 includes, for example, a hand of the user 11 interacting with an object displayed in the display area, a hand in an outward direction and a bottom of the hand in which the bottom surface of the hand faces in the opposite direction of the transparent display 1003. It can be distinguished by one of the hands in the inward direction facing the transparent display 1003.

마지막으로, S304 단계에서, HMD 장치(1000)는 사용자(11)의 손과 인터랙션하는 객체 및 손이 향하는 방향에 매칭된 소정의 기능을 실행할 수 있다.Finally, in step S304, the HMD device 1000 may execute a predetermined function matched with the object interacting with the user's 11 hand and the direction the hand is facing.

도 4는 일부 실시예 따른 HMD 장치의 손 제스처 분석 방법을 순서대로 나타낸 흐름도이다.4 is a flowchart sequentially illustrating a hand gesture analysis method of an HMD device according to some embodiments.

일부 실시예에 따른 HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여 사용자(11)의 손의 제스처를 분석할 수 있다. HMD 장치(1000)는 사용자(11)의 손의 제스처 분석 결과에 기초하여 사용자(11)의 손과 객체의 인터랙션을 감지할 수 있다.The HMD device 1000 according to some embodiments may analyze a gesture of a hand of the user 11 based on an image captured by the camera 1005. The HMD device 1000 may detect an interaction between the user 11's hand and the object based on the result of analyzing the user's hand's gesture.

도 4를 참조하면, 일부 실시예에 따른 HMD 장치(1000)는, S401 단계에서, 카메라(1005)를 통해 실시간으로 촬영된 이미지를 획득할 수 있다. 카메라(1005)는, 예를 들어, HMD 장치(1000)를 착용한 사용자(11)의 전방의 이미지를 실시간으로 촬영할 수 있다. Referring to FIG. 4, the HMD device 1000 according to some embodiments may acquire an image captured in real time through the camera 1005 in step S401. The camera 1005 may capture, for example, an image in front of the user 11 wearing the HMD device 1000 in real time.

S402 단계에서, HMD 장치(1000)는 획득된 이미지로부터 손을 검출할 수 있다. 즉, HMD 장치(1000)는 획득된 이미지를 분석하여, 손에 대응되는 이미지 영역이 획득된 이미지에 포함되어 있는지 여부를 판단할 수 있다.In step S402, the HMD device 1000 may detect a hand from the acquired image. That is, the HMD device 1000 may analyze the acquired image and determine whether an image area corresponding to the hand is included in the acquired image.

HMD 장치(1000)가 획득된 이미지로부터 손을 검출하는 방법은, 예를 들어, 피부색 정보에 기초하여 생성된 피부색 모델을 이용한 검출 방법, 2차원 혹은 3차원의 가상 손 모델을 이용한 검출 방법 및 깊이(depth)에 관한 정보를 포함하는 3차원 영상 데이터를 이용한 검출 방법 등이 있으나, 반드시 이에 한정되는 것은 아니다. A method of detecting a hand from an image obtained by the HMD device 1000 includes, for example, a detection method using a skin color model generated based on skin color information, a detection method using a two-dimensional or three-dimensional virtual hand model, and depth. There is a detection method using 3D image data including information on (depth), but is not limited thereto.

획득된 이미지로부터 손을 검출한 HMD 장치(1000)는, S403 단계에서, 검출된 손의 위치, 형상 또는 이동 방향 중 적어도 하나에 관한 정보를 획득할 수 있다.The HMD device 1000 having detected the hand from the acquired image may acquire information on at least one of the detected position, shape, and movement direction of the hand in step S403.

HMD 장치(1000)는, 예를 들어, 카메라(1005)를 이용하여 획득된 이미지로부터 손의 윤곽선을 획득할 수 있다. HMD 장치(1000)는, 예를 들어, 사용자(11)의 손이 HMD 장치(1000)로부터 일정한 거리 범위에 있다고 가정을 하고, 깊이 영상과 RGB 색 정보를 이용하여 사용자(11)의 손의 제스처를 검출할 수 있다.The HMD device 1000 may obtain, for example, the outline of a hand from an image acquired using the camera 1005. The HMD device 1000, for example, assumes that the user's 11 hand is within a certain distance range from the HMD device 1000, and uses the depth image and RGB color information to make a gesture of the user's 11 hand. Can be detected.

도 5는 일부 실시예 따른 HMD 장치의 디스플레이 영역 내 손의 위치를 판단하는 방법을 나타낸 도면이다.5 is a diagram illustrating a method of determining a position of a hand in a display area of an HMD device according to some embodiments.

도 5를 참조하면, 일부 실시예 따른 HMD 장치(1000)는 디스플레이 영역 내의 손의 위치를 이미지 좌표계의 2차원 평면(51) 상의 하나의 점과 대응시킬 수 있다. HMD 장치(1000)는, 예를 들어, 디스플레이 영역 내의 손의 위치를 2차원 좌표 (x, y)와 대응시킬 수 있다.Referring to FIG. 5, the HMD apparatus 1000 according to some embodiments may associate a position of a hand in a display area with a point on a 2D plane 51 of an image coordinate system. The HMD device 1000 may correspond, for example, the position of the hand in the display area to the 2D coordinates (x, y).

HMD 장치(1000)는, 예를 들어, 디스플레이 영역 내에서 원점을 설정할 수 있다. 디스플레이 영역 내의 손의 위치와 대응되는 2차원 좌표 (x, y)는 원점을 기준으로 결정될 수 있다. The HMD device 1000 may set an origin in the display area, for example. The two-dimensional coordinates (x, y) corresponding to the position of the hand in the display area may be determined based on the origin.

HMD 장치(1000)는, 예를 들어, 손의 형상에 관한 정보에 기초하여, 손의 위치를 판단하기 위한 기준을 손가락 말단의 위치로 결정할 수 있다.The HMD apparatus 1000 may determine, for example, a reference for determining the position of the hand as the position of the finger tip, based on information on the shape of the hand.

다시 도 5를 참조하면, HMD 장치(1000)는, 예를 들어, 디스플레이 영역에 표시된 객체와 인터랙션하는 손의 방향이 내측 방향인 것으로 결정할 수 있다. HMD 장치(1000)는 내측 방향의 손(142)의 형상에 관한 정보를 획득하여 손가락 말단의 위치를 확인할 수 있다. HMD 장치(1000)는 확인된 손가락 말단의 위치에 기초하여 손의 위치를 2차원 좌표 (x1, y1)으로 결정할 수 있다.Referring back to FIG. 5, the HMD device 1000 may determine, for example, that the direction of the hand interacting with the object displayed on the display area is the inward direction. The HMD device 1000 may obtain information on the shape of the hand 142 in the inward direction to determine the position of the finger tip. The HMD device 1000 may determine the position of the hand as 2D coordinates (x1, y1) based on the identified position of the finger tip.

HMD 장치(1000)는, 다른 예로, 손의 형상에 관한 정보에 기초하여, 손의 위치를 판단하기 위한 기준을 손바닥 중심의 위치로 결정할 수 있다.As another example, the HMD device 1000 may determine a reference for determining the position of the hand as the position of the center of the palm, based on information on the shape of the hand.

다시 도 5를 참조하면, HMD 장치(1000)는, 예를 들어, 디스플레이 영역에 표시된 객체와 인터랙션하는 손의 방향이 내측 방향인 것으로 결정할 수 있다. HMD 장치(1000)는 내측 방향의 손(142)의 형상에 관한 정보를 획득하여 손바닥 중심의 위치를 확인할 수 있다. HMD 장치(1000)는 확인된 손바닥 중심의 위치에 기초하여 손의 위치를 2차원 좌표 (x2, y2)로 결정할 수 있다.Referring back to FIG. 5, the HMD device 1000 may determine, for example, that the direction of the hand interacting with the object displayed on the display area is the inward direction. The HMD device 1000 may obtain information on the shape of the hand 142 in the inward direction to determine the position of the center of the palm. The HMD device 1000 may determine the position of the hand as 2D coordinates (x2, y2) based on the identified position of the center of the palm.

HMD 장치(1000)는 결정된 손의 위치 및 디스플레이 영역에 객체가 표시된 위치에 기초하여 객체 및 사용자(11)의 손의 인터랙션을 감지할 수 있다.The HMD device 1000 may detect an interaction between the object and the hand of the user 11 based on the determined position of the hand and the position where the object is displayed on the display area.

도 6은 일부 실시예 따른 HMD 장치의 손 각도 측정 방법을 나타낸 도면이다.6 is a diagram illustrating a method of measuring a hand angle of an HMD device according to some embodiments.

일부 실시예 따른 HMD 장치(1000)는 손이 향하는 방향을 판단하기 위하여, 손의 바닥 면과 투명 디스플레이의 표면 사이의 각도를 측정할 수 있다. HMD 장치(1000)는 측정된 각도에 기초하여 손이 향하는 방향을 판단할 수 있다.The HMD apparatus 1000 according to some embodiments may measure an angle between the bottom surface of the hand and the surface of the transparent display in order to determine the direction in which the hand is facing. The HMD device 1000 may determine the direction in which the hand is directed based on the measured angle.

도 6을 참조하면, 일부 실시예 따른 HMD 장치(1000)는 심층 신경망(Deep Neural Network, DNN)을 사용하여 사용자(11)의 손이 향하는 방향을 판단할 수 있다. HMD 장치(1000)는 미리 학습된 손 모델 데이터에 기초하여 사용자(11)의 손이 향하는 방향을 판단할 수 있다. Referring to FIG. 6, the HMD device 1000 according to some embodiments may determine a direction in which the user 11's hand is directed using a deep neural network (DNN). The HMD device 1000 may determine a direction in which the user 11's hand is directed based on pre-learned hand model data.

HMD 장치(1000)는, 예를 들어, 컨볼루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 사용하여 사용자(11)의 손이 향하는 방향을 판단할 수 있다.The HMD device 1000 may determine the direction in which the user 11's hand is directed using, for example, a convolution neural network (CNN).

컨볼루션 뉴럴 네트워크는 다층 신경망의 한 종류로서, 기존의 신경망과 다르게 입력 원본 데이터를 바로 연산하여 출력하지 않고, 특징(feature) 추출 단계와 분류화(classification) 단계를 거쳐 결과 값을 획득할 수 있다. A convolutional neural network is a type of multilayer neural network. Unlike conventional neural networks, it does not directly compute and output the input original data, but can obtain a result value through a feature extraction step and a classification step. .

일반적인 컨볼루션 뉴럴 네트워크의 구조는 컨벌루션(convolution) 레이어, 풀링(Pooling) 레이어 및 완전 연결(Fully-Connected) 레이어를 포함할 수 있다. 컨볼루션 뉴럴 네트워크에 포함된 컨벌루션 레이어 및 풀링 레이어는 입력 데이터의 특성 추출에 사용될 수 있고, 완전 연결 레이어는 입력 데이터의 분류에 사용될 수 있다.The structure of a general convolutional neural network may include a convolution layer, a pooling layer, and a fully-connected layer. The convolutional layer and the pooling layer included in the convolutional neural network may be used for feature extraction of input data, and the fully connected layer may be used for classification of input data.

보다 구체적으로, 컨벌루션 레이어는 입력 데이터에 특정 크기의 필터를 적용하여 다음 레이어에 전달할 새로운 데이터 데이터를 생성할 수 있으며, 컨벌루션 레이어의 입출력 데이터는 특징 맵(feature map)으로 지칭될 수 있다.More specifically, the convolutional layer may generate new data data to be transmitted to the next layer by applying a filter of a specific size to the input data, and the input/output data of the convolutional layer may be referred to as a feature map.

보다 구체적으로, 풀링 레이어는 최대 풀링(Max Pooling) 및 평균 풀링(Average Pooling)과 같은 풀링 기법을 통해 데이터를 서브 샘플링 함으로써 데이터의 크기를 축소할 수 있다.More specifically, the pooling layer may reduce the size of data by subsampling data through a pooling technique such as Max Pooling and Average Pooling.

이처럼 컨볼루션 뉴럴 네트워크는 컨벌루션 레이어 및 풀링 레이어를 사용하여 입력 데이터, 특히 입력 이미지에 대한 특징 맵의 3차원 형상을 유지하여 처리할 수 있으므로, 복수의 입력 이미지 간 관련성에 관한 정보가 손실되는 것을 방지하여 이미지 인식률을 높일 수 있는 장점이 있다.In this way, the convolutional neural network can process input data by using a convolutional layer and a pooling layer to maintain and process the three-dimensional shape of the input data, especially the feature map for the input image, thereby preventing the loss of related information between multiple input images. Thus, there is an advantage of increasing the image recognition rate.

HMD 장치(1000)가 사용자(11)의 손이 향하는 방향을 판단하기 이전에, HMD 장치(1000)가 사용하는 컨볼루션 뉴럴 네트워크는 학습용 데이터로서 복수의 손 이미지(601)를 미리 입력받을 수 있다. 복수의 손 이미지(601)를 입력받은 컨볼루션 뉴럴 네트워크는 각 손 이미지에 대응되는 손의 각도를 출력할 수 있다.Before the HMD device 1000 determines the direction in which the user's hand is facing, the convolutional neural network used by the HMD device 1000 may receive a plurality of hand images 601 in advance as training data. . The convolutional neural network receiving the plurality of hand images 601 may output the angle of the hand corresponding to each hand image.

컨볼루션 뉴럴 네트워크는, 출력된 손의 각도 및 복수의 손 이미지(601) 각각에 대하여 라벨링된 각도의 비교 결과에 기초하여, 컨볼루션 뉴럴 네트워크에 포함된 각 레이어의 가중치(weight)를 조정하는 방식으로 손 방향 검출 모델의 학습에 사용될 수 있다.The convolutional neural network is a method of adjusting the weight of each layer included in the convolutional neural network based on a comparison result of the output hand angle and the labeled angle for each of the plurality of hand images 601 It can be used to train the hand direction detection model.

예를 들어, HMD 장치(1000)가 카메라(1005)를 통해 획득한 사용자(11)의 손에 대한 이미지(64)를 입력받은 손 방향 검출 모델은 컨볼루션 뉴럴 네트워크의 각 레이어를 통한 연산의 결과로서 사용자(11)의 손의 각도를 출력할 수 있다. HMD 장치(1000)는 손 방향 검출 모델을 통해 획득한 사용자(11)의 손의 각도에 기초하여 사용자(11)의 손이 향하는 방향을 결정할 수 있다.For example, the hand direction detection model in which the HMD device 1000 receives the image 64 of the user 11's hand acquired through the camera 1005 is a result of calculation through each layer of the convolutional neural network. As a result, the angle of the user's 11 hand can be output. The HMD device 1000 may determine a direction in which the user's hand is facing based on the angle of the user's 11 hand acquired through the hand direction detection model.

HMD 장치(1000)는, 예를 들어, 손 방향 검출 모델을 통해 획득한 사용자(11)의 손의 각도가 0도 이상 90도 미만의 각도일 경우, 사용자(11)의 손이 향하는 방향이 외측인 것으로 결정할 수 있다. 반대로, HMD 장치(1000)는 손 방향 검출 모델을 통해 획득한 사용자(11)의 손의 각도가 90도 이상 180도 이하의 각도일 경우, 사용자(11)의 손이 향하는 방향이 외측인 것으로 결정할 수 있다.HMD device 1000, for example, when the angle of the hand of the user 11 acquired through the hand direction detection model is 0 degrees or more and less than 90 degrees, the direction of the user 11's hand is outside Can be determined to be. Conversely, the HMD device 1000 determines that the user 11's hand is directed to the outside when the angle of the hand of the user 11 acquired through the hand direction detection model is 90 degrees or more and 180 degrees or less. I can.

도 7은 일부 실시예 따른 HMD 장치의 손 각도 측정 방법을 나타낸 도면이다.7 is a diagram illustrating a method of measuring a hand angle of an HMD device according to some embodiments.

도 7을 참조하면, 일부 실시예 따른 HMD 장치(1000)는 사용자(11)의 손에 대한 이미지에 기초하여 스켈레톤 모델을 생성함으로써 사용자(11)의 손이 향하는 방향을 판단할 수 있다.Referring to FIG. 7, the HMD device 1000 according to some embodiments may determine a direction in which the user 11's hand is directed by generating a skeleton model based on an image of the user's 11 hand.

사용자(11)의 손이 향하는 방향을 판단하는데 사용되는 스켈레톤 모델은 인간의 손에 포함된 뼈 및 관절의 구조와 손의 가동 범위에 관한 정보를 포함하는 3차원 모델로서, 손의 동작을 기하학적인 측면에서 분석하기 위한 기준으로 사용될 수 있다.The skeleton model used to determine the direction in which the user's hand is facing is a 3D model that includes information on the structure of bones and joints included in the human hand and the range of motion of the hand. It can be used as a criterion for analysis from the side.

먼저, 일부 실시예 따른 HMD 장치(1000)는 사용자(11)의 손에 대한 이미지(71)로부터 복수의 특징점을 추출할 수 있다. First, the HMD device 1000 according to some embodiments may extract a plurality of feature points from the image 71 of the user 11's hand.

다음으로, HMD 장치(1000)는 사용자(11)의 손에 대한 이미지(71)로부터 추출된 복수의 특징점 중 손목과 대응되는 특징점(732)을 획득할 수 있다.Next, the HMD device 1000 may acquire a feature point 732 corresponding to a wrist from among a plurality of feature points extracted from the image 71 of the user 11's hand.

손목과 대응되는 특징점(732)을 획득한 HMD 장치(1000)는 손목과 대응되는 특징점(732)을 기준으로 방사형으로 확장되는 기준선을 순서대로 획득하고, 획득된 기준선과 중첩되는 손가락의 위치(733)를 결정할 수 있다.The HMD device 1000 having acquired the feature points 732 corresponding to the wrist sequentially acquires a reference line extending radially based on the feature point 732 corresponding to the wrist, and the position 733 of the finger overlapping the acquired reference line. ) Can be determined.

HMD 장치(1000)는 결정된 모든 기준선과 중첩되는 손가락의 위치(733)에 기초하여, 사용자(11)의 손에 포함된 다섯 손가락에 대응되는 손가락 중심선(734)을 획득할 수 있다. HMD 장치(1000)는 획득된 손가락 중심선(734)의 구조 또는 길이 중 적어도 하나에 기초하여 엄지손가락 및 새끼손가락의 위치를 확인함으로써, 사용자(11)의 손이 향하는 방향(735)을 결정할 수 있다.The HMD apparatus 1000 may acquire a finger center line 734 corresponding to five fingers included in the hand of the user 11 based on the positions 733 of fingers overlapping all determined reference lines. The HMD device 1000 may determine the direction 735 that the hand of the user 11 faces by checking the positions of the thumb and the little finger based on at least one of the structure or length of the acquired finger center line 734. .

지금까지 일부 실시예에 따른 HMD 장치(1000)가 손의 방향을 판단하는 방법을 도 6 및 도 7의 각 실시예를 통해 설명하였으나, 본 개시의 HMD 장치(1000)가 사용하는 판단 방법이 두 가지 실시예에 따른 방법에 한정되는 것은 아니며, 영상 처리 분야에서 손의 방향 판단에 사용되는 어떠한 방법도 HMD 장치(1000)에 의해 사용될 수 있음을 당업자는 쉽게 이해할 수 있을 것이다.Until now, the method of determining the direction of the hand by the HMD device 1000 according to some embodiments has been described with reference to each of the embodiments of FIGS. 6 and 7. However, there are two determination methods used by the HMD device 1000 of the present disclosure. The method is not limited to the method according to the exemplary embodiments, and it will be readily understood by those skilled in the art that any method used for determining the direction of a hand in the image processing field may be used by the HMD device 1000.

도 8은 일부 실시예 따른 HMD 장치가 디스플레이 영역에 표시할 영상을 생성하는 방법을 순서대로 나타낸 도면이다.8 is a diagram sequentially illustrating a method of generating an image to be displayed on a display area by an HMD device according to some embodiments.

일부 실시예에 따른 HMD 장치(1000)는 디스플레이 영역에 표시할 객체의 특성 또는 사용자(11)의 손이 향하는 방향 중 적어도 하나에 기초하여 디스플레이 영역에 대한 객체의 표시 방법을 결정할 수 있다.The HMD apparatus 1000 according to some embodiments may determine a display method of an object in the display area based on at least one of a characteristic of an object to be displayed on the display area or a direction in which a hand of the user 11 is directed.

HMD 장치(1000)는 결정된 방법에 따라 디스플레이 영역에 객체를 표시하기 위하여, 적어도 두 개 이상의 이미지를 결합할 수 있다.The HMD device 1000 may combine at least two or more images to display an object on the display area according to the determined method.

HMD 장치(1000)는, 예를 들어, 디스플레이 영역에 대한 배경 객체의 포함 여부 및 사용자의 손의 검출 여부에 기초하여 온 스크린 이미지 또는 백 스크린 이미지 중 적어도 하나의 영상을 생성하고, 생성된 적어도 하나의 영상을 결합하여 표시할 수 있다.The HMD device 1000 generates at least one of an on-screen image or a back-screen image based on whether a background object is included in the display area and whether a user's hand is detected, and the generated at least one You can combine and display images of.

본 개시에서, 적어도 하나의 배경 객체를 표시하기 위하여 HMD 장치(1000)가 생성하는 이미지를 온 스크린 이미지로 지칭하기로 한다.In the present disclosure, an image generated by the HMD device 1000 to display at least one background object will be referred to as an on-screen image.

또한, 본 개시에서, 적어도 하나의 플로팅 객체를 표시하기 위하여 HMD 장치가 생성하는 이미지를 백 스크린 이미지로 지칭하기로 한다.In addition, in the present disclosure, an image generated by the HMD device to display at least one floating object will be referred to as a back screen image.

도 8을 참조하면, 일부 실시예에 따른 HMD 장치(1000)는, S801 단계에서, 디스플레이 영역(16)에 표시할 이미지에 배경 객체가 포함되는지 여부를 판단할 수 있다.Referring to FIG. 8, in step S801, the HMD device 1000 according to some embodiments may determine whether a background object is included in an image to be displayed on the display area 16.

S801 단계에서의 판단 결과, 디스플레이 영역(16)에 표시할 이미지에 배경 객체가 포함될 경우, HMD 장치(1000)는, S802 단계에서, 디스플레이 영역(16) 내에 위치하는 사용자(11)의 손의 검출 여부를 판단할 수 있다.As a result of the determination in step S801, when the image to be displayed on the display area 16 includes a background object, the HMD device 1000 detects the hand of the user 11 located in the display area 16 in step S802. You can judge whether or not.

한편, S801 단계에서의 판단 결과, 디스플레이 영역(16)에 표시할 이미지에 배경 객체가 포함되지 않을 경우, HMD 장치(1000)는, 후술할 S805 단계로 넘어가, 백 스크린 이미지를 생성할 수 있다.Meanwhile, as a result of the determination in step S801, when the image to be displayed on the display area 16 does not include a background object, the HMD device 1000 may proceed to step S805 to be described later to generate a back screen image.

S802 단계에서의 판단 결과, 디스플레이 영역(16) 내에 위치하는 사용자(11)의 손이 검출될 경우, HMD 장치(1000)는, S803 단계에서, 손 가림 제거 정보를 획득할 수 있다.As a result of the determination in step S802, when the hand of the user 11 located in the display area 16 is detected, the HMD device 1000 may obtain the hand cover removal information in step S803.

본 개시에서 손 가림 제거 정보는, 사용자(11)로 하여금 배경 객체가 사용자(11)의 손보다 뒤에 있는 것으로 인식할 수 있도록 배경 객체를 표시하기 위하여, 배경 객체로부터 배경 객체 및 사용자(11)의 손의 중첩 영역을 제거하는데 사용되는 정보를 의미한다.In the present disclosure, in order to display a background object so that the user 11 can recognize that the background object is behind the user's hand, the background object and the user 11's Refers to information used to remove the overlapping area of the hand.

HMD 장치(1000)는, 예를 들어, 디스플레이 영역(16) 상의 사용자(11)의 손의 위치 및 형상에 관한 정보와 디스플레이 영역(16)에 표시할 배경 객체의 위치 및 형상에 관한 정보를 서로 비교함으로써 손 가림 제거 정보를 획득할 수 있다.The HMD device 1000, for example, communicates information on the location and shape of the hand of the user 11 on the display area 16 and information on the location and shape of a background object to be displayed on the display area 16. By comparing, the blindfold removal information can be obtained.

일부 실시예에 따른 HMD 장치(1000)가 디스플레이 영역(16) 상의 사용자(11)의 손의 위치를 판단하는 구체적인 방법에 대해서는 도 5를 통해 전술하였으므로, 여기서는 자세한 설명을 생략하기로 한다.A detailed method of determining the position of the hand of the user 11 on the display area 16 by the HMD device 1000 according to some embodiments has been described above with reference to FIG. 5, and thus a detailed description thereof will be omitted.

즉, HMD 장치(1000)는 디스플레이 영역(16)에 표시되는 이미지에 포함된 배경 객체 및 디스플레이 영역(16) 내에 위치하는 사용자(11)의 손이 중첩되는 영역을 확인하여, 배경 객체로부터 배경 객체 및 사용자(11)의 손의 중첩 영역을 제거하기 위한 손 가림 제거 정보를 획득할 수 있다.That is, the HMD device 1000 checks the area where the background object included in the image displayed on the display area 16 and the hand of the user 11 located in the display area 16 overlap, and determines the background object from the background object. And it is possible to obtain the hand cover removal information for removing the overlapping area of the user's 11 hands.

손 가림 제거 정보는, 예를 들어, 디스플레이 영역(16)에 표시되는 이미지에 포함된 배경 객체 및 디스플레이 영역(16) 내에 위치하는 사용자(11)의 손의 중첩 영역의 위치, 형태 또는 면적 중 적어도 하나에 관한 정보를 포함할 수 있다.S804 단계에서, HMD 장치(1000)는 획득된 손 가림 제거 정보에 기초하여 온 스크린 이미지를 생성할 수 있다.The hand blocking removal information is, for example, at least one of a background object included in an image displayed on the display area 16 and a position, shape, or area of the overlapping area of the hand of the user 11 located in the display area 16. Information about one may be included. In step S804, the HMD device 1000 may generate an on-screen image based on the obtained hand covering removal information.

HMD 장치(1000)는, 예를 들어, 획득된 손 가림 제거 정보에 기초하여, 디스플레이 영역(16)에 표시되는 이미지에 포함된 배경 객체 및 사용자(11)의 손이 중첩된 영역이 제거된 온 스크린 이미지를 생성할 수 있다.The HMD device 1000 is, for example, on the basis of the acquired hand covering removal information, in which the background object included in the image displayed on the display area 16 and the area in which the user's 11 hands overlap are removed. You can create a screen image.

디스플레이 영역(16)에 표시되는 이미지에 포함된 배경 객체 및 사용자(11)의 손이 중첩된 영역이 제거된 온 스크린 이미지의 생성은, 예를 들어, 완전한 온 스크린 이미지로부터 손 가림 제거 정보에 대응되는 중첩 영역을 제거하는 방식으로 이루어질 수 있다.The generation of an on-screen image in which the background object included in the image displayed on the display area 16 and the area in which the user's hand is overlapped is removed, for example, corresponds to the hand cover removal information from the complete on-screen image. It can be made in a way to remove the overlapping area.

손 가림 제거 정보를 획득한 HMD 장치(1000)는, 예를 들어, 완전한 온 스크린 이미지를 생성할 수 있다. 완전한 온 스크린 이미지는, 예를 들어, 디스플레이 영역(16)에 표시되는 이미지에 포함된 배경 객체 및 사용자(11)의 손이 중첩된 영역의 존재 여부와 관계없이 완전한 배경 객체를 포함할 수 있다.The HMD device 1000 having obtained the hand covering removal information may generate, for example, a complete on-screen image. The complete on-screen image may include, for example, a background object included in an image displayed on the display area 16 and a complete background object irrespective of whether an area in which the user's hand is overlapped exists.

완전한 온 스크린 이미지가 생성되면, HMD 장치(1000)는 배경 객체 및 사용자(11)의 손의 중첩 영역의 위치, 형태 또는 면적 중 적어도 하나에 관한 정보에 기초하여, 온 스크린 이미지에 포함된 완전한 배경 객체로부터 배경 객체 및 사용자(11)의 손의 중첩 영역을 제거할 수 있다.When the complete on-screen image is generated, the HMD device 1000 is based on information on at least one of a location, shape, or area of the background object and the overlapping area of the user's 11 hand, and the complete background included in the on-screen image The background object and the overlapping area of the user's 11 hand may be removed from the object.

손 가림 제거 정보를 획득한 HMD 장치(1000)는, 다른 예로, 배경 객체 및 사용자(11)의 손의 중첩 영역의 위치, 형태 또는 면적 중 적어도 하나에 관한 정보에 기초하여, 배경 객체 및 사용자(11)의 손의 중첩 영역을 포함하지 않는 불완전한 배경 객체를 직접 획득하고, 획득된 불완전한 배경 객체를 포함하는 온 스크린 이미지를 생성할 수 있다.예를 들어, 도 2의 (a)를 참조하여 설명하면, 일부 실시예에 따른 HMD 장치(1000)는 온 스크린 입력을 수행하고 있는 사용자(11)로 하여금 A 객체(261)가 디스플레이 영역(16) 내에 위치한 외측 방향의 손(141)보다 뒤에 있는 것으로 인식할 수 있도록 표시하기 위한 온 스크린 이미지를 생성할 수 있다.In another example, the HMD device 1000 having obtained the hand covering removal information may be configured to provide a background object and a user ( 11) An incomplete background object that does not include the overlapping area of the hand may be directly acquired, and an on-screen image including the acquired incomplete background object may be generated. For example, the description is made with reference to FIG. 2A. Then, the HMD device 1000 according to some embodiments allows the user 11 performing the on-screen input to indicate that the object A 261 is behind the outward hand 141 located in the display area 16. On-screen images can be created for recognizable display.

HMD 장치(1000)는, 예를 들어, 디스플레이 영역(16) 내에서 사용자의 외측 방향의 손(141)이 검출됨에 따라, 배경 객체인 A 객체(261) 및 외측 방향의 손(141)의 중첩 영역에 대한 손 가림 제거 정보를 획득할 수 있다.The HMD device 1000 overlaps the background object A object 261 and the outward hand 141 as the user's outward hand 141 is detected in the display area 16. It is possible to obtain information about removing the occlusion of the area.

배경 객체인 A 객체(261) 및 외측 방향의 손(141)의 중첩 영역에 대한 손 가림 제거 정보는, 예를 들어, A 객체(261) 및 외측 방향의 손(141)의 중첩 영역의 위치, 형태 또는 면적에 관한 정보 중 적어도 하나를 포함할 수 있다.The information about removing the hand covering on the overlapping area of the object A 261 and the hand 141 in the outward direction, which is a background object, is, for example, the position of the overlapping area of the object A 261 and the hand 141 in the outward direction, It may include at least one of information on a shape or area.

HMD 장치(1000)는 획득된 A 객체(261) 및 외측 방향의 손(141)의 중첩 영역에 관한 손 가림 제거 정보를 사용하여 A 객체(261)에서 외측 방향의 손(141) 및 A 객체(261)가 중첩되는 영역을 제거한 온 스크린 이미지를 생성할 수 있다. The HMD device 1000 uses the obtained hand cover removal information on the overlapping area of the object A 261 and the hand 141 in the outward direction from the object A 261 to the outward hand 141 and the A object ( An on-screen image may be generated by removing an overlapping area 261).

한편, S802 단계에서의 판단 결과, 디스플레이 영역(16)에서 사용자(11)의 손이 검출되지 않을 경우, HMD 장치(1000)는, S804 단계에서, 완전한 온 스크린 이미지를 생성할 수 있다.Meanwhile, as a result of the determination in step S802, if the hand of the user 11 is not detected in the display area 16, the HMD device 1000 may generate a complete on-screen image in step S804.

온 스크린 이미지를 생성한 HMD 장치(1000)는, S805 단계에서, 백 스크린 이미지를 생성할 수 있다.The HMD device 1000 that has generated the on-screen image may generate a back screen image in step S805.

예를 들어, 다시 도 2의 (a)를 참조하여 설명하면, HMD 장치(1000)는, 사용자(11)의 손이 향하는 방향과 관계없이 사용자(11)로 하여금 B 객체(263)가 디스플레이 영역 내에 위치한 손보다 항상 앞에 있는 것으로 인식할 수 있도록 표시하기 위한 백 스크린 이미지를 생성할 수 있다. For example, referring to FIG. 2A again, the HMD device 1000 causes the user 11 to display the B object 263 in the display area regardless of the direction in which the user 11's hand is facing. It is possible to create a back screen image to display so that it can be recognized as always in front of the hand positioned inside.

S806 단계에서, HMD 장치(1000)는 S804 단계에서 생성된 온 스크린 이미지 및 S805 단계에서 생성된 백 스크린 이미지를 결합할 수 있다. HMD 장치(1000)는 결합된 이미지를 투명 디스플레이(1003)를 통해 디스플레이 영역에 표시할 수 있다.In step S806, the HMD device 1000 may combine the on-screen image generated in step S804 and the back screen image generated in step S805. The HMD device 1000 may display the combined image on the display area through the transparent display 1003.

도 9는 일부 실시예 따른 HMD 장치가 사용자의 백 스크린 입력에 대응하여 백 스크린 이미지를 생성하는 방법을 순서대로 나타낸 흐름도이다.9 is a flowchart sequentially illustrating a method of generating a back screen image in response to a user's back screen input by an HMD device according to some embodiments.

도 9를 참조하면, 일부 실시예에 따른 HMD 장치(1000)는, S901 단계에서, 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정할 수 있다.Referring to FIG. 9, the HMD device 1000 according to some embodiments may measure a distance between the transparent display 1003 and the hand of the user 11 in step S901.

HMD 장치(1000)는, 예를 들어, 거리 측정 센서를 사용하여 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정할 수 있다. The HMD device 1000 may measure the distance between the transparent display 1003 and the hand of the user 11 using, for example, a distance measurement sensor.

HMD 장치(1000)가 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정하기 위해 사용할 수 있는 거리 측정 센서는 적외선 센서, 초음파 센서 또는 레이저 센서 중 적어도 하나에 해당할 수 있으나, 반드시 이에 한정되는 것은 아니다.The distance measurement sensor that can be used by the HMD device 1000 to measure the distance between the transparent display 1003 and the hand of the user 11 may correspond to at least one of an infrared sensor, an ultrasonic sensor, or a laser sensor, but must be It is not limited thereto.

HMD 장치(1000)는, 다른 예로, RGB-Depth 카메라를 통해 촬영된 RGB 이미지 및 깊이 정보에 기초하여 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정할 수 있다.As another example, the HMD device 1000 may measure the distance between the transparent display 1003 and the hand of the user 11 based on the RGB image and depth information captured by the RGB-Depth camera.

HMD 장치(1000)는, 다른 예로, 거리 측정 센서 및 RGB-Depth 카메라를 통해 촬영된 RGB 이미지 및 깊이 정보를 모두 사용하여 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정할 수 있다.As another example, the HMD device 1000 may measure the distance between the transparent display 1003 and the hand of the user 11 by using both the RGB image and depth information captured by the distance measurement sensor and the RGB-Depth camera. have.

S902 단계에서, HMD 장치(1000)는 측정된 거리가 임계 거리 이하로 전환되는지 여부를 판단할 수 있다.In operation S902, the HMD device 1000 may determine whether the measured distance is converted to a threshold distance or less.

S902 단계에서의 판단 결과, 측정된 거리가 임계 거리 이하로 전환될 경우, HMD 장치(1000)는, S903 단계에서, 사용자(11)의 손의 2차원 좌표를 획득할 수 있다. As a result of the determination in step S902, if the measured distance is converted to less than the threshold distance, the HMD device 1000 may acquire the 2D coordinates of the hand of the user 11 in step S903.

사용자(11)의 손의 2차원 좌표를 획득한 HMD 장치(1000)는, S904 단계에서, 플로팅 객체에 대한 사용자(11)의 입력, 즉 백 스크린 입력을 획득할 수 있다.The HMD device 1000 having acquired the 2D coordinates of the user's 11 hand may acquire an input of the user 11 for the floating object, that is, a back screen input, in step S904.

S905 단계에서, HMD 장치(1000)는 획득된 사용자(11)의 백 스크린 입력에 기초하여 백 스크린 이미지를 생성할 수 있다. In operation S905, the HMD device 1000 may generate a back screen image based on the acquired back screen input of the user 11.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 백 스크린 입력을 획득함에 따라 플로팅 객체의 형태를 변경하기 위한 백 스크린 이미지를 생성할 수 있다.The HMD device 1000 may generate a back screen image for changing a shape of a floating object, for example, as a back screen input of the user 11 is obtained.

HMD 장치(1000)는, 예를 들어, 사용자(11)가 플로팅 객체와 인터랙션하는 동작에 대응하여 플로팅 객체의 크기를 일시적으로 증가시키기 위한 백 스크린 이미지를 생성할 수 있다.The HMD device 1000 may generate a back screen image for temporarily increasing the size of the floating object in response to, for example, an operation in which the user 11 interacts with the floating object.

HMD 장치(1000)는, 다른 예로, 사용자(11)가 플로팅 객체와 인터랙션하는 동작에 대응하여 플로팅 객체의 색상을 기존의 색상과 다른 색상으로 변경하기 위한 백 스크린 이미지를 생성할 수 있다.As another example, the HMD device 1000 may generate a back screen image for changing a color of the floating object to a color different from an existing color in response to an operation in which the user 11 interacts with the floating object.

반대로, S902 단계에서의 판단 결과, 측정된 거리가 임계 거리 이하로 전환되지 않을 경우, HMD 장치(1000)는 곧바로 S905 단계에서 백 스크린 이미지를 생성할 수 있다.Conversely, as a result of the determination in step S902, if the measured distance is not converted to less than the threshold distance, the HMD device 1000 may immediately generate a back screen image in step S905.

한편, 도 9에 도시되진 않았으나, 일부 실시예에 따른 HMD 장치(1000)는 S903 단계의 동작을 S901 단계의 동작과 동시에 수행할 수 있다. 즉, HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 측정함과 동시에, 사용자(11)의 손의 2차원 좌표를 획득할 수도 있다.Meanwhile, although not shown in FIG. 9, the HMD device 1000 according to some embodiments may perform the operation of step S903 and the operation of step S901 simultaneously. That is, the HMD device 1000 may measure the distance between the transparent display 1003 and the hand of the user 11 and acquire the two-dimensional coordinates of the hand of the user 11.

S903 단계의 동작을 S901 단계의 동작을 동시에 수행한 뒤, S902 단계에서의 판단 결과, 측정된 거리가 임계 거리 이하로 전환될 경우, HMD 장치(1000)는 미리 획득한 사용자(11)의 손의 2차원 좌표에 기초하여, S904 단계에서, 플로팅 객체에 대한 사용자(11)의 백 스크린 입력을 획득할 수 있다.After performing the operation of step S903 at the same time as the operation of step S901, and as a result of the determination in step S902, if the measured distance is switched to less than the threshold distance, the HMD device 1000 Based on the two-dimensional coordinates, in step S904, a back screen input of the user 11 for the floating object may be obtained.

도 10은 일부 실시예 따른 HMD 장치가 표시하는 플로팅 객체에 대한 사용자의 백 스크린 입력 방법을 나타낸 도면이다.도 10을 참조하면, 일부 실시예 따른 HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리를 실시간으로 측정할 수 있다.10 is a diagram illustrating a method of inputting a back screen by a user to a floating object displayed by an HMD device according to some embodiments. Referring to FIG. 10, an HMD device 1000 according to some embodiments includes a transparent display 1003 and a user. (11) The distance between hands can be measured in real time.

사용자(11)는, 예를 들어, 외부 디스플레이(18)의 앞과 HMD 장치(1000)의 디스플레이 영역(16)의 뒤에 위치하고 있던 손(1041)을 HMD 장치(1000) 방향으로 이동시킬 수 있다.The user 11 may, for example, move the hand 1041 located in front of the external display 18 and behind the display area 16 of the HMD device 1000 in the direction of the HMD device 1000.

외부 디스플레이(18)는, 예를 들어, HMD 장치(1000)와 구별되는 별도의 외부 장치에 포함된 디스플레이 또는 가상 이미지로 구현된 가상 디스플레이일 수 있다.The external display 18 may be, for example, a display included in a separate external device distinct from the HMD device 1000 or a virtual display implemented as a virtual image.

사용자(11)가 손을 HMD 장치(1000) 방향으로 이동시킴에 따라, HMD 장치(1000)가 측정한 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리(1061)는 감소할 수 있다.As the user 11 moves his hand toward the HMD device 1000, the distance 1061 between the transparent display 1003 measured by the HMD device 1000 and the hand of the user 11 may decrease. .

감소하던 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리(1061)는 미리 설정된 임계 거리와 동일해질 수 있다. 미리 설정된 임계 거리는, 예를 들어, 투명 디스플레이(1003)와 디스플레이 영역(16)에 표시되는 객체(161) 사이의 거리(1062)일 수 있다.The decreased distance 1061 between the transparent display 1003 and the hand of the user 11 may be equal to a preset threshold distance. The preset threshold distance may be, for example, a distance 1062 between the transparent display 1003 and the object 161 displayed on the display area 16.

HMD 장치(1000)는, 예를 들어, 감소하던 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리(1061)가 미리 설정된 임계 거리 이하의 거리가 될 경우, 디스플레이 영역(16)에 표시된 객체(161)에 대한 백 스크린 입력이 이루어진 것으로 판단할 수 있다.HMD device 1000, for example, when the distance 1061 between the decreased transparent display 1003 and the hand of the user 11 becomes a distance less than a preset threshold distance, displayed on the display area 16 It may be determined that the back screen input for the object 161 has been made.

HMD 장치(1000)는, 예를 들어, 미리 설정된 임계 거리를 초과하는 거리를 가지던 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리(1061)가 미리 설정된 임계 거리 이하의 거리로 전환될 경우, 디스플레이 영역(16) 상의 플로팅 객체의 2차원 좌표 및 사용자(11)의 손의 2차원 좌표를 서로 비교할 수 있다. The HMD device 1000 is, for example, the transparent display 1003 having a distance exceeding the preset threshold distance and the distance 1061 between the hands of the user 11 is switched to a distance less than the preset threshold distance If so, the 2D coordinates of the floating object on the display area 16 and the 2D coordinates of the hand of the user 11 may be compared with each other.

2차원 좌표의 비교 결과에 기초하여, 사용자(11)의 손이 디스플레이 영역(16) 상 플로팅 객체와 중첩되는 곳에 위치하는 것으로 판단되면, HMD 장치(1000)는 디스플레이 영역(16) 상에 위치하고 있는 손(1042)에 의해 객체(161)에 대한 백 스크린 입력이 이루어진 것으로 판단할 수 있다.If it is determined that the user's 11 hand is positioned on the display area 16 to overlap the floating object based on the result of the comparison of the 2D coordinates, the HMD device 1000 is positioned on the display area 16. It may be determined that the back screen input for the object 161 has been made by the hand 1042.

도 11은 일부 실시예 따른 HMD 장치가 표시하는 객체 및 사용자의 손의 인터랙션 방법을 나타낸 도면이다.11 is a diagram illustrating a method of interaction between an object displayed by an HMD device and a user's hand according to some embodiments.

도 11을 참조하면, 일부 실시예에 따른 HMD 장치(1000)는 외부 장치(1108)와 연결되어 사용자(11)로 하여금 HMD 장치(1000)를 통해 외부 장치(1108)를 제어하도록 할 수 있다.Referring to FIG. 11, the HMD device 1000 according to some embodiments may be connected to the external device 1108 to allow the user 11 to control the external device 1108 through the HMD device 1000.

HMD 장치(1000)는, 예를 들어, 투명 디스플레이(1003)를 통해, 외부 장치(1108)를 제어하기 위한 객체(1101)를 표시할 수 있다. 객체(1101)는, 예를 들어, 백 스크린 입력이 가능한 플로팅 객체일 수 있다.The HMD device 1000 may display an object 1101 for controlling the external device 1108 through, for example, the transparent display 1003. The object 1101 may be, for example, a floating object capable of back screen input.

HMD 장치(1000)는 디스플레이 영역에 객체(1101)를 표시함과 동시에, 사용자(11)의 손이 향하는 방향이 내측 방향인 경우에만 객체(1101)에 대한 인터랙션이 이루어지도록 조건을 설정할 수 있다.The HMD device 1000 may display the object 1101 on the display area and set a condition so that the interaction with the object 1101 occurs only when the user 11's hand is in the inward direction.

도 11의 (a)를 참조하면, 사용자(11)는 외부 장치(1108)를 제어하기 위하여, 디스플레이 영역 내에 위치한 객체(1101)에 대하여 백 스크린 입력을 수행할 수 있다.Referring to FIG. 11A, in order to control the external device 1108, the user 11 may perform a back screen input on the object 1101 located in the display area.

HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지로부터 디스플레이 영역 내에 위치하는 사용자(11)의 손을 검출할 수 있다.The HMD device 1000 may capture an image in front of the HMD device 1000 using the camera 1005. The HMD device 1000 may detect a hand of the user 11 located in the display area from an image captured by the camera 1005.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 디스플레이 영역에 표시된 객체(1101)와 인터랙션하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다.The HMD device 1000 may determine a direction in which the hand of the user 11 interacting with the object 1101 displayed on the display area is directed, based on an image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 디스플레이 영역에 표시된 객체(1101)와 인터랙션하는 사용자(11)의 손의 방향이 내측 방향인 것으로 판단할 수 있다. The HMD device 1000 measures an angle between the bottom surface of the user's hand and the surface of the transparent display 1003, for example, and the user 11 interacts with the object 1101 displayed in the display area. It can be determined that the direction of the hand is inward.

디스플레이 영역 내에 위치한 사용자(11)의 내측 방향의 손(142)이 백 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 객체(1101)와 내측 방향의 손(142)이 중첩될 수 있다. HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 내측 방향의 손(142)보다 앞에 있는 것으로 인식할 수 있도록 객체(1101)를 표시할 수 있다.Since the inward hand 142 of the user 11 located in the display area is used for back screen input, the object 1101 displayed in the display area and the inward hand 142 may overlap. The HMD device 1000 may display the object 1101 so that the user 11 may recognize that it is in front of the inward hand 142 located in the display area.

사용자(11)의 손의 방향이 내측 방향인 것으로 판단한 HMD 장치(1000)는 내측 방향의 손(142) 및 객체(1101)의 중첩 여부와 관계없이 디스플레이 영역에 객체(1101)의 모든 영역을 표시할 수 있다.The HMD device 1000, which has determined that the user 11's hand is in the inward direction, displays all areas of the object 1101 on the display area regardless of whether the inward hand 142 and the object 1101 overlap. can do.

한편, 도 11의 (b)를 참조하면, HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 내측 방향의 손(142) 사이의 거리가 임계 거리 이하로 전환되는지 여부를 판단할 수 있다. 측정된 거리가 임계 거리 이하로 전환될 경우, HMD 장치(1000)는 디스플레이 영역 상 내측 방향의 손(142)의 2차원 좌표를 획득할 수 있다.Meanwhile, referring to (b) of FIG. 11, the HMD device 1000 may determine whether the distance between the transparent display 1003 and the hand 142 in the inward direction of the user 11 is converted to a threshold distance or less. I can. When the measured distance is converted to less than the threshold distance, the HMD device 1000 may obtain the 2D coordinates of the hand 142 in the inward direction on the display area.

HMD 장치(1000)는 획득된 내측 방향의 손(142)의 2차원 좌표 및 객체(1101)의 위치에 기초하여 객체(1101)에 대한 사용자(11)의 백 스크린 입력을 획득할 수 있다.The HMD device 1000 may obtain a back screen input of the user 11 for the object 1101 based on the obtained 2D coordinates of the hand 142 in the inward direction and the position of the object 1101.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 백 스크린 입력을 획득함에 따라 객체(1101)의 형태를 변경할 수 있다. HMD 장치(1000)는, 예를 들어, 사용자(11)가 객체(1101)와 인터랙션하는 동작에 대응하여 객체(1101)의 크기를 일시적으로 증가시킬 수 있다.The HMD device 1000 may change the shape of the object 1101 according to, for example, obtaining a back screen input from the user 11. The HMD device 1000 may temporarily increase the size of the object 1101 in response to, for example, an operation of the user 11 interacting with the object 1101.

객체(1101)에 대한 사용자(11)의 백 스크린 입력을 획득한 HMD 장치(1000)는 백 스크린 입력 및 객체(1101)에 대응하는 소정의 기능을 실행할 수 있다. The HMD device 1000 having acquired the back screen input of the user 11 for the object 1101 may execute the back screen input and a predetermined function corresponding to the object 1101.

HMD 장치(1000)는, 예를 들어, 객체(1101)에 표시된 기능 명칭에 대응하여, 외부 장치(1108)를 제어하기 위한 제어 명령을 생성할 수 있다. The HMD device 1000 may generate a control command for controlling the external device 1108 in response to, for example, a function name displayed on the object 1101.

객체(1101)는, 예를 들어, 외부 장치(1108)에서 출력되는 소리의 음량을 증가시키기 위한 가상의 버튼을 포함할 수 있다. 객체(1101)에 대한 사용자(11)의 백 스크린 입력을 획득한 HMD 장치(1000)는 외부 장치(1108)에서 출력되는 소리의 음량을 증가시키기 위한 제어 명령을 생성할 수 있다. The object 1101 may include, for example, a virtual button for increasing the volume of sound output from the external device 1108. The HMD device 1000 having acquired the back screen input of the user 11 for the object 1101 may generate a control command for increasing the volume of sound output from the external device 1108.

HMD 장치(1000)는 생성된 제어 명령을 외부 장치(1108)에 전달할 수 있다. HMD 장치(1000)로부터 제어 명령을 수신한 외부 장치(1108)는 출력되는 소리의 음량을 증가시킬 수 있다.The HMD device 1000 may transmit the generated control command to the external device 1108. The external device 1108 receiving the control command from the HMD device 1000 may increase the volume of the output sound.

도 12는 일부 실시예 따른 HMD 장치 및 외부 장치에 대한 사용자의 개별 입력 방법을 나타낸 도면이다. 12 is a diagram illustrating a user's individual input method for an HMD device and an external device according to some embodiments.

도 12를 참조하면, 일부 실시예에 따른 HMD 장치(1000)는 외부 장치(1208)와 연결되어 사용자(11)로 하여금 HMD 장치(1000)를 통해 외부 장치(1208)를 제어하도록 할 수 있다. Referring to FIG. 12, the HMD device 1000 according to some embodiments may be connected to the external device 1208 to allow the user 11 to control the external device 1208 through the HMD device 1000.

외부 장치(1208)는, 예를 들어, 터치스크린을 포함하며, HMD 장치(1000)를 사용하는 사용자(11)로부터 별도의 터치 입력을 수신할 수 있다.The external device 1208 includes, for example, a touch screen, and may receive a separate touch input from the user 11 who uses the HMD device 1000.

HMD 장치(1000)는, 예를 들어, 투명 디스플레이(1003)를 통해, 외부 장치(1208)를 제어하기 위한 객체(1201)를 표시할 수 있다. 객체(1201)는, 예를 들어, 백 스크린 입력이 가능한 플로팅 객체일 수 있다.The HMD device 1000 may display an object 1201 for controlling the external device 1208 through, for example, the transparent display 1003. The object 1201 may be, for example, a floating object capable of back screen input.

HMD 장치(1000)는 디스플레이 영역에 객체(1201)를 표시함과 동시에, 사용자(11)의 손이 향하는 방향이 내측 방향인 경우에만 객체(1201)에 대한 인터랙션이 이루어지도록 조건을 설정할 수 있다.The HMD device 1000 may display the object 1201 on the display area and set a condition so that the interaction with the object 1201 occurs only when the direction in which the user 11's hand is directed is an inward direction.

도 12의 (a)를 참조하면, 사용자(11)는 외부 장치(1208)를 제어하기 위해 외부 장치(1208)의 터치스크린에 표시된 객체를 터치할 수 있다. Referring to FIG. 12A, the user 11 may touch an object displayed on the touch screen of the external device 1208 to control the external device 1208.

HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지로부터 디스플레이 영역 내에 위치하는 사용자(11)의 손을 검출할 수 있다. The HMD device 1000 may capture an image in front of the HMD device 1000 using the camera 1005. The HMD device 1000 may detect a hand of the user 11 located in the display area from an image captured by the camera 1005.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 외부 장치(1208)의 터치스크린에 표시된 객체를 터치하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다.The HMD device 1000 may determine a direction in which the hand of the user 11 touching an object displayed on the touch screen of the external device 1208 is directed based on the image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 외부 장치(1208)의 터치스크린에 표시된 객체를 터치하는 사용자(11)의 손의 방향이 외측 방향인 것으로 판단할 수 있다.HMD device 1000, for example, by measuring the angle between the bottom surface of the user's hand 11 and the surface of the transparent display 1003, a user who touches an object displayed on the touch screen of the external device 1208 It can be determined that the direction of the hand of (11) is the outer direction.

한편, 도 12의 (b)를 참조하면, 사용자(11)는 외부 장치(1208)를 제어하기 위해 디스플레이 영역 내에 위치한 객체(1201)에 대하여 백 스크린 입력을 수행할 수 있다.Meanwhile, referring to FIG. 12B, the user 11 may perform a back screen input on the object 1201 located in the display area in order to control the external device 1208.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 디스플레이 영역에 표시된 객체(1201)와 인터랙션하는 사용자(11)의 손의 방향이 내측 방향인 것으로 판단할 수 있다.The HMD device 1000 measures an angle between the bottom surface of the user 11's hand and the surface of the transparent display 1003, for example, and the user 11 interacts with the object 1201 displayed in the display area. It can be determined that the direction of the hand is inward.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 방향에 기초하여 디스플레이 영역에 대한 객체(1201)의 표시 여부를 결정할 수 있다.The HMD device 1000 may determine whether to display the object 1201 on the display area, for example, based on the direction of the user's 11 hand.

도 12의 (b)를 도 12의 (a)와 비교하여, HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 방향이 외측 방향에서 내측 방향으로 전환됨에 따라, 디스플레이 영역에 외부 장치(1208)를 제어하기 위한 객체(1201)를 표시할 수 있다.In comparison with FIG. 12(b) with FIG. 12(a), the HMD device 1000 is displayed in the display area as, for example, the direction of the hand of the user 11 is changed from the outer direction to the inner direction. An object 1201 for controlling the external device 1208 may be displayed.

디스플레이 영역 내에 위치한 내측 방향의 손(142)이 백 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 객체(1201)와 내측 방향의 손(142)이 중첩될 수 있다. HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 내측 방향의 손(142)보다 앞에 있는 것으로 인식할 수 있도록 객체(1201)를 표시할 수 있다.Since the inward hand 142 located in the display area is used for back screen input, the object 1201 displayed in the display area and the inward hand 142 may overlap. The HMD device 1000 may display the object 1201 so that the user 11 may recognize that it is in front of the inward hand 142 located in the display area.

사용자(11)의 손의 방향이 내측 방향인 것으로 판단한 HMD 장치(1000)는 내측 방향의 손(142) 및 객체(1201)의 중첩 여부와 관계없이 디스플레이 영역에 객체(1201)의 모든 영역을 표시할 수 있다.The HMD device 1000, which has determined that the user 11's hand is in the inward direction, displays all areas of the object 1201 on the display area regardless of whether the inward hand 142 and the object 1201 overlap. can do.

이와 유사하게, 도 12의 (a)를 도 12의 (b)와 비교하여, HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 방향이 내측 방향에서 외측 방향으로 전환됨에 따라, 디스플레이 영역에 외부 장치(1208)를 제어하기 위한 객체(1201)를 더 이상 표시하지 않을 수 있다.Similarly, comparing (a) of FIG. 12 with (b) of FIG. 12, the HMD device 1000 is, for example, as the direction of the hand of the user 11 is changed from the inner direction to the outer direction. , The object 1201 for controlling the external device 1208 may no longer be displayed in the display area.

한편, 다시 도 12의 (b)를 참조하면, HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 손 사이의 거리가 임계 거리 이하로 전환되는지 여부를 판단할 수 있다. 측정된 거리가 임계 거리 이하로 전환될 경우, HMD 장치(1000)는 디스플레이 영역 상 내측 방향의 손(142)의 2차원 좌표를 획득할 수 있다.Meanwhile, referring again to FIG. 12B, the HMD device 1000 may determine whether the distance between the transparent display 1003 and the hand of the user 11 is switched to less than a threshold distance. When the measured distance is converted to less than the threshold distance, the HMD device 1000 may obtain the 2D coordinates of the hand 142 in the inward direction on the display area.

HMD 장치(1000)는 획득된 내측 방향의 손(142)의 2차원 좌표 및 객체(1201)의 위치에 기초하여 객체(1201)에 대한 사용자(11)의 백 스크린 입력을 획득할 수 있다.The HMD device 1000 may obtain a back screen input of the user 11 for the object 1201 based on the acquired 2D coordinates of the hand 142 in the inward direction and the position of the object 1201.

객체(1201)에 대한 사용자(11)의 백 스크린 입력을 획득한 HMD 장치(1000)는 백 스크린 입력 및 객체(1201)에 대응하는 소정의 기능을 실행할 수 있다.The HMD device 1000 having obtained the back screen input of the user 11 for the object 1201 may execute the back screen input and a predetermined function corresponding to the object 1201.

HMD 장치(1000)는, 예를 들어, 객체(1201)에 표시된 기능 명칭에 대응하여, 외부 장치(1208)를 제어하기 위한 제어 명령을 생성할 수 있다. The HMD device 1000 may generate a control command for controlling the external device 1208 in response to, for example, a function name displayed on the object 1201.

HMD 장치(1000)는 생성된 제어 명령을 외부 장치(1208)에 전달할 수 있다. HMD 장치(1000)로부터 제어 명령을 수신한 외부 장치(1208)는 수신한 제어 명령에 대응하는 기능을 실행할 수 있다.The HMD device 1000 may transmit the generated control command to the external device 1208. The external device 1208 that receives the control command from the HMD device 1000 may execute a function corresponding to the received control command.

도 13은 일부 실시예 따른 외부 디스플레이 장치 및 HMD 장치의 플로팅 객체에 대한 사용자의 동시 입력 방법을 나타낸 도면이다.13 is a diagram illustrating a method for simultaneously inputting a user to a floating object of an external display device and an HMD device according to some embodiments.

도 12 및 도 13을 참조하면, 일부 실시예에 따른 사용자(11)는 HMD 장치(1000)에 대한 입력 및 외부 장치(1208)에 대한 입력을 동시에 수행할 수 있다.12 and 13, the user 11 according to some embodiments may simultaneously perform input to the HMD device 1000 and input to the external device 1208.

예를 들어, 사용자(11)는 외부 장치(1208)를 제어하기 위해, 외부 장치(1208)의 터치스크린에 표시된 객체를 터치함과 동시에 디스플레이 영역 내에 위치한 객체(1201)에 대하여 백 스크린 입력을 수행할 수 있다.For example, in order to control the external device 1208, the user 11 touches an object displayed on the touch screen of the external device 1208 and simultaneously performs a back screen input on the object 1201 located in the display area. can do.

HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지로부터 디스플레이 영역 내에 위치하는 사용자(11)의 왼손(1301) 및 오른손(1302)을 검출할 수 있다. The HMD device 1000 may capture an image in front of the HMD device 1000 using the camera 1005. The HMD device 1000 may detect the left hand 1301 and the right hand 1302 of the user 11 located in the display area from the image captured by the camera 1005.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 외부 장치(1208)의 터치스크린에 표시된 객체를 터치하는 사용자(11)의 왼손(1301) 및 오른손(1302)이 향하는 방향을 판단할 수 있다.The HMD device 1000 is a direction in which the left hand 1301 and the right hand 1302 of the user 11 touch the object displayed on the touch screen of the external device 1208 based on the image captured by the camera 1005 Can be judged.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 왼손(1301)의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 외부 장치(1208)의 터치스크린에 표시된 객체를 터치하는 사용자(11)의 왼손(1301)의 방향이 외측 방향인 것으로 판단할 수 있다.HMD device 1000, for example, by measuring the angle between the bottom surface of the left hand 1301 of the user 11 and the surface of the transparent display 1003, the object displayed on the touch screen of the external device 1208 It may be determined that the direction of the left hand 1301 of the user 11 touching is the outer direction.

한편, HMD 장치(1000)는 사용자(11)의 오른손(1302)의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 디스플레이 영역에 표시된 객체(1201)와 인터랙션하는 사용자(11)의 오른손(1302)의 방향이 내측 방향인 것으로 판단할 수 있다.Meanwhile, the HMD device 1000 measures the angle between the bottom surface of the user's 11's right hand 1302 and the surface of the transparent display 1003, and the user 11 interacts with the object 1201 displayed in the display area. It may be determined that the direction of the right hand 1302 of is an inward direction.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 양손 중 적어도 하나의 손의 방향에 기초하여 디스플레이 영역에 대한 객체의 표시 여부를 결정할 수 있다.The HMD device 1000 may determine whether to display an object on the display area, for example, based on the direction of at least one of both hands of the user 11.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 양손 중 오른손(1302)의 방향이 외측 방향에서 내측 방향으로 전환됨에 따라, 디스플레이 영역에 외부 장치(1208)를 제어하기 위한 객체(1201)를 표시할 수 있다.HMD device 1000, for example, as the direction of the right hand 1302 of both hands of the user 11 is changed from the outer direction to the inner direction, the object 1201 for controlling the external device 1208 in the display area ) Can be displayed.

이와 유사하게, HMD 장치(1000)는, 예를 들어, 사용자(11)의 양손 중 오른손(1302)의 방향이 내측 방향에서 외측 방향으로 전환됨에 따라, 디스플레이 영역에 외부 장치(1208)를 제어하기 위한 객체(1201)를 더 이상 표시하지 않을 수 있다.Similarly, the HMD device 1000 controls the external device 1208 in the display area, for example, as the direction of the right hand 1302 of both hands of the user 11 is changed from the inner direction to the outer direction. The for object 1201 may no longer be displayed.

한편, HMD 장치(1000)는 외부 장치(1208)에 대한 사용자의 입력에 기초하여 디스플레이 영역에 대한 객체(1201)의 표시 여부를 결정할 수 있다.Meanwhile, the HMD device 1000 may determine whether to display the object 1201 on the display area based on a user's input to the external device 1208.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 왼손(1301)이 외부 장치(1208)의 터치스크린에 표시된 소정의 객체를 터치함에 따라, 디스플레이 영역에 외부 장치(1208)를 제어하기 위한 객체(1201)를 표시할 수 있다.The HMD device 1000 controls the external device 1208 in the display area, for example, as the left hand 1301 of the user 11 touches a predetermined object displayed on the touch screen of the external device 1208. The object 1201 for may be displayed.

객체(1201)는, 예를 들어, 외부 장치(1208)의 터치스크린에 표시된 객체에 대한 터치가 지속되는 시간 동안 디스플레이 영역에 표시될 수 있다. 객체(1201)는, 다른 예로, 사용자(11)의 왼손(1301)에 의해 외부 장치(1208)의 터치스크린에 표시된 객체에 대한 터치가 이루어짐에 따라, 토글(toggle) 방식으로 디스플레이 영역에 표시되거나 표시되지 않을 수 있다.The object 1201 may be displayed on the display area for a period of time during which the touch to the object displayed on the touch screen of the external device 1208 continues. The object 1201 is, for example, displayed on the display area in a toggle method as a touch is made on the object displayed on the touch screen of the external device 1208 by the left hand 1301 of the user 11 May not be displayed.

HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 오른손(1302) 사이의 거리가 임계 거리 이하로 전환되는지 여부를 판단할 수 있다. 측정된 거리가 임계 거리 이하로 전환될 경우, HMD 장치(1000)는 디스플레이 영역 상 내측 방향의 오른손(1302)의 2차원 좌표를 획득할 수 있다.The HMD device 1000 may determine whether the distance between the transparent display 1003 and the right hand 1302 of the user 11 is switched to be less than a threshold distance. When the measured distance is converted to less than the threshold distance, the HMD device 1000 may acquire the 2D coordinates of the right hand 1302 in the inward direction on the display area.

HMD 장치(1000)는 획득된 내측 방향의 오른손(1302)의 2차원 좌표 및 객체(1201)의 위치에 기초하여 객체(1201)에 대한 사용자(11)의 백 스크린 입력을 획득할 수 있다.The HMD device 1000 may obtain a back screen input of the user 11 for the object 1201 based on the obtained two-dimensional coordinates of the inward right hand 1302 and the position of the object 1201.

HMD 장치(1000)는 사용자(11)의 손이 향하는 방향이 내측 방향인 경우에만 객체(1201)와 인터랙션이 이루어지도록 조건을 설정하였으므로, 외부 장치(1208)의 터치스크린에 표시된 객체를 터치하는 사용자(11)의 외측 방향의 왼손(1301)은 객체(1201)에게 영향을 미치지 않을 수 있다.Since the HMD device 1000 has set a condition so that the interaction with the object 1201 occurs only when the user 11's hand is in the inward direction, the user who touches the object displayed on the touch screen of the external device 1208 The left hand 1301 in the outer direction of (11) may not affect the object 1201.

객체(1201)에 대한 사용자(11)의 백 스크린 입력을 획득한 HMD 장치(1000)는 백 스크린 입력 및 객체(1201)에 대응하는 소정의 기능을 실행할 수 있다.The HMD device 1000 having obtained the back screen input of the user 11 for the object 1201 may execute the back screen input and a predetermined function corresponding to the object 1201.

HMD 장치(1000)는, 예를 들어, 객체(1201)에 표시된 기능 명칭에 대응하여, 외부 장치(1208)를 제어하기 위한 제어 명령을 생성할 수 있다. The HMD device 1000 may generate a control command for controlling the external device 1208 in response to, for example, a function name displayed on the object 1201.

HMD 장치(1000)는 생성된 제어 명령을 외부 장치(1208)에 전달할 수 있다. HMD 장치(1000)로부터 제어 명령을 수신한 외부 장치(1208)는 수신한 제어 명령에 대응하는 기능을 실행할 수 있다.The HMD device 1000 may transmit the generated control command to the external device 1208. The external device 1208 that receives the control command from the HMD device 1000 may execute a function corresponding to the received control command.

도 14는 일부 실시예 따른 외부 장치와 동시에 사용되는 HMD 장치가 표시하는 객체 및 사용자의 손의 인터랙션 방법을 나타낸 도면이다.14 is a diagram illustrating an interaction method between an object displayed by an HMD device used simultaneously with an external device and a user's hand according to some embodiments.

도 14를 참조하면, 일부 실시예에 따른 HMD 장치(1000)는 외부 장치(1408)와 연결되어 사용자(11)로 하여금 HMD 장치(1000)를 통해 외부 장치(1408)를 제어하도록 할 수 있다.Referring to FIG. 14, the HMD device 1000 according to some embodiments may be connected to the external device 1408 to allow the user 11 to control the external device 1408 through the HMD device 1000.

HMD 장치(1000)는, 예를 들어, 투명 디스플레이(1003)를 통해, 외부 장치(1408)를 제어하기 위한 객체(1401)를 표시할 수 있다. 객체(1401)는, 예를 들어, 백 스크린 입력이 가능한 플로팅 객체일 수 있다.The HMD device 1000 may display an object 1401 for controlling the external device 1408 through, for example, the transparent display 1003. The object 1401 may be, for example, a floating object capable of back screen input.

HMD 장치(1000)는 디스플레이 영역에 객체(1401)를 표시함과 동시에, 사용자(11)의 손이 향하는 방향이 내측 방향인 경우에만 객체(1401)와 인터랙션이 이루어지도록 조건을 설정할 수 있다.The HMD device 1000 may display the object 1401 on the display area and set a condition so that the interaction with the object 1401 occurs only when the direction in which the user's hand is facing is an inward direction.

도 14의 (a)를 참조하면, 사용자(11)는 외부 장치(1408)를 제어하기 위해 외부 장치(1408)의 실물 버튼을 누를 수 있다.Referring to FIG. 14A, the user 11 may press a physical button of the external device 1408 to control the external device 1408.

도 14의 (b)를 참조하면, HMD 장치(1000)는, 예를 들어, 사용자(11)의 외측 방향의 손(141)이 외부 장치(1408)의 실물 버튼을 누름에 따라, 디스플레이 영역에 외부 장치(1408)를 제어하기 위한 객체(1401)를 표시할 수 있다. 객체(1401)는, 예를 들어, 외부 장치(1408)의 실물 버튼에 대응되는 외부 장치(1408)의 기능을 제어하기 위한 가상의 버튼을 포함할 수 있다.Referring to FIG. 14B, the HMD device 1000 is displayed on the display area as, for example, the hand 141 in the outer direction of the user 11 presses a physical button of the external device 1408. An object 1401 for controlling the external device 1408 may be displayed. The object 1401 may include, for example, a virtual button for controlling a function of the external device 1408 corresponding to a physical button of the external device 1408.

객체(1201)는, 예를 들어, 외부 장치(1408)의 실물 버튼에 대한 조작이 이루어짐에 따라 토글 방식으로 디스플레이 영역에 표시되거나 표시되지 않을 수 있다.The object 1201 may or may not be displayed on the display area in a toggle manner as, for example, a manipulation of the physical button of the external device 1408 is performed.

객체(1201)가 표시되면, HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지로부터 디스플레이 영역 내에 위치하는 사용자(11)의 손을 검출할 수 있다.When the object 1201 is displayed, the HMD device 1000 may capture an image in front of the HMD device 1000 using the camera 1005. The HMD device 1000 may detect a hand of the user 11 located in the display area from an image captured by the camera 1005.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 디스플레이 영역에 표시된 객체(1401)와 인터랙션하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다.The HMD device 1000 may determine a direction in which the hand of the user 11 interacting with the object 1401 displayed on the display area is directed based on the image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 디스플레이 영역에 표시된 객체(1401)와 인터랙션하는 사용자(11)의 손의 방향이 내측 방향인 것으로 판단할 수 있다. The HMD device 1000 measures the angle between the bottom surface of the user's hand and the surface of the transparent display 1003, for example, and the user 11 interacts with the object 1401 displayed in the display area. It can be determined that the direction of the hand is inward.

디스플레이 영역 내에 위치한 내측 방향의 손(142)이 백 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 객체(1401)와 내측 방향의 손(142)이 중첩될 수 있다. HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 내측 방향의 손(142)보다 앞에 있는 것으로 인식할 수 있도록 객체(1101)를 표시할 수 있다.As the inward hand 142 located in the display area is used for back screen input, the object 1401 displayed in the display area and the inward hand 142 may overlap. The HMD device 1000 may display the object 1101 so that the user 11 may recognize that it is in front of the inward hand 142 located in the display area.

사용자(11)의 손의 방향이 내측 방향인 것으로 판단한 HMD 장치(1000)는 내측 방향의 손(142) 및 객체(1401)의 중첩 여부와 관계없이 디스플레이 영역에 객체(1401)의 모든 영역을 표시할 수 있다.The HMD device 1000, which has determined that the user 11's hand is in the inward direction, displays all areas of the object 1401 on the display area regardless of whether the inward hand 142 and the object 1401 overlap. can do.

HMD 장치(1000)는 투명 디스플레이(1003) 및 사용자(11)의 내측 방향의 손(142) 사이의 거리가 임계 거리 이하로 전환되는지 여부를 판단할 수 있다. 측정된 거리가 임계 거리 이하로 전환될 경우, HMD 장치(1000)는 디스플레이 영역 상 내측 방향의 손(142)의 2차원 좌표를 획득할 수 있다.The HMD device 1000 may determine whether the distance between the transparent display 1003 and the hand 142 in the inward direction of the user 11 is changed to be less than a threshold distance. When the measured distance is converted to less than the threshold distance, the HMD device 1000 may obtain the 2D coordinates of the hand 142 in the inward direction on the display area.

HMD 장치(1000)는 획득된 내측 방향의 손(142)의 2차원 좌표 및 객체(1401)의 위치에 기초하여 객체(1401)에 대한 사용자(11)의 백 스크린 입력을 획득할 수 있다.The HMD device 1000 may obtain a back screen input of the user 11 for the object 1401 based on the acquired 2D coordinates of the hand 142 in the inward direction and the position of the object 1401.

객체(1101)에 대한 사용자(11)의 백 스크린 입력을 획득한 HMD 장치(1000)는 백 스크린 입력 및 객체(1401)에 대응하는 소정의 기능을 실행할 수 있다. The HMD device 1000 having acquired the back screen input of the user 11 for the object 1101 may execute the back screen input and a predetermined function corresponding to the object 1401.

HMD 장치(1000)는, 예를 들어, 객체(1401)에 표시된 기능 명칭에 대응하여, 외부 장치(1408)를 제어하기 위한 새로운 객체를 디스플레이 영역에 표시할 수 있다.The HMD device 1000 may display a new object for controlling the external device 1408 on the display area, for example, corresponding to a function name displayed on the object 1401.

객체(1401)는, 예를 들어, 외부 장치(1408)의 스크린에 표시되는 화면의 밝기를 조절하기 위한 가상의 버튼을 포함할 수 있다. 객체(1401)는, 다른 예로, 외부 장치(1408)의 스크린에 표시되는 화면의 채도를 조절하기 위한 가상의 버튼을 포함할 수 있다. The object 1401 may include, for example, a virtual button for adjusting the brightness of a screen displayed on the screen of the external device 1408. As another example, the object 1401 may include a virtual button for adjusting the saturation of a screen displayed on the screen of the external device 1408.

도 14에 도시되지 않았지만, 객체(1401)에 포함된 가상 버튼에 대한 사용자(11)의 백 스크린 입력을 획득한 HMD 장치(1000)는, 외부 장치(1408)의 스크린에 표시되는 화면의 속성을 조정하기 위한 새로운 객체를 디스플레이 영역에 표시할 수 있다.Although not shown in FIG. 14, the HMD device 1000, which has obtained the back screen input of the user 11 for the virtual button included in the object 1401, determines the properties of the screen displayed on the screen of the external device 1408 A new object for adjustment can be displayed in the display area.

객체(1401) 또는 새로운 객체 중 적어도 하나에 대한 사용자(11)의 입력에 기초하여, HMD 장치(1000)는 외부 장치(1408)를 제어하기 위한 제어 명령을 생성할 수 있다. Based on an input of the user 11 to at least one of the object 1401 or the new object, the HMD device 1000 may generate a control command for controlling the external device 1408.

HMD 장치(1000)는 생성된 제어 명령을 외부 장치(1408)에 전달할 수 있다. HMD 장치(1000)로부터 제어 명령을 수신한 외부 장치(1408)는 수신한 제어 명령에 대응하는 기능을 실행할 수 있다.The HMD device 1000 may transmit the generated control command to the external device 1408. The external device 1408 receiving the control command from the HMD device 1000 may execute a function corresponding to the received control command.

도 15는 일부 실시예 따른 HMD 장치가 표시하는 객체 및 사용자의 손의 인터랙션 방법을 나타낸 도면이다.15 is a diagram illustrating a method of interacting an object displayed by an HMD device and a user's hand according to some embodiments.

도 15를 참조하면, 일부 실시예에 따른 HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는, 예를 들어, 카메라(1005)를 통해 촬영된 이미지로부터 HMD 장치(1000)의 주변 환경에 존재하는 실물 객체(1510)를 검출할 수 있다.Referring to FIG. 15, the HMD device 1000 according to some embodiments may capture an image in front of the HMD device 1000 using a camera 1005. The HMD device 1000 may detect, for example, a real object 1510 existing in the surrounding environment of the HMD device 1000 from an image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 검출된 실물 객체(1510)에 대한 이미지 분석 결과에 기초하여, 실물 객체(1510)에 대한 정보를 제공하기 위한 객체(1501)를 디스플레이 영역에 표시할 수 있다. 객체(1501)는, 예를 들어, 백 스크린 입력이 가능한 플로팅 객체일 수 있다.The HMD device 1000 may display an object 1501 for providing information on the real object 1510 on the display area, for example, based on the detected image analysis result of the real object 1510. have. The object 1501 may be, for example, a floating object capable of back screen input.

HMD 장치(1000)는 디스플레이 영역에 객체(1501)를 표시함과 동시에, 사용자(11)의 손이 향하는 방향이 내측 방향인 경우에만 객체(1501)에 대한 인터랙션이 이루어지도록 조건을 설정할 수 있다.The HMD device 1000 may display the object 1501 on the display area and set a condition so that an interaction with the object 1501 occurs only when the direction in which the user's hand is facing is in the inward direction.

도 15의 (a)를 참조하면, 사용자(11)는 실물 객체(1510)에 대한 정보를 얻기 위하여 디스플레이 영역 내에 위치한 객체(1501)에 대하여 백 스크린 입력을 수행할 수 있다.Referring to FIG. 15A, the user 11 may perform a back screen input on the object 1501 located in the display area in order to obtain information on the real object 1510.

HMD 장치(1000)는 카메라(1005)를 사용하여 HMD 장치(1000)의 전방의 이미지를 촬영할 수 있다. HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지로부터 디스플레이 영역 내에 위치하는 사용자(11)의 손을 검출할 수 있다.The HMD device 1000 may capture an image in front of the HMD device 1000 using the camera 1005. The HMD device 1000 may detect a hand of the user 11 located in the display area from an image captured by the camera 1005.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 디스플레이 영역에 표시된 객체(1501)와 인터랙션하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다.The HMD device 1000 may determine a direction in which the hand of the user 11 interacting with the object 1501 displayed on the display area is directed, based on an image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하여, 디스플레이 영역에 표시된 객체(1501)와 인터랙션하는 사용자(11)의 손의 방향이 내측 방향인 것으로 판단할 수 있다. The HMD device 1000 measures the angle between the bottom surface of the user's hand and the surface of the transparent display 1003, for example, and the user 11 interacts with the object 1501 displayed in the display area. It can be determined that the direction of the hand is inward.

디스플레이 영역 내에 위치한 내측 방향의 손(142)이 백 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 객체(1501)와 내측 방향의 손(142)이 중첩될 수 있다. HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 내측 방향의 손(142)보다 앞에 있는 것으로 인식할 수 있도록 객체(1501)를 표시할 수 있다.Since the inward hand 142 located in the display area is used for back screen input, the object 1501 displayed in the display area and the inward hand 142 may overlap. The HMD device 1000 may display the object 1501 so that the user 11 may recognize that it is in front of the inward hand 142 located in the display area.

사용자(11)의 손의 방향이 내측 방향인 것으로 판단한 HMD 장치(1000)는 내측 방향의 손(142) 및 객체(1501)의 중첩 여부와 관계없이 디스플레이 영역에 객체(1501)의 모든 영역을 표시할 수 있다.The HMD device 1000, which has determined that the user 11's hand is in the inward direction, displays all areas of the object 1501 on the display area regardless of whether the inward hand 142 and the object 1501 overlap. can do.

한편, 도 15의 (b)를 참조하면, HMD 장치(1000)는, 사용자(11)의 객체(1501)에 대한 백 스크린 입력에 대응하여, 사용자(11)의 손이 향하는 방향이 외측 방향인 경우에만 객체(1501)에 대한 인터랙션이 이루어지도록 조건을 변경할 수 있다. 즉, 객체(1501)는 백 스크린 입력이 가능한 플로팅 객체에서 온 스크린 입력이 가능한 배경 객체로 전환될 수 있다. Meanwhile, referring to (b) of FIG. 15, the HMD device 1000 corresponds to a back screen input to the object 1501 of the user 11, and the direction in which the user's hand is directed is an outer direction. It is possible to change the condition so that the interaction with the object 1501 occurs only in the case. That is, the object 1501 may be converted from a floating object capable of back screen input to a background object capable of on-screen input.

HMD 장치(1000)는 카메라(1005)를 통해 촬영된 이미지에 기초하여, 디스플레이 영역에 표시된 객체(1501)와 인터랙션하는 사용자(11)의 손이 향하는 방향을 재판단할 수 있다.The HMD device 1000 may determine the direction in which the hand of the user 11 interacting with the object 1501 displayed on the display area is directed based on the image captured by the camera 1005.

HMD 장치(1000)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 재측정하여, 디스플레이 영역에 표시된 객체(1501)와 인터랙션하는 사용자(11)의 손의 방향이 외측 방향으로 전환된 것으로 판단할 수 있다. The HMD device 1000 re-measures the angle between the bottom surface of the user's hand and the surface of the transparent display 1003, for example, and the user 11 interacts with the object 1501 displayed in the display area. ) It can be determined that the direction of the hand has been changed to the outside direction.

디스플레이 영역 내에 위치한 외측 방향의 손(141)이 온 스크린 입력에 사용됨으로써, 디스플레이 영역에 표시된 객체(1501)와 외측 방향의 손(141)이 중첩될 수 있다. HMD 장치(1000)는 사용자(11)로 하여금 디스플레이 영역 내에 위치한 외측 방향의 손(141)보다 뒤에 있는 것으로 인식할 수 있도록 객체(1501)를 표시할 수 있다.Since the outward hand 141 located in the display area is used for on-screen input, the object 1501 displayed in the display area and the outward hand 141 may overlap. The HMD device 1000 may display the object 1501 so that the user 11 may recognize that it is behind the hand 141 in the outward direction located in the display area.

사용자(11)의 손이 향하는 방향이 외측 방향인 것으로 판단되면, HMD 장치(1000)는 디스플레이 영역에 표시되는 객체(1501)에서 외측 방향의 손(141) 및 객체(1501)가 중첩되는 영역을 제거할 수 있다.If it is determined that the user's 11's hand is in the outer direction, the HMD device 1000 determines the area in which the outwardly directed hand 141 and the object 1501 overlap in the object 1501 displayed on the display area. Can be removed.

HMD 장치(1000)는, 사용자(11)의 객체(1501)에 대한 온 스크린 입력에 대응하여, 객체(1501)와 인터랙션하고 있는 사용자(11)의 외측 방향의 손(141)이 이동함에 따라 디스플레이 영역 상의 객체(1501)의 위치를 이동시킬 수 있다. 사용자(11)의 손을 따라 이동한 객체(1501)는 디스플레이 영역 상에서 실물 객체(1510)와 중첩될 수 있다.The HMD device 1000 displays as the hand 141 in the outward direction of the user 11 interacting with the object 1501 moves in response to an on-screen input to the object 1501 of the user 11 The position of the object 1501 on the area may be moved. The object 1501 moved along the hand of the user 11 may overlap the real object 1510 on the display area.

객체(1501)가 실물 객체(1510)와 중첩되면, HMD 장치(1000)는 사용자(11)의 외측 방향의 손(141)이 객체(1501)에 대한 인터랙션을 중단할 경우에만 실물 객체(1510)에 대한 정보를 포함하는 텍스트가 디스플레이 영역 상에 표시되도록 조건을 변경할 수 있다.When the object 1501 overlaps with the real object 1510, the HMD device 1000 causes the real object 1510 only when the outward hand 141 of the user 11 stops the interaction with the object 1501. The condition can be changed so that the text including information about the is displayed on the display area.

도 15의 (c)를 참조하면, HMD 장치(1000)는 사용자(11)의 외측 방향의 손(141)이 인터랙션하고 있던 객체(1501)와 분리됨에 따라 디스플레이 영역 상에 실물 객체(1510)에 대한 정보를 포함하는 텍스트(1502)를 표시할 수 있다.Referring to (c) of FIG. 15, the HMD device 1000 is applied to the real object 1510 on the display area as the hand 141 in the outer direction of the user 11 is separated from the object 1501 that was interacting. A text 1502 including information about the information may be displayed.

도 16은 일부 실시예 따른 HMD 장치의 구성을 나타낸 블록도이다.16 is a block diagram showing a configuration of an HMD device according to some embodiments.

도 16을 참조하면, 일부 실시예에 따른 HMD 장치(1000)는 프로세서(1001), 투명 디스플레이(1003), 카메라(1005), 메모리(1007) 및 통신부(1009)를 포함할 수 있다.Referring to FIG. 16, the HMD device 1000 according to some embodiments may include a processor 1001, a transparent display 1003, a camera 1005, a memory 1007, and a communication unit 1009.

프로세서(1001)는 투명 디스플레이(1003)를 통해 디스플레이 영역 내에 적어도 하나의 객체를 표시하도록 제어할 수 있다The processor 1001 may control to display at least one object in the display area through the transparent display 1003.

프로세서(1001)는 카메라(1005)를 통해, 디스플레이 영역에 표시된 객체와 인터랙션하는 사용자(11)의 손을 촬영하도록 제어할 수 있다.The processor 1001 may control to capture a hand of the user 11 interacting with an object displayed on the display area through the camera 1005.

프로세서(1001)는, 예를 들어, 카메라(1005)를 통해 촬영된 이미지에 기초하여 사용자(11)의 손의 디스플레이 영역 상의 위치, 형상 또는 이동 방향 중 적어도 하나에 관한 정보를 획득할 수 있다.The processor 1001 may obtain, for example, information on at least one of a location, shape, or movement direction of the user's 11 hand on the display area based on an image captured by the camera 1005.

프로세서(1001)는 카메라(1005)를 통해 촬영된 이미지에 기초하여 디스플레이 영역에 표시된 객체와 인터랙션하는 사용자(11)의 손이 향하는 방향을 판단할 수 있다.The processor 1001 may determine a direction in which the hand of the user 11 interacting with the object displayed on the display area is directed based on the image captured by the camera 1005.

프로세서(1001)는, 예를 들어, 사용자(11)의 손의 바닥 면과 투명 디스플레이(1003)의 표면 사이의 각도를 측정하고, 측정된 각도에 기초하여 사용자(11)의 손의 방향을 판단할 수 있다.The processor 1001, for example, measures an angle between the bottom surface of the user's 11 hand and the surface of the transparent display 1003, and determines the direction of the user's 11 hand based on the measured angle. can do.

프로세서(1001)는, 예를 들어, 사용자(11)의 손의 방향을, 사용자(11)의 손의 바닥 면이 투명 디스플레이(1003)를 향하는 내측 방향 및 사용자(11)의 손의 바닥 면이 투명 디스플레이(1003)의 반대 방향을 향하는 외측 방향 중 어느 하나로 구분할 수 있다. Processor 1001, for example, the direction of the hand of the user 11, the inward direction of the bottom surface of the hand of the user 11 toward the transparent display 1003, and the bottom surface of the hand of the user 11 It can be classified into any one of the outer directions facing the direction opposite to the transparent display 1003.

프로세서(1001)는 사용자(11)의 손과 인터랙션하는 객체 및 사용자(11)의 손이 향하는 방향에 매칭된 소정의 기능을 실행할 수 있다.The processor 1001 may execute a predetermined function matched with an object that interacts with the user's 11 hand and a direction in which the user's 11 hand faces.

프로세서(1001)는, 예를 들어, 사용자(11)의 손에 과 인터랙션하는 객체가 플로팅 객체이고, 사용자(11)의 손이 향하는 방향이 내측 방향인 경우, 사용자(11)의 손과 인터랙하는 플로팅 객체에 대응되는 소정의 기능을 실행할 수 있다.The processor 1001, for example, when the object interacting with the user 11's hand is a floating object, and the user 11's hand is directed in the inward direction, the user 11 interacts with the hand. It is possible to execute a predetermined function corresponding to the floating object.

프로세서(1001)는, 예를 들어, 투명 디스플레이(1003) 및 상기 손 사이의 거리가 임계 거리 이하의 거리로 전환될 경우, 상기 플로팅 객체에 대한 인터랙션이 이루어진 것으로 판단할 수 있다. When the distance between the transparent display 1003 and the hand is changed to a distance equal to or less than a threshold distance, for example, the processor 1001 may determine that the interaction with the floating object has been made.

프로세서(1001)는, 예를 들어, 사용자(11)의 손과 인터랙션하는 객체가 배경 객체이고, 사용자(11)의 손이 향하는 방향이 외측 방향인 경우, 사용자(11)의 손과 인터랙하는 배경 객체에 대응되는 소정의 기능을 실행할 수 있다.The processor 1001, for example, when the object interacting with the user's 11 hand is a background object, and the user's 11's hand is directed to the outside, the background interacting with the user's 11 hand A predetermined function corresponding to an object can be executed.

프로세서(1001)는 사용자(11)의 손이 향하는 방향에 기초하여, 디스플레이 영역 내에서 사용자(11)의 손과 객체가 중첩되는 영역에 객체를 표시할지 여부를 판단할 수 있다.The processor 1001 may determine whether to display the object in an area where the user 11's hand and the object overlap within the display area, based on the direction in which the user's hand is facing.

프로세서(1001)는, 예를 들어, 촬영된 이미지에 기초하여, 객체와 인터랙션하는 사용자(11)의 손의 깊이를 식별하고, 식별된 손의 깊이 및 객체의 종류에 기초하여, 디스플레이 영역 내에서 사용자(11)의 손과 객체가 중첩되는 영역에 객체를 표시할지 여부를 판단할 수 있다.The processor 1001 identifies, for example, the depth of the hand of the user 11 interacting with the object based on the captured image, and based on the identified depth of the hand and the type of the object, within the display area It may be determined whether to display the object in an area where the user 11's hand and the object overlap.

투명 디스플레이(1003)는 디스플레이 영역(16) 내에 적어도 하나의 객체를 표시할 수 있다. The transparent display 1003 may display at least one object in the display area 16.

투명 디스플레이(1003)를 통해 적어도 하나의 객체가 표시되면, 사용자(11)는 디스플레이 영역(16) 상의 특정 위치에 객체가 표시되는 것으로 인식할 수 있다. 투명 디스플레이(1003)에 적어도 하나의 객체가 표시하는 동안, 사용자(11)는 투명 디스플레이(1003)를 투과하는 빛을 통해 외부 환경을 인지할 수 있다.When at least one object is displayed through the transparent display 1003, the user 11 may recognize that the object is displayed at a specific location on the display area 16. While at least one object is displayed on the transparent display 1003, the user 11 may perceive the external environment through light passing through the transparent display 1003.

투명 디스플레이(1003)는 HMD 장치(1000)의 제어를 위한 사용자 인터페이스, HMD 장치(1000)의 상태 표시를 위한 사용자 인터페이스 등을 표시할 수 있다.The transparent display 1003 may display a user interface for controlling the HMD device 1000, a user interface for displaying the status of the HMD device 1000, and the like.

메모리(1007)는 HMD 장치(1000)의 동작을 제어하기 위한 프로그램을 저장할 수 있다. 메모리(1007)는 HMD 장치(1000)의 동작을 제어하기 위한 적어도 하나의 인스트럭션을 포함할 수 있다. 메모리(1007)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류될 수 있다.The memory 1007 may store a program for controlling the operation of the HMD device 1000. The memory 1007 may include at least one instruction for controlling the operation of the HMD device 1000. Programs stored in the memory 1007 may be classified into a plurality of modules according to their functions.

메모리(1007)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 1007 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), and RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk And at least one type of storage medium among optical disks.

통신부(1009)는 외부 장치와의 통신을 위한 하나 이상의 통신 모듈을 포함할 수 있다. 예를 들어, 통신부(1009)는, 근거리 통신부, 이동 통신부를 포함할 수 있다. The communication unit 1009 may include one or more communication modules for communication with an external device. For example, the communication unit 1009 may include a short range communication unit and a mobile communication unit.

근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The short-range wireless communication unit includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared (IrDA, infrared) communication unit. Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, and may include an Ant+ communication unit, but is not limited thereto.

이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include a voice call signal, a video call signal, or various types of data according to transmission/reception of text/multimedia messages.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.Some embodiments may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media may be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include a computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Further, in the present specification, the "unit" may be a hardware component such as a processor or a circuit, and/or a software component executed by a hardware configuration such as a processor.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술 분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present disclosure is for illustrative purposes only, and those of ordinary skill in the technical field to which the present disclosure belongs will be able to understand that it is possible to easily transform it into other specific forms without changing the technical spirit or essential features of the present disclosure. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present disclosure is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present disclosure. do.

Claims (20)

HMD(Head Mounted Display) 장치의 동작 방법에 있어서,
투명 디스플레이의 디스플레이 영역 내에 적어도 하나의 객체를 표시하는 동작;
상기 표시된 객체와 인터랙션하는 사용자의 손을 촬영하는 동작;
상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손이 향하는 방향을 판단하는 동작; 및
상기 사용자의 손과 인터랙션하는 객체 및 상기 손이 향하는 방향에 매칭된 상기 HMD 장치의 소정의 기능을 실행하는 동작;을 포함하는, 방법.
In the operating method of the HMD (Head Mounted Display) device,
Displaying at least one object in the display area of the transparent display;
Photographing a user's hand interacting with the displayed object;
Determining a direction in which the hand interacting with the object is directed based on the captured image; And
And executing a predetermined function of the HMD device matched with an object that interacts with the user's hand and a direction in which the hand faces.
 제1항에 있어서,
상기 촬영된 이미지에 기초하여 상기 손의 상기 디스플레이 영역 상의 위치, 형상 또는 이동 방향 중 적어도 하나에 관한 정보를 획득하는 동작을 더 포함하는, 방법.
The method of claim 1,
The method further comprising obtaining information on at least one of a position, shape, or movement direction of the hand on the display area based on the captured image.
 제1항에 있어서,
상기 손이 향하는 방향을 판단하는 동작은
상기 손의 바닥 면과 상기 투명 디스플레이의 표면 사이의 각도를 측정하는 동작; 및
측정된 상기 각도에 기초하여 상기 손이 향하는 방향을 판단하는 동작;을 포함하는, 방법.
The method of claim 1,
The operation of determining the direction the hand is facing
Measuring an angle between the bottom surface of the hand and the surface of the transparent display; And
Including, determining a direction in which the hand is directed based on the measured angle.
 제3항에 있어서,
상기 손의 방향을 판단하는 동작은
상기 손의 바닥 면이 상기 투명 디스플레이를 향하는 내측 방향 및 상기 손의 바닥 면이 상기 투명 디스플레이의 반대 방향을 향하는 외측 방향 중 어느 하나로 구분하는 것인, 방법.
The method of claim 3,
The operation of determining the direction of the hand
The method, wherein the bottom surface of the hand is divided into one of an inward direction toward the transparent display and an outer direction in which the bottom surface of the hand toward the opposite direction of the transparent display.
 제4항에 있어서,
상기 HMD 장치의 소정의 기능을 실행하는 동작은
상기 사용자의 손과 인터랙션하는 객체가 플로팅 객체이고, 상기 손이 향하는 방향이 내측 방향인 경우, 상기 사용자의 손과 인터랙션하는 플로팅 객체에 대응되는 소정의 기능을 실행하는 동작을 포함하는, 방법.
The method of claim 4,
The operation of executing a predetermined function of the HMD device is
And when the object interacting with the user's hand is a floating object, and the direction in which the hand is directed is an inward direction, executing a predetermined function corresponding to the floating object interacting with the user's hand.
 제5항에 있어서,
상기 HMD 장치의 소정의 기능을 실행하는 동작은
상기 투명 디스플레이 및 상기 손 사이의 거리가 임계 거리 이하의 거리로 전환될 경우, 상기 플로팅 객체에 대한 인터랙션이 이루어진 것으로 판단하는 동작을 포함하는, 방법.
The method of claim 5,
The operation of executing a predetermined function of the HMD device is
And when the distance between the transparent display and the hand is changed to a distance less than or equal to a threshold distance, determining that an interaction has been made with the floating object.
 제4항에 있어서,
상기 HMD 장치의 소정의 기능을 실행하는 동작은
상기 사용자의 손과 인터랙션하는 객체가 배경 객체이고, 상기 손이 향하는 방향이 외측 방향인 경우, 상기 사용자의 손과 인터랙션하는 배경 객체에 대응되는 소정의 기능을 실행하는 동작을 포함하는, 방법.
The method of claim 4,
The operation of executing a predetermined function of the HMD device is
And when the object interacting with the user's hand is a background object, and the direction in which the hand is directed is an outer direction, executing a predetermined function corresponding to the background object interacting with the user's hand.
 제1항에 있어서,
상기 손이 향하는 방향에 따라, 상기 사용자의 손과 인터랙션하는 상기 객체를 식별하는 동작을 더 포함하는, 방법.
The method of claim 1,
The method further comprising the operation of identifying the object interacting with the user's hand according to the direction the hand is facing.
 제1항에 있어서,
상기 적어도 하나의 객체를 표시하는 동작은
상기 손이 향하는 방향에 기초하여, 상기 디스플레이 영역 내에서 상기 손과 상기 객체가 중첩되는 영역에 상기 객체를 표시할지 여부를 판단하는 동작을 포함하는, 방법.
The method of claim 1,
Displaying the at least one object
And determining whether to display the object in an area where the hand and the object overlap within the display area, based on a direction in which the hand is facing.
 제9항에 있어서,
상기 적어도 하나의 객체를 표시하는 동작은
상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손의 깊이(depth)를 식별하는 동작; 및
상기 식별된 손의 깊이 및 상기 객체의 종류에 기초하여, 상기 디스플레이 영역 내에서 상기 손과 상기 객체가 중첩되는 영역에 상기 객체를 표시할지 여부를 판단하는 동작을 더 포함하는, 방법.
The method of claim 9,
Displaying the at least one object
Identifying a depth of the hand interacting with the object based on the captured image; And
The method further comprising determining whether to display the object in an area where the hand and the object overlap within the display area, based on the identified depth of the hand and the type of the object.
 HMD 장치에 있어서,
투명 디스플레이;
하나 이상의 인터페이스를 저장하는 메모리; 및
상기 하나 이상의 인터페이스를 실행함으로써 상기 HMD 장치를 제어하는 적어도 하나의 프로세서;를 포함하며,
상기 적어도 하나의 프로세서는
투명 디스플레이의 디스플레이 영역 내에 적어도 하나의 객체를 표시하고, 상기 표시된 객체와 인터랙션하는 사용자의 손을 촬영하고, 상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손이 향하는 방향을 판단하고, 상기 사용자의 손과 인터랙션하는 객체 및 상기 손이 향하는 방향에 매칭된 상기 HMD 장치의 소정의 기능을 실행하는, HMD 장치.
In the HMD device,
Transparent display;
A memory storing one or more interfaces; And
Includes; at least one processor for controlling the HMD device by executing the one or more interfaces,
The at least one processor
Display at least one object in a display area of a transparent display, photograph a user's hand interacting with the displayed object, determine a direction in which the hand interacting with the object faces based on the captured image, and the user An HMD device that executes a predetermined function of the HMD device matched with an object interacting with a user's hand and a direction in which the hand faces.
 제11항에 있어서,
상기 적어도 하나의 프로세서는
상기 촬영된 이미지에 기초하여 상기 손의 상기 디스플레이 영역 상의 위치, 형상 또는 이동 방향 중 적어도 하나에 관한 정보를 획득하는, HMD 장치.
The method of claim 11,
The at least one processor
The HMD device for obtaining information on at least one of a position, a shape, or a moving direction of the hand on the display area based on the captured image.
 제11항에 있어서,
상기 적어도 하나의 프로세서는
상기 손의 바닥 면과 상기 투명 디스플레이의 표면 사이의 각도를 측정하고, 측정된 상기 각도에 기초하여 상기 손의 방향을 판단하는, HMD 장치.
The method of claim 11,
The at least one processor
Measuring an angle between the bottom surface of the hand and the surface of the transparent display, and determining the direction of the hand based on the measured angle.
 제13항에 있어서,
상기 적어도 하나의 프로세서는
상기 손의 방향을, 상기 손의 바닥 면이 상기 투명 디스플레이를 향하는 내측 방향 및 상기 손의 바닥 면이 상기 투명 디스플레이의 반대 방향을 향하는 외측 방향 중 어느 하나로 구분하는, HMD 장치.
The method of claim 13,
The at least one processor
The HMD device, wherein the direction of the hand is divided into one of an inner direction in which the bottom surface of the hand faces the transparent display and an outer direction in which the bottom surface of the hand faces in a direction opposite to the transparent display.
 제14항에 있어서,
상기 적어도 하나의 프로세서는
상기 사용자의 손과 인터랙션하는 객체가 플로팅 객체이고, 상기 손이 향하는 방향이 내측 방향인 경우, 상기 사용자의 손과 인터랙션하는 플로팅 객체에 대응되는 소정의 기능을 실행하는, HMD 장치.
The method of claim 14,
The at least one processor
When the object interacting with the user's hand is a floating object and the direction in which the hand faces is an inward direction, the HMD device executes a predetermined function corresponding to the floating object interacting with the user's hand.
 제15항에 있어서,
상기 적어도 하나의 프로세서는
상기 투명 디스플레이 및 상기 손 사이의 거리가 임계 거리 이하의 거리로 전환될 경우, 상기 플로팅 객체에 대한 인터랙션이 이루어진 것으로 판단하는, HMD 장치.
The method of claim 15,
The at least one processor
When the distance between the transparent display and the hand is changed to a distance equal to or less than a threshold distance, it is determined that an interaction with the floating object has been made.
 제14항에 있어서,
상기 적어도 하나의 프로세서는
상기 사용자의 손과 인터랙션하는 객체가 배경 객체이고, 상기 손이 향하는 방향이 외측 방향인 경우, 상기 사용자의 손과 인터랙션하는 배경 객체에 대응되는 소정의 기능을 실행하는, HMD 장치.
The method of claim 14,
The at least one processor
When the object interacting with the user's hand is a background object and the direction in which the hand is directed is an outer direction, the HMD device executes a predetermined function corresponding to the background object interacting with the user's hand.
 제11항에 있어서,
상기 적어도 하나의 프로세서는
상기 손이 향하는 방향에 기초하여, 상기 디스플레이 영역 내에서 상기 손과 상기 객체가 중첩되는 영역에 상기 객체를 표시할지 여부를 판단하는, HMD 장치.
The method of claim 11,
The at least one processor
The HMD device, wherein the HMD device determines whether to display the object in an area where the hand and the object overlap within the display area based on a direction in which the hand is facing.
 제18항에 있어서,
상기 적어도 하나의 프로세서는
상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손의 깊이(depth)를 식별하고, 상기 식별된 손의 깊이 및 상기 객체의 종류에 기초하여, 상기 디스플레이 영역 내에서 상기 손과 상기 객체가 중첩되는 영역에 상기 객체를 표시할지 여부를 판단하는, HMD 장치.
The method of claim 18,
The at least one processor
Identify the depth of the hand interacting with the object based on the captured image, and the hand and the object overlap within the display area based on the identified depth of the hand and the type of the object The HMD device for determining whether to display the object in the area to be displayed.
 투명 디스플레이의 디스플레이 영역 내에 적어도 하나의 객체를 표시하는 동작;
상기 표시된 객체와 인터랙션하는 사용자의 손을 촬영하는 동작;
상기 촬영된 이미지에 기초하여 상기 객체와 인터랙션하는 상기 손이 향하는 방향을 판단하는 동작; 및
상기 사용자의 손과 인터랙션하는 객체 및 상기 손이 향하는 방향에 매칭된 HMD 장치의 소정의 기능을 실행하는 동작;을 포함하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Displaying at least one object in the display area of the transparent display;
Photographing a user's hand interacting with the displayed object;
Determining a direction in which the hand interacting with the object is directed based on the captured image; And
An object that interacts with the user's hand and the operation of executing a predetermined function of the HMD device matched with the direction in which the hand is facing; a computer-readable recording medium storing a program for executing a method on a computer.
KR1020190109494A 2019-04-11 2019-09-04 Head mounted display apparatus and operating method thereof KR20200120467A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20788403.2A EP3931676A4 (en) 2019-04-11 2020-04-09 Head mounted display device and operating method thereof
PCT/KR2020/004820 WO2020209624A1 (en) 2019-04-11 2020-04-09 Head mounted display device and operating method thereof
US16/844,388 US11520409B2 (en) 2019-04-11 2020-04-09 Head mounted display device and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962832483P 2019-04-11 2019-04-11
US62/832,483 2019-04-11

Publications (1)

Publication Number Publication Date
KR20200120467A true KR20200120467A (en) 2020-10-21

Family

ID=73034920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190109494A KR20200120467A (en) 2019-04-11 2019-09-04 Head mounted display apparatus and operating method thereof

Country Status (1)

Country Link
KR (1) KR20200120467A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145888A1 (en) * 2020-12-31 2022-07-07 삼성전자 주식회사 Method for controlling augmented reality device, and augmented reality device performing same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145888A1 (en) * 2020-12-31 2022-07-07 삼성전자 주식회사 Method for controlling augmented reality device, and augmented reality device performing same

Similar Documents

Publication Publication Date Title
CN110647237B (en) Gesture-based content sharing in an artificial reality environment
JP6057396B2 (en) 3D user interface device and 3D operation processing method
KR101844390B1 (en) Systems and techniques for user interface control
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
JP5936155B2 (en) 3D user interface device and 3D operation method
US10698535B2 (en) Interface control system, interface control apparatus, interface control method, and program
CN110647239A (en) Gesture-based projection and manipulation of virtual content in an artificial reality environment
JP5843340B2 (en) 3D environment sharing system and 3D environment sharing method
WO2014147858A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method and program
KR101082829B1 (en) The user interface apparatus and method for 3D space-touch using multiple imaging sensors
WO2014016992A1 (en) Three-dimensional user-interface device, and three-dimensional operation method
US20140157206A1 (en) Mobile device providing 3d interface and gesture controlling method thereof
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US11520409B2 (en) Head mounted display device and operating method thereof
KR20120068253A (en) Method and apparatus for providing response of user interface
US11954268B2 (en) Augmented reality eyewear 3D painting
JP6344530B2 (en) Input device, input method, and program
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
TWI596378B (en) Portable virtual reality system
WO2015093130A1 (en) Information processing device, information processing method, and program
CN111061575A (en) Data processing method and device, user equipment and augmented reality system
JP6632322B2 (en) Information communication terminal, sharing management device, information sharing method, computer program
KR20200120467A (en) Head mounted display apparatus and operating method thereof
JP2012038025A (en) Display device, control method for display device, and program
JP2016126687A (en) Head-mounted display, operation reception method, and operation reception program

Legal Events

Date Code Title Description
A201 Request for examination