KR20200120466A - Head mounted display apparatus and operating method for the same - Google Patents

Head mounted display apparatus and operating method for the same Download PDF

Info

Publication number
KR20200120466A
KR20200120466A KR1020190106133A KR20190106133A KR20200120466A KR 20200120466 A KR20200120466 A KR 20200120466A KR 1020190106133 A KR1020190106133 A KR 1020190106133A KR 20190106133 A KR20190106133 A KR 20190106133A KR 20200120466 A KR20200120466 A KR 20200120466A
Authority
KR
South Korea
Prior art keywords
information
depth
gaze
electronic device
sensor
Prior art date
Application number
KR1020190106133A
Other languages
Korean (ko)
Inventor
구본곤
고재우
이원우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202080027905.1A priority Critical patent/CN113661433B/en
Priority to CN202311324927.6A priority patent/CN117590582A/en
Priority to PCT/KR2020/002225 priority patent/WO2020209491A1/en
Priority to EP20787395.1A priority patent/EP3911992A4/en
Priority to US16/800,414 priority patent/US11249305B2/en
Priority to US16/818,698 priority patent/US11526004B2/en
Publication of KR20200120466A publication Critical patent/KR20200120466A/en
Priority to US17/985,464 priority patent/US11809623B2/en
Priority to US18/372,554 priority patent/US20240012474A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G06K9/00597
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a head mounted display device, which comprises: a gaze tracking sensor which acquires gaze information of both eyes of a user; a depth sensor which acquires depth information on one or more objects; and a processor which acquires information on a gaze point based on the acquired gaze information and determines a measurement parameter of the depth sensor based on the information on the gaze point.

Description

헤드 마운트 디스플레이 장치 및 그 동작방법{Head mounted display apparatus and operating method for the same}Head mounted display apparatus and operating method for the same

다양한 실시예들은 실제 공간에서 응시 지점을 결정하고, 응시 지점에 최적화된 파라미터를 이용하여 깊이 정보를 획득하는 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다.Various embodiments relate to a head mounted display device for determining a gaze point in an actual space and acquiring depth information by using a parameter optimized for the gaze point, and an operating method thereof.

우리가 살아가는 현실 공간은 3차원 좌표로 구성된다. 사람은 양쪽 눈으로 보이는 시각정보를 결합하여 입체감 있는 3차원 공간을 인식한다. 하지만, 일반적인 디지털 기기로 촬영한 사진이나 동영상은 3차원 좌표를 2차원 좌표로 표현하는 기술이어서, 공간에 대한 정보는 포함하지 않는다. 이러한 공간감을 표현하기 위해 2대의 카메라를 함께 사용하여 입체감 있는 영상들을 촬영하고 보여주는 3D 카메라 또는 디스플레이 제품들이 등장하고 있다.The real space in which we live is composed of three-dimensional coordinates. Humans perceive a three-dimensional space with a three-dimensional effect by combining visual information seen by both eyes. However, a picture or video taken with a general digital device is a technology that expresses three-dimensional coordinates as two-dimensional coordinates, and does not include information on space. In order to express such a sense of space, 3D cameras or display products are emerging that use two cameras together to shoot and show three-dimensional images.

한편, 공간감을 표현하기 위해서는, 현실 공간에 대한 깊이 정보를 센싱해야 한다. 기존에 깊이 정보 센싱은, 사용자의 관심 영역을 고려하지 않고, 깊이 센서가 측정할 수 있는 모든 범위의 공간에 대하여 깊이 센싱을 수행하였다. 특히, 광을 투사하여 깊이 센싱을 수행하는 깊이 센서의 경우, 모든 범위의 공간에 대하여 광(예를 들어, 적외선 광)을 투사하기 위하여, IR LED를 구동하게 되고, IR LED의 구동에 따른 전력 소모가 증가하게 된다. 또한, 모든 범위의 공간에 대한 깊이 정보를 획득하기 위해 연산량이 증가하며, 이에 따른 전력 소모도 증가하게 된다. 깊이 센서의 전력 소모가 증가함에 따라, 깊이 센서를 소형 기기에 탑재하기 어렵다는 문제점이 있다.On the other hand, in order to express a sense of space, depth information on a real space must be sensed. In the conventional depth information sensing, depth sensing has been performed on the entire range of spaces that can be measured by the depth sensor without considering the user's region of interest. In particular, in the case of a depth sensor that performs depth sensing by projecting light, the IR LED is driven to project light (for example, infrared light) over a full range of space, and power according to the driving of the IR LED Consumption increases. In addition, the amount of calculation increases in order to obtain depth information for a full range of spaces, thereby increasing power consumption. As power consumption of the depth sensor increases, there is a problem in that it is difficult to mount the depth sensor in a small device.

또한, 종래의 깊이 센싱 방법들은, 깊이 센서들 각각의 취약점으로 인하여, 깊이 센싱의 정확도가 낮다는 문제점이 있다.In addition, conventional depth sensing methods have a problem in that the accuracy of depth sensing is low due to the weakness of each of the depth sensors.

일 실시예에 따른 헤드 마운트 디스플레이 장치는, 응시 지점을 결정하고, 응시 지점에 최적화된 파라미터를 이용하여, 응시 지점을 중심으로 기 설정된 관심 영역에 대한 깊이 정보를 획득하는 헤드 마운트 디스플레이 장치 및 그 동작방법을 제공할 수 있다.The head mounted display device according to an embodiment determines a gaze point, and obtains depth information about a preset region of interest based on the gaze point, using a parameter optimized for the gaze point, and an operation thereof Can provide a way.

일 실시예에 따른 헤드 마운트 디스플레이 장치는, 사용자 양안의 시선 정보를 획득하는 시선 추적 센서, 하나 이상의 객체들에 대한 깊이 정보를 획득하는 깊이 센서, 및 상기 획득된 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득하고, 상기 응시 지점에 대한 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 결정하는 프로세서를 포함할 수 있다.The head mounted display device according to an embodiment includes a gaze tracking sensor that acquires gaze information of both eyes of a user, a depth sensor that acquires depth information for one or more objects, and a gaze point based on the acquired gaze information. It may include a processor that obtains information about the gaze and determines a measurement parameter of the depth sensor based on the information about the gaze point.

일 실시예에 따른 프로세서는, 상기 시선 정보에 기초하여, 상기 응시 지점의 2차원 위치 정보를 획득할 수 있다.The processor according to an embodiment may acquire 2D location information of the gaze point based on the gaze information.

일 실시예에 따른 프로세서는, 상기 시선 정보에 기초하여, 상기 응시 지점의 추정 깊이 정보를 획득할 수 있다.The processor according to an embodiment may obtain information on the estimated depth of the gaze point based on the gaze information.

일 실시예에 따른 깊이 센서는, 상기 결정된 측정 파라미터에 따라, 상기 응시 지점을 중심으로 기 설정된 관심 영역에 대한 깊이 정보를 획득할 수 있다.The depth sensor according to an exemplary embodiment may obtain depth information on a region of interest set in advance based on the gaze point according to the determined measurement parameter.

일 실시예에 따른 깊이 센서의 측정 파라미터는, 타겟 영역에 대한 파라미터, 방출 광 출력에 대한 파라미터, 및 반사광 센싱에 대한 파라미터 중 적어도 하나를 포함할 수 있다.The measurement parameter of the depth sensor according to an embodiment may include at least one of a parameter for a target area, a parameter for emission light output, and a parameter for reflected light sensing.

일 실시예에 따른 프로세서는, 획득된 상기 관심 영역에 대한 깊이 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 다시 결정하고, 상기 깊이 센서는, 다시 결정된 상기 측정 파라미터에 따라, 상기 관심 영역에 대한 깊이 정보를 다시 획득할 수 있다.The processor according to an embodiment determines the measurement parameter of the depth sensor again based on the obtained depth information on the ROI, and the depth sensor determines the measurement parameter for the ROI. The depth information can be obtained again.

일 실시예에 따른 깊이 센서는, TOF (Time Of Flight) 방식, SL(Structured Light) 방식 및 SI(Stereo Image) 방식 중 적어도 하나에 의해 상기 관심 영역에 에 대한 깊이 정보를 획득할 수 있다.The depth sensor according to an embodiment may obtain depth information on the region of interest by at least one of a Time Of Flight (TOF) method, a Structured Light (SL) method, and a Stereo Image (SI) method.

일 실시예에 따른 깊이 센서가, TOF (Time Of Flight) 방식의 깊이 센서를 포함하는 경우, 상기 프로세서는, 상기 응시 지점의 2차원 위치 정보에 기초하여, 상기 깊이 센서에 포함되는 광원들 중 상기 응시 지점에 대응하는 일부 광원들이 구동되도록 상기 측정 파라미터를 결정하고, 상기 깊이 센서는, 상기 일부 광원들을 구동시켜, 상기 관심 영역에 대한 깊이 정보를 획득할 수 있다.When the depth sensor according to an embodiment includes a depth sensor of a TOF (Time Of Flight) method, the processor, based on the two-dimensional position information of the gaze point, among the light sources included in the depth sensor The measurement parameter may be determined so that some light sources corresponding to the gaze point are driven, and the depth sensor may drive the some light sources to obtain depth information on the ROI.

일 실시예에 따른 헤드 마운트 디스플레이 장치는, 상기 관심 영역을 포함하는 실제 공간을 표시하는 디스플레이를 더 포함하고, 상기 프로세서는, 관심 영역에 대한 깊이 정보에 기초하여, 상기 관심 영역에 적어도 하나의 가상의 객체가 표시되도록 상기 디스플레이를 제어할 수 있다.The head mounted display device according to an embodiment further includes a display displaying an actual space including the region of interest, and the processor further includes at least one virtual display device on the region of interest based on depth information on the region of interest. The display can be controlled so that the object of is displayed.

일 실시예에 따른 프로세서는, 상기 깊이 센서의 측정 파라미터를 제1 파라미터로 설정하고, 상기 제1 파라미터에 기초하여, 상기 관심 영역을 포함하면서 상기 깊이 센서로 센싱 가능한 공간에 대한 전체 깊이 정보를 획득하도록 상기 깊이 센서를 제어하고, 상기 전체 깊이 정보에 기초하여, 상기 관심 영역에 대한 제1 깊이 정보를 획득하고, 상기 제1 깊이 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 제2 파라미터로 설정하고, 상기 제2 파라미터에 기초하여, 상기 관심 영역에 대한 제2 깊이 정보를 획득하도록 상기 깊이 센서를 제어할 수 있다.The processor according to an embodiment sets the measurement parameter of the depth sensor as a first parameter, and obtains total depth information on a space that can be sensed by the depth sensor while including the region of interest based on the first parameter. The depth sensor is controlled so that the depth sensor is controlled, based on the total depth information, first depth information for the ROI is obtained, and a measurement parameter of the depth sensor is set as a second parameter based on the first depth information. And, based on the second parameter, the depth sensor may be controlled to obtain second depth information on the ROI.

일 실시예에 따른 전자 장치의 동작방법은, 사용자 양안의 시선 정보를 획득하는 단계, 상기 획득된 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득하는 단계, 및 상기 응시 지점에 대한 정보에 기초하여, 깊이 센서의 측정 파라미터를 결정하는 단계를 포함할 수 있다.An operation method of an electronic device according to an embodiment includes: acquiring gaze information of both eyes of a user, acquiring information on a gaze point based on the acquired gaze information, and based on information on the gaze point Thus, it may include determining a measurement parameter of the depth sensor.

일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 사용자 양안의 시선 정보를 획득하는 단계, 상기 획득된 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득하는 단계, 및 상기 응시 지점에 대한 정보에 기초하여, 깊이 센서의 측정 파라미터를 결정하는 단계를 수행하도록 하는 프로그램이 저장될 수 있다.A computer-readable recording medium according to an embodiment includes: acquiring gaze information of both eyes of a user, acquiring information on a gaze point based on the acquired gaze information, and information on the gaze point Based on, a program for performing the step of determining a measurement parameter of the depth sensor may be stored.

일 실시예에 따른 전자 장치는, 응시 지점에 기초하여 깊이 정보를 획득하므로, 깊이 센싱의 효율성이 증가하고, 전력 소모가 감소할 수 있다.The electronic device according to an embodiment acquires depth information based on a gaze point, so that efficiency of depth sensing may increase and power consumption may decrease.

일 실시예에 따른 전자 장치는 응시 지점에 최적화된 파라미터를 이용하여, 깊이 정보를 획득하므로, 깊이 정보의 정확도가 향상될 수 있다.Since the electronic device according to an embodiment acquires depth information by using a parameter optimized for a gaze point, accuracy of the depth information may be improved.

도 1은 일 실시예에 따른 전자 장치를 나타내는 도면이다.
도 2 내지 도 3d는 일 실시예에 따른 전자 장치가 사용자의 시선을 추적하는 방법을 설명하기 위해 참조되는 도면들이다.
도 4a 및 4b는 일 실시예에 따른 전자 장치가 응시 지점에 대한 깊이 정보를 획득하는 방법을 설명하기 위한 도면들이다.
도 5a 및 도 5b는 일 실시예에 따른 전자 장치가 사용자의 응시 지점에 기초하여, 깊이 센서의 측정 파라미터들을 결정하는 방법을 설명하기 위한 도면들이다.
도 6 내지 도 7b는 일 실시예에 따른 깊이 센서가 TOF방식인 경우에, 일 실시예에 따른 전자 장치가 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면들이다.
도 8 및 도 9는 일 실시예에 따른 깊이 센서가 구조화된 광(SL)방식인 경우에, 일 실시예에 따른 전자 장치가 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면들이다.
도 10은 일 실시예에 따른 깊이 센서가 스테레오 이미지(SI) 방식인 경우에, 일 실시예에 따른 전자 장치가 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면이다.
도 11은 일 실시예에 따른 전자 장치가 가상 객체를 표시하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
도 13은 일 실시예에 따른 전자 장치가 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 전자 장치가 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.
도 15는 일 실시예에 따른 전자 장치가 도 14의 깊이 정보 획득 동작들을 반복적으로 수행하는 예를 나타내는 도면이다.
도 16은 일 실시예에 따른 전자 장치가 증강현실(AR) 방식으로 가상의 객체를 제공하는 예를 나타내는 도면이다.
도 17은 일 실시예에 따른 전자 장치가 깊이 정보를 이용하여, 사람의 얼굴을 인식하는 예를 나타내는 도면이다.
도 18은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 19는 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 20 및 도 21은 일 실시예에 따른 전자 장치가 자동으로 초점을 조절하는 방법을 설명하기 위한 도면들이다.
도 22는 일 실시예에 따른 전자 장치가 시선 기반 공간 모델링을 수행하는 방법을 설명하기 위한 도면이다.
1 is a diagram illustrating an electronic device according to an exemplary embodiment.
2 to 3D are diagrams referred to for describing a method of tracking a user's gaze by an electronic device according to an exemplary embodiment.
4A and 4B are diagrams for describing a method of obtaining, by an electronic device, depth information on a gaze point, according to an exemplary embodiment.
5A and 5B are diagrams for explaining a method of determining measurement parameters of a depth sensor based on a user's gaze point, according to an exemplary embodiment.
6 to 7B are diagrams referenced for explaining a method of determining measurement parameters by an electronic device according to an exemplary embodiment when a depth sensor according to an exemplary embodiment is a TOF method.
8 and 9 are diagrams referenced for explaining a method of determining measurement parameters by an electronic device according to an exemplary embodiment when a depth sensor according to an exemplary embodiment is a structured light (SL) method.
FIG. 10 is a diagram referenced for explaining a method of determining measurement parameters by an electronic device according to an exemplary embodiment when the depth sensor according to an exemplary embodiment is a stereo image (SI) method.
11 is a diagram for describing a method of displaying a virtual object by an electronic device according to an exemplary embodiment.
12 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
13 is a diagram for describing a method of obtaining depth information by an electronic device according to an exemplary embodiment.
14 is a flowchart illustrating a method of obtaining depth information by an electronic device according to an exemplary embodiment.
15 is a diagram illustrating an example in which an electronic device repeatedly performs depth information acquisition operations of FIG. 14 according to an exemplary embodiment.
16 is a diagram illustrating an example in which an electronic device provides a virtual object in an augmented reality (AR) method according to an exemplary embodiment.
17 is a diagram illustrating an example in which an electronic device recognizes a human face using depth information according to an exemplary embodiment.
18 is a block diagram illustrating a configuration of an electronic device according to an exemplary embodiment.
19 is a block diagram illustrating a configuration of an electronic device according to another embodiment.
20 and 21 are diagrams for describing a method of automatically adjusting focus by an electronic device according to an exemplary embodiment.
22 is a diagram for describing a method of performing a gaze-based spatial modeling by an electronic device according to an exemplary embodiment.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in the present specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected from general terms that are currently widely used while considering functions in the present invention, but this may vary depending on the intention or precedent of a technician working in the field, the emergence of new technologies, and the like. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning of the terms will be described in detail in the description of the corresponding invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall contents of the present invention, not a simple name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, terms such as "... unit" and "module" described in the specification mean units that process at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

도 1은 일 실시예에 따른 전자 장치를 나타내는 도면이다.1 is a diagram illustrating an electronic device according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 따른 전자 장치(100)는 안경형 웨어러블 디바이스일 수 있다. 안경형 웨어러블 디바이스는 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 ‘HMD’라 함)를 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등의 형태를 가지는 기기를 포함할 수 있으나, 이에 한정되는 것은 아니다.Referring to FIG. 1, the electronic device 100 according to an embodiment may be a glasses-type wearable device. The glasses-type wearable device may include a head mounted display (HMD, hereinafter referred to as “HMD”) that can be mounted on the head. For example, the head mounted display HMD may include a device having a shape such as glasses, a helmet, and a hat, but is not limited thereto.

또한, 일 실시예에 따른 전자 장치(100)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다.In addition, the electronic device 100 according to an embodiment includes a mobile phone, a smart phone, a laptop computer, a desktop computer, a tablet PC, an e-book terminal, a digital broadcasting terminal, and a personal digital assistant (PDA). , Portable Multimedia Player (PMP), navigation, MP3 player, camcorder, Internet Protocol Television (IPTV), Digital Television (DTV), and a wearable device. However, it is not limited thereto.

본 명세서의 실시예에서 “사용자”라는 용어는 전자 장치(100)의 기능 또는 동작을 제어하는 사람을 의미하며, 관리자 또는 설치 기사를 포함할 수 있다.In the embodiments of the present specification, the term "user" refers to a person who controls functions or operations of the electronic device 100, and may include an administrator or an installer.

일 실시예에 따른 전자 장치(100)는 적어도 하나의 가상의 객체를 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 제공하는 기기일 수 있다. The electronic device 100 according to an embodiment is a device that provides at least one virtual object in the form of augmented reality (AR), mixed reality (MR), or virtual reality (VR). Can be

증강현실 또는 혼합현실의 형태로 가상의 객체를 제공하는 경우, 전자 장치(100)는 가상의 객체가, 현실 세계의 실제 객체의 형태, 배치, 거리, 깊이에 어울어져 보이도록 가상의 객체를 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치(100)는 현실 세계의 실상에 가상 객체의 이미지를 오버랩하여 표시할 수 있다. 다만, 이에 한정되지 않는다.When a virtual object is provided in the form of augmented reality or mixed reality, the electronic device 100 displays the virtual object on the display so that the virtual object matches the shape, arrangement, distance, and depth of the real object in the real world. Can be displayed. For example, the electronic device 100 may overlap and display an image of a virtual object on a real image of the real world. However, it is not limited thereto.

일 실시예에 따른 전자 장치(100)는 깊이 센서(150)를 포함할 수 있다.The electronic device 100 according to an embodiment may include a depth sensor 150.

깊이 센서(150)는 현실 세계에 포함되는 하나 이상의 객체들에 대한 깊이 정보를 획득할 수 있다. 깊이 정보는, 깊이 센서(150)로부터 특정 객체까지의 거리에 대응할 수 있다. 일 실시예에 따른 깊이 센서(150)로부터 특정 객체까지의 거리가 멀수록 깊이 값은 커질 수 있다.The depth sensor 150 may acquire depth information on one or more objects included in the real world. The depth information may correspond to a distance from the depth sensor 150 to a specific object. The depth value may increase as the distance from the depth sensor 150 according to an exemplary embodiment to a specific object increases.

도 1에 도시된 바와 같이, 3차원 공간 상에서 X축은 전자 장치(100)를 좌우로 지나는 기준 축이고, Y축은 전자 장치(100)를 상하로 지나는 기준 축이며, Z축은 전자 장치(100)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y축 및 Z축은 서로 수직을 이룰 수 있다.As shown in FIG. 1, in a three-dimensional space, the X-axis is a reference axis that passes right and left through the electronic device 100, the Y-axis is a reference axis that passes vertically through the electronic device 100, and the Z-axis is the front and back of the electronic device 100. It may be a reference axis passing through. In addition, the X-axis, Y-axis, and Z-axis may be perpendicular to each other.

이에 따라, 일 실시예에 따른 깊이 정보는, 깊이 센서(150)로부터 특정 객체까지의 Z축 상의 거리를 의미할 수 있다.Accordingly, depth information according to an embodiment may mean a distance on the Z axis from the depth sensor 150 to a specific object.

일 실시예에 따른 깊이 센서(150)는 다양한 방식으로 객체의 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 센서(150)는 TOF(Time of flight) 방식, 구조화된 광(Structured Light) 방식, 스테레오 이미지(Stereo Image) 방식 중 적어도 하나의 방식을 이용하여, 깊이 정보를 획득할 수 있다. 각각의 방식에 대해서는, 뒤에서 자세히 후술하기로 한다.The depth sensor 150 according to an embodiment may obtain depth information of an object in various ways. For example, the depth sensor 150 may acquire depth information by using at least one of a time of flight (TOF) method, a structured light method, and a stereo image method. . Each method will be described in detail later.

일 실시예에 따른 깊이 센서(150)는 적어도 하나의 카메라(이미지 센서)를 포함할 수 있다. 깊이 센서(150)는, 카메라의 FOV(Field of veiw)에 포함되는 실제 공간에 대한 깊이 정보를 획득할 수 있다. 이하에서는, 깊이 센서(150)에 의해 센싱될 수 있는 범위의 실제 공간을‘전체 공간’이라고 지칭하기로 한다. 일반적으로 ‘전체 공간’은 상기 이미지 센서의 전체 영역에 대응된다.The depth sensor 150 according to an embodiment may include at least one camera (image sensor). The depth sensor 150 may acquire depth information on an actual space included in a field of veiw (FOV) of the camera. Hereinafter, an actual space within a range that can be sensed by the depth sensor 150 will be referred to as a “total space”. In general, the'total space' corresponds to the entire area of the image sensor.

한편, 전자 장치(100)의 사용자가 전체 공간 중, 일부 공간을 응시하는 경우, 일부 공간을 제외한 나머지 공간에 대한 깊이 정보는 사용자가 응시하는 공간에 비해 중요도가 낮다. 예를 들어, 전자 장치(100)의 사용자가 도 1에 도시된 방 공간(전체 공간, 10) 중 책상 주위 공간(50)을 응시하고 있는데, 깊이 센서(150)를 이용하여, 전체 공간(10)에 대한 깊이 정보를 획득하는 경우, 책상 주위 공간(50)을 제외한 나머지 공간에 대한 깊이 정보는 책상 주위 공간(50)의 깊이 정보에 비해 중요도가 낮은 정보일 수 있다. 상기 전체 공간 중, 상기 사용자가 응시하는 지점 및 응시하는 지점의 주변 영역을 관심 영역으로 지칭하기로 한다. 일 실시예에 따른 관심 영역은 사용자가 응시하는 지점을 중심으로 기 설정된 영역일 수 있다.On the other hand, when the user of the electronic device 100 gazes at a partial space of the entire space, depth information on the remaining spaces excluding the partial space is less important than the space at which the user gazes. For example, a user of the electronic device 100 is gazing at the space around the desk 50 among the room spaces (total spaces, 10) shown in FIG. 1. Using the depth sensor 150, the entire space 10 In the case of acquiring depth information about ), depth information about the remaining spaces excluding the space around the desk 50 may be information of lower importance than depth information about the space around the desk 50. Among the entire space, a point where the user gazes and a region around the point where the user gazes are referred to as an ROI. The region of interest according to an embodiment may be a preset region centered on a point at which the user gazes.

또한, 전자 장치(100)가 전체 공간에 대한 깊이 정보를 획득하는 경우, 연산량이 증가하게 되므로, 전력 소모는 증가하고, 전자 장치(100)의 응답 속도는 느려진다. 또한, 일부 공간(예를 들어, 전자 장치 사용자의 응시 지점)만을 타겟으로 하여 깊이 정보를 획득하는 것이 아니고, 전체 공간을 타겟으로 하여 깊이 정보를 획득하는 경우, 전자 장치(100) 사용자의 응시 지점에 대한 깊이 정보의 정확도는 낮아질 수 있다.In addition, when the electronic device 100 acquires depth information on the entire space, since the amount of calculation increases, power consumption increases, and the response speed of the electronic device 100 decreases. In addition, when depth information is obtained by targeting not only a partial space (for example, the gaze point of the electronic device user) but targeting the entire space, the gaze point of the user of the electronic device 100 The accuracy of the depth information for may be lowered.

이에 따라, 일 실시예에 따른 전자 장치(100)는 전체 공간 중 사용자가 응시하는 지점을 결정할 수 있다. 예를 들어, 전자 장치(100)는 사용자 양안의 시선을 추적하여, 시선 정보를 획득하고, 시선 정보에 기초하여, 사용자가 응시하는 지점(응시 지점)을 결정할 수 있다. Accordingly, the electronic device 100 according to an embodiment may determine a point at which the user gazes out of the entire space. For example, the electronic device 100 may track the gazes of both eyes of the user, obtain gaze information, and determine a point at which the user gazes (a gaze point) based on the gaze information.

일 실시예에 따른 전자 장치(100)는 결정된 응시 지점에 기초하여, 깊이 센서의 측정 파라미터를 조절함으로써, 깊이 정보 획득에 필요한 전력 소모를 감소시키고, 깊이 정보에 대한 정확도를 향상시킬 수 있다. The electronic device 100 according to an embodiment may reduce power consumption required for obtaining depth information and improve accuracy for depth information by adjusting a measurement parameter of the depth sensor based on the determined gaze point.

깊이 센서의 측정 파라미터는, 깊이 센서를 이용하여, 적어도 하나의 객체에 대한 깊이 정보를 획득하는 경우, 깊이 정보를 획득하는 데 필요한 변수로써, 깊이 센서에 미리 설정되어야 하는 수치 정보일 수 있다. 예를 들어, 깊이 센서의 측정 파라미터는, 광을 방출하기 위한 타겟 영역에 대한 파라미터, 반사광을 센싱하기 위한 반사광 센싱 영역에 대한 파라미터, 방출 광의 출력 패턴에 대한 파라미터, 방출 광의 출력 크기에 대한 파라미터, 반사광을 센싱하는 센싱 속도, 센싱 주기 또는 센싱 감도에 대한 파라미터 등을 포함할 수 있다. 이하, 도면들을 참조하여 자세히 설명하기로 한다.The measurement parameter of the depth sensor is a variable required to obtain depth information when depth information on at least one object is obtained using the depth sensor, and may be numerical information that must be set in advance in the depth sensor. For example, the measurement parameters of the depth sensor include a parameter for a target area for emitting light, a parameter for a reflected light sensing area for sensing reflected light, a parameter for an output pattern of emitted light, a parameter for an output size of emitted light, It may include a sensing speed for sensing reflected light, a sensing period, or a parameter for sensing sensitivity. Hereinafter, it will be described in detail with reference to the drawings.

도 2 내지 도 3d는 일 실시예에 따른 전자 장치가 사용자의 시선을 추적하는 방법을 설명하기 위해 참조되는 도면들이다.2 to 3D are diagrams referred to for describing a method of tracking a user's gaze by an electronic device according to an exemplary embodiment.

도 2를 참조하면, 전자 장치(100)는 사용자의 시선을 추적할 수 있다. 일반적으로 ‘시선’은 보는 방향을 의미하고 ‘시선 추적(eye tracking)’은 사용자의 시선(예를 들어, 사용자가 응시하는 지점(210))을 측정하는 과정을 의미하며, 양쪽 눈의 위치와 움직임을 추적함으로써, 수행될 수 있다.Referring to FIG. 2, the electronic device 100 may track a user's gaze. In general,'gaze' refers to the viewing direction, and'eye tracking' refers to a process of measuring the user's gaze (for example, the point at which the user gazes 210). By tracking the movement, it can be done.

일 실시예에 따른 전자 장치(100)는 사용자의 시선을 추적하기 위하여, 시선 추적 센서(160)를 포함할 수 있다. 일 실시예에 따른 시선 추적 센서(160)는 사용자의 왼쪽 눈의 시선을 추적하기 위한 제1 시선 추적 센서(161) 및 오른쪽 눈의 시선을 추적하기 위한 제2 시선 추적 센서(162)를 포함할 수 있다. 제1 시선 추적 센서(161) 및 제2 시선 추적 센서(162)는 동일한 구조를 가지며, 동일한 방식으로 동작한다.The electronic device 100 according to an embodiment may include a gaze tracking sensor 160 to track a user's gaze. The gaze tracking sensor 160 according to an embodiment may include a first gaze tracking sensor 161 for tracking the gaze of the user's left eye and a second gaze tracking sensor 162 for tracking gaze of the right eye. I can. The first gaze tracking sensor 161 and the second gaze tracking sensor 162 have the same structure and operate in the same manner.

도 3a는 사용자의 눈에서 반사되는 반사광의 광량에 기초하여, 사용자의 시선을 추적하는 방법을 설명하기 위한 도면이다. 3A is a diagram for describing a method of tracking a user's gaze based on an amount of reflected light reflected from the user's eyes.

일 실시예에 따른 제1 시선 추적 센서(161) 및 제2 시선 추적 센서(162)는 동일한 구조를 가지며, 동일한 방식으로 동작하므로, 도 3a에서는, 제1 시선 추적 센서(161)를 기준으로 설명하기로 한다.Since the first gaze tracking sensor 161 and the second gaze tracking sensor 162 according to an embodiment have the same structure and operate in the same manner, in FIG. 3A, the description is made based on the first gaze tracking sensor 161 I will do it.

도 3a를 참조하면, 일 실시예에 따른 제1 시선 추적 센서(161)는 사용자의 눈에 광을 제공하는 조명부(301)와 광을 감지하는 감지부(302)를 포함할 수 있다. 조명부(301)는 광을 제공하는 광원과 광원으로부터 제공되는 광의 방향을 제어하는 스캐닝 미러를 포함할 수 있다. 스캐닝 미러는, 광원으로부터 제공되는 광을 사용자의 눈(320)(예를 들어, 각막(310))을 향하도록 방향을 제어할 수 있다. 스캐닝 미러는 광원으로부터 제공되는 광을 반사시켜 사용자의 눈(320)을 향하도록 반사 각도를 기계적으로 변경할 수 있는 구조를 포함하며, 변경되는 반사 각도에 따라 광원으로부터 제공되는 광을 이용하여 각막(310)을 포함하는 영역을 스캔할 수 있다.Referring to FIG. 3A, the first gaze tracking sensor 161 according to an embodiment may include an illumination unit 301 providing light to a user's eyes and a sensing unit 302 detecting light. The illumination unit 301 may include a light source for providing light and a scanning mirror for controlling a direction of light provided from the light source. The scanning mirror may control a direction so that light provided from a light source is directed toward the user's eyes 320 (eg, the cornea 310). The scanning mirror includes a structure capable of mechanically changing a reflection angle so as to reflect light provided from a light source to face the user's eyes 320, and the cornea 310 using light provided from the light source according to the changed reflection angle. ) Can be scanned.

감지부(302)는 사용자의 눈(320)으로부터 반사되는 광을 감지할 수 있으며, 감지되는 광량을 측정할 수 있다. 예를 들어, 사용자의 각막(310)의 중심에서 광이 반사될 때, 감지부(302)에서 감지되는 광량이 최대일 수 있다. 이에 따라, 제1 시선 추적 센서(161)는, 감지부(302)에서 감지되는 광량이 최대인 경우에, 사용자의 눈에 광이 입사되고, 반사되는 지점(330)에 기초하여, 사용자 눈의 시선 방향(340)을 결정할 수 있다. 예를 들어, 제1 시선 추적 센서(161)는 광량이 최대인 경우에, 사용자의 눈에 광이 입사되고, 반사되는 지점(330)과 사용자의 눈의 중심점을 연결한 방향(340)을 사용자의 눈(예를 들어, 사용자의 왼쪽 눈)의 시선 방향으로 결정할 수 있다. 다만, 이에 한정되지 않는다.The sensing unit 302 may detect light reflected from the user's eyes 320 and measure the amount of the detected light. For example, when light is reflected from the center of the user's cornea 310, the amount of light detected by the sensing unit 302 may be maximum. Accordingly, when the amount of light detected by the detection unit 302 is the maximum, the first gaze tracking sensor 161 is based on the point 330 at which light is incident and reflected to the user's eyes. The gaze direction 340 may be determined. For example, when the amount of light is at the maximum, the first gaze tracking sensor 161 determines the direction 340 in which light is incident on the user's eyes and connects the reflected point 330 to the center point of the user's eyes. It may be determined as the gaze direction of the eye (for example, the user's left eye). However, it is not limited thereto.

또한, 제2 시선 추적 센서(162)도, 도 3a에서 설명한 방법과 동일한 방법으로, 사용자의 눈(예를 들어, 오른쪽 눈)의 시선 방향을 결정할 수 있다.In addition, the second gaze tracking sensor 162 may also determine the gaze direction of the user's eye (eg, the right eye) in the same manner as described in FIG. 3A.

도 3b는 사용자의 눈에서 반사되는 반사광의 위치에 기초하여, 사용자의 시선을 추적하는 방법을 설명하기 위한 도면이다.3B is a diagram illustrating a method of tracking a user's gaze based on a position of reflected light reflected from the user's eyes.

일 실시예에 따른 제1 시선 추적 센서(161) 및 제2 시선 추적 센서(162)는 동일한 구조를 가지며, 동일한 방식으로 동작하므로, 도 3b에서는, 제1 시선 추적 센서(161)를 기준으로 설명하기로 한다. 제1 시선 추적 센서(161)는, 조명부(351) 및 촬영부(352)를 포함할 수 있다. 조명부(351)는 적외선 발광 다이오드(IR LED)등을 포함할 수 있다. 도 3b에 도시된 바와 같이, 조명부(351)는 서로 다른 위치에 배치된 복수의 발광 다이오드를 포함할 수 있다. 조명부(351)는 사용자의 눈을 촬영할 때, 사용자의 눈에 광(예를 들어, 적외선 광)을 제공할 수 있다. 사용자의 눈에 광이 제공됨에 따라, 사용자의 눈에는 반사광이 생성될 수 있다. Since the first gaze tracking sensor 161 and the second gaze tracking sensor 162 according to an embodiment have the same structure and operate in the same manner, in FIG. 3B, the description is made based on the first gaze tracking sensor 161 I will do it. The first gaze tracking sensor 161 may include an illumination unit 351 and a photographing unit 352. The lighting unit 351 may include an infrared light emitting diode (IR LED) or the like. As shown in FIG. 3B, the lighting unit 351 may include a plurality of light emitting diodes disposed at different positions. The lighting unit 351 may provide light (eg, infrared light) to the user's eyes when photographing the user's eyes. As light is provided to the user's eye, reflected light may be generated in the user's eye.

또한, 촬영부(352)는 적어도 하나의 카메라를 포함할 수 있으며, 이때, 적어도 하나의 카메라는 적외선 카메라(IR)를 포함할 수 있다. 전자 장치(100)는, 촬영부(352)에서 촬영된 사용자의 눈 영상을 이용하여, 사용자의 눈(예를 들어, 사용자의 왼쪽 눈)의 시선을 추적할 수 있다. 예를 들어, 제1 시선 추적 센서(161)는, 사용자의 눈 영상에서 동공과 반사광을 검출함으로써, 사용자의 시선을 추적할 수 있다. 제1 시선 추적 센서(161)는, 사용자의 눈 영상에서 동공 및 반사광의 위치를 검출하고, 동공의 위치와, 반사광의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향을 결정할 수 있다. In addition, the photographing unit 352 may include at least one camera, and in this case, at least one camera may include an infrared camera (IR). The electronic device 100 may track the gaze of the user's eye (eg, the user's left eye) by using the user's eye image captured by the photographing unit 352. For example, the first gaze tracking sensor 161 may track the user's gaze by detecting pupils and reflected light in the user's eye image. The first gaze tracking sensor 161 may detect the location of the pupil and the reflected light in the user's eye image, and determine the gaze direction of the user's eye based on a relationship between the location of the pupil and the location of the reflected light.

예를 들어, 제1 시선 추적 센서(161)는, 촬영된 제1 눈 영상(361)에서, 동공(370) 및 반사광(381)을 검출하고, 동공(370)의 위치와 반사광(381)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(391)을 결정할 수 있다. 동일한 방식으로, 제2 내지 제5 눈 영상들(362, 363, 364, 365) 각각에서 동공(370) 및 반사광(382, 383, 384, 385)을 검출하고, 동공의 위치와 반사광의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(392, 393, 394, 395)을 결정할 수 있다.For example, the first gaze tracking sensor 161 detects the pupil 370 and the reflected light 381 from the photographed first eye image 361, and the position of the pupil 370 and the reflected light 381 Based on the relationship between the positions, the gaze direction 391 of the user's eyes may be determined. In the same way, the pupil 370 and the reflected light 382, 383, 384, 385 are detected in each of the second to fifth eye images 362, 363, 364, 365, and between the position of the pupil and the position of the reflected light Based on the relationship of, the user's eye gaze directions 392, 393, 394, and 395 may be determined.

또한, 제2 시선 추적 센서(162)도, 도 3b에서 설명한 방법과 동일한 방법으로 사용자의 눈(예를 들어, 오른쪽 눈)의 시선 방향을 결정할 수 있다.In addition, the second gaze tracking sensor 162 may also determine the gaze direction of the user's eye (eg, the right eye) in the same manner as described in FIG. 3B.

도 3c는 사용자의 시선에 대한 3차원 안구 모델을 나타내는 도면이다.3C is a diagram illustrating a three-dimensional eyeball model for a user's gaze.

도 2및 도 3c를 참조하면, 전자 장치(100)는 제1 시선 추적 센서(161)를 이용하여, 사용자의 왼쪽 눈의 시선 방향을 결정하고, 제2 시선 추적 센서(162)를 이용하여, 사용자의 오른쪽 눈의 시선 방향을 결정할 수 있다. 예를 들어, 전자 장치(100)는, 사람의 평균적인 안구 모델을 바탕으로 시선 방향을 결정할 수 있다. 안구 모델은 사람의 안구(3100)를 구 형상으로 가정하고, 시선 방향에 따라 안구가 이상적으로 회전 운동을 한다고 가정함으로써, 모델링될 수 있다. 또한, 안구 모델은, 다음의 수학식 1 및 2와 같이 수학적으로 표현될 수 있다. 2 and 3C, the electronic device 100 determines the gaze direction of the user's left eye using the first gaze tracking sensor 161, and uses the second gaze tracking sensor 162, It is possible to determine the gaze direction of the user's right eye. For example, the electronic device 100 may determine a gaze direction based on an average eyeball model of a person. The eyeball model may be modeled by assuming that the human eyeball 3100 has a spherical shape and that the eyeball ideally rotates according to the gaze direction. In addition, the eye model may be mathematically expressed as Equations 1 and 2 below.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

수학식 1 에서, d는 사용자의 눈의 중심(3150)과 가상의 스크린(3200) 사이의 거리를 나타내며, α는 사용자의 눈이 가상의 스크린(3200)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 x축 방향으로 회전한 각도를 나타내며, β는 사용자의 눈이 가상의 스크린(3200)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 y축 방향으로 회전한 각도를 나타낸다. 또한, 수학식 2에서, r은 사용자의 눈을 구로 가정했을 때, 구의 반지름을 나타낸다.In Equation 1, d denotes the distance between the center of the user's eye 3150 and the virtual screen 3200, and α denotes a case where the user's eyes stare directly at the virtual screen 3200, Represents the angle at which the user's eyes rotate in the x-axis direction, and β denotes the angle in which the user's eyes rotate in the y-axis direction based on the case where the user's eyes stare directly at the virtual screen 3200. In addition, in Equation 2, r represents the radius of the sphere, assuming that the user's eyes are spheres.

일 실시예에 따른 제1 시선 추적 센서(161)는 도 3a 및 도 3b에서 설명한 방법을 이용하여, 사용자의 눈(예를 들어, 왼쪽 눈)의 회전 정도(예를 들어, α 및 β)를 측정할 수 있으며, 전자 장치(100)는, 사용자의 눈의 회전 정도(α 및 β)를 이용하여, 가상의 스크린 상에서의 사용자의 눈의 시선 방향의 2차원 좌표를 계산할 수 있다.The first gaze tracking sensor 161 according to an embodiment uses the method described in FIGS. 3A and 3B to determine the degree of rotation (eg, α and β) of the user's eye (eg, left eye). Measurement may be performed, and the electronic device 100 may calculate a two-dimensional coordinate of the user's eye line of sight on the virtual screen using the rotational degrees α and β of the user's eye.

도 3d는 일 실시예에 따른 시선 추적 센서의 캘리브레이션을 수행하는 방법을 설명하기 위해 참조되는 도면이다.3D is a diagram referenced to explain a method of calibrating an eye tracking sensor according to an exemplary embodiment.

또 다른 예로, 사용자가 전자 장치(100)를 처음 사용할 때, 사용자의 왼쪽 눈과 오른쪽 눈의 시선을 정확하게 측정하기 위해 제1 시선 추적 센서(161) 및 제 2 시선 추적 센서(162)를 캘리브레이션(Calibration)하는 과정을 수행할 수 있다. 전자 장치(100)는 사용자의 시선을 유도하기 위한 복수의 점(일반적으로 9개)이 표시된 서로 다른 깊이(예를 들어, d1, d2, d3)를 가지는 가상의 영상들(VI1, VI2, VI3)을 출력하여, 복수의 점들 각각에 대해 사용자가 응시하는 것을 유도할 수 있다.As another example, when the user first uses the electronic device 100, the first eye tracking sensor 161 and the second eye tracking sensor 162 are calibrated to accurately measure the gaze of the user's left and right eyes. Calibration) can be performed. The electronic device 100 displays virtual images VI1, VI2, VI3 having different depths (eg, d1, d2, d3) in which a plurality of points (generally 9) for inducing the user's gaze are displayed. ) Can be output to induce the user to gaze at each of the plurality of points.

전자 장치(100)는, 사용자가 가상의 영상들(VI1, VI2, VI3)에 포함되는 각각의 점을 응시할 때, 시선 추적 센서(160)에서 출력되는 정보(시선 정보)들을 테이블 형태로 미리 저장할 수 있다.When the user gazes at each point included in the virtual images VI1, VI2, VI3, the electronic device 100 stores information (gaze information) output from the gaze tracking sensor 160 in a table format in advance. I can.

도 3a에서 설명한 바와 같이, 사용자 각막에서 반사된 광량을 이용한 방식에서는 각각의 지점마다 스캐닝 미러의 반사 각도와 광량 정보를 시선 정보로서 테이블 형태로 미리 저장할 수 있고, 적외선 광을 이용하여 사용자 눈을 촬영하는 방식에서는 각각의 지점마다 촬영된 사용자 눈과 반사광이 포함된 영상을 시선 정보로서 연계하여 미리 저장할 수 있다.As described in Fig. 3A, in the method using the amount of light reflected from the user's cornea, the reflection angle and light amount information of the scanning mirror for each point can be stored in advance in the form of a table as gaze information, and the user's eyes are photographed using infrared light. In this method, an image including the user's eyes and reflected light photographed at each point may be linked and stored in advance as gaze information.

전자 장치(100)는, 미리 저장된 시선 정보와 시선 추적 센서에서 출력되는 시선 정보를 비교하여 사용자의 눈의 시선 방향을 결정할 수 있다. 전자 장치(100)는, 제 1 시선 추적 센서(161)에서 출력되는 시선 정보를 이용하여, 사용자의 왼쪽 눈의 시선 방향을 결정하고, 제 2 시선 추적 센서(162)에서 출력되는 시선 정보를 이용하여 사용자의 오른쪽 눈의 시선 방향을 결정할 수 있다.The electronic device 100 may determine a gaze direction of a user's eyes by comparing gaze information stored in advance with gaze information output from a gaze tracking sensor. The electronic device 100 uses the gaze information output from the first gaze tracking sensor 161 to determine the gaze direction of the user's left eye, and uses gaze information output from the second gaze tracking sensor 162 Thus, the gaze direction of the user's right eye can be determined.

전자 장치(100)는, 사용자의 왼쪽 눈의 시선 방향 및 오른쪽 눈의 시선 방향과 양쪽 눈의 거리를 이용하여 도 2에 도시된 바와 같이, 전체 공간(10)에서 사용자가 응시하는 지점(210)의 좌표를 추정할 수 있다.The electronic device 100 uses the gaze direction of the user's left eye, the gaze direction of the right eye, and the distance between both eyes, as shown in FIG. 2, at a point 210 at which the user gazes in the entire space 10. You can estimate the coordinates of

예를 들어, 전자 장치(100)는 좌표 매핑 등을 이용하여, 도 1에서 설명한 전체 공간(10) 에서, 상기 사용자가 응시하는 지점(210)이 2차원 좌표 정보(예를 들어, x 좌표 값, y 좌표 값)로 매핑되도록 미리 설정되거나 테이블 형태로 미리 저장할 수 있다.For example, the electronic device 100 uses coordinate mapping, etc., in the entire space 10 described in FIG. 1, the point 210 at which the user gazes is 2D coordinate information (eg, x coordinate value). , y-coordinate value), or can be saved in a table format in advance.

도 4a 및 4b는 일 실시예에 따른 전자 장치가 응시 지점에 대한 깊이 정보를 획득하는 방법을 설명하기 위한 도면들이다.4A and 4B are diagrams for describing a method of obtaining, by an electronic device, depth information on a gaze point, according to an exemplary embodiment.

도 4a를 참조하면, 전자 장치(100)는 오른쪽 눈의 시선 방향과 왼쪽 눈의 시선 방향이 수렴(vergence)되는 것(시선 방향을 가리키는 가상의 두 직선이 교차하는 것)을 이용하여, 사용자가 응시하는 지점에 대한 깊이 정보를 추정할 수 있다. Referring to FIG. 4A, the electronic device 100 uses the convergence of the gaze direction of the right eye and the gaze direction of the left eye (where two virtual straight lines indicating the gaze direction intersect), It is possible to estimate depth information about the gaze point.

예를 들어, 도 4b에 도시된 바와 같이, 왼쪽 눈에 대응하는 제1 시선 방향(410), 오른쪽 눈에 대응하는 제2 시선 방향(420) 및 양쪽 눈의 거리에 기초하여, 응시 지점(430, 양쪽 눈의 시선이 수렴하는 지점)까지의 거리 값(Z1)을 계산할 수 있다. 전자 장치(100)는, 시선 추적 센서(160)를 이용하여 측정된 양안의 시선 정보와 도 4b에 도시된 기하학적 배치에 따른 아래의 수학식 3을 이용하면 응시 지점에 대한 깊이 정보를 획득할 수 있다. For example, as shown in FIG. 4B, based on the first gaze direction 410 corresponding to the left eye, the second gaze direction 420 corresponding to the right eye, and the distance between both eyes, the gaze point 430 , It is possible to calculate the distance value (Z1) to the point where the eyes of both eyes converge). The electronic device 100 can obtain depth information on the gaze point by using the gaze information of both eyes measured using the gaze tracking sensor 160 and Equation 3 below according to the geometric arrangement shown in FIG. 4B. have.

Figure pat00003
Figure pat00003

수학식 3에서 △x는 가상의 스크린(450) 상에서, 왼쪽 눈의 x 좌표(x1)와 오른쪽 눈의 x좌표(x2)의 차이를 나타낸다. 이때, 왼쪽 눈의 y좌표와 오른쪽 눈의 y좌표는 동일한 것으로 가정하여, 계산할 수 있다. 또한, 수학식 3에서 a는 사용자의 양 안 사이의 거리를 나타내며, 기 설정된 값(예를 들어, 7cm)이 이용될 수 있다. 또한, D는 사용자의 눈과 가상의 스크린(450)까지의 거리를 나타낸다.In Equation 3, Δx represents the difference between the x-coordinate (x1) of the left eye and the x-coordinate (x2) of the right eye on the virtual screen 450. In this case, it can be calculated on the assumption that the y-coordinate of the left eye and the y-coordinate of the right eye are the same. In addition, in Equation 3, a represents the distance between both eyes of the user, and a preset value (eg, 7 cm) may be used. Further, D represents the distance between the user's eyes and the virtual screen 450.

전자 장치(100)는 z 값과 D값의 합으로, 사용자의 양안의 시선이 수렴하는 지점까지의 거리 값(Z1)을 획득할 수 있다.The electronic device 100 may obtain a distance value Z1 to a point where both eyes of the user converge, as a sum of the z value and the D value.

또는, 전자 장치(100)는 제1 시선 방향(410)과 제2 시선 방향(420)이 이루는 각도에 기초하여, 응시 지점(430)에 대한 깊이 정보(예를 들어, Z1)를 추정할 수 있다. 제1 시선 방향(410)과 제2 시선 방향(420)이 이루는 각도가 작을수록 관심 지점(430)까지의 거리가 멀고, 제1 시선 방향(410)과 제2 시선 방향(420)이 이루는 각도가 클수록 관심 지점까지의 거리가 가깝다.Alternatively, the electronic device 100 may estimate depth information (eg, Z1) for the gaze point 430 based on the angle formed by the first gaze direction 410 and the second gaze direction 420. have. The smaller the angle between the first gaze direction 410 and the second gaze direction 420 is, the longer the distance to the point of interest 430 is, and the angle formed by the first gaze direction 410 and the second gaze direction 420 The larger is, the closer the distance to the point of interest is.

도 5a 및 도 5b는 일 실시예에 따른 전자 장치가 사용자의 응시 지점에 기초하여, 깊이 센서의 측정 파라미터들을 결정하는 방법을 설명하기 위한 도면들이다.5A and 5B are diagrams for explaining a method of determining measurement parameters of a depth sensor based on a user's gaze point, according to an exemplary embodiment.

깊이 센서의 측정 파라미터는, 깊이 센서를 이용하여, 적어도 하나의 객체에 대한 깊이 정보를 획득하는 경우, 깊이 정보를 획득하는 데 필요한 변수로써, 깊이 센서에 미리 설정되어야 하는 수치 정보일 수 있다. 예를 들어, 깊이 센서의 측정 파라미터는, 광을 방출하기 위한 타겟 영역에 대한 파라미터, 반사광을 센싱하기 위한 반사광 센싱 영역에 대한 파라미터, 방출 광의 출력 패턴에 대한 파라미터, 방출 광의 출력 크기에 대한 파라미터, 반사광을 센싱하는 센싱 속도, 센싱 주기 또는 센싱 감도에 대한 파라미터 등을 포함할 수 있다.The measurement parameter of the depth sensor is a variable required to obtain depth information when depth information on at least one object is obtained using the depth sensor, and may be numerical information that must be set in advance in the depth sensor. For example, the measurement parameters of the depth sensor include a parameter for a target area for emitting light, a parameter for a reflected light sensing area for sensing reflected light, a parameter for an output pattern of emitted light, a parameter for an output size of emitted light, It may include a sensing speed for sensing reflected light, a sensing period, or a parameter for sensing sensitivity.

도 5a 및 도 5b를 참조하면, 일 실시예에 따른 전자 장치는, 시선 추적 센서(160), 프로세서(120) 및 깊이 센서(150)를 포함할 수 있다.5A and 5B, an electronic device according to an embodiment may include a gaze tracking sensor 160, a processor 120, and a depth sensor 150.

도 5a를 참조하면, 일 실시예에 따른 시선 추적 센서(160)는, 사용자의 시선 정보를 획득할 수 있다. 이에 대해서는 도 2 내지 3d에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.Referring to FIG. 5A, the gaze tracking sensor 160 according to an embodiment may obtain gaze information of a user. This has been described in detail in FIGS. 2 to 3D, and thus a detailed description will be omitted.

시선 추적 센서(160)는 사용자의 시선 정보를 프로세서(120)로 전송할 수 있으며, 프로세서(120)는 사용자의 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득할 수 있다.The gaze tracking sensor 160 may transmit gaze information of the user to the processor 120, and the processor 120 may obtain information on the gaze point based on the gaze information of the user.

예를 들어, 프로세서(120)는 시선 정보에 포함된, 사용자의 왼쪽 눈에 대한 시선 방향(제1 시선 방향) 및 오른쪽 눈에 대한 시선 방향(제2 시선 방향)에 기초하여, 응시 지점의 2차원 위치 정보를 획득할 수 있다. 프로세서(120)는, 제1 시선 방향 및 제2 시선 방향을 이용하여, 사용자가 응시하는 지점(gaze point)에 대한 전체 공간에서의 2차원 좌표(예를 들어, x좌표 값 및 y 좌표 값)를 획득할 수 있다.For example, based on the gaze direction for the user's left eye (first gaze direction) and the gaze direction for the right eye (second gaze direction) included in the gaze information, the processor 120 Dimensional location information can be obtained. The processor 120 uses a first gaze direction and a second gaze direction to provide two-dimensional coordinates (eg, x coordinate values and y coordinate values) in the entire space for a gaze point at which the user gazes. Can be obtained.

프로세서(120)는 응시 지점의 2차원 위치 정보를 이용하여, 깊이 센서의 측정 파라미터를 결정할 수 있다. 예를 들어, 프로세서(120)는 응시 지점의 2차원 위치 정보를 이용하여, 타겟 영역에 대한 파라미터를 결정할 수 있다. 프로세서(120)는 응시 지점을 중심으로 기 설정된 관심 영역을 타겟 영역으로 결정할 수 있다. The processor 120 may determine a measurement parameter of the depth sensor using the 2D location information of the gaze point. For example, the processor 120 may determine a parameter for the target area using 2D location information of the gaze point. The processor 120 may determine a predetermined region of interest based on the gaze point as the target region.

깊이 센서(150)는 결정된 타겟 영역에 대한 파라미터에 기초하여, 깊이 정보를 획득할 수 있다. 예를 들어, 광 방출부(170)는 광을 방출할 때, 광 방출 영역을 타겟 영역(응시 지점에 대응되는 영역)으로 한정하거나, 센서부(180)에서 반사광을 센싱할 때, 광 센싱 영역을 타겟 영역(응시 지점에 대응되는 영역)으로 한정할 수 있다. 이에 따라, 깊이 센서(150)는 전체 공간이 아닌 타겟 영역(응시 지점 및 응시 지점의 주변 영역)에 포함되는 객체들에 대한 깊이 정보를 획득할 수 있다. The depth sensor 150 may acquire depth information based on the determined parameter for the target area. For example, when the light emission unit 170 emits light, the light emission area is limited to a target area (a region corresponding to the gaze point), or when the sensor unit 180 senses the reflected light, the light sensing area May be limited to a target region (a region corresponding to the gaze point). Accordingly, the depth sensor 150 may obtain depth information on objects included in the target area (the gaze point and the area surrounding the gaze point), not the entire space.

도 5b를 참조하면, 일 실시예에 따른 시선 추적 센서(160)는 사용자의 시선 정보를 획득할 수 있으며, 프로세서(120)로 시선 정보를 전송할 수 있다. 프로세서(120)는 사용자의 시선 정보에 기초하여, 응시 지점의 추정 깊이 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 시선 정보에 포함된 사용자의 제1 시선 방향 및 제2 시선 방향에 기초하여, 응시 지점의 추정 깊이 정보(예를 들어, z 좌표 값)를 획득할 수 있다.Referring to FIG. 5B, the gaze tracking sensor 160 according to an embodiment may obtain gaze information of a user and transmit gaze information to the processor 120. The processor 120 may obtain information on the estimated depth of the gaze point based on the gaze information of the user. For example, the processor 120 may obtain estimated depth information (eg, z coordinate value) of the gaze point based on the user's first gaze direction and second gaze direction included in the gaze information.

일 실시예에 따른 프로세서(120)는 응시 지점의 추정 깊이 정보를 이용하여, 깊이 센서(150)의 방출 광 출력(예를 들어, 방출 광 출력 패턴, 방출 광 출력의 크기)에 대한 파라미터를 결정할 수 있다.The processor 120 according to an embodiment determines a parameter for the emitted light output (eg, the emitted light output pattern, the size of the emitted light output) of the depth sensor 150 using the estimated depth information of the gaze point. I can.

예를 들어, 프로세서(120)는 추정 깊이가 작은 경우(거리가 가까운 경우), 광 방출부(170)에서 방출되는 광의 출력 패턴(광 펄스의 폭)을 짧게 하고, 추정 깊이가 큰 경우(거리가 먼 경우), 광 방출부(170)에서 방출되는 광의 출력 패턴(광 펄스의 폭)을 길게 하도록 깊이 센서(150)의 파라미터를 결정할 수 있다. 또한, 센서부(180)에서 반사광을 센싱할 때, 추정 깊이가 작은 경우, 센싱 속도 또는 센싱 주기를 빠르게 하고, 추정 깊이가 큰 경우, 센싱 속도 또는 센싱 주기를 느리게 하도록 깊이 센서(150)의 파라미터를 결정할 수 있다. 이에 따라, 깊이 센서(150)는 결정된 광의 출력 패턴(광 펄스의 폭)과 센싱 속도 또는 센싱 주기에 대한 파라미터에 기초하여, 관심 영역에 포함되는 객체들에 대한 깊이 정보를 획득할 수 있다. 이 때, 관심 영역은 응시 지점을 중심으로 한 미리 설정된 영역일 수 있다.For example, when the estimated depth is small (when the distance is close), the processor 120 shortens the output pattern (width of the optical pulse) of light emitted from the light emitting unit 170, and when the estimated depth is large (distance Is far away), a parameter of the depth sensor 150 may be determined to lengthen the output pattern (width of the light pulse) of light emitted from the light emitting unit 170. In addition, when the sensor unit 180 senses the reflected light, when the estimated depth is small, the sensing speed or the sensing period is accelerated, and when the estimated depth is large, the parameter of the depth sensor 150 is to slow the sensing speed or the sensing period. Can be determined. Accordingly, the depth sensor 150 may obtain depth information on objects included in the ROI based on the determined output pattern (width of the light pulse) and a sensing speed or a parameter for a sensing period. In this case, the region of interest may be a preset region centered on the gaze point.

또한, 프로세서(120)는 응시 지점의 추정 깊이가 작은 경우, 광 방출부(170)에서 방출되는 광의 출력을 작게 하고, 추정 깊이가 큰 경우, 광 방출부(170)에서 방출되는 광의 출력을 크게 하도록 깊이 센서(150)의 파라미터를 결정할 수 있다. 또한, 전자 장치(100)는 센서부(180)에서 반사광을 센싱할 때, 추정 깊이가 작은 경우, 감도를 낮게 하고, 추정 깊이가 큰 경우, 감도를 높게 하도록 깊이 센서(150)의 파라미터를 결정할 수 있다. 이에 따라, 깊이 센서(150)는 결정된 광의 출력의 크기와 센싱 감도를 고려하여, 관심 영역에 포함되는 객체들에 대한 깊이 정보를 획득할 수 있다. 이 때, 관심 영역은 응시 지점을 중심으로 한 미리 설정된 영역일 수 있다.In addition, when the estimated depth of the gaze point is small, the processor 120 reduces the output of the light emitted from the light emitting unit 170, and when the estimated depth is large, the output of the light emitted from the light emitting unit 170 is increased. The parameters of the depth sensor 150 may be determined so as to be performed. In addition, when sensing the reflected light from the sensor unit 180, the electronic device 100 determines a parameter of the depth sensor 150 to increase the sensitivity when the estimated depth is small, and when the estimated depth is large, I can. Accordingly, the depth sensor 150 may acquire depth information on objects included in the ROI in consideration of the determined output size and sensing sensitivity. In this case, the region of interest may be a preset region centered on the gaze point.

이하에서는, 응시 지점에 대한 정보(응시 지점의 2차원 위치 정보, 응시 지점의 추정 깊이 정보)에 기초하여, 깊이 센서의 측정 파라미터들이 결정되는 예들을 깊이 센서의 종류에 따라, 구체적으로 설명하기로 한다.Hereinafter, examples in which measurement parameters of the depth sensor are determined based on information on the gaze point (two-dimensional position information of the gaze point, and estimated depth information of the gaze point) will be described in detail according to the type of the depth sensor. do.

도 6 내지 도 7b는 일 실시예에 따른 깊이 센서가 TOF방식인 경우에, 일 실시예에 따른 전자 장치가 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면들이다.6 to 7B are diagrams referenced for explaining a method of determining measurement parameters by an electronic device according to an exemplary embodiment when a depth sensor according to an exemplary embodiment is a TOF method.

일 실시예에 따른 깊이 센서(150)는 TOF 방식의 깊이 센서(610)를 포함할 수 있다. The depth sensor 150 according to an embodiment may include a TOF type depth sensor 610.

TOF 방식은, 광이 물체에 반사되어 돌아오는 시간을 분석하여, 물체(620)까지의 거리(d)를 측정하는 방식이다. TOF 방식의 깊이 센서(610)는, 광 방출부(630, emitter)와 센서부(640)를 포함할 수 있다. The TOF method is a method of measuring the distance d to the object 620 by analyzing the time when light is reflected off the object and returned. The TOF type depth sensor 610 may include a light emitting unit 630 (emitter) and a sensor unit 640.

광 방출부(630)는 센서부(640)를 둘러싸는 형태로 배치될 수 있으나, 이에 한정되지 않으며, 센서부(640)가 광 방출부(630)를 둘러싸는 형태로 배치될 수도 있다.The light emitting unit 630 may be disposed to surround the sensor unit 640, but is not limited thereto, and the sensor unit 640 may be disposed to surround the light emitting unit 630.

광 방출부(630)는, 소정의 파장을 가지는 광을 발생시키는 광원을 포함할 수 있으며, 광원은, 사람의 눈에 보이지 않는 적외선 파장을 갖는 광을 방출시킬 수 있는 적외선 발광 다이오드(IR LED) 또는 레이저 다이오드(LD)일 수 있다. 다만, 이에 한정되지 않으며, 파장의 대역과 광원의 종류는 다양하게 구성될 수 있다. 광 방출부(630)는 제어 신호에 따라 광원을 구동시킴으로써, 물체에 광을 방출할 수 있다. 예를 들어, 광원의 온(On)/오프(0ff)를 반복함으로써, 물체(620)에 광을 방출할 수 있다.The light emitting unit 630 may include a light source that generates light having a predetermined wavelength, and the light source is an infrared light emitting diode (IR LED) capable of emitting light having an infrared wavelength invisible to the human eye Alternatively, it may be a laser diode (LD). However, the present invention is not limited thereto, and the wavelength band and the type of light source may be variously configured. The light emitting unit 630 may emit light to an object by driving a light source according to a control signal. For example, by repeating on/off (0ff) of the light source, light may be emitted to the object 620.

센서부(640)는 물체(620)로부터 반사되어 돌아오는 반사광을 센싱할 수 있다. 예를 들어, 센서부(640)는 PPD(Pinned Photo Diode), Photogate, CCD(Charge Coupled Device) 등과 같이 광 센싱 소자를 포함할 수 있다. 센서부(640)는 어레이로 배열된 복수의 센서들을 포함할 수 있으며, 어레이에 포함된 하나의 셀(650)은 인 페이즈 리셉터(651, in phase receptor)와 아웃 페이즈 리셉터(652, out phase receptor)가 하나의 쌍을 이루는 형태로 구성될 수 있다. 이때, 인 페이즈 리셉터(651)는 인 페이즈 상태(광 방출부에서 광을 방출하는 동안)일 때만 활성화되어 광을 감지하고, 아웃 페이즈 리셉터(652)는 아웃 페이즈 상태(광 방출부에서 광을 방출하지 않는 동안)일 때만 활성화되어 광을 감지할 수 있다.The sensor unit 640 may sense reflected light reflected from the object 620 and returned. For example, the sensor unit 640 may include a light sensing device such as a pinned photo diode (PPD), a photogate, and a charge coupled device (CCD). The sensor unit 640 may include a plurality of sensors arranged in an array, and one cell 650 included in the array includes an in phase receptor 651 and an out phase receptor 652 ) Can be configured as a pair. At this time, the in-phase receptor 651 is activated only when it is in the in-phase state (while the light emitter is emitting light) to detect the light, and the out-phase receptor 652 is in the out phase state (the light is emitted from the light emitter). It is activated only when it is not) and can detect light.

도 7a은는 광 방출부에서 방출되는 광, 반사광, 인 페이즈 리셉터에서 수신되는 광, 아웃 페이즈 리셉터에서 수신되는 광을 나타내는 그래프이다.7A is a graph showing light emitted from a light emitting unit, reflected light, light received from an in-phase receptor, and light received from an out-phase receptor.

광 방출부(630)에서 방출된 광은 깊이 센서(610)로부터 일정 거리(d)만큼 떨어져 있는 물체(620)에 반사되어 되돌아오게 되고, 반사광(720)은 방출된 광(710)보다 일정 거리만큼 시간 지연이 발생하게 된다. 예를 들어, 광 방출부(630)에서 광을 방출할 때만 활성화되는 인 페이즈 리셉터의 동작 구간 중 일정 구간 동안은 광을 수신하지 못하며, 반대로 아웃 페이즈 리셉터의 동작 구간 중 일정 구간 동안은 반사되는 광을 수신할 수 있다. 또한, 인 페이즈 리셉터 및 아웃 페이즈 리셉터는 수신되는 광의 양을 측정할 수 있다. 예를 들어, 인 페이즈 리셉터 및 아웃 페이즈 리셉터는 물체로부터 반사되는 광을 수신하여, 전자를 생성하고, 축적함으로써, 축적된 전자의 양(전하량)을 측정할 수 있다. 물체(620)까지의 거리 d는 다음의 수학식 4와 같이 계산될 수 있다.The light emitted from the light emitting unit 630 is reflected by an object 620 that is a certain distance (d) away from the depth sensor 610 and returned, and the reflected light 720 is a certain distance from the emitted light 710 There is a time delay as much as possible. For example, light cannot be received during a certain period of the operation period of the in-phase receptor, which is activated only when the light emitter 630 emits light, and on the contrary, light reflected during a certain period of the operation period of the out-phase receptor. Can be received. In addition, the in phase receptor and the out phase receptor can measure the amount of light received. For example, the in-phase receptor and out-phase receptor receive light reflected from an object, generate electrons, and accumulate them, thereby measuring the amount of accumulated electrons (charge amount). The distance d to the object 620 may be calculated as in Equation 4 below.

Figure pat00004
Figure pat00004

이때, c는 광 속도를 의미하고, t는 광 펄스(710)의 길이를 나타내며, q1은 광이 방출될 때, 축적된 전하량(인 페이즈 리셉터에서 측정된 전하량)을 의미하고, q2는 광이 방출되지 않을 때, 축적된 전하량(아웃 페이즈 리셉터에서 측정된 전하량)을 의미한다. 즉, 거리가 멀수록, 반사되는 광을 수신하기 시작하는 시점이 늦어지며, 이에 따라, 상대적으로 q2가 q1에 비하여 증가하게 된다. 따라서, TOF 방식의 깊이 센서(610)는, 수학식 4를 이용하여, 깊이 정보를 계산할 수 있다.At this time, c denotes the speed of light, t denotes the length of the light pulse 710, q1 denotes the accumulated charge amount (the electric charge measured by the in-phase receptor), and q2 denotes the light When not released, it refers to the amount of accumulated charge (the amount of charge measured at the out-phase receptor). That is, as the distance increases, the time point at which the reflected light starts to be received is delayed, and accordingly, q2 is relatively increased compared to q1. Accordingly, the TOF type depth sensor 610 may calculate depth information using Equation 4.

한편, 일 실시예에 따른 전자 장치(100)는 사용자의 시선 정보를 이용하여, 전체 공간 중 응시 지점을 결정할 수 있다. 전자 장치(100)는 시선 추적 센서(160)를 이용하여, 사용자의 시선 정보를 획득하고, 사용자의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보를 획득할 수 있다.Meanwhile, the electronic device 100 according to an embodiment may determine a gaze point among the entire space by using gaze information of the user. The electronic device 100 may obtain gaze information of the user using the gaze tracking sensor 160 and acquire 2D location information of the gaze point based on the gaze information of the user.

일 실시예에 따른 전자 장치(100)는 응시 지점의 2차원 위치 정보에 기초하여, 광 방출부(630)와 센서부(640)를 제어할 수 있다. The electronic device 100 according to an embodiment may control the light emitting unit 630 and the sensor unit 640 based on 2D location information of a gaze point.

다시, 도 6을 참조하면, 일 실시예에 따른, 광 방출부(630)는 복수의 영역들로 분할될 수 있으며, 전자 장치(100)는 영역 별로 광원들을 구동시킬 수 있다. 전자 장치(100)는 복수의 영역들 중, 응시 지점의 2차원 위치 정보에 대응하는 영역에 포함된 광원들을 구동시킬 수 있다. 예를 들어, 광 방출부(630)가 4개의 영역들(A1, A2, A3, A4)로 분할되는 경우, 전자 장치(100)는 응시 지점의 2차원 위치 정보에 대응하는 제1 영역(A1)에 포함되는 광원들을 구동시키고, 나머지 제2 영역 내지 제4 영역들(A2, A3, A4)에 포함되는 광원들은 구동시키지 않을 수 있다. Referring again to FIG. 6, according to an exemplary embodiment, the light emitting unit 630 may be divided into a plurality of regions, and the electronic device 100 may drive light sources for each region. The electronic device 100 may drive light sources included in an area corresponding to the 2D location information of a gaze point among a plurality of areas. For example, when the light emitting unit 630 is divided into four areas A1, A2, A3, and A4, the electronic device 100 may have a first area A1 corresponding to the 2D location information of the gaze point. The light sources included in) may be driven and the light sources included in the remaining second to fourth areas A2, A3, and A4 may not be driven.

이에 따라, 광원의 구동에 따른 전력 소모를 감소시킬 수 있다. 또한, 센서부(640)도 복수의 영역들로 분할될 수 있으며, 전자 장치(100)는 복수의 영역들 중 응시 지점의 2차원 위치 정보에 대응하는 영역에 포함된 센서들만을 구동시킬 수 있다. 예를 들어, 센서부(640)가 4개의 영역들(B1, B2, B3, B4)로 분할되는 경우, 전자 장치(100)는 응시 지점의 2차원 위치 정보에 대응하는 제1 영역(B1)에 포함되는 센서들만을 구동시켜, 신호를 센싱할 수 있다. 이에 따라, 깊이 정보 연산에 따른 전력 소모를 감소시킬 수 있다.Accordingly, power consumption due to driving of the light source can be reduced. In addition, the sensor unit 640 may be divided into a plurality of areas, and the electronic device 100 may drive only sensors included in an area corresponding to the 2D location information of the gaze point among the plurality of areas. . For example, when the sensor unit 640 is divided into four areas B1, B2, B3, and B4, the electronic device 100 may have a first area B1 corresponding to the 2D location information of the gaze point. By driving only the sensors included in the signal can be sensed. Accordingly, it is possible to reduce power consumption due to calculation of depth information.

일 실시예에 따른 전자 장치(100)는 응시 지점의 2차원 위치 정보에 기초하여, 깊이 센서에 포함되는 광 방출부(630)에서 응시 지점의 2차원 위치 정보에 대응하는 영역의 광원만을 구동시키고, 센서부(640)에서 응시 지점의 2차원 위치 정보에 대응하는 영역에 포함되는 센서들만을 구동시켜 신호를 센싱하고, 깊이 정보를 계산할 수 있다.The electronic device 100 according to an embodiment drives only a light source in an area corresponding to the 2D position information of the gaze point in the light emitting unit 630 included in the depth sensor, based on the 2D position information of the gaze point. , The sensor unit 640 may sense a signal by driving only sensors included in an area corresponding to the 2D location information of the gaze point, and calculate depth information.

또한, 일 실시예에 따른 전자 장치(100)는 응시 지점의 추정 깊이 정보에 기초하여, 방출되는 광 펄스(710)의 길이, 크기 등을 최적화된 파라미터들로 결정할 수 있다. 예를 들어, 전자 장치(100)는 응시 지점의 추정 깊이 정보에 기초하여, 광 펄스(710)의 길이, 크기(광의 출력) 등을 결정할 수 있다. 예를 들어, 전자 장치(100)는, 추정 깊이가 작은 경우(거리가 가까운 경우), 광 방출부(630)에서 투사하는 광 펄스(710)의 길이(광의 파장)를 짧게 하고, 광 펄스(710)의 출력을 작게 할 수 있다. 또한, 추정 깊이가 큰 경우(거리가 먼 경우), 광 방출부(630)에서 투사하는 광 펄스(710)의 길이(광의 파장)을 길게 하고, 광 펄스(710)의 출력을 크게 할 수 있다. In addition, the electronic device 100 according to an embodiment may determine the length and size of the emitted light pulse 710 as optimized parameters based on the estimated depth information of the gaze point. For example, the electronic device 100 may determine the length and size (output of light) of the optical pulse 710 based on the estimated depth information of the gaze point. For example, when the estimated depth is small (the distance is close), the electronic device 100 shortens the length (wavelength of light) of the light pulse 710 projected from the light emitting unit 630, and the light pulse ( 710) can be reduced. In addition, when the estimated depth is large (if the distance is long), the length (wavelength of the light) of the light pulse 710 projected from the light emitting unit 630 may be lengthened, and the output of the light pulse 710 may be increased. .

또한, 센서부(830)에서 반사광 펄스를 센싱할 때, 추정 깊이가 작은 경우, 센싱 속도를 빠르게 할 수 있으며, 센싱 감도를 낮게 할 수 있다. 또한, 추정 깊이가 큰 경우, 센싱 속도를 느리게 할 수 있으며, 센싱 감도를 높게 할 수 있다. 이와 같이, 깊이 센서의 측정 파라미터들이 응시 지점에 최적화된 파라미터들로 결정됨에 따라, 응시 지점에 대한 깊이 정보의 정확도가 향상될 수 있다.In addition, when the sensor unit 830 senses the reflected light pulse, if the estimated depth is small, the sensing speed may be increased and the sensing sensitivity may be decreased. In addition, when the estimated depth is large, the sensing speed may be slowed, and the sensing sensitivity may be increased. As such, as the measurement parameters of the depth sensor are determined as parameters optimized for the gaze point, the accuracy of depth information for the gaze point may be improved.

또한, 전자 장치(100)는 전체 공간에 대한 깊이 정보를 계산하지 않고, 관심 영역에 대해서만, 깊이 정보를 계산할 수 있다. 이에 따라, 깊이 정보를 연산하는 속도가 빨라지고, 전력 소모가 감소할 수 있다.Also, the electronic device 100 may not calculate depth information for the entire space, but may calculate depth information only for the ROI. Accordingly, the speed of calculating the depth information can be increased and power consumption can be reduced.

또한, 일 실시예에 따른 전자 장치(100)는 깊이 센서에서 계산된 깊이 정보(실제 깊이 정보)에 기초하여, 깊이 센서의 측정 파라미터들을 다시 최적화할 수 있으며, 다시 최적화된 측정 파라미터들을 이용하여, 깊이 센싱을 수행할 수 있다. 이에 따라, 깊이 정보의 정확도가 더욱 향상될 수 있다.In addition, the electronic device 100 according to an embodiment may re-optimize the measurement parameters of the depth sensor based on depth information (actual depth information) calculated by the depth sensor, and use the optimized measurement parameters again, You can perform depth sensing. Accordingly, the accuracy of depth information may be further improved.

도 7b는 일 실시예에 따른 전자 장치가 매칭 테이블을 이용하여, 깊이 센서의 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면이다.7B is a diagram referenced to explain a method of determining measurement parameters of a depth sensor by using a matching table by an electronic device according to an exemplary embodiment.

도 7b에 도시된 매칭 테이블(750)은, 사용자의 시선 정보와 깊이 센서의 측정 파라미터를 서로 대응시키는 테이블이며, 일 실시예에 따른 전자 장치(100)에 기 저장될 수 있다. 일 실시예에 따른 전자 장치(100)는 매칭 테이블(750)을 이용하여, 도 6의 광 방출부(630) 및 센서부(640)를 제어할 수 있다.The matching table 750 illustrated in FIG. 7B is a table that correlates the user's gaze information and a measurement parameter of the depth sensor, and may be pre-stored in the electronic device 100 according to an exemplary embodiment. The electronic device 100 according to an embodiment may control the light emitting unit 630 and the sensor unit 640 of FIG. 6 using the matching table 750.

전자 장치(100)는 시선 추적 센서로부터 획득한 사용자의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보(x좌표, y 좌표) 및 추정 깊이 정보(z 좌표)를 획득하고, 매칭 테이블(750)을 이용하여, 획득된 2차원 위치 정보 및 추정 깊이 정보에 대응되는 측정 파라미터를 결정할 수 있다.The electronic device 100 acquires two-dimensional position information (x coordinates, y coordinates) and estimated depth information (z coordinates) of the gaze point based on the user's gaze information acquired from the gaze tracking sensor, and the matching table 750 ) May be used to determine a measurement parameter corresponding to the obtained 2D position information and estimated depth information.

예를 들어, 응시 지점의 2차원 위치 정보가 (3, 4)이고, 추정 깊이 정보 z값이 3인 경우, 전자 장치(100)는 광 방출부(630)의 제1 영역(A1)에 포함된 광원들을 구동시키고, 나머지 제2 영역 내지 제4 영역들(A2, A3, A4)에 포함되는 광원들은 구동시키지 않을 수 있다. 또한, 전자 장치(100)는 센서부(640)의 제1 영역(B1)에 포함되는 센서들만을 구동시켜, 신호를 센싱할 수 있다. 또한, 전자 장치(100)는 광 방출부(630)에서 출력되는 광 펄스(710) 크기를 2로, 광 펄스(710) 주기를 2ms로, 광 펄스(710) 듀티 사이클(duty cycle)을 10%가 되도록 광 방출부(630)를 제어할 수 있다. For example, when the two-dimensional position information of the gaze point is (3, 4) and the estimated depth information z value is 3, the electronic device 100 is included in the first area A1 of the light emitting unit 630 The light sources may be driven, and light sources included in the remaining second to fourth areas A2, A3, and A4 may not be driven. Further, the electronic device 100 may sense a signal by driving only sensors included in the first area B1 of the sensor unit 640. In addition, the electronic device 100 sets the size of the light pulse 710 output from the light emitting unit 630 to 2, the cycle of the light pulse 710 to 2 ms, and the duty cycle of the light pulse 710 to 10. The light emission unit 630 may be controlled to be %.

또는, 응시 지점의 2차원 위치 정보가 (-2, -5)이고, 추정 깊이 정보 z값이 5인 경우, 전자 장치(100)는 광 방출부(630)의 제3 영역(A3)에 포함된 광원들을 구동시키고, 나머지 제1 영역, 제2 영역, 및 제4 영역(A1, A2, A4)에 포함되는 광원들은 구동시키지 않을 수 있다. 또한, 전자 장치(100)는 센서부(640)의 제3 영역(B3)에 포함되는 센서들만을 구동시켜, 신호를 센싱할 수 있다. 또한, 전자 장치(100)는 광 방출부(630)에서 출력되는 광 펄스(710) 크기를 2로, 광 펄스(710) 주기를 2ms로, 광 펄스(710) 듀티 사이클을 20%가 되도록 광 방출부(630)를 제어할 수 있다.Alternatively, when the 2D location information of the gaze point is (-2, -5) and the estimated depth information z value is 5, the electronic device 100 is included in the third area A3 of the light emitting unit 630 The light sources may be driven, and light sources included in the remaining first, second, and fourth areas A1, A2, and A4 may not be driven. Further, the electronic device 100 may sense a signal by driving only sensors included in the third area B3 of the sensor unit 640. In addition, the electronic device 100 sets the optical pulse 710 output from the light emitting unit 630 to 2, the optical pulse 710 period to 2 ms, and the optical pulse 710 duty cycle to 20%. The emission unit 630 can be controlled.

일 실시예에 다른 전자 장치(100)는 시선 추적 센서(160)로부터 획득한 사용자의 시선 정보(응시 지점의 2차원 위치 정보 및 추정 깊이 정보)에 기초하여, 실시간으로 깊이 센서의 측정 파라미터(예를 들어, 타겟 영역에 대한 파라미터, 방출광 출력에 대한 파라미터, 반사광 센싱에 대한 파라미터 등)를 계산할 수 있다. 이때, 전자 장치(100)는 기 설정된 수학식이나 알고리즘을 이용하여, 깊이 센서의 측정 파라미터를 계산할 수 있다.According to the electronic device 100 according to the embodiment, based on the user's gaze information (two-dimensional position information and estimated depth information of the gaze point) acquired from the gaze tracking sensor 160, the measurement parameter of the depth sensor (eg, For example, a parameter for a target area, a parameter for emission light output, a parameter for reflected light sensing, etc.) can be calculated. In this case, the electronic device 100 may calculate a measurement parameter of the depth sensor using a preset equation or algorithm.

전자 장치(100)는 실시간으로 계산된 측정 파라미터를 이용하여, 깊이 센서의 광 방출부(630) 및 센서부(640)를 제어할 수 있다.The electronic device 100 may control the light emitting unit 630 and the sensor unit 640 of the depth sensor using the measurement parameter calculated in real time.

한편, 일 실시예에 따른 전자 장치(100)는 외부 장치와 유, 무선 통신(예를 들어, Wi-Fi, 블루투스, 지그비, 적외선 등)을 수행할 수 있다. 전자 장치(100)는 시선 추적 센서(160)로부터 획득한 사용자의 시선 정보(응시 지점의 2차원 위치 정보 및 추정 깊이 정보)를 외부 장치로 전송할 수 있다.Meanwhile, the electronic device 100 according to an embodiment may perform wired or wireless communication (eg, Wi-Fi, Bluetooth, Zigbee, infrared, etc.) with an external device. The electronic device 100 may transmit the user's gaze information (two-dimensional position information and estimated depth information of the gaze point) acquired from the gaze tracking sensor 160 to an external device.

예를 들어, 도 7b의 매칭 테이블(750)은, 전자 장치(100)와 유, 무선 통신을 통하여 연결된 외부 장치에 저장될 수 있다. 외부 장치는 전자 장치(100)로부터 수신한 시선 정보 및 매칭 테이블(750)에 기초하여, 깊이 센서의 측정 파라미터(예를 들어, 타겟 영역에 대한 파라미터, 방출광 출력에 대한 파라미터, 반사광 센싱에 대한 파라미터 등)를 결정할 수 있다.For example, the matching table 750 of FIG. 7B may be stored in an external device connected to the electronic device 100 through wired or wireless communication. The external device is based on the gaze information received from the electronic device 100 and the matching table 750, based on the measurement parameters of the depth sensor (for example, a parameter for a target area, a parameter for emission light output, a parameter for reflected light sensing). Parameters, etc.) can be determined.

또는, 외부 장치는 전자 장치(100)로부터 수신한 시선 정보에 기초하여, 실시간으로 깊이 센서의 측정 파라미터(예를 들어, 타겟 영역에 대한 파라미터, 방출광 출력에 대한 파라미터, 반사광 센싱에 대한 파라미터 등)를 계산할 수 있다. 이때, 외부 장치는 기 설정된 수학식이나 알고리즘을 이용하여, 측정 파라미터를 계산할 수 있다.Alternatively, the external device may measure parameters of the depth sensor in real time based on the gaze information received from the electronic device 100 (e.g., a parameter for a target area, a parameter for emission light output, a parameter for reflected light sensing, etc.) ) Can be calculated. In this case, the external device may calculate the measurement parameter using a preset equation or algorithm.

외부 장치는 깊이 센서의 측정 파라미터를 전자 장치(100)로 전송할 수 있으며, 전자 장치(100)는 수신된 깊이 센서의 측정 파라미터를 이용하여, 깊이 센서의 광 방출부(630) 및 센서부(640)를 제어할 수 있다. 다만, 이에 한정되지 않는다.The external device may transmit the measurement parameter of the depth sensor to the electronic device 100, and the electronic device 100 may use the received measurement parameter of the depth sensor to provide the light emitting unit 630 and the sensor unit 640 of the depth sensor. ) Can be controlled. However, it is not limited thereto.

도 8 및 도 9는 일 실시예에 따른 깊이 센서가 구조화된 광(SL)방식인 경우에, 일 실시예에 따른 전자 장치가 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면들이다.8 and 9 are diagrams referenced for explaining a method of determining measurement parameters by an electronic device according to an exemplary embodiment when a depth sensor according to an exemplary embodiment is a structured light (SL) method.

일 실시예에 따른 깊이 센서(150)는 구조화된 광(SL) 방식의 깊이 센서를 포함할 수 있다. 구조화된 광 방식은, 패턴을 가진 광을 물체(830)에 비추고, 물체(830) 표면에 맺힌 패턴의 형상 및 위치를 분석하여, 물체(830)까지의 거리(깊이 정보)를 측정하는 방식이다. SL 방식의 깊이 센서는 일반적으로 직선형 무늬나 점 패턴을 가지는 광을 물체(830)에 투사하게 되며, 물체(830)의 굴곡에 따라 물체에 맺힌 광의 무늬나 패턴이 달라지게 된다. 구조화된 광 방식은, 광 프로젝터(810)와 카메라(820)를 포함할 수 있으며, 스테레오 이미지 방식의 깊이 센서에 사용된 2개의 카메라 중의 하나를 광 프로젝터(810)로 교체한 구조로 볼 수 있다. 일반적으로 광 프로젝터(810)에서 투사되는 광의 경로 상에 고정된 패턴이 있는 필름 또는 패턴 형태를 변경할 수 있는 액정 필름이 배치되고, 광이 필름을 통과함으로써 광의 무늬나 패턴이 달라지게 된다. 예를 들어, SL 방식의 깊이 센서는, 광 프로젝터(810)로 투사한 광이 물체(830) 표면에 맺혀서 생긴 패턴의 형상 및 위치를 알고리즘으로 분석하여, 깊이 정보를 계산할 수 있다.The depth sensor 150 according to an embodiment may include a structured light (SL) type depth sensor. The structured light method is a method of measuring the distance (depth information) to the object 830 by shining light with a pattern onto the object 830 and analyzing the shape and position of the pattern formed on the surface of the object 830 . In general, the SL type depth sensor projects light having a linear pattern or dot pattern onto the object 830, and the pattern or pattern of light formed on the object is changed according to the curvature of the object 830. The structured optical method may include an optical projector 810 and a camera 820, and one of the two cameras used in the depth sensor of the stereo image method may be replaced with the optical projector 810. . In general, a film having a fixed pattern or a liquid crystal film capable of changing a pattern shape is disposed on a path of light projected from the light projector 810, and the pattern or pattern of light is changed by passing the light through the film. For example, the SL-type depth sensor may calculate depth information by analyzing the shape and position of a pattern generated by light projected by the light projector 810 on the surface of the object 830 using an algorithm.

한편, 일 실시예에 따른 전자 장치(100)는 사용자의 시선 정보를 이용하여, 전체 공간 중 응시 지점을 결정할 수 있다. 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 시선 정보를 획득하고, 사용자의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보를 획득할 수 있다. 일 실시예에 따른 전자 장치(100)는 응시 지점의 2차원 위치 정보에 기초하여, 광 프로젝터(810)와 카메라(820)를 제어할 수 있다.Meanwhile, the electronic device 100 according to an embodiment may determine a gaze point among the entire space by using gaze information of the user. The electronic device 100 may obtain gaze information of the user using the gaze tracking sensor and acquire 2D location information of the gaze point based on the gaze information of the user. The electronic device 100 according to an embodiment may control the optical projector 810 and the camera 820 based on 2D location information of a gaze point.

일 실시예에 따른 전자 장치(100)는 광 프로젝터(810)가 광을 응시 지점의 2차원 위치 정보에 대응하는 영역에만 투사하도록 제어할 수 있다. 예를 들어, 광 프로젝터(810)는 액정 필름의 패턴을 변경하여 응시 지점의 2차원 위치 정보에 대응하는 제2 영역(C2)을 통과하도록, 광을 투사하고, 제1 영역, 제3 영역 및 제4 영역들(C1, C3, C4)을 통과하는 광은 투사하지 않을 수 있다. 이에 따라, 광원의 구동에 따른 전력 소모를 감소시킬 수 있다.The electronic device 100 according to an embodiment may control the light projector 810 to project light only to a region corresponding to the 2D location information of a gaze point. For example, the light projector 810 projects light to pass through the second region C2 corresponding to the two-dimensional position information of the gaze point by changing the pattern of the liquid crystal film, and the first region, the third region, and Light passing through the fourth regions C1, C3, and C4 may not be projected. Accordingly, power consumption due to driving of the light source can be reduced.

또한, 카메라(820)도 복수의 영역들(D1, D2, D3, D4)로 분할될 수 있으며, 전자 장치(100)는 복수의 영역들(D1, D2, D3, D4) 중 응시 지점의 2차원 위치 정보에 대응하는 영역에서 획득된 영상 신호들만을 이용하여, 깊이 정보를 계산할 수 있다.In addition, the camera 820 may also be divided into a plurality of areas D1, D2, D3, and D4, and the electronic device 100 may be divided into two areas D1, D2, D3, and D4. Depth information may be calculated using only image signals acquired in an area corresponding to the dimensional location information.

예를 들어, 도 9에 도시된 제1 영상(910)은, 실제 공간에 전체적으로 고정된 패턴을 가지는 광이 투사되는 것을 나타내는 영상이다. 카메라(820)는 투사된 광이 물체 표면에 맺혀서 생긴 패턴을 촬영할 수 있다. 예를 들어, 도 9에 도시된 제2 영상(920)은, 실제 공간 전체에 투사된 광에 의해 생성된 패턴을 촬영한 영상이다. 전자 장치(100)는 제2 영상(920)을 분석함으로써, 실제 공간에 대한 깊이 정보를 계산할 수 있다.For example, the first image 910 illustrated in FIG. 9 is an image indicating that light having a fixed pattern as a whole is projected in an actual space. The camera 820 may photograph a pattern generated by condensing the projected light on the surface of the object. For example, the second image 920 shown in FIG. 9 is an image obtained by photographing a pattern generated by light projected over an actual space. The electronic device 100 may calculate depth information on an actual space by analyzing the second image 920.

일 실시예에 따른 전자 장치(100)는 사용자의 양안의 시선 정보를 이용하여, 전체 공간 중 응시 지점을 결정할 수 있다. 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 양안의 시선 정보를 획득하고, 사용자의 양안의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보를 획득할 수 있다. The electronic device 100 according to an embodiment may determine a gaze point in the entire space by using gaze information of both eyes of the user. The electronic device 100 may acquire gaze information of both eyes of the user using the gaze tracking sensor, and acquire 2D location information of the gaze point based on the gaze information of both eyes of the user.

일 실시예에 따른 전자 장치(100)는 사용자의 양안의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보가 획득되면, 응시 지점의 2차원 위치 정보에 기초하여, 고정된 패턴을 가지는 광을 관심 영역에만 투사할 수 있다. 전자 장치(100)는, 사용자의 양안의 시선이 향하는 응시 지점을 중심으로 기 설정된 영역을 관심 영역으로 결정할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 광 프로젝터는 고정된 패턴을 가지는 광을 자동차의 뒤 부분(915, 관심 영역)에만 투사하고 카메라는 광이 투사된 관심 영역(915)을 촬영한 제3 영상(930)을 획득할 수 있다. The electronic device 100 according to an embodiment, when 2D location information of a gaze point is obtained based on gaze information of both eyes of the user, based on the 2D location information of the gaze point, transmits light having a fixed pattern. You can only project on the area of interest. The electronic device 100 may determine a predetermined area centered on a gaze point to which the user's both eyes are directed as the ROI. For example, as shown in FIG. 9, the light projector projects light having a fixed pattern only to the rear part 915 (region of interest) of the vehicle, and the camera shoots the region of interest 915 on which the light is projected. 3 An image 930 may be acquired.

이에 따라, 전자 장치(100)는 전체 공간에 대한 깊이 정보를 계산하지 않고, 관심 영역에 대해서만, 깊이 정보를 계산함으로써 깊이 정보를 연산하는 속도가 빨라지고, 전력 소모가 감소할 수 있다.Accordingly, the electronic device 100 does not calculate depth information for the entire space, but calculates depth information only for the ROI, thereby increasing the speed of calculating depth information and reducing power consumption.

도 10은 일 실시예에 따른 깊이 센서가 스테레오 이미지(SI) 방식인 경우에, 일 실시예에 따른 전자 장치가 측정 파라미터들을 결정하는 방법을 설명하기 위해 참조되는 도면이다.FIG. 10 is a diagram referenced for explaining a method of determining measurement parameters by an electronic device according to an exemplary embodiment when the depth sensor according to an exemplary embodiment is a stereo image (SI) method.

일 실시예에 따른 깊이 센서(150)는 스테레오 이미지(SI) 방식의 깊이 센서를 포함할 수 있다. 스테레오 이미지 방식은, 2개의 카메라를 이용하여, 물체의 입체감을 촬영하는 방식을 의미한다. 이 경우, 깊이 센서는 2개의 카메라를 포함할 수 있다. 깊이 센서는 각각의 카메라가 바라보는 영상의 차이 정보를 이용하여, 삼각측량의 원리에 기반하여, 특정 객체에 대한 깊이 정보(거리)를 계산할 수 있다. 사람은 왼쪽 눈과 오른쪽 눈에 들어오는 영상의 차이를 통해 입체감을 느끼게 되며, 깊이 센서는 사람의 눈이 입체감을 느끼는 원리와 비슷한 방식으로 거리를 측정하게 된다. 예를 들어, 깊이가 작으면(거리가 가까우면), 2대의 카메라에서 촬영된 영상의 차이가 크고, 깊이가 크면(거리가 멀면), 2대의 카메라에서 촬영된 영상의 차이가 적다.The depth sensor 150 according to an embodiment may include a stereo image (SI) type depth sensor. The stereo image method refers to a method of photographing a three-dimensional effect of an object using two cameras. In this case, the depth sensor may include two cameras. The depth sensor may calculate depth information (distance) for a specific object based on the principle of triangulation, using difference information between images viewed by each camera. A person feels a three-dimensional effect through the difference between the image entering the left eye and the right eye, and the depth sensor measures the distance in a manner similar to the principle that the human eye feels the three-dimensional effect. For example, if the depth is small (closer distance), the difference between the images captured by two cameras is large, and if the depth is large (farther distance), the difference between images captured by two cameras is small.

스테레오 이미지 방식의 경우, 실시간으로 2개의 영상을 동시에 처리해야 하므로, 프로세서의 빠른 처리 능력이 필요하며, 하드웨어적인 처리가 필요하다. 따라서, 소형 기기의 프로세서만으로는 스테레오 이미지 방식의 실시간 처리를 하기에는 어려움이 있다.In the case of the stereo image method, since two images must be simultaneously processed in real time, a fast processing power of the processor is required, and hardware processing is required. Therefore, it is difficult to perform real-time processing of a stereo image method with only a processor of a small device.

일 실시예에 따른 SI 방식의 깊이 센서는, 는 제1 카메라와 제2 카메라를 포함할 수 있으며, 이때, 제1 카메라와 제2 카메라는 서로 다른 위치에서 서로 다른 방향으로 실제 공간을 촬영할 수 있다. 예를 들어, 제1 카메라는 제1 위치에서 제1 방향으로 실제 공간을 촬영하여, 제1 영상(1010)을 획득할 수 있으며, 제2 카메라는 제2 위치에서 제2 방향으로 실제 공간을 촬영하여, 제2 영상(1020)을 획득할 수 있다. 이때, 제1 영상(1010)과 제2 영상(1020)의 차이 영상을 이용하면, 실제 공간 전체에 대한 깊이 정보가 획득될 수 있다.The SI type depth sensor according to an embodiment may include a first camera and a second camera, and in this case, the first camera and the second camera may photograph an actual space in different directions from different locations. . For example, a first camera may capture a real space from a first location in a first direction to obtain a first image 1010, and a second camera may take a real space from a second location in a second direction. Thus, the second image 1020 may be obtained. In this case, when the difference image between the first image 1010 and the second image 1020 is used, depth information for the entire actual space may be obtained.

한편, 일 실시예에 따른 전자 장치(100)는 사용자의 양안의 시선 정보를 이용하여, 전체 공간 중 관심 영역을 결정할 수 있다. 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 양안의 시선 정보를 획득하고, 사용자의 양안의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보를 획득할 수 있다. 예를 들어, 전자 장치 사용자의 응시 지점이 제1 지점인 경우, 전자 장치(100)는 제1 지점을 중심으로 기 설정된 영역을 관심 영역으로 결정할 수 있다. 도 10의 제1 영역(1015)은, 제1 영상(1010) 중 관심 영역에 대응하는 영역을 나타내고, 제2 영역(1025)은 제2 영상 중 관심 영역에 대응하는 영역을 나타낸다. 따라서, 전자 장치(100)는 제1 영역(1015)에 대한 영상과 제2 영역(1025)에 대한 영상들(1030, 1040)의 차이 영상만 계산하여, 관심 영역에 대한 깊이 정보를 계산할 수 있다.Meanwhile, the electronic device 100 according to an embodiment may determine a region of interest among the entire space by using gaze information of both eyes of the user. The electronic device 100 may acquire gaze information of both eyes of the user using the gaze tracking sensor, and acquire 2D location information of the gaze point based on the gaze information of both eyes of the user. For example, when the gaze point of the electronic device user is the first point, the electronic device 100 may determine a predetermined area centered on the first point as the ROI. A first area 1015 of FIG. 10 represents an area of the first image 1010 corresponding to an ROI, and a second area 1025 represents an area of the second image corresponding to an ROI. Accordingly, the electronic device 100 may calculate depth information on the ROI by calculating only the difference image between the image for the first region 1015 and the images 1030 and 1040 for the second region 1025. .

일 실시예에 따른 전자 장치(100)는 사용자의 양안의 시선 정보에 기초하여, 응시 지점의 2차원 위치 정보가 획득되면, 응시 지점의 2차원 위치 정보에 기초하여, 촬영된 제1 영상 및 제2 영상에서 관심 영역을 결정하고, 관심 영역에 대해서만, 깊이 정보를 계산할 수 있다. 또는, 전자 장치(100)는 줌(Zoom) 기능을 이용하여 관심 영역을 확대 촬영하여, 관심 영역에 대한 영상들(1030, 1040)을 획득하고, 관심 영역에 대해서만 깊이 정보를 계산할 수 있다. 이에 따라, 깊이 정보의 연산 속도가 빨라지고, 전력 소모는 감소할 수 있다.According to an embodiment, when the 2D location information of the gaze point is obtained based on gaze information of both eyes of the user, the electronic device 100 according to an embodiment 2 It is possible to determine a region of interest in an image and calculate depth information for only the region of interest. Alternatively, the electronic device 100 may magnify the region of interest by using a zoom function, obtain images 1030 and 1040 for the region of interest, and calculate depth information only for the region of interest. Accordingly, the calculation speed of depth information can be increased, and power consumption can be reduced.

도 11은 일 실시예에 따른 전자 장치가 가상 객체를 표시하는 방법을 설명하기 위한 도면이다.11 is a diagram for describing a method of displaying a virtual object by an electronic device according to an exemplary embodiment.

도 11를 참조하면, 일 실시예에 따른 전자 장치(100)는, 획득된 응시 지점의 깊이 정보에 기초하여, 가상 객체를 디스플레이에 표시할 수 있다. 예를 들어, 전자 장치(100)는 증강 현실(AR) 형태로 가상의 객체를 표시할 수 있다. 증강 현실 형태로 가상 객체를 표시하는 경우, 전자 장치(100)는 디스플레이를 통하여 관측되는 실제 공간(1110, 현실 세계의 2차원 또는 3차원 공간)에 가상 객체가 오버랩되도록, 디스플레이에 가상 객체를 표시할 수 있다.Referring to FIG. 11, the electronic device 100 according to an embodiment may display a virtual object on a display based on the acquired depth information of a gaze point. For example, the electronic device 100 may display a virtual object in the form of an augmented reality (AR). When displaying a virtual object in the form of augmented reality, the electronic device 100 displays the virtual object on the display so that the virtual object overlaps with the real space (1110, two-dimensional or three-dimensional space of the real world) observed through the display. can do.

예를 들어, 일 실시예에 따른 전자 장치(100)는 응시 지점 주변 영역(예를 들어, 책상 주변 영역)의 깊이 정보를 획득하고, 가상 객체(1120, 예를 들어, 꽃병)에 획득된 깊이 정보와 유사한 깊이를 부여하여 책상 주변 영역에 위치하는 것처럼 사용자가 인식하도록 디스플레이에 표시할 수 있다.For example, the electronic device 100 according to an embodiment acquires depth information of an area around a gaze point (eg, an area around a desk), and the depth acquired on the virtual object 1120 (eg, a vase) It can be displayed on the display so that the user perceives it as if it is located in the area around the desk by giving a depth similar to the information.

도 12는 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.12 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.

도 12를 참조하면, 일 실시예에 따른 전자 장치(100)는 사용자 양안의 시선 정보를 획득할 수 있다(S1210).Referring to FIG. 12, the electronic device 100 according to an embodiment may acquire gaze information of both eyes of a user (S1210).

일 실시예에 따른 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 눈(왼쪽 눈, 오른쪽 눈)에 광을 제공하고, 사용자의 눈으로부터 반사된 광량을 감지할 수 있다. 전자 장치(100)는 감지된 광량에 기초하여, 사용자의 양안의 시선 방향을 결정할 수 있다. The electronic device 100 according to an embodiment may provide light to the user's eyes (left eye, right eye) and detect the amount of light reflected from the user's eye using a gaze tracking sensor. The electronic device 100 may determine the gaze directions of both eyes of the user based on the detected amount of light.

또는, 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 눈에 광을 제공하고, 사용자의 눈을 촬영할 수 있다. 또한, 전자 장치(100)는 촬영된 사용자의 눈 영상에 기초하여, 사용자의 양안의 시선 방향을 결정할 수 있다.Alternatively, the electronic device 100 may provide light to the user's eyes and photograph the user's eyes using a gaze tracking sensor. Also, the electronic device 100 may determine the gaze directions of both eyes of the user based on the captured user's eye image.

일 실시예에 따른 전자 장치(100)는 시선 정보에 기초하여, 응시 지점을 획득할 수 있다(S1220).The electronic device 100 according to an embodiment may acquire a gaze point based on gaze information (S1220).

전자 장치(100)는 사용자의 오른쪽 눈의 시선 방향과 왼쪽 눈의 시선 방향에 기초하여, 사용자가 응시하는 지점에 대한 2차원 좌표 정보(x좌표 값 및 y좌표 값)를 획득할 수 있다. 또한, 사용자의 오른쪽 눈의 시선 방향과 왼쪽 눈의 시선 방향에 기초하여, 사용자가 응시하는 지점까지의 거리(z 좌표 값)를 추정할 수 있다. 이에 따라, 전자 장치(100)는 응시 지점의 2차원 위치 정보 및 추정 깊이 정보를 획득할 수 있다.The electronic device 100 may obtain 2D coordinate information (x-coordinate value and y-coordinate value) for a point gazed by the user based on the gaze direction of the user's right eye and the gaze direction of the left eye. In addition, a distance (z coordinate value) to a point where the user gazes may be estimated based on the gaze direction of the user's right eye and the gaze direction of the left eye. Accordingly, the electronic device 100 may obtain 2D location information and estimated depth information of the gaze point.

일 실시예에 따른 전자 장치(100)는 응시 지점에 대한 정보에 기초하여, 깊이 센서의 측정 파라미터를 결정할 수 있다(S1230).The electronic device 100 according to an embodiment may determine a measurement parameter of the depth sensor based on the information on the gaze point (S1230).

깊이 센서의 측정 파라미터는, 타겟 영역에 대한 파라미터, 방출 광 출력(방출 광 출력 패턴, 방출 광 출력 크기)에 대한 파라미터, 및 반사광 센싱에 대한 파라미터 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(100)는 응시 지점의 2차원 위치 정보를 이용하여, 타겟 영역에 대한 파라미터를 결정할 수 있으며, 응시 지점의 추정 깊이 정보를 이용하여, 방출 광 출력(방출 광 출력 패턴, 방출 광 출력 크기)에 대한 파라미터, 및 반사광 센싱에 대한 파라미터를 결정할 수 있다. 이에 대해서는 도 5a 내지 10에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.The measurement parameter of the depth sensor may include at least one of a parameter for a target area, a parameter for an emission light output (emission light output pattern, an emission light output size), and a parameter for reflected light sensing. For example, the electronic device 100 may determine a parameter for a target area using 2D location information of a gaze point, and output light output (emit light output pattern, Emitted light output size) and reflected light sensing parameters may be determined. This has been described in detail with reference to FIGS. 5A to 10, so a detailed description will be omitted.

일 실시예에 따른 전자 장치(100)는 결정된 측정 파라미터에 기초하여, 응시 지점을 중심으로 기 설정된 관심 영역에 포함된 적어도 하나의 객체에 대한 깊이 정보를 획득할 수 있다.The electronic device 100 according to an embodiment may acquire depth information on at least one object included in a preset ROI based on a gaze point based on the determined measurement parameter.

도 13은 일 실시예에 따른 전자 장치가 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.13 is a diagram for describing a method of obtaining depth information by an electronic device according to an exemplary embodiment.

일 실시예에 따른 깊이 센서는 적어도 하나의 카메라를 포함할 수 있으며, 깊이 센서에 포함되는 카메라의 FOV(Field of veiw)에 포함되는 실제 공간(1310)에 대한 깊이 정보를 획득할 수 있다. 이하에서는, 깊이 센서에 의해 센싱될 수 있는 범위의 공간을 ‘전체 공간’이라고 지칭하기로 한다.The depth sensor according to an exemplary embodiment may include at least one camera, and may obtain depth information on an actual space 1310 included in a field of veiw (FOV) of a camera included in the depth sensor. Hereinafter, a space within a range that can be sensed by the depth sensor will be referred to as a “total space”.

일 실시예에 따른, 전자 장치(100)는 도 13에 도시된 바와 같이, 전체 공간(1310) 중 관심 영역(1320)을 결정할 수 있다.According to an embodiment, as illustrated in FIG. 13, the electronic device 100 may determine an ROI 1320 of the total space 1310.

예를 들어, 전자 장치(100)는 도 2 내지 3d에서 설명한 바와 같이, 시선 추적 센서를 이용하여, 사용자의 양안의 시선 정보를 획득하고, 사용자의 양안의 시선 정보에 기초하여, 사용자의 응시 지점을 획득할 수 있다. 또한, 획득된 응시 지점에 기초하여 응시 지점을 중심으로 기 설정된 영역을 관심 영역을 결정할 수 있다. 또는, 전자 장치(100)는 전체 공간(1310)에 대한 영상을 획득하고, 객체 인식 기술 이용하여, 결정된 관심 영역 내의 주요 객체(예를 들어, 사람, 얼굴, 손 등)를 인식함으로써, 응시 지점을 중심으로 기 설정된 영역이 아닌, 인식된 주요 객체를 관심 영역으로 결정할 수 있다. For example, as described in FIGS. 2 to 3D, the electronic device 100 acquires gaze information of both eyes of the user using gaze tracking sensors, and based on the gaze information of both eyes of the user, the gaze point of the user Can be obtained. In addition, the region of interest may be determined in a predetermined region based on the gaze point based on the obtained gaze point. Alternatively, the electronic device 100 acquires an image of the entire space 1310 and recognizes a major object (eg, a person, a face, a hand, etc.) within the determined region of interest using object recognition technology, It is possible to determine the recognized main object as the region of interest rather than a preset region centering on.

전자 장치(100)는 관심 영역(1320)이 결정되면, 관심 영역(1320)과 관심 영역을 제외한 나머지 공간에 대해서, 서로 다른 측정 파라미터를 이용하여, 깊이 정보를 획득할 수 있다.When the ROI 1320 is determined, the electronic device 100 may obtain depth information for the ROI 1320 and the remaining spaces excluding the ROI by using different measurement parameters.

예를 들어, 전자 장치(100)는 깊이 센서의 측정 파라미터를 제1 파라미터로 설정하여, 관심 영역에 대한 깊이 정보(1330)를 획득할 수 있다. 이때, 전자 장치(100)는 응시 지점의 정보에 기초하여, 제1 파라미터를 설정할 수 있다. 예를 들어, 전자 장치(100)는 응시 지점의 2차원 위치 정보에 기초하여, 응시 지점을 중심으로 기 설정된 영역을 관심 영역으로 설정하고 설정된 관심 영역에 대응되도록 광을 방출하는 영역, 광을 센싱하는 영역 등을 설정할 수 있다. 또한, 전자 장치(100)는 응시 지점의 추정 깊이 정보에 기초하여, 방출하는 광의 패턴이나 광 출력 등을 설정할 수 있다. For example, the electronic device 100 may obtain depth information 1330 for the ROI by setting the measurement parameter of the depth sensor as the first parameter. In this case, the electronic device 100 may set the first parameter based on the information on the gaze point. For example, the electronic device 100 sets a preset area centered on the gaze point as a region of interest based on 2D location information of the gaze point, and senses a region emitting light to correspond to the set region of interest, and light. You can set the area to be used. In addition, the electronic device 100 may set a pattern of emitted light or a light output based on the estimated depth information of the gaze point.

예를 들어, 깊이 센서가 TOF 방식의 깊이 센서인 경우, 센서부는, 관심 영역에 대응하는 신호들에 대하여, 샘플링율을 크게 또는 샘플링 주기를 작게 하여 센싱하고, 나머지 영역에 대응하는 신호들은 센싱하지 않음으로써, 관심 영역에 대한 깊이 정보를 고해상도로 획득할 수 있다.For example, when the depth sensor is a TOF type depth sensor, the sensor unit senses signals corresponding to the region of interest by increasing the sampling rate or decreasing the sampling period, and does not sense signals corresponding to the remaining regions. By not doing so, it is possible to obtain depth information on the region of interest in high resolution.

또한, 전자 장치(100)는 깊이 센서의 측정 파라미터를 제2 파라미터로 설정하여, 관심 영역을 제외한 나머지 영역에 대한 깊이 정보(1340)를 획득할 수 있다. 예를 들어, 깊이 센서가 TOF 방식의 깊이 센서인 경우, 센서부는, 나머지 영역에 대응하는 신호들에 대하여, 샘플링율을 낮게 또는 샘플링 주기를 크게 하여 센싱하고, 관심 영역에 대응하는 신호들은 센싱하지 않음으로써, 나머지 영역에 대한 깊이 정보를 저해상도로 획득할 수 있다.In addition, the electronic device 100 may obtain depth information 1340 for the remaining areas excluding the ROI by setting the measurement parameter of the depth sensor as the second parameter. For example, when the depth sensor is a TOF-type depth sensor, the sensor unit senses signals corresponding to the remaining areas with a low sampling rate or increasing the sampling period, and does not sense signals corresponding to the ROI. By not doing so, it is possible to obtain depth information for the rest of the region at a low resolution.

또는, 관심 영역을 포함하는 전체 공간에 대한 깊이 정보를 저해상도로 획득할 수도 있다. Alternatively, depth information on the entire space including the region of interest may be obtained at a low resolution.

이에 따라, 전자 장치(100)는 관심 영역에 대해서는, 정확도가 높은 깊이 정보(고해상도 깊이 정보)를 획득하면서, 나머지 영역(응시 지점 주변 영역)에 대한 대략적인 깊이 정보(저해상도 깊이 정보)도 함께 획득할 수 있다.Accordingly, the electronic device 100 obtains high-accuracy depth information (high-resolution depth information) for the region of interest, and also obtains approximate depth information (low-resolution depth information) for the remaining regions (regions around the gaze point). can do.

도 14는 일 실시예에 따른 전자 장치가 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.14 is a flowchart illustrating a method of obtaining depth information by an electronic device according to an exemplary embodiment.

도 14를 참조하면, 일 실시예에 따른 전자 장치는, 전체 공간 중 관심 영역을 결정할 수 있다(S1410). 관심 영역을 결정하는 방법에 대해서는, 도 13에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.Referring to FIG. 14, the electronic device according to an embodiment may determine an ROI from among the entire space (S1410 ). Since the method of determining the region of interest has been described in detail in FIG. 13, a detailed description will be omitted.

전자 장치(100)는 깊이 센서의 측정 파라미터를 제1 파라미터 세트로 설정하여, 전체 공간에 대한 깊이 정보를 획득할 수 있다(S1420).The electronic device 100 may obtain depth information on the entire space by setting the measurement parameter of the depth sensor as the first parameter set (S1420).

예를 들어, 전자 장치(100)는 전체 공간에 대한 저해상도 깊이 정보를 획득할 수 있다.For example, the electronic device 100 may obtain low-resolution depth information for the entire space.

전자 장치(100)는 전체 공간에 대한 깊이 정보에 기초하여, 관심 영역에 대한 제1 깊이 정보를 획득할 수 있다(S1430). The electronic device 100 may obtain first depth information on the ROI based on depth information on the entire space (S1430).

예를 들어, 전체 공간에 대한 깊이 정보에 포함된, 관심 영역에 대한 깊이 정보를 제1 깊이 정보로 결정할 수 있다.For example, depth information on an ROI, included in depth information on the entire space, may be determined as the first depth information.

전자 장치(100)는 제1 깊이 정보에 기초하여, 제2 파라미터 세트를 결정할 수 있다(S1440). 예를 들어, 전자 장치(100)는 관심 영역의 제1 깊이 정보에 기초하여, 깊이 센서의 방출 광 출력(방출 광 출력 패턴, 방출 광 출력 크기)에 대한 파라미터 및 반사광 센싱에 대한 파라미터를 결정할 수 있다.The electronic device 100 may determine a second parameter set based on the first depth information (S1440). For example, the electronic device 100 may determine a parameter for emission light output (emission light output pattern, emission light output size) and reflected light sensing of the depth sensor based on the first depth information of the region of interest. have.

전자 장치(100)는, 측정 파라미터가 제2 파라미터 세트로 설정된 깊이 센서를 이용하여, 관심 영역에 대한 제2 깊이 정보를 획득할 수 있다(S1450). 이때, 제2 깊이 정보는, 고해상도 깊이 정보일 수 있으며, 1420 단계(S1420)에서 획득한 저해상도 깊이 정보보다 정확도가 향상된 깊이 정보일 수 있다.The electronic device 100 may obtain second depth information on the ROI by using a depth sensor in which the measurement parameter is set as the second parameter set (S1450). In this case, the second depth information may be high-resolution depth information, and may be depth information having improved accuracy than the low-resolution depth information obtained in step 1420 (S1420).

도 15는 일 실시예에 따른 전자 장치가 도 14의 깊이 정보 획득 동작들을 반복적으로 수행하는 예를 나타내는 도면이다.15 is a diagram illustrating an example in which an electronic device repeatedly performs depth information acquisition operations of FIG. 14 according to an exemplary embodiment.

도 15를 참조하면, 일 실시예에 따른 전자 장치(100)는 전체 공간에 대한 깊이 정보(1510, 저해상도 깊이 정보)를 획득하는 동작(S1420)과 관심 영역에 대한 제2 깊이 정보(1520, 고해상도 깊이 정보)를 획득하는 동작(S1450)을 일정한 주기를 가지고 반복적으로 수행할 수 있다.Referring to FIG. 15, the electronic device 100 according to an embodiment obtains depth information 1510 (low-resolution depth information) for the entire space (S1420) and second depth information 1520 for a region of interest (high resolution). The operation of obtaining depth information) (S1450) may be repeatedly performed with a certain period.

예를 들어, 전체 공간에 대한 깊이 정보(1510)를 획득하는 제1 주기(T1)와 제2 깊이 정보(1520)를 획득하는 제2 주기(T2)를 설정할 수 있다. 이때, 전자 장치(100)는, 전자 장치(100)의 움직임에 따라 제1 주기(T1)를 조절하여, 관심 영역을 제외한 나머지 영역의 깊이 정보의 업데이트 주기를 조절할 수 있다. 즉, 전자 장치(100)의 움직임으로 인해 발생되는 영상 내 관심 영역을 제외한 나머지 영역이 움직이는 변화량의 크기에 따라 제1 주기(T1)을 조절할 수 있다. 예를 들어, 전자 장치(100)의 움직임이 적은 경우(전자 장치(100)가 정적인 경우), 제1 주기(T1)를 증가시킬 수 있으며, 전자 장치(100)의 움직임이 많은 경우(전자 장치(100)가 동적인 경우), 제1 주기(T2)를 감소시킬 수 있다.For example, a first period T1 for obtaining depth information 1510 for the entire space and a second period T2 for obtaining second depth information 1520 may be set. In this case, the electronic device 100 may adjust the first period T1 according to the movement of the electronic device 100 to adjust the update period of depth information of the remaining areas except for the ROI. That is, the first period T1 may be adjusted according to the size of the amount of change in which the remaining areas other than the ROI in the image generated by the movement of the electronic device 100 move. For example, when the movement of the electronic device 100 is small (when the electronic device 100 is static), the first period T1 may be increased, and when the movement of the electronic device 100 is large (electronic device 100 When the device 100 is dynamic), the first period T2 may be reduced.

또한, 전자 장치(100)는 전자 장치 사용자와 응시 지점에 표시되는 가상의 객체와의 상호 작용(Interaction)에 필요한 최소 시간에 따라, 제2 주기(T2)를 조절할 수 있다. 예를 들어, 전자 장치(100)는 손동작 인식과 같은 상호 작용(Interaction)을 위한 손에 대한 깊이 정보 업데이트에 필요한 최소 시간과 같거나 짧도록 제2 주기(T2)를 설정할 수 있다. 다만, 이에 한정되지 않는다.Also, the electronic device 100 may adjust the second period T2 according to the minimum time required for an interaction between the electronic device user and the virtual object displayed at the gaze point. For example, the electronic device 100 may set the second period T2 to be equal to or shorter than a minimum time required for updating depth information on a hand for an interaction such as hand gesture recognition. However, it is not limited thereto.

도 16은 일 실시예에 따른 전자 장치가 증강현실(AR) 방식으로 가상의 객체를 제공하는 예를 나타내는 도면이다.16 is a diagram illustrating an example in which an electronic device provides a virtual object in an augmented reality (AR) method according to an exemplary embodiment.

도 16을 참조하면, 일 실시예에 따른 전자 장치(100)는 적어도 하나의 카메라(이미지 센서)를 포함할 수 있다. 예를 들어, 적어도 하나의 카메라는, 깊이 센서에 포함되는 뎁스 카메라거나, 깊이 센서와 별도로 구비된 카메라일 수 있다.Referring to FIG. 16, the electronic device 100 according to an embodiment may include at least one camera (image sensor). For example, at least one camera may be a depth camera included in the depth sensor or a camera separately provided from the depth sensor.

적어도 하나의 카메라는, 카메라의 FOV 에 포함되는 공간에 대응하는 영상(1610)을 획득할 수 있다. 전자 장치는 획득된 영상(1610) 내에서, 주요 객체를 검출할 수 있다. 예를 들어, 전자 장치는 실제 물체(1620) 주변에 가상의 객체(1630)가 위치하는 것처럼 사용자가 인식하도록 증강현실(AR) 방식으로 가상의 객체(1630)를 표시할 수 있다. 또한, 전자 장치 사용자가 손을 이용하여, 가상의 객체(1630)와 상호작용 하는 경우, 주요 객체는 사용자의 손(1640)이 될 수 있다.At least one camera may acquire an image 1610 corresponding to a space included in the FOV of the camera. The electronic device may detect a main object within the acquired image 1610. For example, the electronic device may display the virtual object 1630 in an augmented reality (AR) method so that the user recognizes as if the virtual object 1630 is positioned around the real object 1620. In addition, when an electronic device user interacts with the virtual object 1630 using a hand, the main object may be the user's hand 1640.

전자 장치(100)는 획득된 영상 내에서 손(1640) 영역을 검출하고, 손 영역을 관심 영역으로 결정할 수 있으며, 손(1640) 영역을 제외한 나머지 영역을 배경 영역으로 결정할 수 있다.The electronic device 100 may detect a region of the hand 1640 in the acquired image, determine the region of the hand as the region of interest, and determine the remaining region excluding the region of the hand 1640 as a background region.

전자 장치(100)는 관심 영역에 대해서는 고해상도 깊이 정보를 획득하고, 배경 영역에 대해서는 저해상도 깊이 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 손(1640) 영역에 대해서는, 정확도가 높은 깊이 정보를 획득할 수 있도록 깊이 센서의 측정 파라미터를 설정하여, 고해상도 깊이 정보를 획득할 수 있다. 반면에, 배경 영역에 대해서는, 정확도가 낮은 깊이 정보를 획득하도록 깊이 센서의 측정 파라미터를 설정하여 저해상도 깊이 정보를 획득할 수 있다.The electronic device 100 may obtain high-resolution depth information for an ROI and low-resolution depth information for a background region. For example, for the area of the hand 1640, the electronic device 100 may obtain high-resolution depth information by setting a measurement parameter of the depth sensor so as to obtain depth information with high accuracy. On the other hand, for a background region, low-resolution depth information may be obtained by setting a measurement parameter of a depth sensor to obtain depth information with low accuracy.

전자 장치(100)는 손(1640) 영역에 대한 고해상도 깊이 정보를 이용하여, 손의 포즈(pose)를 추정하거나, 손의 제스쳐를 인식할 수 있다. 반면에, 배경 영역에 대한 저해상도 깊이 정보를 이용하여, 카메라 포즈(pose) 추적을 수행하거나, 배경 모델링을 수행할 수 있다. 다만, 이에 한정되지 않는다.The electronic device 100 may estimate a hand pose or recognize a hand gesture by using high-resolution depth information on a region of the hand 1640. On the other hand, camera pose tracking or background modeling may be performed using low-resolution depth information on the background area. However, it is not limited thereto.

도 17은 일 실시예에 따른 전자 장치가 깊이 정보를 이용하여, 사람의 얼굴을 인식하는 예를 나타내는 도면이다.17 is a diagram illustrating an example in which an electronic device recognizes a human face using depth information according to an exemplary embodiment.

도 17을 참조하면, 일 실시예에 따른 전자 장치(100)는 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 적어도 하나의 카메라는, 깊이 센서에 포함되는 뎁스 카메라거나, 깊이 센서와 별도로 구비된 카메라일 수 있다. 적어도 하나의 카메라는, 얼굴을 포함하는 영상을 획득할 수 있다.Referring to FIG. 17, the electronic device 100 according to an embodiment may include at least one camera. For example, at least one camera may be a depth camera included in the depth sensor or a camera separately provided from the depth sensor. At least one camera may acquire an image including a face.

전자 장치(100)는 획득된 얼굴 영상 내에서, 주요 특징 영역을 검출할 수 있다. 예를 들어, 사람의 얼굴에 있어, 눈, 코, 입 영역들은 다른 사람과 구별하는 데 중요한 영역일 수 있으며, 전자 장치(100)는 얼굴 영상 내에서, 눈, 코, 입 영역들을 검출할 수 있다. 일 실시예에 따른 전자 장치(100)는 얼굴 중 눈, 코, 입 영역들(1540)에 대해서는 고해상도로, 나머지 영역에 대해서는 저해상도로 깊이 정보를 획득할 수 있다.The electronic device 100 may detect a main feature area within the acquired face image. For example, in a person's face, the eyes, nose, and mouth areas may be important areas to distinguish from other people, and the electronic device 100 may detect the eyes, nose, and mouth areas within the face image. have. The electronic device 100 according to an exemplary embodiment may acquire depth information with high resolution for the eye, nose, and mouth regions 1540 of the face and low resolution for the remaining regions.

도 17의 제1 깊이 영상(1710)은 얼굴 영역 전체에 대해 저해상도로 획득한 깊이 정보를, 제2 깊이 영상(1720)은 얼굴 영역 전체에 대해 고해상도로 획득한 깊이 정보를 나타낸다. 또한, 제3 깊이 영상(1730)은 일 실시예에 따른 전자 장치(100)가, 얼굴 중 눈, 코, 입 영역들(1740)에 대해서는 고해상도로, 나머지 영역에 대해서는 저해상도로 획득한 깊이 정보를 나타낸다.The first depth image 1710 of FIG. 17 represents depth information acquired with low resolution for the entire face area, and the second depth image 1720 represents depth information acquired with high resolution over the entire face area. In addition, the third depth image 1730 includes depth information obtained by the electronic device 100 in high resolution for the eye, nose, and mouth regions 1740 of the face, and low resolution for the remaining regions. Show.

일 실시예에 따른 제3 깊이 영상(1730)을 이용하여 얼굴 인식(신원 인식)을 수행하는 경우, 제1 깊이 영상(1710)을 이용하여 얼굴 인식을 수행하는 경우보다 인식 성능(인식 정확도)이 향상될 수 있으며, 제2 깊이 영상(1720)을 이용하여 얼굴 인식을 수행하는 경우보다 인식 속도가 빨라질 수 있다. 또한, 먼 거리에 있는 사람의 얼굴을 인식하는 경우, 주요 특징 부분의 해상도를 증가시켜, 깊이 영상을 획득함으로써, 인식 성능을 향상시킬 수 있다.When performing face recognition (identity recognition) using the third depth image 1730 according to an embodiment, recognition performance (recognition accuracy) is better than when performing face recognition using the first depth image 1710 This may be improved, and a recognition speed may be faster than when face recognition is performed using the second depth image 1720. In addition, in the case of recognizing a face of a distant person, the resolution of the main feature portion is increased to obtain a depth image, thereby improving recognition performance.

도 18은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.18 is a block diagram illustrating a configuration of an electronic device according to an exemplary embodiment.

도 18을 참조하면, 일 실시예에 따른 전자 장치(100)는 시선 추적 센서(160), 깊이 센서(150) 및, 프로세서(120)를 포함할 수 있다.Referring to FIG. 18, the electronic device 100 according to an embodiment may include a gaze tracking sensor 160, a depth sensor 150, and a processor 120.

일 실시예에 따른 시선 추적 센서(160)는 사용자의 눈에 광을 제공하는 조명부와 광을 감지하는 감지부를 포함할 수 있다. 조명부는 광을 제공하는 광원과 광원으로부터 제공되는 광의 방향을 제어하는 스캐닝 미러를 포함할 수 있다. 스캐닝 미러는, 광원으로부터 제공되는 광을 사용자의 눈(예를 들어, 각막)을 향하도록 방향을 제어할 수 있다. 감지부는 사용자의 눈으로부터 반사되는 광을 감지할 수 있으며, 감지되는 광량을 측정할 수 있다. 시선 추적 센서(160)는 측정되는 광량에 기초하여, 사용자의 양안의 시선을 추적할 수 있다.The gaze tracking sensor 160 according to an embodiment may include an illumination unit that provides light to a user's eyes and a detection unit that detects light. The illumination unit may include a light source for providing light and a scanning mirror for controlling a direction of light provided from the light source. The scanning mirror may control a direction so that light provided from a light source is directed toward the user's eyes (eg, cornea). The sensing unit may detect light reflected from the user's eyes, and measure the amount of light to be detected. The gaze tracking sensor 160 may track the gaze of both eyes of the user based on the measured amount of light.

또는, 일 실시예에 따른 시선 추적 센서(160)는 조명부 및 촬영부를 포함할 수 있다. 조명부는 적외선 발광 다이오드(IR LED)등을 포함할 수 있으며, 사용자의 눈을 촬영할 때, 사용자의 눈에 광(예를 들어, 적외선 광)을 제공할 수 있다. 사용자의 눈에 광이 제공됨에 따라, 사용자의 눈에는 반사광이 생성될 수 있다. 또한, 촬영부는 적어도 하나의 카메라를 포함할 수 있으며, 이때, 적어도 하나의 카메라는 적외선 카메라(IR)를 포함할 수 있다. 촬영부는 사용자의 눈을 촬영할 수 있다. 시선 추적 센서(160) 사용자의 눈 영상에 기초하여, 사용자의 양안의 시선을 추적할 수 있다.Alternatively, the gaze tracking sensor 160 according to an embodiment may include an illumination unit and a photographing unit. The lighting unit may include an infrared light-emitting diode (IR LED), and may provide light (eg, infrared light) to the user's eye when photographing the user's eye. As light is provided to the user's eye, reflected light may be generated in the user's eye. In addition, the photographing unit may include at least one camera, and in this case, at least one camera may include an infrared camera (IR). The photographing unit may photograph the user's eyes. The gaze tracking sensor 160 may track the gaze of both eyes of the user based on the user's eye image.

일 실시예에 따른 깊이 센서(150)는 현실 세계에 포함되는 하나 이상의 객체들에 대한 깊이 정보를 획득할 수 있다. 깊이 정보는 깊이 센서(150)로부터 특정 객체까지의 거리에 대응할 수 있으며, 깊이 센서(150)로부터 특정 객체까지의 거리가 멀수록 깊이 값은 커질 수 있다. 일 실시예에 따른 깊이 센서(150)는 다양한 방식으로 객체의 깊이 정보를 획득할 수 있으며, 예를 들어, TOF(Time of flight) 방식, 스테레오 이미지(Stereo Image) 방식, 구조화된 광(Structured Light) 방식 중 적어도 하나의 방식을 이용하여, 깊이 정보를 획득할 수 있다.The depth sensor 150 according to an embodiment may obtain depth information on one or more objects included in the real world. The depth information may correspond to a distance from the depth sensor 150 to a specific object, and a depth value may increase as the distance from the depth sensor 150 to a specific object increases. The depth sensor 150 according to an embodiment may acquire depth information of an object in various ways, for example, a TOF (Time of Flight) method, a stereo image method, a structured light ) Depth information may be obtained by using at least one of the methods.

일 실시예에 따른 깊이 센서(150)는 적어도 하나의 카메라를 포함할 수 있으며, 깊이 센서(150)에 포함되는 카메라의 FOV(Field of veiw)에 포함되는 실제 공간에 대한 깊이 정보를 획득할 수 있다.The depth sensor 150 according to an embodiment may include at least one camera, and may obtain depth information on an actual space included in a field of view (FOV) of a camera included in the depth sensor 150. have.

일 실시예에 따른 프로세서(120)는 전자 장치(100)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(120)는 메모리에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.The processor 120 according to an embodiment may generally control the electronic device 100. The processor 120 according to an embodiment may execute one or more programs stored in a memory.

일 실시예에 따른 메모리는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.The memory according to an embodiment may store various data, programs, or applications for driving and controlling the electronic device 100. A program stored in the memory may include one or more instructions. A program (one or more instructions) or an application stored in the memory may be executed by the processor 120.

일 실시예에 따른 프로세서(120)는, 시선 추적 센서(160)에서 획득된 사용자의 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는, 사용자의 오른쪽 눈의 시선 방향과 왼쪽 눈의 시선 방향에 기초하여, 사용자가 응시하는 지점에 대한 2차원 좌표 정보(x좌표 값 및 y좌표 값)를 획득할 수 있다. 또한, 사용자의 오른쪽 눈의 시선 방향과 왼쪽 눈의 시선 방향에 기초하여, 사용자가 응시하는 지점까지의 거리(z 좌표 값)를 획득할 수 있다. 이에 따라, 전자 장치(100)는 응시 지점의 2차원 위치 정보 및 추정 깊이 정보를 획득할 수 있다.The processor 120 according to an embodiment may obtain information on a gaze point based on the user's gaze information obtained from the gaze tracking sensor 160. For example, the processor 120 may obtain two-dimensional coordinate information (x-coordinate value and y-coordinate value) for a point at which the user gazes, based on the gaze direction of the user's right eye and the gaze direction of the left eye. I can. Also, a distance (z coordinate value) to a point at which the user gazes may be obtained based on the gaze direction of the user's right eye and the gaze direction of the left eye. Accordingly, the electronic device 100 may obtain 2D location information and estimated depth information of the gaze point.

일 실시예에 따른 프로세서(120)는 응시 지점에 대한 정보에 기초하여, 응시 지점을 중심으로 기 설정된 영역을 관심 영역으로 설정하고 관심 영역에 포함되는 적어도 하나의 객체에 대한 깊이 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는, 응시 지점에 대한 정보에 기초하여, 깊이 센서(150)의 측정 파라미터들을 결정할 수 있다. 깊이 센서(150)의 측정 파라미터들은, 타겟 영역에 대한 파라미터, 방출 광 패턴에 대한 파라미터, 방출 광 출력에 대한 파라미터 등을 포함할 수 있다. 예를 들어, 프로세서(120)는 응시 지점의 2차원 위치 정보를 이용하여, 타겟 영역에 대한 파라미터를 결정할 수 있으며, 응시 지점의 추정 깊이 정보를 이용하여, 방출 광 패턴에 대한 파라미터 및 방출 광 출력에 대한 파라미터를 결정할 수 있다. The processor 120 according to an embodiment may set a predetermined area centered on the gaze point as the area of interest based on the information on the gaze point and obtain depth information on at least one object included in the area of interest. have. For example, the processor 120 may determine measurement parameters of the depth sensor 150 based on the information on the gaze point. Measurement parameters of the depth sensor 150 may include a parameter for a target area, a parameter for an emission light pattern, a parameter for an emission light output, and the like. For example, the processor 120 may determine a parameter for the target area by using the 2D position information of the gaze point, and use the estimated depth information of the gaze point, the parameter for the emission light pattern and the emission light output. You can determine the parameters for.

이에 대해서는 도 5 내지 10에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다. 프로세서(120)는 결정된 측정 파라미터들에 기초하여, 관심 영역에 포함되는 적어도 하나의 객체에 대한 깊이 정보를 획득할 수 있다.This has been described in detail with reference to FIGS. 5 to 10, so a detailed description will be omitted. The processor 120 may obtain depth information on at least one object included in the ROI based on the determined measurement parameters.

일 실시예에 따른 프로세서(120)는 깊이 센서의 측정 파라미터를 제1 파라미터 세트로 설정하여, 전체 공간에 대한 저해상도 깊이 정보를 획득할 수 있다. 또한, 프로세서(120)는 저해상도 깊이 정보에 포함된, 관심 영역에 대한 깊이 정보에 기초하여, 제2 파라미터 세트를 결정할 수 있다. 프로세서(120)는 깊이 센서(150)의 측정 파라미터를 제2 파라미터 세트로 설정하여, 관심 영역에 대한 고해상도 깊이 정보를 획득할 수 있다.The processor 120 according to an embodiment may set the measurement parameter of the depth sensor as the first parameter set to obtain low-resolution depth information for the entire space. In addition, the processor 120 may determine a second parameter set based on depth information on the ROI included in the low-resolution depth information. The processor 120 may obtain high-resolution depth information on the ROI by setting the measurement parameter of the depth sensor 150 as the second parameter set.

도 19는 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다. 도 19의 전자 장치(1900)는 도 18의 전자 장치(100)의 일 실시예일 수 있다.19 is a block diagram illustrating a configuration of an electronic device according to another embodiment. The electronic device 1900 of FIG. 19 may be an embodiment of the electronic device 100 of FIG. 18.

도 19를 참조하면, 일 실시예에 따른 전자 장치(1900)는, 센싱부(1910), 메모리(1960), 제어부(1930), 출력부(1920), 사용자 입력부(1940) 및 통신부(1950)을 포함할 수 있다.Referring to FIG. 19, an electronic device 1900 according to an embodiment includes a sensing unit 1910, a memory 1960, a control unit 1930, an output unit 1920, a user input unit 1940, and a communication unit 1950. It may include.

도 19의 제어부(1930) 및 메모리(1960)는 각각 도 18의 프로세서(120) 및 메모리(130)에 각각 대응하므로, 동일한 설명은 생략하기로 한다.Since the control unit 1930 and the memory 1960 of FIG. 19 correspond to the processor 120 and the memory 130 of FIG. 18, respectively, the same description will be omitted.

센싱부(1910)는, 전자 장치(1900)의 상태 또는 전자 장치(1900) 주변의 상태를 감지하고, 감지된 정보를 제어부(1930)로 전달할 수 있다.The sensing unit 1910 may detect a state of the electronic device 1900 or a state around the electronic device 1900, and transmit the sensed information to the controller 1930.

센싱부(1910)는, 이미지 센서(1911), 깊이 센서(1912), 시선 추적 센서(1913), 가속도 센서(Acceleration sensor)(1914), 위치 센서(1915)(예컨대, GPS), 온/습도 센서(1916), 지자기 센서(1917), 자이로스코프 센서(1918), 및 마이크로폰(1919) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.The sensing unit 1910 includes an image sensor 1911, a depth sensor 1912, a gaze tracking sensor 1913, an acceleration sensor 1914, a position sensor 1915 (eg, GPS), and temperature/humidity. It may include at least one of a sensor 1916, a geomagnetic sensor 1917, a gyroscope sensor 1918, and a microphone 1919, but is not limited thereto.

일 실시예에 따른 이미지 센서(1911)는, 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 예를 들어, 이미지 센서(1911)는 전자 장치(1900) 외부의 이미지를 촬영할 수 있다. 이때, 이미지 센서(1911)를 통해 촬영된 이미지는 제어부(1930) 또는 별도의 이미지 프로세서(미도시)를 통해 처리될 수 있다.The image sensor 1911 according to an embodiment may acquire an image frame such as a still image or a moving image. For example, the image sensor 1911 may capture an image outside the electronic device 1900. In this case, the image captured by the image sensor 1911 may be processed by the controller 1930 or a separate image processor (not shown).

도 19의 깊이 센서(1912), 시선 추적 센서(1913)는 도 18의 깊이 센서(150), 시선 추적 센서(160)에 각각 대응하므로, 동일한 설명은 생략하기로 한다.Since the depth sensor 1912 and the gaze tracking sensor 1913 of FIG. 19 correspond to the depth sensor 150 and the gaze tracking sensor 160 of FIG. 18, the same description will be omitted.

마이크로폰(1919)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1919)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1919)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.The microphone 1919 receives an external sound signal and processes it into electrical voice data. For example, the microphone 1919 may receive an acoustic signal from an external device or a speaker. The microphone 1919 may use various noise removal algorithms to remove noise generated in the process of receiving an external sound signal.

가속도 센서(Acceleration sensor)(1914), 위치 센서(1915), 온/습도 센서(1916), 지자기 센서(1917), 자이로스코프 센서(1918)들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The functions of the acceleration sensor 1914, the position sensor 1915, the temperature/humidity sensor 1916, the geomagnetic sensor 1917, and the gyroscope sensor 1918 can be intuitively inferred by those skilled in the art from their names. , Detailed description will be omitted.

출력부(1920)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이(1921)와 음향 출력부(1922), 진동 모터(1923) 등이 포함될 수 있다.The output unit 1920 is for outputting an audio signal, a video signal, or a vibration signal, and may include a display 1921, an audio output unit 1922, a vibration motor 1923, and the like.

디스플레이(1921)는 전자 장치(1900)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이(1921)는, 가상의 객체를 표시할 수 있다. The display 1921 may display and output information processed by the electronic device 1900. For example, the display 1921 may display a virtual object.

본 발명의 일 실시예에 의하면, 디스플레이(1921)는, 투명 디스플레이일 수도 있고, 불투명 디스플레이일 수도 있다. 투명 디스플레이란 정보를 표시하는 스크린의 뒷면이 비치는 형태의 정보 표시 장치를 말한다. 투명 디스플레이는 투명 소자로 구성되고, 투명 소자에 대한 광 투과율을 조절하여 투명도를 조절하거나 각 픽셀의 RGB값을 조절하여 투명도를 조절할 수 있다.According to an embodiment of the present invention, the display 1921 may be a transparent display or an opaque display. The transparent display refers to an information display device in which the back side of a screen displaying information is reflected. The transparent display is composed of a transparent element, and the transparency can be adjusted by adjusting the light transmittance of the transparent element or the RGB value of each pixel.

음향 출력부(1922)는 통신부(1950)로부터 수신되거나 메모리(1960)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1922)는 전자 장치(1900)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1922)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output unit 1922 outputs audio data received from the communication unit 1950 or stored in the memory 1960. In addition, the sound output unit 1922 outputs sound signals related to functions (eg, a call signal reception sound, a message reception sound, etc.) performed by the electronic device 1900. The sound output unit 1922 may include a speaker, a buzzer, and the like.

본 발명의 일 실시예에 따르면, 음향 출력부(1922)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 발생한 입력에 대응하는 오디오 신호를 출력할 수 있다.According to an embodiment of the present invention, when an input is generated through a virtual input interface, the sound output unit 1922 may output an audio signal corresponding to the generated input.

진동 모터(1923)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1923)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1923)는, 가상의 객체를 통한 입력이 발생되는 경우, 진동 신호를 출력할 수도 있다.The vibration motor 1923 may output a vibration signal. For example, the vibration motor 1923 may output a vibration signal corresponding to the output of audio data or video data (eg, a call signal reception sound, a message reception sound, etc.). In addition, the vibration motor 1923 may output a vibration signal when an input through a virtual object is generated.

사용자 입력부(1940)는, 사용자가 전자 장치(1900)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1940)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 사용자 입력부(1940)는, 가상의 입력 인터페이스를 포함할 수도 있다. The user input unit 1940 refers to a means for a user to input data for controlling the electronic device 1900. For example, the user input unit 1940 includes a key pad, a dome switch, and a touch pad (contact type capacitive type, pressure type resistive film type, infrared sensing method, surface ultrasonic conduction method, integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto. According to an embodiment of the present invention, the user input unit 1940 may include a virtual input interface.

통신부(1950)는, 전자 장치(1900)와 외부 디바이스 또는 전자 장치(1900)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1950)는, 근거리 통신부(1951), 이동 통신부(1952), 방송 수신부(1953)를 포함할 수 있다. The communication unit 1950 may include one or more components that enable communication between the electronic device 1900 and an external device or between the electronic device 1900 and a server. For example, the communication unit 1950 may include a short-range communication unit 1951, a mobile communication unit 1952, and a broadcast reception unit 1953.

근거리 통신부(1951)는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The short-range communication unit 1951 includes a Bluetooth communication unit, a short-range wireless communication unit (NFC/RFID unit), a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared data association (IrDA) communication unit, an ultra wideband (UWB) communication unit, and Ant+. It may include a communication unit, etc., but is not limited thereto.

예를 들어, 통신부(1950)는 시선 추적 센서(1913)에서 획득된 사용자의 시선 정보(응시 지점의 2차원 위치 정보 및 추정 깊이 정보)를, 외부 장치로 전송할 수 있으며, 외부 장치로부터, 사용자의 시선 정보에 대응되는 깊이 센서의 측정 파라미터를 수신할 수 있다.For example, the communication unit 1950 may transmit the user's gaze information (two-dimensional position information and estimated depth information of the gaze point) obtained from the gaze tracking sensor 1913 to an external device. A measurement parameter of the depth sensor corresponding to the gaze information may be received.

이동 통신부(1952)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 1952 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server over a mobile communication network. Here, the wireless signal may include a voice call signal, a video call signal, or various types of data according to transmission/reception of text/multimedia messages.

방송 수신부(1953)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1900)가 방송 수신부(1953)를 포함하지 않을 수도 있다.The broadcast receiving unit 1953 receives a broadcast signal and/or broadcast-related information from outside through a broadcast channel. Broadcast channels may include satellite channels and terrestrial channels. Depending on implementation examples, the electronic device 1900 may not include the broadcast receiving unit 1953.

메모리(1960)는, 제어부(1930)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 입력 모드에 대응하는 제스쳐 정보, 가상의 입력 인터페이스, 가상의 입력 인터페이스를 통해 입력된 데이터, 센서에서 측정되는 센싱 정보, 컨텐츠 등)을 저장할 수도 있다. The memory 1960 may store a program for processing and control of the controller 1930, and input/output data (e.g., gesture information corresponding to an input mode, a virtual input interface, a virtual input interface). It can also store input data, sensing information measured by a sensor, content, etc.).

일 실시예에 따른 메모리(1960)는 도 7b에 도시된 매칭 테이블(750)을 저장할 수 있다. 또는, 메모리(1960)는 일 실시예에 따른 시선 정보에 기초하여, 깊이 센서의 측정 파라미터를 계산하는 수학식이나 알고리즘 등을 저장할 수도 있다.The memory 1960 according to an embodiment may store the matching table 750 illustrated in FIG. 7B. Alternatively, the memory 1960 may store an equation or an algorithm for calculating a measurement parameter of a depth sensor based on gaze information according to an embodiment.

예를 들어, 매칭 테이블(750)은 롬(ROM)에 저장될 수 있다. 제어부(1930)는, 깊이 센서를 구동하는 경우, 롬(ROM)에 저장된 매칭 테이블(750)을 램(RAM)으로 로드할 수 있으며, 로드된 매칭 테이블(750)을 이용하여, 시선 정보에 매칭되는 측정 파라미터를 결정할 수 있다.For example, the matching table 750 may be stored in a ROM. When driving the depth sensor, the controller 1930 may load the matching table 750 stored in the ROM into RAM, and use the loaded matching table 750 to match gaze information. It is possible to determine the measurement parameters to be used.

제어부(1930)는 결정된 측정 파라미터를 깊이 센서(1912)로 출력함으로써, 깊이 센서(1912)가 결정된 측정 파라미터를 이용하여, 깊이 정보를 획득하도록 제어할 수 있다.The controller 1930 may control the depth sensor 1912 to obtain depth information by using the determined measurement parameter by outputting the determined measurement parameter to the depth sensor 1912.

메모리(1960)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자 장치(1900)는 인터넷(internet)상에서 메모리(1960)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.The memory 1960 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), and RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk And at least one type of storage medium among optical disks. Also, the electronic device 1900 may operate a web storage or a cloud server that performs a storage function of the memory 1960 over the Internet.

메모리(1960)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1961), 알림 모듈(1962) 등으로 분류될 수 있다. Programs stored in the memory 1960 may be classified into a plurality of modules according to their functions, for example, a UI module 1961, a notification module 1962, and the like.

UI 모듈(1961)은, 애플리케이션 별로 전자 장치(1900)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 또한, 본 발명의 일 실시예에 의하면, UI 모듈(1961)은, 상황에 맞는 가상의 입력 인터페이스를 선택하여, 제공할 수도 있다. The UI module 1961 may provide a specialized UI, GUI, etc. that are interlocked with the electronic device 1900 for each application. In addition, according to an embodiment of the present invention, the UI module 1961 may select and provide a virtual input interface suitable for a situation.

알림 모듈(1962)은, 전자 장치(1900)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1900)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 가상의 입력 인터페이스를 통해 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1962)은 디스플레이 (1921)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1922)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1923)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. 또한, 알림 모듈(1962)은, 외부의 디바이스를 이용하여 햅틱 신호를 출력할 수도 있다. The notification module 1962 may generate a signal for notifying the occurrence of an event of the electronic device 1900. Examples of events occurring in the electronic device 1900 include call signal reception, message reception, key signal input through a virtual input interface, schedule notification, and the like. The notification module 1962 may output a notification signal in the form of a video signal through the display 1921, may output a notification signal in the form of an audio signal through the sound output unit 1922, or the vibration motor 1923. It is also possible to output a notification signal in the form of a vibration signal. Also, the notification module 1962 may output a haptic signal using an external device.

한편, 도 18및 19에 도시된 전자 장치(100, 1900)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(100, 1900)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.Meanwhile, the block diagrams of the electronic devices 100 and 1900 shown in FIGS. 18 and 19 are block diagrams for an embodiment. Each component of the block diagram may be integrated, added, or omitted according to the specifications of the electronic devices 100 and 1900 that are actually implemented. That is, if necessary, two or more components may be combined into a single component, or one component may be subdivided into two or more components and configured. In addition, functions performed by each block are for explaining embodiments, and specific operations or devices thereof do not limit the scope of the present invention.

도 20 및 도 21은 일 실시예에 따른 전자 장치가 자동으로 초점을 조절하는 방법을 설명하기 위한 도면들이다.20 and 21 are diagrams for describing a method of automatically adjusting focus by an electronic device according to an exemplary embodiment.

도 20을 참조하면, 일 실시예에 따른 전자 장치가 실제 객체(2010) 주위에 가상의 객체가 위치한 것처럼 가상의 객체(2020)를 디스플레이하는 경우, 사용자는 수렴 조절 불일치(vergence-accommodation conflict) 현상을 경험하게 된다. 예를 들어, 전자 장치(100)에서 실제 객체(2010)까지의 거리가 d1인 경우, 전자 장치(100)는 가상의 객체(2020)를 d1거리에 위치하는 것처럼 표시할 수 있다. 이때, 사용자는 가상의 객체(2020)가 d1 거리에 위치하는 것처럼 보기 때문에, 사용자의 양쪽 눈이 수렴하는 거리(vergence distance)는 d1이 된다. 반면에, 가상의 객체(2020)는 실제로 전자 장치(100)의 디스플레이에 표시되기 때문에 사용자의 양쪽 눈의 초점 거리(focal distance)는 사용자의 눈에서 디스플레이까지의 거리 d2가 된다. 이와 같은 경우, 수렴 거리(vergence distance)와 초점 거리(focal distance)가 불일치하게 되고, 전자 장치(100)를 장시간 사용하는 경우, 사용자는 현기증, 어지럼증, 멀미 등을 느끼게 된다.Referring to FIG. 20, when an electronic device according to an embodiment displays a virtual object 2020 as if a virtual object is located around a real object 2010, a user may have a convergence-accommodation conflict. Experience. For example, when the distance from the electronic device 100 to the real object 2010 is d1, the electronic device 100 may display the virtual object 2020 as if it is located at a distance d1. At this time, since the user sees the virtual object 2020 as if it is located at a distance d1, the convergence distance of both eyes of the user becomes d1. On the other hand, since the virtual object 2020 is actually displayed on the display of the electronic device 100, the focal distance of both eyes of the user becomes the distance d2 from the user's eyes to the display. In this case, the convergence distance and the focal distance disagree, and when the electronic device 100 is used for a long time, the user feels dizziness, dizziness, motion sickness, and the like.

따라서, 수렴 조절 불일치(vergence-accommodation conflict) 현상을 완화하기 위해, 일 실시예에 따른 전자 장치(100)는 초점 거리를 조절할 수 있다.Accordingly, in order to alleviate a convergence-accommodation conflict, the electronic device 100 according to an embodiment may adjust the focal length.

도 21를 참조하면, 일 실시예에 따른, 전자 장치(100)는 초점 조절 렌즈(2110)를 포함할 수 있다. 초점 조절 렌즈(2110)는 초점 거리 또는 광축 위치와 같은 광학 특성을 조정할 수 있는 광학 소자를 의미할 수 있으나 이에 한정되지 않는다. 예를 들어, 초점 조절 렌즈(2110)는 인가되는 전압에 따라, 국부적으로 유효 굴절율이 가변될 수 있다. 초점 조절 렌즈(2110)에는 일반적으로 액정이 사용될 수 있으나, 이에 한정되지 않는다.Referring to FIG. 21, according to an embodiment, the electronic device 100 may include a focus adjustment lens 2110. The focus adjustment lens 2110 may mean an optical element capable of adjusting optical properties such as a focal length or an optical axis position, but is not limited thereto. For example, the effective refractive index of the focusing lens 2110 may be locally varied according to the applied voltage. In general, a liquid crystal may be used for the focus adjustment lens 2110, but is not limited thereto.

일 실시예에 따른 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 시선 정보를 획득할 수 있으며, 사용자의 시선 정보에 기초하여, 응시 지점(예를 들어, 실제 객체(2010))에 대한 정보를 획득하고, 응시 지점에 대한 정보에 기초하여, 응시 지점에 대한 깊이 정보를 획득할 수 있다. 이에 대해서는, 도 1 내지 도 19에서 자세히 설명하였으므로 생략하기로 한다.The electronic device 100 according to an embodiment may acquire the user's gaze information using the gaze tracking sensor, and based on the user's gaze information, the gaze point (for example, the real object 2010) Information on the gaze may be obtained, and depth information on the gaze point may be obtained based on the information on the gaze point. This will be omitted since it has been described in detail in FIGS. 1 to 19.

또한, 전자 장치(100)는 실제 객체(2010)에 대한 깊이 정보에 기초하여, 가상의 객체(2020)를 디스플레이할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이를 통하여 관측되는 실제 객체(2010)의 주변에 가상의 객체가 위치하는 것처럼 사용자가 인식하도록, 디스플레이에 가상의 객체(2020)를 표시할 수 있다.Also, the electronic device 100 may display the virtual object 2020 based on depth information on the real object 2010. For example, the electronic device 100 may display the virtual object 2020 on the display so that the user recognizes that a virtual object is positioned around the real object 2010 observed through the display.

일 실시예에 따른 전자 장치(100)는 실제 객체(2010)에 대한 깊이 정보(또는, 가상의 객체의 깊이 정보)에 기초하여, 초점 거리를 조절할 수 있다. 예를 들어, 실제 객체(2010)까지의 거리가 d1인 경우, 전자 장치(100)는 초점 조절 렌즈(2110)를 이용하여, 사용자 눈의 초점 거리를 d1으로 조정할 수 있다. 이때, 전자 장치(100)는 사용자의 시선 정보에 기초하여, 초점 조절 렌즈(2110)의 전체 영역 중 사용자의 시선이 통과하는 제1 영역(2121) 및 제2 영역(2122)에 대한 정보를 획득할 수 있다. 전자 장치(100)는 초점 조절 렌즈(2110)에 인가되는 전압을 조절함으로써 제1 영역(2121) 및 제2 영역(2122)의 초점 거리가 d1이 되도록 굴절율을 변화시킬 수 있다. 이에 따라, 수렴 거리(vergence distance)와 초점 거리(focal distance)를 일치시킬 수 있으며, 수렴 조절 불일치 현상을 방지할 수 있다. The electronic device 100 according to an embodiment may adjust a focal length based on depth information (or depth information of a virtual object) on the real object 2010. For example, when the distance to the actual object 2010 is d1, the electronic device 100 may adjust the focal length of the user's eye to d1 using the focus adjustment lens 2110. In this case, the electronic device 100 acquires information on the first area 2121 and the second area 2122 through which the user's gaze passes among the entire areas of the focus adjustment lens 2110 based on the user's gaze information. can do. The electronic device 100 may change the refractive index so that the focal length of the first region 2121 and the second region 2122 becomes d1 by adjusting the voltage applied to the focus adjustment lens 2110. Accordingly, the convergence distance and the focal distance can be matched, and a convergence control inconsistency phenomenon can be prevented.

도 22는 일 실시예에 따른 전자 장치가 시선 기반 공간 모델링을 수행하는 방법을 설명하기 위한 도면이다.22 is a diagram for describing a method of performing a gaze-based spatial modeling by an electronic device according to an exemplary embodiment.

도 22를 참조하면, 도 22에 도시된 전체 공간(2010)은 전자 장치에 포함된 깊이 센서에 의해 센싱될 수 있는 범위의 공간을 나타낸다. 일 실시예에 따른, 전자 장치(100)는 시선 추적 센서를 이용하여, 사용자의 시선 정보를 획득할 수 있다. 예를 들어, 도 2 내지 4b에서 설명한 바와 같이, 전자 장치 사용자가 응시하는 지점 또는 공간에 대한 2차원 위치 정보 및 깊이 정보를 획득할 수 있다. 전자 장치(100)는 획득한 정보에 기초하여, 사용자가 응시하는 지점 또는 공간(응시 지점)에 대한 깊이 정보를 획득할 수 있다. 이에 대해서는, 도 1 내지 도 19에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다. 예를 들어, 사용자가 전체 공간(2210) 중 의자(2220)를 응시하고 있는 경우, 의자(2220)에 대한 깊이 정보를 획득할 수 있다. 전자 장치(100)는 의자에 대한 깊이 정보에 기초하여, 의자 주위에 가상의 객체를 오버랩하여 표시할 수 있다.Referring to FIG. 22, the total space 2010 shown in FIG. 22 represents a space within a range that can be sensed by a depth sensor included in the electronic device. According to an embodiment, the electronic device 100 may acquire gaze information of a user using a gaze tracking sensor. For example, as described with reference to FIGS. 2 to 4B, 2D location information and depth information on a point or space at which the electronic device user gazes may be obtained. Based on the acquired information, the electronic device 100 may acquire depth information on a point or space (gaze point) at which the user gazes. This has been described in detail with reference to FIGS. 1 to 19, so a detailed description will be omitted. For example, when the user is staring at the chair 2220 among the entire space 2210, depth information on the chair 2220 may be obtained. The electronic device 100 may overlap and display a virtual object around the chair, based on depth information on the chair.

또한, 전자 장치(100)는 사용자의 시선이 이동하면, 사용자의 시선이 이동한 공간에 대한 정보(2차원 위치 정보 및 깊이 정보)에 기초하여, 사용자의 시선이 이동한 공간에 대한 깊이 정보를 획득할 수 있다.In addition, when the user's gaze moves, the electronic device 100 provides depth information on the space in which the user's gaze moves based on information on the space in which the user's gaze moves (2D location information and depth information). Can be obtained.

일 실시예에 따른, 전자 장치(100)는 실시간으로 사용자의 시선 정보를 획득하고, 사용자의 시선 정보에 기초하여, 전체 공간 중 응시 지점을 획득하며, 획득된 응시 지점을 중심으로 기 설정된 영역을 관심 영역으로 결정하여, 결정된 관심 영역에 대해서만 깊이 정보를 획득할 수 있다. 전자 장치(100)는 획득한 깊이 정보에 기초하여, 관심 영역에 대한 모델링을 수행할 수 있다.According to an embodiment, the electronic device 100 acquires gaze information of the user in real time, acquires a gaze point in the entire space based on the gaze information of the user, and selects a preset area around the obtained gaze point. By determining the region of interest, depth information may be obtained only for the determined region of interest. The electronic device 100 may perform modeling on the region of interest based on the acquired depth information.

이에 따라, 전자 장치(100)는 필요한 공간에 대한 모델링만을 수행함으로써, 모델링 속도가 빨라지며, 전력 소모를 감소시킬 수 있다.Accordingly, the electronic device 100 may increase modeling speed and reduce power consumption by performing only modeling for a required space.

일 실시예에 따른 전자 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method of operating an electronic device according to an exemplary embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

또한, 개시된 실시예들에 따른 전자 장치 및 전자 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.In addition, an electronic device and a method of operating the electronic device according to the disclosed embodiments may be included in a computer program product and provided. Computer program products can be traded between sellers and buyers as commodities.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.The computer program product may include a S/W program and a computer-readable storage medium storing the S/W program. For example, the computer program product may include a product (e.g., downloadable app) electronically distributed through an electronic device manufacturer or an electronic market (e.g., Google Play Store, App Store). have. For electronic distribution, at least a part of the S/W program may be stored in a storage medium or may be temporarily generated. In this case, the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing an SW program.

컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.The computer program product may include a storage medium of a server or a storage medium of a client device in a system composed of a server and a client device. Alternatively, when there is a third device (eg, a smart phone) communicating with a server or a client device, the computer program product may include a storage medium of the third device. Alternatively, the computer program product may include a S/W program itself transmitted from a server to a client device or a third device, or transmitted from a third device to a client device.

이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.In this case, one of the server, the client device, and the third device may execute the computer program product to perform the method according to the disclosed embodiments. Alternatively, two or more of a server, a client device, and a third device may execute a computer program product to distribute and implement the method according to the disclosed embodiments.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.For example, a server (eg, a cloud server or an artificial intelligence server) may execute a computer program product stored in the server to control a client device communicating with the server to perform the method according to the disclosed embodiments.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also the scope of the present invention. Belongs to.

Claims (21)

사용자 양안의 시선 정보를 획득하는 시선 추적 센서;
하나 이상의 객체들에 대한 깊이 정보를 획득하는 깊이 센서; 및
상기 획득된 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득하고, 상기 응시 지점에 대한 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 결정하는 프로세서를 포함하는 헤드 마운트 디스플레이 장치.
A gaze tracking sensor that acquires gaze information of both eyes of the user;
A depth sensor that obtains depth information on one or more objects; And
And a processor configured to obtain information on a gaze point based on the acquired gaze information and to determine a measurement parameter of the depth sensor based on the information on the gaze point.
제1항에 있어서,
상기 프로세서는,
상기 시선 정보에 기초하여, 상기 응시 지점의 2차원 위치 정보를 획득하는, 헤드 마운트 디스플레이 장치.
The method of claim 1,
The processor,
Based on the gaze information, the head-mounted display device for obtaining 2D position information of the gaze point.
제2항에 있어서,
상기 프로세서는,
상기 시선 정보에 기초하여, 상기 응시 지점의 추정 깊이 정보를 획득하는, 헤드 마운트 디스플레이 장치.
The method of claim 2,
The processor,
Based on the gaze information, the head mounted display device for obtaining information on the estimated depth of the gaze point.
제1항에 있어서,
상기 깊이 센서는,
상기 결정된 측정 파라미터에 따라, 상기 응시 지점을 중심으로 기 설정된 관심 영역에 대한 깊이 정보를 획득하는, 헤드 마운트 디스플레이 장치.
The method of claim 1,
The depth sensor,
According to the determined measurement parameter, the head-mounted display device for acquiring depth information on a predetermined region of interest based on the gaze point.
제1항에 있어서,
상기 깊이 센서의 측정 파라미터는,
타겟 영역에 대한 파라미터, 방출 광 출력에 대한 파라미터, 및 반사광 센싱에 대한 파라미터 중 적어도 하나를 포함하는, 헤드 마운트 디스플레이 장치.
The method of claim 1,
The measurement parameter of the depth sensor,
A head mounted display device comprising at least one of a parameter for a target area, a parameter for emission light output, and a parameter for reflected light sensing.
제4항에 있어서,
상기 프로세서는,
획득된 상기 관심 영역에 대한 깊이 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 다시 결정하고,
상기 깊이 센서는,
다시 결정된 상기 측정 파라미터에 따라, 상기 관심 영역에 대한 깊이 정보를 다시 획득하는, 헤드 마운트 디스플레이 장치.
The method of claim 4,
The processor,
Based on the obtained depth information on the region of interest, determining a measurement parameter of the depth sensor again,
The depth sensor,
Re-acquiring depth information on the region of interest according to the measurement parameter determined again.
제4항에 있어서,
상기 깊이 센서는,
TOF (Time Of Flight) 방식, SL(Structured Light) 방식 및 SI(Stereo Image) 방식 중 적어도 하나에 의해 상기 관심 영역에 에 대한 깊이 정보를 획득하는, 헤드 마운트 디스플레이 장치.
The method of claim 4,
The depth sensor,
A head-mounted display device for acquiring depth information on the ROI by at least one of a Time Of Flight (TOF) method, a Structured Light (SL) method, and a Stereo Image (SI) method.
제7항에 있어서,
상기 깊이 센서가, TOF (Time Of Flight) 방식의 깊이 센서를 포함하는 경우, 상기 프로세서는, 상기 응시 지점의 2차원 위치 정보에 기초하여, 상기 깊이 센서에 포함되는 광원들 중 상기 응시 지점에 대응하는 일부 광원들이 구동되도록 상기 측정 파라미터를 결정하고,
상기 깊이 센서는, 상기 일부 광원들을 구동시켜, 상기 관심 영역에 대한 깊이 정보를 획득하는, 헤드 마운트 디스플레이 장치.
The method of claim 7,
When the depth sensor includes a TOF (Time Of Flight) depth sensor, the processor corresponds to the gaze point among light sources included in the depth sensor based on the two-dimensional position information of the gaze point. Determining the measurement parameter so that some light sources are driven,
The depth sensor, by driving the some light sources, to obtain depth information on the region of interest, the head mounted display device.
제4항에 있어서,
상기 헤드 마운트 디스플레이 장치는,
상기 관심 영역을 포함하는 실제 공간을 표시하는 디스플레이를 더 포함하고,
상기 프로세서는, 관심 영역에 대한 깊이 정보에 기초하여, 상기 관심 영역에 적어도 하나의 가상의 객체가 표시되도록 상기 디스플레이를 제어하는, 헤드 마운트 디스플레이 장치.
The method of claim 4,
The head mounted display device,
Further comprising a display for displaying the actual space including the region of interest,
The processor, based on depth information on the region of interest, controls the display to display at least one virtual object in the region of interest.
제4항에 있어서,
상기 프로세서는,
상기 깊이 센서의 측정 파라미터를 제1 파라미터로 설정하고,
상기 제1 파라미터에 기초하여, 상기 관심 영역을 포함하면서 상기 깊이 센서로 센싱 가능한 공간에 대한 전체 깊이 정보를 획득하도록 상기 깊이 센서를 제어하고,
상기 전체 깊이 정보에 기초하여, 상기 관심 영역에 대한 제1 깊이 정보를 획득하고,
상기 제1 깊이 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 제2 파라미터로 설정하고,
상기 제2 파라미터에 기초하여, 상기 관심 영역에 대한 제2 깊이 정보를 획득하도록 상기 깊이 센서를 제어하는, 헤드 마운트 디스플레이 장치.
The method of claim 4,
The processor,
Setting the measurement parameter of the depth sensor as a first parameter,
Based on the first parameter, controlling the depth sensor to obtain total depth information on a space that can be sensed by the depth sensor while including the region of interest,
Acquiring first depth information on the ROI based on the total depth information,
Based on the first depth information, setting a measurement parameter of the depth sensor as a second parameter,
Based on the second parameter, controlling the depth sensor to obtain second depth information on the ROI.
전자 장치의 동작방법에 있어서,
사용자 양안의 시선 정보를 획득하는 단계;
상기 획득된 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득하는 단계; 및
상기 응시 지점에 대한 정보에 기초하여, 깊이 센서의 측정 파라미터를 결정하는 단계를 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
In the method of operating an electronic device,
Acquiring gaze information of both eyes of the user;
Obtaining information on a gaze point based on the obtained gaze information; And
And determining a measurement parameter of a depth sensor based on the information on the gaze point.
제11항에 있어서,
상기 응시 지점에 대한 정보를 획득하는 단계는,
상기 시선 정보에 기초하여, 상기 응시 지점의 2차원 위치 정보를 획득하는 단계를 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 11,
Obtaining information on the gaze point,
And acquiring two-dimensional position information of the gaze point based on the gaze information.
제12항에 있어서,
상기 응시 지점에 대한 정보를 획득하는 단계는,
상기 시선 정보에 기초하여, 상기 응시 지점의 추정 깊이 정보를 획득하는 단계를 더 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 12,
Obtaining information on the gaze point,
The method of operating a head-mounted display device further comprising obtaining information on the estimated depth of the gaze point based on the gaze information.
제11항에 있어서,
상기 동작방법은,
상기 결정된 측정 파라미터에 따라, 상기 응시 지점을 중심으로 기 설정된 관심 영역에 대한 깊이 정보를 획득하는 단계를 더 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 11,
The operation method,
According to the determined measurement parameter, further comprising the step of acquiring depth information on a predetermined region of interest centering on the gaze point, the operating method of the head mounted display device.
제11항에 있어서,
상기 깊이 센서의 측정 파라미터를 결정하는 단계는,
타겟 영역에 대한 파라미터, 방출 광 출력에 대한 파라미터, 및 반사광 센싱에 대한 파라미터 중 적어도 하나를 결정하는 단계를 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 11,
The step of determining the measurement parameter of the depth sensor,
A method of operating a head mounted display device comprising determining at least one of a parameter for a target area, a parameter for emission light output, and a parameter for reflected light sensing.
제14항에 있어서,
상기 동작방법은,
획득된 상기 관심 영역에 대한 깊이 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 다시 결정하는 단계; 및
다시 결정된 측정 파라미터에 따라, 상기 관심 영역에 대한 깊이 정보를 다시 획득하는 단계를 더 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 14,
The operation method,
Re-determining a measurement parameter of the depth sensor based on the obtained depth information on the ROI; And
Further comprising the step of re-acquiring depth information on the ROI according to the determined measurement parameter again.
제14항에 있어서,
상기 관심 영역에 대한 깊이 정보를 획득하는 단계는,
TOF (Time Of Flight) 방식, SL(Structured Light) 방식 및 SI(Stereo Image) 방식 중 적어도 하나에 의해 상기 관심 영역에 대한 깊이 정보를 획득하는 단계를 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 14,
The step of obtaining depth information on the region of interest,
A method of operating a head-mounted display device comprising obtaining depth information on the ROI by at least one of a Time Of Flight (TOF) method, a Structured Light (SL) method, and a Stereo Image (SI) method.
제17항에 있어서,
상기 깊이 센서의 측정 파라미터를 결정하는 단계는,
상기 TOF (Time Of Flight) 방식에 의해 깊이 정보를 획득하는 경우, 상기 응시 지점의 2차원 위치 정보에 기초하여, 상기 깊이 센서에 포함되는 광원들 중 상기 응시 지점에 대응하는 일부 광원들이 구동되도록 상기 측정 파라미터를 결정하는 단계를 포함하고,
상기 관심 영역에 대한 깊이 정보를 획득하는 단계는,
상기 일부 광원들을 구동시켜, 상기 관심 영역에 대한 깊이 정보를 획득하는 단계를 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 17,
The step of determining the measurement parameter of the depth sensor,
When obtaining depth information by the TOF (Time Of Flight) method, based on the two-dimensional position information of the gaze point, some light sources corresponding to the gaze point among the light sources included in the depth sensor are driven. Determining a measurement parameter,
The step of obtaining depth information on the region of interest,
And acquiring depth information on the region of interest by driving the some light sources.
제14항에 있어서,
상기 동작방법은,
상기 관심 영역을 포함하는 실제 공간을 표시하는 단계; 및
상기 관심 영역에 대한 깊이 정보에 기초하여, 상기 관심 영역에 적어도 하나의 가상의 객체를 표시하는 단계를 더 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 14,
The operation method,
Displaying an actual space including the region of interest; And
The method of operating a head-mounted display apparatus further comprising displaying at least one virtual object in the region of interest based on depth information on the region of interest.
제14항에 있어서,
상기 관심 영역에 대한 깊이 정보를 획득하는 단계는,
상기 깊이 센서의 측정 파라미터를 제1 파라미터로 설정하고, 상기 제1 파라미터에 기초하여, 상기 깊이 센서로 센싱 가능한 공간에 대한 전체 깊이 정보를 획득하는 단계;
상기 전체 깊이 정보에 기초하여, 상기 관심 영역에 대한 제1 깊이 정보를 획득하는 단계; 및
상기 제1 깊이 정보에 기초하여, 상기 깊이 센서의 측정 파라미터를 제2 파라미터로 설정하고, 상기 제2 파라미터에 기초하여, 상기 관심 영역에 대한 제2 깊이 정보를 획득하는 단계를 포함하는, 헤드 마운트 디스플레이 장치의 동작방법.
The method of claim 14,
The step of obtaining depth information on the region of interest,
Setting a measurement parameter of the depth sensor as a first parameter, and acquiring total depth information on a space that can be sensed by the depth sensor based on the first parameter;
Obtaining first depth information on the ROI based on the total depth information; And
Setting a measurement parameter of the depth sensor as a second parameter based on the first depth information, and acquiring second depth information for the ROI based on the second parameter, head mount How to operate the display device.
사용자 양안의 시선 정보를 획득하는 단계;
상기 획득된 시선 정보에 기초하여, 응시 지점에 대한 정보를 획득하는 단계; 및
상기 응시 지점에 대한 정보에 기초하여, 깊이 센서의 측정 파라미터를 결정하는 단계를 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
Acquiring gaze information of both eyes of the user;
Obtaining information on a gaze point based on the obtained gaze information; And
At least one computer-readable recording medium storing a program for performing the step of determining a measurement parameter of a depth sensor based on the information on the gaze point.
KR1020190106133A 2019-04-11 2019-08-28 Head mounted display apparatus and operating method for the same KR20200120466A (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202080027905.1A CN113661433B (en) 2019-04-11 2020-02-17 Head-mounted display device and operation method thereof
CN202311324927.6A CN117590582A (en) 2019-04-11 2020-02-17 Head-mounted display device and operation method thereof
PCT/KR2020/002225 WO2020209491A1 (en) 2019-04-11 2020-02-17 Head-mounted display device and operating method of the same
EP20787395.1A EP3911992A4 (en) 2019-04-11 2020-02-17 Head-mounted display device and operating method of the same
US16/800,414 US11249305B2 (en) 2019-04-11 2020-02-25 Head-mounted display device and operating method of the same for determining a measurement parameter
US16/818,698 US11526004B2 (en) 2019-04-11 2020-03-13 Head-mounted display device and operating method of the same
US17/985,464 US11809623B2 (en) 2019-04-11 2022-11-11 Head-mounted display device and operating method of the same
US18/372,554 US20240012474A1 (en) 2019-04-11 2023-09-25 Head-mounted display device and operating method of the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962832544P 2019-04-11 2019-04-11
US62/832,544 2019-04-11

Publications (1)

Publication Number Publication Date
KR20200120466A true KR20200120466A (en) 2020-10-21

Family

ID=73034974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190106133A KR20200120466A (en) 2019-04-11 2019-08-28 Head mounted display apparatus and operating method for the same

Country Status (2)

Country Link
KR (1) KR20200120466A (en)
CN (1) CN113661433B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231206A1 (en) * 2021-04-30 2022-11-03 삼성전자 주식회사 Augmented reality device for obtaining depth information of object and operating method thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043218A1 (en) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha Image display device
CA2820241C (en) * 2012-06-13 2020-01-14 Robert G. Hilkes An apparatus and method for enhancing human visual performance in a head worn video system
JP5887026B2 (en) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH Head mounted system and method for computing and rendering a stream of digital images using the head mounted system
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
KR20160059406A (en) * 2014-11-18 2016-05-26 삼성전자주식회사 Wearable device and method for outputting virtual image
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231206A1 (en) * 2021-04-30 2022-11-03 삼성전자 주식회사 Augmented reality device for obtaining depth information of object and operating method thereof

Also Published As

Publication number Publication date
CN113661433A (en) 2021-11-16
CN113661433B (en) 2023-10-24

Similar Documents

Publication Publication Date Title
US11809623B2 (en) Head-mounted display device and operating method of the same
US10788673B2 (en) User-based context sensitive hologram reaction
CN107209386B (en) Augmented reality view object follower
CN107111370B (en) Virtual representation of real world objects
US9710130B2 (en) User focus controlled directional user input
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US20130326364A1 (en) Position relative hologram interactions
US20160210780A1 (en) Applying real world scale to virtual content
US20130328925A1 (en) Object focus in a mixed reality environment
CN110377148B (en) Computer readable medium, method of training object detection algorithm, and training apparatus
US20130342572A1 (en) Control of displayed content in virtual environments
EP2926223A1 (en) Direct hologram manipulation using imu
US11689877B2 (en) Immersive augmented reality experiences using spatial audio
CN114761909A (en) Content stabilization for head-mounted displays
US20210068652A1 (en) Glint-Based Gaze Tracking Using Directional Light Sources
US9298256B1 (en) Visual completion
JP2015060071A (en) Image display device, image display method, and image display program
CN113661433B (en) Head-mounted display device and operation method thereof
US11487105B2 (en) Modified slow-scan drive signal
US11527004B2 (en) Electronic device and operation method thereof
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
US20240045498A1 (en) Electronic apparatus
KR20210102210A (en) Mobile platform as a physical interface for interaction

Legal Events

Date Code Title Description
A201 Request for examination