CN117590582A - 头戴式显示设备及其操作方法 - Google Patents

头戴式显示设备及其操作方法 Download PDF

Info

Publication number
CN117590582A
CN117590582A CN202311324927.6A CN202311324927A CN117590582A CN 117590582 A CN117590582 A CN 117590582A CN 202311324927 A CN202311324927 A CN 202311324927A CN 117590582 A CN117590582 A CN 117590582A
Authority
CN
China
Prior art keywords
electronic device
roi
image
user
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311324927.6A
Other languages
English (en)
Inventor
具本坤
高在佑
李洹宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190106133A external-priority patent/KR20200120466A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117590582A publication Critical patent/CN117590582A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Abstract

一种头戴式显示设备，包括：眼睛跟踪传感器，被配置为通过跟踪用户的双眼获得眼睛信息；深度传感器，被配置为获得关于一个或多个对象的深度信息；以及处理器，被配置为基于眼睛信息来获得关于注视点的信息，并且基于关于注视点的信息来确定深度传感器的测量参数。

Description

头戴式显示设备及其操作方法
本申请是申请日为2020年02月17日、申请号为202080027905.1、发明名称为“头戴式显示设备及其操作方法”的专利申请的分案申请。
技术领域
本公开涉及一种头戴式显示设备及对其进行操作的方法，该头戴式显示设备能够确定现实空间中的注视点以及使用针对该注视点优化的参数来获得深度信息。
背景技术
我们生活的现实世界环境可以被表征为三维(3D)空间。人由于通过组合一双眼睛看到的视觉信息获得的立体效果而感知到3D空间。然而，因为由通用数字设备拍摄的照片或视频是经由以二维(2D)坐标表达3D坐标的技术产生的，所以照片或视频不包括关于空间的信息，诸如对象的深度。为了表达这种空间感，已经开发了使用两个相机一起来捕获和显示立体图像的3D相机或显示器产品。
为了表达三维空间感，关于现实空间内的对象的深度信息可能是必要的。与深度信息相关的深度感测已经在深度传感器能够测量的所有空间范围上执行，而不考虑用户的感兴趣区域(ROI)。具体地，投射光以执行深度感测的深度传感器驱动红外(IR)发光器件(LED)在所有空间范围内投射光，并且因此功耗由于IR LED的驱动而增加。此外，为了获得关于所有空间范围的深度信息，计算量增加。相应地，功耗也增加。因为深度传感器的功耗增加，所以将深度传感器安装在功率和/或计算资源受限的小型设备中存在问题。
此外，由于深度传感器的弱点，传统的深度感测方法可能提供不准确的深度感测。
发明内容
技术方案
本公开的方面涉及一种头戴式显示设备和操作该头戴式显示设备的方法，该头戴式显示设备确定注视点并且使用针对该注视点优化的参数来获得关于相对于该注视点的预设感兴趣区域(ROI)的深度信息。
发明的有益效果
根据本公开实施例的电子设备可以基于注视点来获得深度信息，并且因此，深度感测的效率可以增加，并且功耗可以降低。
根据本公开实施例的电子设备可以使用针对注视点优化的参数来获得深度信息，从而提高深度信息的准确性。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据本公开实施例的电子设备的图；
图2、图3A、图3B、图3C和图3D是根据本公开实施例的用于描述由电子设备执行的跟踪用户的眼睛的方法的图；
图4A和图4B是根据本公开的实施例的用于描述由电子设备执行的获得关于注视点的深度信息的方法的图；
图5A和图5B是根据本公开实施例的用于描述由电子设备执行的基于用户的注视点来确定深度传感器的测量参数的方法的图；
图6、图7A和图7B是根据本公开实施例的用于描述由电子设备执行的在深度传感器使用飞行时间(TOF)方法的情况下确定测量参数的方法的参考图；
图8和图9是根据本公开实施例的用于描述由电子设备执行的在深度传感器使用结构光(SL)方法的情况下确定测量参数的方法的参考图；
图10是根据本公开实施例的用于描述由电子设备执行的在深度传感器使用立体图像(SI)方法的情况下确定测量参数的方法的参考图；
图11是根据本公开实施例的用于描述由电子设备执行的显示虚拟对象的方法的图；
图12是根据本公开实施例的操作电子设备的方法的流程图；
图13是根据本公开实施例的用于描述由电子设备执行的获得深度信息的方法的图；
图14是示出根据本公开实施例的由电子设备执行的获得深度信息的方法的流程图；
图15是示出根据本公开实施例的电子设备重复执行图14的获得深度信息的操作的示例的图；
图16是示出根据本公开实施例的电子设备使用增强现实(AR)方法提供虚拟对象的示例的图；
图17是示出根据本公开实施例的电子设备使用深度信息识别人的面部的示例的图；
图18是示出根据本公开实施例的电子设备的配置的框图；
图19是示出根据本公开另一实施例的电子设备的配置的框图；
图20和图21是根据本公开实施例的用于描述由电子设备执行的自动调节焦点的方法的图；以及
图22是根据本公开实施例的用于描述由电子设备执行的执行基于眼睛的空间建模的方法的图。
具体实施方式
本公开的方面涉及一种头戴式显示设备和操作该头戴式显示设备的方法，该头戴式显示设备确定注视点并且使用针对该注视点优化的参数来获得关于相对于该注视点的预设感兴趣区域(ROI)的深度信息。
附加方面部分将在下面的描述中阐述，并且部分将从描述中显而易见，或者可以通过实践本公开的所呈现的实施例来了解。
根据本公开的实施例，一种头戴式显示设备可以包括：眼睛跟踪传感器，被配置为跟踪用户左眼的焦点位置和用户右眼的焦点位置；深度传感器，被配置为获得关于一个或多个对象的深度信息；以及处理器，被配置为基于用户左眼的焦点位置和用户右眼的焦点位置来确定注视点，并且基于注视点来确定深度传感器的测量参数。
处理器还可以被配置为基于眼睛信息来获得注视点的二维(2D)定位信息。
处理器还可以被配置为基于用户左眼的焦点位置和用户右眼的焦点位置来获得注视点的估计深度信息。
深度传感器还可以被配置为基于用户左眼的焦点位置和用户右眼的焦点位置来获得注视点的估计深度信息。
深度传感器的测量参数可以包括与目标区域相关的参数、与发射光的输出相关的参数或与反射光的感测相关的参数中的至少一个。
处理器还可以被配置为基于关于ROI的深度信息来重新确定深度传感器的测量参数，并且其中深度传感器还可以被配置为根据测量参数再次重新获得关于ROI的深度信息。
深度传感器还可以被配置为通过使用飞行时间(TOF)方法、结构光(SL)方法或立体图像(SI)方法中的至少一个来获得关于ROI的深度信息。
当深度传感器包括TOF深度传感器时，处理器还可以被配置为基于注视点的2D定位信息来确定测量参数，使得深度传感器中所包括的光源当中与注视点相对应的一些光源被驱动，并且其中深度传感器还可以被配置为通过驱动所述一些光源来获得关于ROI的深度信息。
头戴式显示设备还可以包括显示包括ROI的现实空间的显示器，并且其中处理器还可以被配置为基于关于ROI的深度信息来控制显示器在ROI上显示至少一个虚拟对象。
处理器还可以被配置为：将深度传感器的测量参数设置为第一参数；基于第一参数，控制深度传感器以获得关于深度传感器能够感测到的空间的整体深度信息，该空间包括所述ROI；基于整体深度信息，获得关于ROI的第一深度信息；基于第一深度信息，将深度传感器的测量参数设置为第二参数；以及基于第二参数，控制深度传感器以获得关于ROI的第二深度信息。
根据本公开的另一实施例，一种操作电子设备的方法可以包括：跟踪用户左眼的焦点位置和用户右眼的焦点位置；基于用户左眼的焦点位置和用户右眼的焦点位置来获得注视点；以及基于注视点来确定深度传感器的测量参数。
根据本公开的另一实施例，一个或多个非暂时性计算机可读记录介质可以在其上记录用于控制装置以执行本文的方法的程序。
本发明的模式
将描述本文使用的术语，并且将详细描述本公开。
尽管本公开中使用的术语是在考虑到本公开中的功能的情况下用目前普遍使用的通用术语来选择的，但是这些术语可以根据本领域普通技术人员的意图或新技术的引入而变化。此外，在特定情况下可以选择术语，并且术语的含义可以在本公开的相应描述中公开。因此，本公开中使用的术语不应由术语的简单名称来定义，而应由术语的含义和整个公开的内容来定义。
在整个本公开的全部内容中，某一部分可以被假设为包括某一组件，并且术语“包括”意味着相应的组件可以还包括其他组件，除非描述了与相应组件相反的特定含义。在实施例中使用的诸如“单元”或“模块”之类的术语指示用于处理至少一个功能或操作的单元，并且可以用硬件、软件或硬件和软件的组合来实施。
在整个公开中，表达“a、b或c中的至少一个”指示仅a，仅b，仅c，a和b，a和c，b和c，a、b和c的全部，或其变体。
在下文中，将参考附图详细描述本公开的实施例，以允许本领域普通技术人员容易地实施这些实施例。然而，本公开可以以各种形式来实施，并且实施例不限于本文描述的实施例。为了清楚地描述本公开，从附图中省略了与描述不相关联的部分，并且在整个说明书中，相同的附图标记指代相同的部分。
图1是示出根据本公开实施例的电子设备100的图。
参考图1，根据本公开实施例的电子设备100可以是眼镜型可穿戴设备。眼镜型可穿戴设备可以被实施为可戴在头上的头戴式显示器(HMD)。例如，HMD可以包括眼镜、头盔、帽子等形式的设备，但是电子设备100的类型和形式不限于此。
此外，根据本公开实施例的电子设备100可以在各种电子设备中实施，诸如移动电话、智能电话、膝上型计算机、台式电脑、平板PC、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、MP3播放器、摄录像机、互联网协议电视(IPTV)、数字电视(DTV)、可穿戴设备等，但是电子设备100的类型和形式不限于此。
在本公开的实施例中，术语“用户”指代控制电子设备100的功能或操作的人，并且可以包括管理员或安装工程师。
根据本公开实施例的电子设备100可以是以增强现实(AR)、混合现实(MR)或虚拟现实(VR)的形式提供至少一个虚拟对象的设备。
当以AR或MR的形式提供虚拟对象时，电子设备100可以在显示器上显示虚拟对象，使得虚拟对象匹配现实世界中的现实对象的形状、布置、距离和深度。例如，电子设备100可以在现实世界的现实上重叠并显示虚拟对象的图像，但是图像的显示不限于此。
根据本公开实施例的电子设备100可以包括深度传感器150。
深度传感器150可以获得关于现实世界中所包括的一个或多个对象的深度信息。深度信息可以对应于从深度传感器150到特定对象的距离。随着从深度传感器150到特定对象的距离增加，深度值可以相应地增加。
如图1所示，在三维(3D)空间上，X轴可以是穿过电子设备100左右的参考轴，Y轴可以是穿过电子设备100上下的参考轴，并且Z轴可以是穿过电子设备100前后的参考轴。X轴、Y轴和Z轴可以相互垂直。然而，(+/-)X轴、(+/-)Y轴和(+/-)Z轴中的任何一个都可以被分配给特定的方向。
相应地，根据本公开实施例的深度信息可以意味着Z轴上从深度传感器150到特定对象的距离。
根据本公开实施例的深度传感器150可以以各种方式获得对象的深度信息。例如，深度传感器150可以使用飞行时间(TOF)方法、结构光(SL)方法或立体图像(SI)方法中的至少一个来获得深度信息。每种方法将在后面详细描述。
根据本公开实施例的深度传感器150可以包括至少一个相机(图像传感器)。深度传感器150可以获得关于相机的视场(FOV)中所包括的实际空间的深度信息。在下文中，能够被深度传感器150感测到的范围的实际空间被称为“整体空间(whole space)”。通常，“整体空间”对应于图像传感器的整体检测区域。
同时，当电子设备100的用户注视或聚焦于整体空间中的部分空间或特定区域时，关于除该部分空间之外的剩余空间的深度信息可能不如用户所注视的空间那么重要。例如，在电子设备100的用户注视图1所示的房间空间(整体空间10)中桌子周围的空间50的同时，电子设备100使用深度传感器150获得关于整体空间10的深度信息。关于除桌子周围的空间50之外的剩余空间的深度信息可以是不如桌子周围的空间50的深度信息那么重要的信息。在整体空间10中，用户所注视的点和用户所注视的点的周围区域被称为感兴趣区域(ROI)。根据本公开的实施例，ROI可以是相对于用户所注视的整体空间内的点的预定区域。
此外，当电子设备100获得关于整体空间10的深度信息时，因为计算量增加，所以功耗可能相应地增加。结果，电子设备100的响应速度可能降低。此外，当电子设备100不通过仅瞄准部分空间(例如，电子设备100的用户的注视点)来获得深度信息，而是通过瞄准整体空间10来获得深度信息时，关于电子设备100的用户的注视点的深度信息的准确性可能会降低。
相应地，根据本公开实施例的电子设备100可以确定在整体空间10中用户所注视的点。例如，电子设备100可以跟踪用户的每只眼睛的注视，获得其眼睛信息，并且基于眼睛信息来确定用户所注视的点(注视点)。
根据本公开实施例的电子设备100可以基于确定的注视点来调节深度传感器150的测量参数，从而降低获得深度信息所需的功耗并提高深度信息的准确性。
深度传感器150的测量参数可以是在深度传感器150中预先设置的数值信息，作为当使用深度传感器150获得关于至少一个对象的深度信息时获得深度信息所需的参数。例如，深度传感器150的测量参数可以包括与用于发射光的目标区域相关的参数、与用于感测反射光的反射光感测区域相关的参数、与发射光的输出图案相关的参数、与发射光的输出大小相关的参数、与用于感测反射光的感测速度相关的参数、感测时段或感测灵敏度等。
图2、图3A、图3B、图3C和图3D是根据本公开实施例的用于描述由电子设备100执行的跟踪用户的眼睛的方法的图。
参考图2，电子设备100可以跟踪用户的眼睛。通常，“眼睛”的方向是指用户观看的方向，并且“眼睛跟踪”是指测量用户的眼睛(例如，用户所注视的点210)的过程，并且可以通过跟踪双眼的位置和移动来执行。
根据本公开实施例的电子设备100可以包括用于跟踪用户的眼睛的眼睛跟踪传感器160。根据本公开实施例的眼睛跟踪传感器160可以包括用于跟踪用户左眼的第一眼睛跟踪传感器161和用于跟踪用户右眼的第二眼睛跟踪传感器162。第一眼睛跟踪传感器161和第二眼睛跟踪传感器162具有相同的结构并且以相同的方式操作。
图3A是用于描述基于从用户的眼睛320反射的光量来跟踪用户的眼睛的方法的图。
根据本公开实施例的第一眼睛跟踪传感器161和第二眼睛跟踪传感器162具有相同的结构并以相同的方式操作，并且因此第一眼睛跟踪传感器161将在图3A中描述。
参考图3A，根据本公开实施例的第一眼睛跟踪传感器161可以包括向用户的眼睛320提供光的照明器301和检测光的检测器302。照明器301可以包括提供光的光源和控制从光源提供的光的方向的扫描镜。扫描镜可以控制方向，以将从光源提供的光导向用户的眼睛320(例如，角膜310)。扫描镜可以包括这样的结构，通过该结构，反射角可以机械地改变以反射从光源提供的光并将光导向用户的眼睛320，并且可以根据改变的反射角使用从光源提供的光扫描包括角膜310的区域。
检测器302可以检测从用户的眼睛320反射的光，并且测量检测到的光量。例如，当光从用户的角膜310的中心反射时，检测器302检测到的光量可以最大。相应地，当检测器302检测到的光量最大时，第一眼睛跟踪传感器161可以基于光入射到用户的眼睛320上并从用户的眼睛320反射的点330来确定用户的眼睛320的眼睛方向340。例如，当光量最大时，第一眼睛跟踪传感器161可以确定连接光入射到用户的眼睛320上并从用户的眼睛320反射的点330与用户的眼睛320(例如，用户左眼)的眼睛中心点的方向340，但是方法不限于此。
此外，第二眼睛跟踪传感器162也可以以参考图3A描述的相同方式确定用户眼睛(例如，用户右眼)的眼睛方向。
图3B是用于描述基于从用户的眼睛反射的反射光的位置来跟踪用户的眼睛的方法的图。
根据本公开实施例的第一眼睛跟踪传感器161和第二眼睛跟踪传感器162具有相同的结构并且以相同的方式操作，并且因此第一眼睛跟踪传感器161将在图3B中描述。第一眼睛跟踪传感器161可以包括照明器351和捕获器352。照明器351可以包括红外发光二极管(IR LED)。如图3B所示，照明器351可以包括设置在不同位置处的多个发光二极管。当用户的眼睛被跟踪时，照明器351可以向用户的眼睛提供光(例如，红外光)。因为光被提供给用户的眼睛，所以反射光可以在用户的眼睛中产生。
捕获器352可以包括至少一个相机。此时，至少一个相机可以包括红外相机IR。电子设备100可以使用由捕获器352捕获的用户眼睛的图像来跟踪用户眼睛(例如，用户左眼)。例如，第一眼睛跟踪传感器161可以通过从用户眼睛的图像中检测瞳孔和反射光来跟踪用户的眼睛。第一眼睛跟踪传感器161可以从用户眼睛的图像中检测瞳孔和反射光的位置，并且基于瞳孔的位置与反射光的位置之间的关系来确定用户眼睛的眼睛方向。
例如，第一眼睛跟踪传感器161可以从捕获的第一眼睛图像361中检测瞳孔370和反射光381，并且基于瞳孔370的位置与反射光381的位置之间的关系来确定用户眼睛的眼睛方向391。以相同的方式，第一眼睛跟踪传感器161可以分别从第二至第五眼睛图像362、363、364和365中检测瞳孔370以及反射光382、383、384和385，并且基于瞳孔370的位置与反射光382、383、384和385的位置之间的关系来确定用户眼睛的眼睛方向392、393、394和395
此外，第二眼睛跟踪传感器162也可以以参考图3B描述的相同方式确定用户眼睛(例如，用户右眼)的眼睛方向。
图3C是示出用户的眼睛的三维(3D)眼睛模型的图。
参考图2和图3C，电子设备100可以使用第一眼睛跟踪传感器161确定用户左眼的眼睛方向，并且使用第二眼睛跟踪传感器162确定用户右眼的眼睛方向。例如，电子设备100可以基于人类的平均眼睛模型来确定眼睛方向。眼睛模型可以通过假设人类的眼睛3100为球形并且眼睛理想地根据眼睛方向转动来进行建模。此外，眼球模型可以用数学方法来表达，如下面的等式1和等式2所示。
[等式1]
x＝d·tanα，
y＝d·secα·tanβ
[等式2]
β＝sin-1(dif f_y/r)，
α＝sin-1(diff_x/r cosβ)
在等式1中，d表示用户眼睛的中心3150与虚拟屏幕3200之间的距离，α表示基于用户眼睛注视于虚拟屏幕3200前面的情况下用户眼睛在x轴方向所转动的角度，并且β表示基于用户眼睛注视于虚拟屏幕3200前面的情况下用户眼睛在y轴方向所转动的角度。此外，在等式2中，r表示当假设用户的眼睛是球体时该球体的半径。
根据本公开的实施例，第一眼睛跟踪传感器161可以使用参考图3A和图3B描述的方法来测量用户的眼睛(例如，左眼)的转动程度(例如，α和β)。电子设备100可以使用用户眼睛的转动程度(α和β)来计算用户眼睛的眼睛方向在虚拟屏幕3200上的二维(2D)坐标。
图3D是根据本公开实施例的用于描述执行眼睛跟踪传感器160的校准的方法的参考图。
作为示例，当用户第一次使用电子设备100时，电子设备100可以校准第一眼睛跟踪传感器161和第二眼睛跟踪传感器162，以准确地测量用户的左眼和右眼。电子设备100可以输出不同深度(例如，d1、d2和d3)的、其上有用于诱导用户眼睛的多个点(通常为9个)的虚拟图像VI1、VI2和VI3，并且相对于多个点中的每一个来诱导用户所注视的点。
当用户注视于虚拟图像VI1、VI2和VI3中的每一个中所包括的点时，电子设备100可以以表格、数组或任何其他数据存储机制的形式来存储从眼睛跟踪传感器160输出的信息(眼睛信息)。
如参考图3A所述，在使用从用户的角膜反射的光量的方法中，电子设备100可以存储扫描镜的反射角和光量的信息作为每个点的眼睛信息，并且在通过使用红外光来捕获用户的眼睛的方法中，可以存储包括用户的眼睛和在每个点处捕获的反射光的图像作为眼睛信息。
电子设备100可以通过将存储的眼睛信息与从眼睛跟踪传感器160输出的测量的眼睛信息进行比较来确定用户眼睛的眼睛方向。电子设备100可以使用从第一眼睛跟踪传感器161输出的眼睛信息来确定用户左眼的眼睛方向，并且可以使用从第二眼睛跟踪传感器162输出的眼睛信息来确定用户右眼的眼睛方向。
如图2所示，电子设备100可以使用用户左眼的眼睛方向、右眼的眼睛方向以及双眼之间的距离来估计在整体空间10中用户所注视的点210的坐标。
例如，电子设备100可以通过使用坐标映射等将用户所注视的点210设置成被映射为在参考图1描述的整体空间10中的2D坐标信息(例如，x坐标值和y坐标值)，或者可以以表格的形式来存储点210。
图4A和图4B是根据本公开实施例的用于描述由电子设备100执行的获得关于注视点430的深度信息的方法的图。
参考图4A，电子设备100可以使用右眼的眼睛方向和左眼的眼睛方向的辐辏(vergence)(将指示眼睛方向的两条虚拟直线相交)来估计关于用户所注视的点的深度信息。
例如，如图4B所示，电子设备100可以基于与左眼相对应的第一眼睛方向410、与右眼相对应的第二眼睛方向420以及双眼之间的距离来计算到注视点430(双眼中的眼睛所聚向(verge)的点)的距离值Z1。根据图4B所示的几何布置，电子设备100可以通过利用使用眼睛跟踪传感器160测量的双眼的眼睛信息和下面的等式3来获得关于注视点430的深度信息。
[等式3]
在等式3中，△x表示虚拟屏幕450上左眼的x坐标x1与右眼的x坐标x2之间的差。在这点上，可以假设左眼的y坐标与右眼的y坐标相同来计算差异。此外，在等式3中，a表示用户的双眼之间的距离，并且可以使用预设值(例如，7cm)。此外，D表示用户的眼睛与虚拟屏幕450之间的距离。
电子设备100可以获得到用户双眼的眼睛所聚向的注视点430的距离值Z1，作为z值与D值之和。
可替代地，电子设备100可以基于第一眼睛方向410与第二眼睛方向420之间形成的角度来估计关于注视点430的深度信息(例如，Z1)。第一眼睛方向410与第二眼睛方向420之间形成的角度越小，到注视点430的距离越大，而第一眼睛方向410与第二眼睛方向420之间形成的角度越大，注视点430越近。
图5A和图5B是根据本公开实施例的用于描述由电子设备100执行的基于用户的注视点来确定深度传感器150的测量参数的方法的图。
深度传感器150的测量参数可以是需要在深度传感器150中预先设置的数值信息，以作为当使用深度传感器150获得关于至少一个对象的深度信息时获得深度信息所需的参数。例如，深度传感器150的测量参数可以包括与用于发射光的目标区域相关的参数、与用于感测反射光的反射光感测区域相关的参数、与发射光的输出图案相关的参数、与发射光的输出大小相关的参数、与用于感测反射光的感测速度相关的参数、感测时段或感测灵敏度等。
参考图5A和图5B，根据本公开实施例的电子设备100可以包括眼睛跟踪传感器160、处理器120和深度传感器150。
参考图5A，根据本公开实施例的眼睛跟踪传感器160可以获得用户的眼睛信息。这参考图2至图3D进行了详细描述，并且因此省略其详细描述。
眼睛跟踪传感器160可以将用户的眼睛信息发送到处理器120。处理器120可以基于用户的眼睛信息来获得关于注视点的信息。
例如，处理器120可以基于眼睛信息中所包括的用户左眼的眼睛方向(第一眼睛方向)和用户右眼的眼睛方向(第二眼睛方向)来获得注视点的2D定位信息。处理器120可以使用第一眼睛方向和第二眼睛方向来确定整体空间中相对于用户注视点的2D坐标(例如，x坐标值和y坐标值)。
处理器120可以通过使用注视点的2D定位信息来确定深度传感器150的测量参数。例如，处理器120可以通过使用注视点的2D定位信息来确定目标区域的参数。处理器120可以确定预定ROI作为相对于注视点的目标区域。
深度传感器150可以基于确定的目标区域的参数来获得深度信息。例如，当发光时，光发射器170可以将发光区域限制为目标区域(与注视点相对应的区域)，或者当感测反射光时，传感器180可以将发光区域限制为目标区域(与注视点相对应的区域)。相应地，深度传感器150可以获得关于在目标区域(注视点和注视点的周围区域)而不是整体空间中所包括的对象的深度信息。
参考图5B，根据本公开实施例的眼睛跟踪传感器160可以获得用户的眼睛信息，并且将眼睛信息发送到处理器120。处理器120可以基于用户的眼睛信息来获得注视点的估计的深度信息。例如，处理器120可以基于眼睛信息中所包括的用户的第一眼睛方向和第二眼睛方向来获得注视点的估计的深度信息(例如，z坐标值)。
根据本公开实施例的处理器120可以使用注视点的估计的深度信息来确定与深度传感器150的发射光的输出相关的参数(例如，发射光的输出图案和发射光的输出的幅度)。
例如，处理器120可以确定深度传感器150的参数，使得当估计的深度小时(当距离近时)，从光发射器170发射的光的输出图案(光脉冲的宽度)减小，而当估计的深度大时(当距离远时)，从光发射器170发射的光的输出图案(光脉冲的宽度)增大。此外，当传感器180感测反射光时，处理器120可以确定深度传感器150的参数，使得当估计的深度小时，感测速度或感测时段增加。相反，当估计的深度大时，感测速度或感测时段减小。相应地，深度传感器150可以基于相对于光的输出图案(光脉冲的宽度)和感测速度或感测时段的所确定的参数来获得ROI中所包括的对象的深度信息。此时，ROI可以是相对于注视点的预设区域。
此外，处理器120可以确定深度传感器150的参数，使得当注视点的估计的深度小时，从光发射器170发射的光的输出减少。相反，当估计的深度大时，从光发射器170发射的光的输出增加。此外，当传感器180感测反射光时，电子设备100可以确定深度传感器150的参数，使得当估计的深度小时，灵敏度降低。相反，当估计的深度较大时，灵敏度增加。相应地，深度传感器150可以在考虑所确定的光的输出幅度和感测灵敏度的情况下获得ROI中所包括的对象的深度信息。此时，ROI可以是相对于注视点的预设区域。
在下文中，将根据深度传感器的类型详细描述基于关于注视点的信息(注视点的2D定位信息和注视点的估计的深度信息)来确定深度传感器的测量参数的示例。
图6至图7B是根据本公开实施例的用于描述由电子设备执行的当深度传感器150使用TOF方法时确定测量参数的方法的参考图。
根据本公开实施例的深度传感器150可以包括飞行时间(TOF)深度传感器610。
TOF方法是分析光从对象620反射并返回所花费的时间和测量到对象620的距离d的方法。TOF深度传感器610可以包括光发射器630和传感器单元640。
光发射器630可以被布置成围绕传感器单元640，但是配置不限于此。传感器640可以被布置成围绕光发射器630。
光发射器630可以包括产生预定波长的光的光源。光源可以包括能够发射人眼不可见的红外波长的光的红外发光二极管(IR LED)激光二极管(LD)，但不限于此，并且光源的波段和种类可以被不同地配置。光发射器630可以通过根据控制信号驱动光源来向对象620发射光。例如，光发射器630可以通过以交替方式重复打开和关闭光源光来向对象620发射光。
传感器单元640可以感测从对象620反射并返回的反射光。例如，传感器单元640可以包括光学感测元件，诸如钉扎光电二极管(PPD)、光电门、电荷耦合器件(CCD)等。传感器单元640可以包括被布置成阵列的多个传感器，并且阵列中所包括的一个单元650可以被配置为形成一对同相接受器651和异相接受器652。此时，同相接受器651可以仅在同相状态下(当光发射器630发光时)被激活以检测光，并且异相接受器652可以仅在异相状态下(当光发射器630不发光时)被激活以检测光。
图7A是示出从光发射器630发射的光710、反射光720、由同相接受器接收的光以及由异相接受器接收的光的曲线图。
从光发射器630发射的光710可以从与深度传感器610分隔开预定距离d的对象620反射并返回。与发射光710相比，反射光720可以通过预定距离d导致发生时间延迟。例如，光可能不会在仅当光发射器630发射光710时激活的同相接受器的操作区间中的某个区间期间被接收。此外，相反，反射光可以在异相接受器的操作区间中的某个区间期间被接收。同相接受器和异相接受器可以测量接收的光量。例如，同相接受器和异相接受器可以接收从对象反射的光，产生并累积电子，从而测量累积的电子的量(电荷量)。到对象620的距离d可以如下面的等式4中计算。
[等式4]
这里，c表示光速，t表示光710的脉冲的长度，q1表示发光时的累积电荷量(由同相接受器测量的电荷量)，并且q2表示不发光时的累积电荷量(由异相接受器测量的电荷量)。也就是说，距离d越远，开始接收反射光的点越晚。相应地，与q1相比，q2可能相对增加。结果，TOF深度传感器610可以使用等式4来计算深度信息。
同时，根据本公开实施例的电子设备100可以通过使用用户的眼睛信息来确定整体空间中的注视点。电子设备100可以使用眼睛跟踪传感器160来获得用户的眼睛信息，并且可以基于用户的眼睛信息来获得注视点的2D定位信息。
根据本公开实施例的电子设备100可以基于注视点的2D定位信息来控制光发射器630和传感器单元640。
再次参考图6，根据本公开实施例的光发射器630可以划分成多个区域。电子设备100可以为每个区域驱动光源。电子设备100可以驱动多个区域当中与注视点的2D定位信息相对应的区域中所包括的光源。例如，当光发射器630划分成四个区域A1、A2、A3和A4时，电子设备100可以驱动与注视点的2D定位信息相对应的第一区域A1中所包括的光源，并且可以不驱动剩余的第二至第四区域A2、A3和A4中所包括的光源。
相应地，可以减少根据驱动光源的功耗。此外，传感器单元640也可以划分成多个区域。电子设备100可以仅驱动多个区域当中与注视点的2D定位信息相对应的区域中所包括的光源。例如，当传感器单元640划分成四个区域B1、B2、B3和B4时，电子设备100可以通过仅驱动与注视点的2D定位信息相对应的第一区域B1中所包括的传感器来感测信号。相应地，可以减少根据计算深度信息的功耗。
根据本公开实施例的电子设备100可以基于注视点的2D定位信息，仅驱动深度传感器中所包括的光发射器630中与注视点的2D定位信息相对应的区域的光源，通过仅驱动传感器单元640中与注视点的2D定位信息相对应的区域中所包括的传感器来感测信号，并且计算深度信息。
此外，根据本公开实施例的电子设备100可以基于注视点的估计的深度信息来确定发射光710的脉冲的长度、幅度等作为优化的参数。例如，电子设备100可以基于注视点的估计的深度信息来确定光710的脉冲的长度、幅度(光的输出)等。例如，当估计的深度小时(当距离近时)，电子设备100可以减小由光发射器630投射的光710的脉冲的长度(光的波长)，并且减小光710的脉冲的输出。此外，当估计的深度大(即，距离远)时，电子设备100可以增加由光发射器630投射的光710的脉冲的长度(光的波长)，并且增加光710的脉冲的输出。
此外，当传感器单元640感测反射光脉冲时，电子设备100可以在估计的深度小时减小感测速度并降低感测灵敏度。此外，电子设备100可以在估计的深度大时减小感测速度并增加感测灵敏度。如上所述，因为深度传感器的测量参数可以被确定为针对注视点优化的参数，所以可以提高关于注视点的深度信息的准确性。
电子设备100可以计算关于ROI的深度信息，而不计算整体空间的深度信息。相应地，计算深度信息的速度可以增加，并且功耗可以降低。
此外，根据本公开实施例的电子设备100可以基于由深度传感器计算的深度信息(实际深度信息)来重新优化深度传感器的测量参数，并且使用重新优化的测量参数来执行深度感测。相应地，可以进一步提高深度信息的准确性。
图7B是根据本公开实施例的用于描述由电子设备100执行的使用匹配表750来确定深度传感器的测量参数的方法的图。
图7B所示的匹配表750是与用户的眼睛信息和深度传感器的测量参数相对应的表，并且可以被存储在根据本公开实施例的电子设备100中。根据本公开实施例的电子设备100可以使用匹配表750控制图6的光发射器630和传感器单元640。
电子设备100可以基于从眼睛跟踪传感器160获得的用户的眼睛信息来获得注视点的2D定位信息(x坐标和y坐标)和估计的深度信息(z坐标)，并且通过使用匹配表750来确定与获得的2D定位信息和估计的深度信息相对应的测量参数。
例如，当注视点的2D定位信息为(3,4)并且估计的深度信息的z值为3时，电子设备100可以驱动光发射器630的第一区域A1中所包括的光源，并且可以不驱动剩余的第二至第四区域A2、A3和A4中所包括的光源。此外，电子设备100可以仅驱动传感器单元640的第一区域B1中所包括的传感器来感测信号。电子设备100可以控制光发射器630，使得从光发射器630输出的光710的脉冲的幅度为2，光710的脉冲的时段为2ms，并且光710的脉冲的占空比为10％。
可替代地，当注视点的2D定位信息为(-2,-5)并且估计的深度信息的z值为5时，电子设备100可以驱动光发射器630的第三区域A3中所包括的光源，并且可以不驱动剩余的第一区域A1、第二区域A2和第四区域A4中所包括的光源。此外，电子设备100可以仅驱动传感器单元640的第三区域B3中所包括的传感器来感测信号。电子设备100可以控制光发射器630，使得从光发射器630输出的光710的脉冲的幅度为2，光710的脉冲的时段为2ms，并且光710的脉冲的占空比为20％。
根据本公开实施例的电子设备100可以基于从眼睛跟踪传感器160获得的用户的眼睛信息(注视点的2D定位信息和估计的深度信息)实时计算深度传感器的测量参数(例如，与目标区域相关的参数、与发射光的输出相关的参数、与反射光的感测相关的参数等)。此时，电子设备100可以使用预设的等式或算法来计算深度传感器的测量参数。
电子设备100可以通过使用实时计算的测量参数来控制深度传感器的光发射器630和传感器单元640。
同时，根据本公开实施例的电子设备100可以与外部设备执行有线或无线通信(例如，Wi-Fi、蓝牙、Zigbee、红外线等)。电子设备100可以将从眼睛跟踪传感器160获得的用户的眼睛信息(注视点的2D定位信息和估计的深度信息)发送到外部设备。
例如，图7B的匹配表750可以被存储在通过有线或无线通信连接到电子设备100的外部设备中。基于从电子设备100接收的眼睛信息和匹配表750，外部设备可以确定深度传感器的测量参数(例如，与目标区域相关的参数、与发射光的输出相关的参数、与反射光的感测相关的参数等)。
可替代地，外部设备可以基于从电子设备100接收的眼睛信息来实时计算深度传感器的测量参数(例如，与目标区域相关的参数、与发射光的输出相关的参数、与反射光的感测相关的参数等)。此时，外部设备可以通过使用预设的等式或算法来计算测量参数。
外部设备可以将深度传感器的测量参数发送到电子设备100。电子设备100可以使用接收到的深度传感器的测量参数来控制深度传感器的光发射器630和传感器单元640，但是配置不限于此。
图8和图9是根据本公开实施例的由电子设备100执行的用于描述当深度传感器150使用结构光(SL)方法时确定测量参数的方法的参考图。
根据本公开实施例的深度传感器150可以包括SL深度传感器。SL方法是在对象830上反射一图案的光、分析在对象830的表面上形成的图案的形状和位置、以及测量到对象830的距离(深度信息)的方法。通常，SL深度传感器可以将线性图案或点图案的光投射到对象830上。在对象830上形成的光的形式或图案可以根据对象830的弯曲而改变。SL方法可以包括投光器(light projector)810和相机820，并且可以被视为用投光器810替换立体图像型深度传感器中所使用的两个相机之一的结构。通常，固定图案的膜或能够改变图案形状的液晶膜可以设置在由投光器810投射的光的路径上，并且光可以穿过膜，并且因此光的形式或图案可以改变。例如，SL深度传感器可以通过使用算法来分析由投光器810投射的光在对象830的表面上形成的图案的形状和位置，来计算深度信息。
同时，根据本公开实施例的电子设备100可以通过使用用户的眼睛信息来确定在整体空间中的注视点。电子设备100可以通过使用眼睛跟踪传感器来获得用户的眼睛信息，并且可以基于用户的眼睛信息来获得注视点的2D定位信息。根据本公开实施例的电子设备100可以基于注视点的2D定位信息来控制投光器810和相机820。
根据本公开实施例的电子设备100可以控制投光器810将光仅投射到与注视点的2D定位信息相对应的区域。例如，投光器810可以改变液晶膜的图案来透射光，以穿过与注视点的2D定位信息相对应的第二区域C2，并且可以不投射穿过第一区域C1、第三区域C3和第四区域C4的光。相应地，可以减少根据驱动光源的功耗。
此外，相机820还可以划分成多个区域D1、D2、D3和D4，并且电子设备100可以仅使用在多个区域D1、D2、D3和D4当中与注视点的2D定位信息相对应的区域中获得的图像信号来计算深度信息。
例如，图9所示的第一图像910可以是示出固定图案的光作为整体被投射到现实空间上的图像。相机820可以捕获由对象表面上形成的投射光产生的图案。例如，图9所示的第二图像920可以是由投射到整体现实空间上的光产生的图案的图像。电子设备100可以通过分析第二图像920来计算关于现实空间的深度信息。
根据本公开实施例的电子设备100可以通过使用用户双眼的眼睛信息来确定整体空间中的注视点。电子设备100可以通过使用眼睛跟踪传感器来获得双眼的眼睛信息，并且可以基于双眼的眼睛信息来获得注视点的2D定位信息。
当基于双眼的眼睛信息获得了注视点的2D定位信息时，根据本公开实施例的电子设备100可以基于注视点的2D定位信息将固定图案的光仅投射到ROI上。电子设备100可以确定相对于眼睛所指向的注视点的预设区域作为ROI。例如，如图9所示，投光器可以将固定图案的光仅投射到车辆的后部915(ROI)上，并且相机可以获得捕获其上投射有光的ROI915的第三图像930。
相应地，电子设备100可以计算关于ROI 915的深度信息，而不计算整体空间的深度信息，从而提高计算深度信息的速度并降低功耗。
图10是根据本公开实施例的用于描述由电子设备100执行的当深度传感器150使用立体图像(SI)方法时确定测量参数的方法的参考图。
根据本公开实施例的深度传感器150可以包括SI深度传感器。SI方法是指通过使用两个相机来捕获对象的立体效果的方法。在这种情况下，深度传感器可以包括两个相机。深度传感器可以通过使用由每个相机观看的图像的差异信息，基于三角测量的原理来计算相对于特定对象的深度信息(距离)。人类通过进入左眼和右眼的图像之间的差异来感受立体效果。深度传感器以类似于人眼感受立体效应的原理的方式测量距离。例如，当深度小时(距离近)，由两个相机捕获的图像之间的差异大，而当深度大时(距离远)，由两个相机捕获的图像之间的差异小。
在SI方法的情况下，因为需要同时实时处理两个图像，所以需要处理器的快速处理性能，并且需要硬件处理。因此，仅使用小型设备的处理器很难实时处理SI方法。
根据本公开实施例的SI深度传感器可以包括第一相机和第二相机。此时，第一相机和第二相机可以在不同位置处在不同方向上捕获现实空间。例如，第一相机可以在第一位置处在第一方向上捕获现实空间以获得第一图像1010，并且第二相机可以在第二位置处在第二方向上捕获现实空间以获得第二图像1020。在这种情况下，当使用第一图像1010与第二图像1020之间的差异图像时，可以获得整体现实空间的深度信息。
同时，根据本公开实施例的电子设备100可以通过使用用户双眼的眼睛信息来确定整体空间的ROI。电子设备100可以通过使用眼睛跟踪传感器来获得双眼的眼睛信息，并且可以基于双眼的眼睛信息来获得注视点的2D定位信息。例如，当电子设备100的用户的注视点是第一点时，电子设备100可以确定相对于第一点的预设区域作为ROI。图10的第一区域1015表示第一图像1010中的与ROI相对应的区域，并且第二区域1025表示第二图像1020中的与ROI相对应的区域。相应地，电子设备100可以通过仅计算第一区域1015的图像与第二区域1025的图像1030和1040之间的差异图像来计算与ROI相关的深度信息。
当基于双眼的眼睛信息获得了注视点的2D定位信息时，根据本公开实施例的电子设备100可以基于注视点的2D定位信息来确定所捕获的第一图像1010和第二图像1020中的ROI，并且仅计算与ROI相关的深度信息。可替代地，电子设备100可以通过使用变焦功能来放大和捕获ROI，获得与ROI相关的图像1030和1040，并且计算与ROI相关的深度信息。相应地，深度信息的计算速度可以提高，并且功耗可以降低。
图11是根据本公开实施例的用于描述由电子设备100执行的显示虚拟对象1120的方法的图。
参考图11，根据本公开实施例的电子设备100可以基于获得的注视点的深度信息在显示器上显示虚拟对象1120。例如，电子设备100可以以增强现实(AR)的形式显示虚拟对象1120。当以AR的形式显示虚拟对象时，电子设备100可以在显示器上显示虚拟对象1120，使得虚拟对象1120与通过显示器观察到的现实空间1110(现实世界的2D或3D空间)重叠。
例如，电子设备100可以获得注视点周围的区域(例如，桌子周围的区域)的深度信息，并且将与获得的深度信息类似的深度给予虚拟对象1120(例如，花瓶)，使得用户认为虚拟对象1120位于桌子周围的区域中。
图12是根据本公开实施例的操作电子设备100的方法的流程图。
参考图12，根据本公开实施例的电子设备100可以获得用户双眼的眼睛信息(S1210)。
根据本公开实施例的电子设备100可以使用眼睛跟踪传感器向用户的眼睛(左眼和右眼)提供光，并且可以感测从用户的眼睛反射的光量。电子设备100可以基于感测到的光量来确定双眼的眼睛方向。
可替代地，电子设备100可以使用眼睛跟踪传感器向用户的眼睛提供光，并且可以捕获用户的眼睛。此外，电子设备100可以基于捕获的眼睛的相应图像来确定双眼的眼睛方向。
根据本公开实施例的电子设备100可以基于眼睛信息来获得注视点(S1220)。
电子设备100可以基于用户右眼的眼睛方向和用户左眼的眼睛方向来获得相对于用户所注视的点的2D坐标信息(x坐标值和y坐标值)。此外，电子设备100基于用户右眼的眼睛方向和用户左眼的眼睛方向来估计到用户所注视的点的距离(z坐标值)。相应地，电子设备100可以获得注视点的2D定位信息和估计的深度信息。
根据本公开实施例的电子设备100可以基于关于注视点的信息来确定深度传感器的测量参数(S1230)。
深度传感器的测量参数可以包括与目标区域相关的参数、与发射光的输出相关的参数(发射光的输出图案和发射光的输出的幅度)或与反射光的感测相关的参数中的至少一个。例如，电子设备100可以通过使用注视点的2D定位信息来确定与目标区域相关的参数，并且可以通过使用注视点的估计的深度信息来确定与发射光的输出相关的参数(发射光的输出图案和发射光的输出的幅度)和与反射光的感测相关的参数。这将参考图5A至图10进行详细描述，并且因此将省略其详细描述。
根据本公开实施例的电子设备100可以基于确定的测量参数来获得关于相对于注视点的预设ROI中所包括的至少一个对象的深度信息。
图13是根据本公开实施例的用于描述由电子设备100执行的获得深度信息1330和1340的方法的图。
根据本公开实施例的深度传感器可以包括至少一个相机，并且获得关于深度传感器中包括的相机的视场(FOV)中所包括的现实空间1310的深度信息。在下文中，深度传感器能够感测到的范围的空间(现实空间1310)将被称为“整体空间”
如图13所示，根据本公开实施例的电子设备100可以确定整体空间1310的ROI1320。
例如，如参考图2至图3D所述，电子设备100可以通过使用眼睛跟踪传感器来获得用户双眼的眼睛信息，并且基于双眼的眼睛信息来获得用户的注视点。此外，先前相对于注视点设置的区域可以基于获得的注视点而被确定为ROI 1320。可替代地，电子设备100可以获得整体空间1310的图像，并且使用对象识别技术来识别所确定的ROI 1320内的主要对象(例如，人、脸、手等)，从而将识别的主要对象而不是先前相对于注视点设置的区域确定为ROI 1320。
当确定ROI 1320时，电子设备100可以相对于ROI 1320和除ROI 1320之外的剩余空间使用不同测量参数来获得深度信息。
例如，电子设备100可以将深度传感器的测量参数设置为第一参数，以获得关于ROI的深度信息1330。此时，电子设备100可以基于注视点的信息来设置第一参数。例如，电子设备100可以基于注视点的2D定位信息将先前相对于注视点设置的区域设置为ROI1320，并且设置发光区域、光感测区域等以对应于所设置的ROI 1320。此外，电子设备100可以基于注视点的估计的深度信息来设置发射光或光输出的图案。
例如，当深度传感器是TOF深度传感器时，传感器单元可以通过增加采样速率或减少采样周期来感测与ROI相对应的信号，并且可以不感测与剩余区域相对应的信号，从而获得关于ROI的高分辨率深度信息。
此外，电子设备100可以将深度传感器的测量参数设置为第二参数，以获得关于除ROI 1320之外的剩余区域的深度信息1340。例如，当深度传感器是TOF深度传感器时，传感器单元可以通过降低采样速率或增加采样周期来感测与剩余区域相对应的信号，并且可以不感测与ROI相对应的信号，从而获得关于ROI的低分辨率深度信息。
可替代地，电子设备100可以获得关于包括ROI的整体空间1310的低分辨率深度信息。
相应地，电子设备100可以获得关于ROI的高度准确的深度信息(高分辨率深度信息)，并且还获得关于剩余区域(注视点周围的区域)的近似深度信息(低分辨率深度信息)。
图14是示出根据本公开实施例的由电子设备100执行的获得深度信息的方法的流程图。
参考图14，根据本公开实施例的电子设备100可以确定整体空间中的ROI(S1410)。参考图13详细描述了确定ROI的方法，并且因此将省略其详细描述。
电子设备100可以将深度传感器的测量参数设置为第一参数集，以获得关于整体空间的深度信息(S1420)。
例如，电子设备100可以获得关于整体空间的低分辨率深度信息。
电子设备100可以基于关于整体空间的深度信息来获得关于ROI的第一深度信息(S1430)。
例如，电子设备100可以确定关于整体空间的深度信息中所包括的关于ROI的深度信息作为第一深度信息。
电子设备100可以基于第一深度信息来确定第二参数集(S1440)。例如，电子设备100可以基于ROI的第一深度信息来确定与深度传感器的发射光的输出相关的参数(发射光的输出图案和发射光的输出的幅度)，或者与反射光的感测相关的参数。
电子设备100可以通过使用具有被设置为第二参数集的测量参数的深度传感器来获得关于ROI的第二深度信息(S1450)。此时，第二深度信息可以是高分辨率深度信息，并且可以是具有比在S1420中获得的低分辨率深度信息的准确性更高的准确性的深度信息。
图15是示出根据本公开实施例的电子设备100重复执行图14的获得深度信息的操作的示例的图。
参考图15，根据本公开实施例的电子设备100可以以交替的方式定期地重复执行获得关于整体空间的深度信息1510(低分辨率深度信息)的操作(S1420)和获得关于ROI的第二深度信息1520(高分辨率深度信息)的操作(S1450)。
例如，电子设备100可以设置用于获得关于整体空间的深度信息1510的第一时段T1和用于获得关于ROI的第二深度信息1520的第二时段T2。此时，电子设备100可以根据电子设备100的移动来调节第一时段T1，以调节除ROI之外的剩余区域的深度信息的更新时段。也就是说，电子设备100可以根据通过电子设备100的移动而产生的图像中除ROI之外的剩余区域的移动的变化量来调节第一时段T1。例如，当电子设备100的移动小时(当电子设备100静止时)，电子设备100可以增加第一时段T1。相反地，当电子设备100的移动大时(当电子设备100为动态时)，电子设备100可以减小第二时段T2。
此外，电子设备100可以根据电子设备100的用户与显示在注视点上的虚拟对象之间的交互所需的最小时间来调节第二时段T2。例如，电子设备100可以将第二时段T2设置为等于或短于更新关于进行交互的手的深度信息(诸如手势识别)所需的最小时间，但不限于此。
图16是示出根据本公开实施例的电子设备100使用AR方法来提供虚拟对象1630的示例的图。
参考图16，根据本公开实施例的电子设备100可以包括至少一个相机(图像传感器)。例如，至少一个相机可以是深度传感器中所包括的深度相机或者与深度传感器分开提供的相机。
至少一个相机可以获得与相机的FOV中所包括的空间相对应的图像1610。电子设备100可以从获得的图像1610中检测主要对象。例如，电子设备100可以使用AR方法来显示虚拟对象1630，使得用户认为虚拟对象1630位于现实对象1620附近。此外，当电子设备100的用户通过使用手与虚拟对象1630进行交互时，主要对象可以是用户的手1640。
电子设备100可以从获得的图像1610中检测手1640的区域，确定手1640的区域作为ROI，并且确定除手1640的区域之外的剩余区域作为背景区域。
电子设备100可以获得关于ROI的高分辨率深度信息和关于背景区域的低分辨率深度信息。例如，电子设备100可以设置深度传感器的测量参数，以相对于手1640的区域获得高准确性的深度信息，从而获得高分辨率的深度信息。同时，电子设备100可以设置深度传感器的测量参数，以相对于背景区域获得低准确性的深度信息，从而获得低分辨率深度信息。
电子设备100可以使用手1640的区域的高分辨率深度信息来估计手1640的姿态或者识别手1640的姿势。同时，电子设备100可以使用关于背景区域的低分辨率深度信息来执行相机姿态跟踪或背景建模，但是配置不限于此。
图17是示出根据本公开实施例的电子设备100使用深度信息来识别人的面部的示例的图。
参考图17，根据本公开实施例的电子设备100可以包括至少一个相机。例如，至少一个相机可以是深度传感器中所包括的深度相机或者与深度传感器分开提供的相机。至少一个相机可以获得包括面部的图像。
电子设备100可以从获得的面部图像中检测主要特征区域。例如，在人的面部中，眼睛、鼻子和嘴巴区域可以是区别于其他人的重要区域。电子设备100可以从面部图像中检测眼睛、鼻子和嘴巴区域。根据本公开实施例的电子设备100可以获得相对于面部的眼睛、鼻子和嘴区域1740的高分辨率深度信息以及相对于剩余区域的低分辨率深度信息。
图17的第一深度图像1710表示相对于整体面部区域获得的低分辨率深度信息，并且第二深度图像1720表示相对于整体面部区域获得的高分辨率深度信息。此外，第三深度图像1730表示由电子设备100获得的相对于眼睛、鼻子和嘴巴区域1740的高分辨率深度信息以及相对于剩余区域的低分辨率深度信息。
根据本公开的实施例，当电子设备100使用第三深度图像1730执行面部识别(身份识别)时，与电子设备100使用第一深度图像1710执行面部识别时相比，识别性能(识别准确性)可以提高。此外，与电子设备100使用第二深度图像1720执行面部识别时相比，识别速度可以提高。此外，当在远距离识别人的面部时，电子设备100可以增加主要特征区域的分辨率以获得深度图像，从而提高识别性能。
图18是示出根据本公开实施例的电子设备100的配置的框图。
参考图18，根据本公开实施例的电子设备100可以包括眼睛跟踪传感器160、深度传感器150和处理器120。
根据本公开实施例的眼睛跟踪传感器160可以包括向用户的眼睛提供光的照明器和检测光的检测器。照明器可以包括提供光的光源和控制从光源提供的光的方向的扫描镜。扫描镜可以控制方向，以将光源提供的光导向用户的眼睛(例如，角膜)。检测器可以检测从用户的眼睛反射的光，并且测量检测到的光量。眼睛跟踪传感器160可以基于测量的光量来跟踪用户的双眼。
可替代地，根据本公开实施例的眼睛跟踪传感器160可以包括照明器和捕获器。照明器可以包括红外发光二极管(IR LED)，并且当用户的眼睛被捕获时，向用户的眼睛提供光(例如，红外光)。因为光被提供给用户的眼睛，所以反射光可以在用户的眼睛中产生。此外，捕获器可以包括至少一个相机。此时，至少一个相机可以包括红外相机IR。捕获器可以捕获用户的眼睛。眼睛跟踪传感器160可以基于用户的眼睛图像来跟踪用户的眼睛。
根据本公开实施例的深度传感器150可以获得关于现实世界中所包括的一个或多个对象的深度信息。深度信息可以对应于从深度传感器150到特定对象的距离。从深度传感器150到特定对象的距离越大，深度值越大。根据本公开实施例的深度传感器150可以以各种方式获得对象的深度信息。例如，深度传感器150可以使用TOF方法、SI方法或SL方法中的至少一个来获得深度信息。
根据本公开实施例的深度传感器150可以包括至少一个相机，并且获得关于其中包括的相机的FOV中所包括的实际空间的深度信息。
根据本公开实施例的处理器120通常可以控制电子设备100。根据本公开实施例的处理器120可以执行存储在存储器中的一个或多个程序。
根据本公开实施例的存储器可以存储用于驱动和控制电子设备100的各种数据、程序或应用。存储在存储器中的程序可以包括一个或多个指令。存储在存储器中的程序(一个或多个指令)或应用可以由处理器120执行。
根据本公开实施例的处理器120可以基于由眼睛跟踪传感器160获得的用户的眼睛信息来获得关于注视点的信息。例如，处理器120可以基于用户右眼的眼睛方向和用户左眼的眼睛方向来获得相对于用户所注视的点的2D坐标信息(x坐标值和y坐标值)。此外，处理器120可以基于用户右眼的眼睛方向和用户左眼的眼睛方向来估计到用户注视的点的距离(z坐标值)。相应地，处理器120可以获得注视点的2D定位信息和估计的深度信息。
根据本公开实施例的处理器120可以基于注视点的信息将先前相对于注视点设置的区域设置为ROI，并且获得关于ROI中所包括的至少一个对象的深度信息。例如，处理器120可以基于关于注视点的信息来确定深度传感器150的测量参数。深度传感器150的测量参数可以包括与目标区域相关的参数、与发射光的图案相关的参数、与发射光的输出相关的参数等。例如，处理器120可以使用注视点的2D定位信息来确定与目标区域相关的参数，并且使用注视点的估计的深度信息来确定与发射光的图案相关的参数和与发射光的输出相关的参数。
这参考图5至图10进行了详细描述，并且因此将省略其详细描述。处理器120可以基于确定的测量参数来获得关于ROI中所包括的至少一个对象的深度信息。
根据本公开实施例的处理器120可以将深度传感器150的测量参数设置为第一参数集，以获得关于整体空间的低分辨率深度信息。此外，处理器120可以基于低分辨率深度信息中所包括的关于ROI的深度信息来确定第二参数集。处理器120可以将深度传感器150的测量参数设置为第二参数集，以获得关于ROI的高分辨率深度信息。
图19是示出根据本公开另一实施例的电子设备1900的配置的框图。图19的电子设备1900可以是图18的电子设备100的实施例。
参考图19，根据本公开实施例的电子设备1900可以包括感测单元1910、存储器1960、控制器1930、输出器1920、用户输入器1940和通信器1950。
图19的控制器1930和存储器1960分别对应于图18的处理器120和存储器130，并且因此将省略对它们的相同描述。
感测单元1910可以感测电子设备1900的状态或电子设备1900周围的状态，并且可以将感测到的信息发送到控制器1930。
感测单元1910可以包括图像传感器1911、深度传感器1912、眼睛跟踪传感器1913、加速度传感器1914、位置传感器(例如，全球定位系统(GPS))1915、温度/湿度传感器1916、磁传感器1917、陀螺仪传感器1918或麦克风1919中的至少一个，但是感测单元1910不限于此。
根据本公开实施例的图像传感器1911可以获得图像帧，诸如静止图像或运动图像。例如，图像传感器1911可以捕获电子设备1900外部的图像。此时，由图像传感器1911捕获的图像可以由控制器1930或单独的图像处理器(未示出)处理。
图19的深度传感器1912和眼睛跟踪传感器1913分别对应于图18的深度传感器150和眼睛跟踪传感器160，并且因此将省略对它们的相同描述。
麦克风1919可以接收外部声音信号，并且将接收到的信号处理为电语音数据。例如，麦克风1919可以从外部设备或扬声器接收声音信号。麦克风1919可以使用各种降噪算法来消除在接收外部声音信号的过程中产生的噪声。
普通技术人员将理解加速度传感器1914、位置传感器1915、温度/湿度传感器1916、磁传感器1917和陀螺仪传感器1918的功能，并且因此将省略其详细描述。
输出器1920可以是输出音频信号或视频信号或振动信号的输出接口。输出器1920可以包括显示器1921、声音输出器1922、振动马达1923等。
显示器1921可以显示和输出由电子设备1900处理的信息。例如，显示器1921可以显示虚拟对象。
根据本公开的实施例，显示器1921可以是透明显示器或不透明显示器。透明显示器是指其中显示信息的屏幕的背面被反射的信息显示设备。透明显示器可以包括透明设备，并且可以相对于透明设备调节透光率以调节透明度，或者调节每个像素的RGB值以调节透明度。
声音输出器1922可以输出从通信器1950接收的或者存储在存储器1960中的音频数据。此外，声音输出器1922可以输出与电子设备1900执行的功能(例如，呼叫信号接收声音、消息接收声音和警报声音)相关的声音信号。声音输出器1922可以包括扬声器、蜂鸣器等。
根据本公开的实施例，当通过虚拟输入接口产生输入时，声音输出器1922可以输出与产生的输入相对应的音频信号。
振动马达1923可以输出振动信号。例如，振动马达1923可以输出与音频数据或视频数据的输出(例如，呼叫信号接收声音、消息接收声音等)相对应的振动信号。此外，当通过虚拟对象产生输入时，振动马达1923可以输出振动信号。
用户输入器1940可以是用户输入用于控制电子设备1900的数据的用户输入接口。例如，用户输入器1940可以包括键盘、圆顶开关、触摸板(接触电容型、耐压型、红外线检测型、表面超声波传导型、整体张力测量型、压电效应型等)、滚轮、微动开关等，但不限于此。根据本公开的实施例，用户输入器1940可以包括虚拟输入接口。
通信器1950可以是包括用于电子设备1900与外部设备之间或者电子设备1900与服务器之间的通信的一个或多个元件的通信接口。例如，通信器1950可以包括短程无线通信器1951、移动通信器1952和广播接收器1953。
短程无线通信器1951可以包括蓝牙通信器、近场通信器(NFC/RFID)、WLAN(WiFi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、超宽带(UWB)通信器、Ant+通信器等，但是无线通信不限于此。
例如，通信器1950可以将由眼睛跟踪传感器1913获得的用户的眼睛信息(注视点的2D定位信息和估计的深度信息)发送到外部设备，并且可以从外部设备接收与用户的眼睛信息相对应的深度传感器1912的测量参数。
移动通信器1952可以向移动通信网络上的基站、外部终端或服务器中的至少一个发送无线电信号，以及从其接收信号。这里，根据语音呼叫信号、视频呼叫信号或文本/多媒体消息发送/接收，无线电信号可以包括各种类型的数据。
广播接收器1953可以通过广播信道从外部接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。根据实施方式示例，电子设备1900可以不包括广播接收器1953。
存储器1960可以存储用于处理和控制控制器1930的程序，并且存储输入/输出数据(例如，与输入模式、虚拟输入接口相对应的手势信息、通过虚拟输入接口输入的数据、由传感器测量的感测信息、内容等)。
根据本公开实施例的存储器1960可以存储图7B所示的匹配表750。可替代地，根据本公开的实施例，存储器1960可以存储用于基于眼睛信息计算深度传感器1912的测量参数的等式、算法等。
例如，匹配表750可以被存储在只读存储器(ROM)中。当驱动深度传感器时，控制器1930可以将存储在ROM中的匹配表750加载到随机存取存储器(RAM)中，并且通过使用加载的匹配表750来确定与眼睛信息匹配的测量参数。
控制器1930可以向深度传感器1912输出确定的测量参数，以控制深度传感器1912使用确定的测量参数获得深度信息。
存储器1960可以包括闪存类型、硬盘类型、多媒体卡微型、卡类型存储器(例如，SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘或光盘中的至少一种类型的存储介质。此外，电子设备1900可以操作执行存储器1960的存储功能的互联网上的web存储器或云服务器。存储在存储器1960中的程序可以取决于其功能而被分类成多个模块，例如，用户界面(UI)模块1961、通知模块1962等。
UI模块1961可以为每个应用提供与电子设备1900交互工作的专用UI或图形UI(GUI)。此外，根据本公开的实施例，UI模块1961可以选择并提供适合于某一情形的虚拟输入接口。
通知模块1962可以生成用于通知电子设备1900的事件已经发生的信号。电子设备1900中发生的事件的示例可以包括呼叫信号接收、消息接收、通过虚拟输入接口输入的按键信号、日程通知等。通知模块1962可以通过显示器1921以视频信号输出通知信号，通过声音输出器1922以音频信号输出通知信号，和/或通过振动马达1923以振动信号输出通知信号。此外，通知模块1962可以使用外部设备输出触觉信号。
同时，图18和图19中所示的电子设备100和1900的框图是本公开的实施例的框图。根据图像电子设备100和1900的实际实施方式的规范，框图的每个元件可以被集成、添加或省略。也就是说，在必要时，两个或更多个元件可以组合成一个元件，或者一个元件可以细分成两个或更多个元件。此外，在每个框中执行的功能是为了解释本公开的实施例，并且其特定操作或设备不限制本公开的范围。
图20和图21是根据本公开实施例的用于描述由电子设备100执行的自动调节焦点的方法的图。
参考图20，当根据本公开实施例的电子设备100显示虚拟对象2020位于现实对象2010周围时，用户可能经历辐辏-调节冲突(vergence-accommodation conflict)。例如，当从电子设备100到现实对象2010的距离为d1时，电子设备100可以显示虚拟对象2020位于距离d1处。此时，因为用户看到虚拟对象2020位于距离d1处，所以用户双眼的辐辏距离为d1。同时，因为虚拟对象2020实际上显示在电子设备100的显示器上，所以双眼的焦距可以是从用户的眼睛到显示器的距离d2。在这种情况下，辐辏距离和焦距可能不一致，并且当电子设备100被长时间使用时，用户可能会感到虚弱、眩晕和运动障碍。
因此，为了缓解辐辏-调节冲突，根据本公开实施例的电子设备100可以调节焦距(focal length)。
参考图21，根据本公开的实施例，电子设备100可以包括焦点调节透镜2110。焦点调节透镜2110可以指能够调节诸如焦距或光轴位置的光学特性的光学器件，但不限于此。例如，焦点调节透镜2110可以根据施加的电压而局部改变有效折射率。液晶通常可以用于焦点调节透镜2110，但是调节配置不限于此。
根据本公开实施例的电子设备100可以使用眼睛跟踪传感器获得用户的眼睛信息，并且基于用户的眼睛信息，获得关于注视点(例如，现实对象2010)的信息，并且基于关于注视点的信息，获得关于注视点的深度信息。这在图1至图19中详细描述，并且因此将省略其描述。
此外，电子设备100可以基于关于现实对象2010的深度信息来显示虚拟对象2020。例如，电子设备100可以在显示器上显示虚拟对象2020，使得用户认为虚拟对象2020位于通过显示器观察到的现实对象2010周围。
根据本公开实施例的电子设备100可以基于现实对象2010的深度信息(或虚拟对象2020的深度信息)来调节焦距。例如，当到现实对象2010的距离为d1时，电子设备100可以使用焦点调节透镜2110将用户眼睛的焦距调节到d1。此时，电子设备100可以基于用户的眼睛信息获得关于焦点调节透镜2110的整体区域当中用户眼睛穿过的第一区域2121和第二区域2122的信息。电子设备100可以通过调节施加到焦点调节透镜2110的电压来改变折射率，使得第一区域2121和第二区域2122的焦距为d1。相应地，辐辏距离和焦距可以是一致的，并且可以防止辐辏-调节冲突。
图22是根据本公开实施例的用于描述由电子设备100执行的执行基于眼睛的空间建模的方法的图。
参考图22，图22中所示的整体空间2210表示电子设备100中所包括的深度传感器能够感测到的范围内的空间。根据本公开的实施例，电子设备100可以使用眼睛跟踪传感器获得用户的眼睛信息。例如，如参考图2至图4B所述，电子设备100可以获得关于电子设备100的用户所注视的点或空间的2D定位信息和深度信息。电子设备100可以基于获得的信息来获得关于用户所注视的点或空间(注视点)的深度信息。这参考图1至图19进行了详细描述，并且因此将省略其详细描述。例如，当用户注视整体空间2210中的椅子2220时，电子设备100可以获得关于椅子2220的深度信息。电子设备100可以基于关于椅子2220的深度信息来重叠并显示椅子2220周围的虚拟对象。
此外，当用户的眼睛移动时，电子设备100可以基于用户的眼睛已经移动到的空间的信息(2D定位信息和深度信息)来获得关于用户的眼睛移动到的空间的深度信息。
根据本公开的实施例，电子设备100可以实时获得用户的眼睛信息，基于用户的眼睛信息来获得整体空间2210中的注视点，将先前相对于获得的注视点设置的区域设置为ROI，并且获得仅关于所确定的ROI的深度信息。电子设备100可以基于获取的深度信息对ROI执行建模。
相应地，电子设备100可以仅在所需空间上执行建模，从而提高建模速度并降低功耗。
根据本公开实施例的操作电子设备的方法可以以程序命令的形式来实施，该程序命令可以通过各种计算机组件来执行并被记录在计算机可读记录介质中。计算机可读记录介质可以单独地或以组合方式包括程序命令、数据文件、数据结构等。记录在计算机可读记录介质中的程序命令可以是为本公开的实施例专门设计和配置的程序命令，或者是计算机软件领域的技术人员要使用的已知程序命令。计算机可读记录介质的示例可以包括诸如硬盘、软盘和磁带的磁介质，诸如光盘只读存储器(CD-ROM)和数字多功能盘(DVD)的光学介质，诸如软盘的磁光介质，以及诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存的被专门配置为存储和执行程序命令的硬件设备，等等。此外，程序命令的示例包括由编译器创建的机器语言代码和可由计算机使用解释器执行的高级语言代码。
此外，根据本公开的所述实施例，电子设备及其操作方法可以被包括并提供在计算机程序产品中。计算机程序产品可以在卖方和买方之间作为产品进行交易。
计算机程序产品可以包括软件(S/W)程序和其中存储有S/W程序的计算机可读存储介质。例如，计算机程序产品可以包括通过电子设备制造商或电子市场(例如，GooglePlay商店和应用商店)而电子分发的S/W程序形式的产品(例如，可下载的应用)。对于电子分发，S/W程序的至少一部分可以被存储在存储介质中，或者可以临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器、或者用于临时存储S/W程序的中继服务器的存储介质。
在包括服务器和客户端设备的系统中，计算机程序产品可以包括服务器的存储介质或客户端设备的存储介质。可替代地，当存在通信连接到服务器或客户端设备的第三设备(例如，智能电话)时，计算机程序产品可以包括第三设备的存储介质。可替代地，计算机程序产品可以包括从服务器发送到客户端设备或第三设备或者从第三设备发送到客户端设备的S/W程序本身。
在这种情况下，服务器、客户端设备和第三设备中的一个可以执行计算机程序产品来执行根据本公开的所述实施例的方法。可替代地，服务器、客户端设备和第三设备中的两个或更多个可以执行计算机程序产品，以便以分布式方式执行根据本公开的所述实施例的方法。
例如，服务器(例如，云服务器或AI服务器)可以执行存储在服务器中的计算机程序产品，以控制通信地连接到服务器的客户端设备来执行根据本公开的所述实施例的方法。
根据本公开实施例的电子设备可以基于注视点来获得深度信息，并且因此深度感测的效率可以增加且功耗可以减小。
根据本公开实施例的电子设备可以使用针对注视点优化的参数来获得深度信息，从而提高深度信息的准确性。
尽管上面已经详细描述了本公开的实施例，但是本公开的范围不限于此，并且本领域普通技术人员将理解，在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可以对其进行各种修改和改进。

Claims (11)

1.一种电子设备，包括：
眼睛跟踪器；
深度传感器，包括立体相机并且被配置为通过使用立体图像SI方法获得深度信息；以及
一个或多个处理器，被配置为：
通过使用深度传感器的立体相机，获得真实世界中的至少一个对象的图像，
通过使用眼睛跟踪器，获得电子设备的用户的左眼的方向和用户的右眼的方向，
基于用户的左眼的方向和用户的右眼的方向，获得注视点的二维2D位置，
基于注视点的2D位置，将图像的预定区域确定为感兴趣区域ROI，以及
通过使用图像的预定区域，获得ROI中的至少一个对象的深度信息。
2.根据权利要求1所述的电子设备，其中，深度传感器包括第一相机和第二相机，并且
一个或多个处理器还被配置为：
通过使用第一相机获得至少一个对象的第一图像，并且通过使用第二相机获得至少一个对象的第二图像，以及
将针对与注视点的2D位置信息对应的第一图像中的第一点的预定区域确定为第一ROI，并且将针对与注视点的2D位置信息对应的第二图像中的第二点的预定区域确定为第二ROI。
3.根据权利要求2所述的电子设备，其中，一个或多个处理器还被配置为：
通过计算第一ROI的图像和第二ROI的图像之间的差异获得差异图像，以及
基于获得的差异图像获得ROI中的至少一个对象的深度信息。
4.根据权利要求2所述的电子设备，其中，一个或多个处理器还被配置为：
通过使用变焦功能对第一ROI和第二ROI进行变焦来获得放大的ROI的图像，以及
基于放大的图像获得ROI中的至少一个对象的深度信息。
5.根据权利要求1所述的电子设备，还包括：
显示器，被配置为显示真实世界中的至少一个对象，
其中，一个或多个处理器还被配置为控制显示器基于ROI中的至少一个对象的深度信息，在ROI上显示至少一个虚拟对象，使得至少一个虚拟对象与通过显示器观察到的真实世界重叠。
6.一种电子设备的操作方法，所述操作方法包括：
通过使用立体图像SI类型深度传感器中包括的立体相机，获得真实世界中的至少一个对象的图像；
通过使用电子设备的眼睛跟踪器，获得电子设备的用户的左眼的方向和用户的右眼的方向；
基于获得的用户的左眼的方向和获得的用户的右眼的方向，获得注视点的二维2D位置；
基于注视点的2D位置，将图像的预定区域确定为感兴趣区域ROI；以及
通过使用图像的预定区域，获得ROI中的至少一个对象的深度信息。
7.根据权利要求6所述的操作方法，其中，SI类型深度传感器包括第一相机和第二相机，
其中，获得图像包括：通过使用第一相机获得至少一个对象的第一图像，并且通过使用第二相机获得至少一个对象的第二图像，以及
其中，将图像的预定区域确定为感兴趣区域ROI包括：将针对与注视点的2D位置信息对应的第一图像中的第一点的预定区域确定为第一ROI，并且将针对与注视点的2D位置信息对应的第二图像中的第二点的预定区域确定为第二ROI。
8.根据权利要求7所述的操作方法，其中，获得ROI中的至少一个对象的深度信息包括：
通过计算第一ROI的图像和第二ROI的图像之间的差异获得差异图像；以及
基于获得的差异图像获得ROI中的至少一个对象的深度信息。
9.根据权利要求8所述的操作方法，其中，获得ROI中的至少一个对象的深度信息包括：
通过使用变焦功能对第一ROI和第二ROI进行变焦来获得放大的图像，以及
基于放大的图像获得ROI中的至少一个对象的深度信息。
10.根据权利要求6所述的操作方法，还包括：
基于ROI中的至少一个对象的深度信息，在ROI上显示至少一个虚拟对象，使得至少一个虚拟对象与通过电子设备的显示器观察到的真实世界重叠。
11.一种存储程序的非瞬时计算机可读记录介质，所述程序用于执行操作方法，所述操作方法包括：
通过使用立体图像SI类型深度传感器中包括的立体相机，获得真实世界中的至少一个对象的图像；
通过使用电子设备的眼睛跟踪器，获得电子设备的用户的左眼的方向和用户的右眼的方向；
基于获得的用户的左眼的方向和获得的用户的右眼的方向，获得注视点的二维2D位置；
基于注视点的2D位置，将图像的预定区域确定为感兴趣区域ROI；以及
通过使用图像的预定区域，获得ROI中的至少一个对象的深度信息。
CN202311324927.6A 2019-04-11 2020-02-17 头戴式显示设备及其操作方法 Pending CN117590582A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962832544P 2019-04-11 2019-04-11
US62/832,544 2019-04-11
KR10-2019-0106133 2019-08-28
KR1020190106133A KR20200120466A (ko) 2019-04-11 2019-08-28 헤드 마운트 디스플레이 장치 및 그 동작방법
CN202080027905.1A CN113661433B (zh) 2019-04-11 2020-02-17 头戴式显示设备及其操作方法
PCT/KR2020/002225 WO2020209491A1 (en) 2019-04-11 2020-02-17 Head-mounted display device and operating method of the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080027905.1A Division CN113661433B (zh) 2019-04-11 2020-02-17 头戴式显示设备及其操作方法

Publications (1)

Publication Number Publication Date
CN117590582A true CN117590582A (zh) 2024-02-23

Family

ID=72747810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311324927.6A Pending CN117590582A (zh) 2019-04-11 2020-02-17 头戴式显示设备及其操作方法

Country Status (4)

Country Link
US (4) US11249305B2 (zh)
EP (1) EP3911992A4 (zh)
CN (1) CN117590582A (zh)
WO (1) WO2020209491A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209491A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US11195259B2 (en) * 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
US20220269896A1 (en) * 2020-04-13 2022-08-25 Google Llc Systems and methods for image data management
CN116057451A (zh) * 2020-09-03 2023-05-02 三星电子株式会社 改变显示器的设置的方法及电子装置
US11867904B2 (en) 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment
EP4341786A1 (en) * 2021-05-18 2024-03-27 Snap Inc. Augmented reality guided depth estimation
EP4343516A4 (en) * 2021-08-23 2024-04-24 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
US20230342877A1 (en) * 2022-04-20 2023-10-26 Snap Inc. Cached cloud rendering
US11849098B2 (en) * 2022-05-16 2023-12-19 Eyegaze Inc. Gaze-operated point designation on a 3D object or scene

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043218A1 (ja) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
WO2006012678A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
KR20120060978A (ko) 2010-09-30 2012-06-12 한국기초과학지원연구원 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
CN102934458B (zh) * 2011-02-04 2016-06-29 松下电器（美国）知识产权公司 兴趣度估计装置以及兴趣度估计方法
CN103347437B (zh) * 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9098147B2 (en) * 2011-12-29 2015-08-04 Industrial Technology Research Institute Ranging apparatus, ranging method, and interactive display system
US8965741B2 (en) * 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
US20130307855A1 (en) * 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US9934614B2 (en) * 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
CA2820241C (en) 2012-06-13 2020-01-14 Robert G. Hilkes An apparatus and method for enhancing human visual performance in a head worn video system
EP2893388B1 (en) 2012-09-03 2016-08-03 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
EP3483648A1 (en) 2012-09-30 2019-05-15 Optica Amuka (A.A.) Ltd. Lenses with electrically-tunable power and alignment
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) * 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9375844B2 (en) * 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
US20140375541A1 (en) 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
WO2015048030A1 (en) * 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
US10165176B2 (en) 2013-10-31 2018-12-25 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US9298994B2 (en) 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
US10380410B2 (en) * 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US20150346814A1 (en) 2014-05-30 2015-12-03 Vaibhav Thukral Gaze tracking for one or more users
US9865089B2 (en) * 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
KR20160026565A (ko) 2014-09-01 2016-03-09 상명대학교서울산학협력단 양 눈 시선 정보를 이용한 3차원 시선 추적 방법
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US9854227B2 (en) * 2015-01-08 2017-12-26 David G Grossman Depth sensor
US10404969B2 (en) 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
US10419655B2 (en) * 2015-04-27 2019-09-17 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
US10099382B2 (en) * 2015-04-27 2018-10-16 Microsoft Technology Licensing, Llc Mixed environment display of robotic actions
US10007413B2 (en) * 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9641800B2 (en) * 2015-05-29 2017-05-02 Intel Corporation Method and apparatus to present three-dimensional video on a two-dimensional display driven by user interaction
US9824499B2 (en) * 2015-06-23 2017-11-21 Microsoft Technology Licensing, Llc Mixed-reality image capture
US9652897B2 (en) * 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US9887537B2 (en) * 2015-06-30 2018-02-06 Microsoft Technology Licensing, Llc Analog limit on digitally set pulse widths
US9853545B2 (en) * 2015-06-30 2017-12-26 Microsoft Technology Licensing, Llc Power regulator having current and voltage modes
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10007352B2 (en) * 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
US10127725B2 (en) * 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
US10440355B2 (en) 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
KR20180099703A (ko) * 2015-12-31 2018-09-05 톰슨 라이센싱 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
US9924866B2 (en) 2016-01-11 2018-03-27 Heptagon Micro Optics Pte. Ltd. Compact remote eye tracking system including depth sensing capacity
US10209785B2 (en) * 2016-02-02 2019-02-19 Microsoft Technology Licensing, Llc Volatility based cursor tethering
CN113225547A (zh) 2016-02-11 2021-08-06 奇跃公司 减少深度平面之间切换的多深度平面显示系统
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10088898B2 (en) * 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
KR101817952B1 (ko) 2016-06-23 2018-01-12 주식회사 맥스트 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
KR102402467B1 (ko) * 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
US10824229B2 (en) 2017-01-20 2020-11-03 AdHawk Microsystems System and method for resonant eye-tracking
CN110945405B (zh) * 2017-05-31 2024-01-02 奇跃公司 眼睛跟踪校准技术
US10509228B1 (en) * 2017-12-20 2019-12-17 Facebook Technologies, Llc Low field myopia for artificial reality systems
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US10564429B2 (en) * 2018-02-01 2020-02-18 Varjo Technologies Oy Gaze-tracking system using illuminators emitting different wavelengths
US20190239729A1 (en) * 2018-02-05 2019-08-08 Nucleus Dynamics Pte Ltd Remote monitoring of a region of interest
US10349194B1 (en) * 2018-09-26 2019-07-09 Facebook Technologies, Llc Auditory masking for a coherence-controlled calibration system
SE543121C2 (en) * 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
WO2020209491A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US10871823B1 (en) * 2019-05-23 2020-12-22 Facebook Technologies, Llc Systems and methods for using scene understanding for calibrating eye tracking
US10977826B1 (en) * 2019-12-17 2021-04-13 Motorola Solutions, Inc. Safety detection camera system for door closure

Also Published As

Publication number Publication date
US20200326775A1 (en) 2020-10-15
EP3911992A1 (en) 2021-11-24
US20230070385A1 (en) 2023-03-09
US11249305B2 (en) 2022-02-15
US11526004B2 (en) 2022-12-13
WO2020209491A1 (en) 2020-10-15
US11809623B2 (en) 2023-11-07
US20240012474A1 (en) 2024-01-11
US20200326536A1 (en) 2020-10-15
EP3911992A4 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US11809623B2 (en) Head-mounted display device and operating method of the same
US11036304B2 (en) Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10788673B2 (en) User-based context sensitive hologram reaction
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
US20150379770A1 (en) Digital action in response to object interaction
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
US20130326364A1 (en) Position relative hologram interactions
US20140152558A1 (en) Direct hologram manipulation using imu
US20130328925A1 (en) Object focus in a mixed reality environment
US11689877B2 (en) Immersive augmented reality experiences using spatial audio
US20130027548A1 (en) Depth perception device and system
KR20200082109A (ko) 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템
CN111316059B (zh) 使用邻近设备确定对象尺寸的方法和装置
CN113661433B (zh) 头戴式显示设备及其操作方法
KR20210150881A (ko) 전자 장치 및 그 동작 방법
US11527004B2 (en) Electronic device and operation method thereof
US20190364256A1 (en) Method and System for Dynamically Generating Scene-Based Display Content on a Wearable Heads-Up Display
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination