CN113661433A - 头戴式显示设备及其操作方法 - Google Patents

头戴式显示设备及其操作方法 Download PDF

Info

Publication number
CN113661433A
CN113661433A CN202080027905.1A CN202080027905A CN113661433A CN 113661433 A CN113661433 A CN 113661433A CN 202080027905 A CN202080027905 A CN 202080027905A CN 113661433 A CN113661433 A CN 113661433A
Authority
CN
China
Prior art keywords
depth
user
depth information
eye
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080027905.1A
Other languages
English (en)
Other versions
CN113661433B (zh
Inventor
具本坤
高在佑
李洹宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202311324927.6A priority Critical patent/CN117590582A/zh
Priority claimed from PCT/KR2020/002225 external-priority patent/WO2020209491A1/en
Publication of CN113661433A publication Critical patent/CN113661433A/zh
Application granted granted Critical
Publication of CN113661433B publication Critical patent/CN113661433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式显示设备，包括：眼睛跟踪传感器，被配置为通过跟踪用户的双眼获得眼睛信息；深度传感器，被配置为获得关于一个或多个对象的深度信息；以及处理器，被配置为基于眼睛信息来获得关于注视点的信息，并且基于关于注视点的信息来确定深度传感器的测量参数。

Description

头戴式显示设备及其操作方法
技术领域
本公开涉及一种头戴式显示设备及对其进行操作的方法，该头戴式显示设备能够确定现实空间中的注视点以及使用针对该注视点优化的参数来获得深度信息。
背景技术
我们生活的现实世界环境可以被表征为三维(3D)空间。人由于通过组合一双眼睛看到的视觉信息获得的立体效果而感知到3D空间。然而，因为由通用数字设备拍摄的照片或视频是经由以二维(2D)坐标表达3D坐标的技术产生的，所以照片或视频不包括关于空间的信息，诸如对象的深度。为了表达这种空间感，已经开发了使用两个相机一起来捕获和显示立体图像的3D相机或显示器产品。
为了表达三维空间感，关于现实空间内的对象的深度信息可能是必要的。与深度信息相关的深度感测已经在深度传感器能够测量的所有空间范围上执行，而不考虑用户的感兴趣区域(ROI)。具体地，投射光以执行深度感测的深度传感器驱动红外(IR)发光器件(LED)在所有空间范围内投射光，并且因此功耗由于IR LED的驱动而增加。此外，为了获得关于所有空间范围的深度信息，计算量增加。相应地，功耗也增加。因为深度传感器的功耗增加，所以将深度传感器安装在功率和/或计算资源受限的小型设备中存在问题。
此外，由于深度传感器的弱点，传统的深度感测方法可能提供不准确的深度感测。
发明内容
技术方案
本公开的方面涉及一种头戴式显示设备和操作该头戴式显示设备的方法，该头戴式显示设备确定注视点并且使用针对该注视点优化的参数来获得关于相对于该注视点的预设感兴趣区域(ROI)的深度信息。
发明的有益效果
根据本公开实施例的电子设备可以基于注视点来获得深度信息，并且因此，深度感测的效率可以增加，并且功耗可以降低。
根据本公开实施例的电子设备可以使用针对注视点优化的参数来获得深度信息，从而提高深度信息的准确性。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据本公开实施例的电子设备的图；
图2、图3A、图3B、图3C和图3D是根据本公开实施例的用于描述由电子设备执行的跟踪用户的眼睛的方法的图；
图4A和图4B是根据本公开的实施例的用于描述由电子设备执行的获得关于注视点的深度信息的方法的图；
图5A和图5B是根据本公开实施例的用于描述由电子设备执行的基于用户的注视点来确定深度传感器的测量参数的方法的图；
图6、图7A和图7B是根据本公开实施例的用于描述由电子设备执行的在深度传感器使用飞行时间(TOF)方法的情况下确定测量参数的方法的参考图；
图8和图9是根据本公开实施例的用于描述由电子设备执行的在深度传感器使用结构光(SL)方法的情况下确定测量参数的方法的参考图；
图10是根据本公开实施例的用于描述由电子设备执行的在深度传感器使用立体图像(SI)方法的情况下确定测量参数的方法的参考图；
图11是根据本公开实施例的用于描述由电子设备执行的显示虚拟对象的方法的图；
图12是根据本公开实施例的操作电子设备的方法的流程图；
图13是根据本公开实施例的用于描述由电子设备执行的获得深度信息的方法的图；
图14是示出根据本公开实施例的由电子设备执行的获得深度信息的方法的流程图；
图15是示出根据本公开实施例的电子设备重复执行图14的获得深度信息的操作的示例的图；
图16是示出根据本公开实施例的电子设备使用增强现实(AR)方法提供虚拟对象的示例的图；
图17是示出根据本公开实施例的电子设备使用深度信息识别人的面部的示例的图；
图18是示出根据本公开实施例的电子设备的配置的框图；
图19是示出根据本公开另一实施例的电子设备的配置的框图；
图20和图21是根据本公开实施例的用于描述由电子设备执行的自动调节焦点的方法的图；以及
图22是根据本公开实施例的用于描述由电子设备执行的执行基于眼睛的空间建模的方法的图。
具体实施方式
本公开的方面涉及一种头戴式显示设备和操作该头戴式显示设备的方法，该头戴式显示设备确定注视点并且使用针对该注视点优化的参数来获得关于相对于该注视点的预设感兴趣区域(ROI)的深度信息。
附加方面部分将在下面的描述中阐述，并且部分将从描述中显而易见，或者可以通过实践本公开的所呈现的实施例来了解。
根据本公开的实施例，一种头戴式显示设备可以包括：眼睛跟踪传感器，被配置为跟踪用户左眼的焦点位置和用户右眼的焦点位置；深度传感器，被配置为获得关于一个或多个对象的深度信息；以及处理器，被配置为基于用户左眼的焦点位置和用户右眼的焦点位置来确定注视点，并且基于注视点来确定深度传感器的测量参数。
处理器还可以被配置为基于眼睛信息来获得注视点的二维(2D)定位信息。
处理器还可以被配置为基于用户左眼的焦点位置和用户右眼的焦点位置来获得注视点的估计深度信息。
深度传感器还可以被配置为基于用户左眼的焦点位置和用户右眼的焦点位置来获得注视点的估计深度信息。
深度传感器的测量参数可以包括与目标区域相关的参数、与发射光的输出相关的参数或与反射光的感测相关的参数中的至少一个。
处理器还可以被配置为基于关于ROI的深度信息来重新确定深度传感器的测量参数，并且其中深度传感器还可以被配置为根据测量参数再次重新获得关于ROI的深度信息。
深度传感器还可以被配置为通过使用飞行时间(TOF)方法、结构光(SL)方法或立体图像(SI)方法中的至少一个来获得关于ROI的深度信息。
当深度传感器包括TOF深度传感器时，处理器还可以被配置为基于注视点的2D定位信息来确定测量参数，使得深度传感器中所包括的光源当中与注视点相对应的一些光源被驱动，并且其中深度传感器还可以被配置为通过驱动所述一些光源来获得关于ROI的深度信息。
头戴式显示设备还可以包括显示包括ROI的现实空间的显示器，并且其中处理器还可以被配置为基于关于ROI的深度信息来控制显示器在ROI上显示至少一个虚拟对象。
处理器还可以被配置为：将深度传感器的测量参数设置为第一参数；基于第一参数，控制深度传感器以获得关于深度传感器能够感测到的空间的整体深度信息，该空间包括所述ROI；基于整体深度信息，获得关于ROI的第一深度信息；基于第一深度信息，将深度传感器的测量参数设置为第二参数；以及基于第二参数，控制深度传感器以获得关于ROI的第二深度信息。
根据本公开的另一实施例，一种操作电子设备的方法可以包括：跟踪用户左眼的焦点位置和用户右眼的焦点位置；基于用户左眼的焦点位置和用户右眼的焦点位置来获得注视点；以及基于注视点来确定深度传感器的测量参数。
根据本公开的另一实施例，一个或多个非暂时性计算机可读记录介质可以在其上记录用于控制装置以执行本文的方法的程序。
本发明的模式
将描述本文使用的术语，并且将详细描述本公开。
尽管本公开中使用的术语是在考虑到本公开中的功能的情况下用目前普遍使用的通用术语来选择的，但是这些术语可以根据本领域普通技术人员的意图或新技术的引入而变化。此外，在特定情况下可以选择术语，并且术语的含义可以在本公开的相应描述中公开。因此，本公开中使用的术语不应由术语的简单名称来定义，而应由术语的含义和整个公开的内容来定义。
在整个本公开的全部内容中，某一部分可以被假设为包括某一组件，并且术语“包括”意味着相应的组件可以还包括其他组件，除非描述了与相应组件相反的特定含义。在实施例中使用的诸如“单元”或“模块”之类的术语指示用于处理至少一个功能或操作的单元，并且可以用硬件、软件或硬件和软件的组合来实施。
在整个公开中，表达“a、b或c中的至少一个”指示仅a，仅b，仅c，a和b，a和c，b和c，a、b和c的全部，或其变体。
在下文中，将参考附图详细描述本公开的实施例，以允许本领域普通技术人员容易地实施这些实施例。然而，本公开可以以各种形式来实施，并且实施例不限于本文描述的实施例。为了清楚地描述本公开，从附图中省略了与描述不相关联的部分，并且在整个说明书中，相同的附图标记指代相同的部分。
图1是示出根据本公开实施例的电子设备100的图。
参考图1，根据本公开实施例的电子设备100可以是眼镜型可穿戴设备。眼镜型可穿戴设备可以被实施为可戴在头上的头戴式显示器(HMD)。例如，HMD可以包括眼镜、头盔、帽子等形式的设备，但是电子设备100的类型和形式不限于此。
此外，根据本公开实施例的电子设备100可以在各种电子设备中实施，诸如移动电话、智能电话、膝上型计算机、台式电脑、平板PC、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、MP3播放器、摄录像机、互联网协议电视(IPTV)、数字电视(DTV)、可穿戴设备等，但是电子设备100的类型和形式不限于此。
在本公开的实施例中，术语“用户”指代控制电子设备100的功能或操作的人，并且可以包括管理员或安装工程师。
根据本公开实施例的电子设备100可以是以增强现实(AR)、混合现实(MR)或虚拟现实(VR)的形式提供至少一个虚拟对象的设备。
当以AR或MR的形式提供虚拟对象时，电子设备100可以在显示器上显示虚拟对象，使得虚拟对象匹配现实世界中的现实对象的形状、布置、距离和深度。例如，电子设备100可以在现实世界的现实上重叠并显示虚拟对象的图像，但是图像的显示不限于此。
根据本公开实施例的电子设备100可以包括深度传感器150。
深度传感器150可以获得关于现实世界中所包括的一个或多个对象的深度信息。深度信息可以对应于从深度传感器150到特定对象的距离。随着从深度传感器150到特定对象的距离增加，深度值可以相应地增加。
如图1所示，在三维(3D)空间上，X轴可以是穿过电子设备100左右的参考轴，Y轴可以是穿过电子设备100上下的参考轴，并且Z轴可以是穿过电子设备100前后的参考轴。X轴、Y轴和Z轴可以相互垂直。然而，(+/-)X轴、(+/-)Y轴和(+/-)Z轴中的任何一个都可以被分配给特定的方向。
相应地，根据本公开实施例的深度信息可以意味着Z轴上从深度传感器150到特定对象的距离。
根据本公开实施例的深度传感器150可以以各种方式获得对象的深度信息。例如，深度传感器150可以使用飞行时间(TOF)方法、结构光(SL)方法或立体图像(SI)方法中的至少一个来获得深度信息。每种方法将在后面详细描述。
根据本公开实施例的深度传感器150可以包括至少一个相机(图像传感器)。深度传感器150可以获得关于相机的视场(FOV)中所包括的实际空间的深度信息。在下文中，能够被深度传感器150感测到的范围的实际空间被称为“整体空间(whole space)”。通常，“整体空间”对应于图像传感器的整体检测区域。
同时，当电子设备100的用户注视或聚焦于整体空间中的部分空间或特定区域时，关于除该部分空间之外的剩余空间的深度信息可能不如用户所注视的空间那么重要。例如，在电子设备100的用户注视图1所示的房间空间(整体空间10)中桌子周围的空间50的同时，电子设备100使用深度传感器150获得关于整体空间10的深度信息。关于除桌子周围的空间50之外的剩余空间的深度信息可以是不如桌子周围的空间50的深度信息那么重要的信息。在整体空间10中，用户所注视的点和用户所注视的点的周围区域被称为感兴趣区域(ROI)。根据本公开的实施例，ROI可以是相对于用户所注视的整体空间内的点的预定区域。
此外，当电子设备100获得关于整体空间10的深度信息时，因为计算量增加，所以功耗可能相应地增加。结果，电子设备100的响应速度可能降低。此外，当电子设备100不通过仅瞄准部分空间(例如，电子设备100的用户的注视点)来获得深度信息，而是通过瞄准整体空间10来获得深度信息时，关于电子设备100的用户的注视点的深度信息的准确性可能会降低。
相应地，根据本公开实施例的电子设备100可以确定在整体空间10中用户所注视的点。例如，电子设备100可以跟踪用户的每只眼睛的注视，获得其眼睛信息，并且基于眼睛信息来确定用户所注视的点(注视点)。
根据本公开实施例的电子设备100可以基于确定的注视点来调节深度传感器150的测量参数，从而降低获得深度信息所需的功耗并提高深度信息的准确性。
深度传感器150的测量参数可以是在深度传感器150中预先设置的数值信息，作为当使用深度传感器150获得关于至少一个对象的深度信息时获得深度信息所需的参数。例如，深度传感器150的测量参数可以包括与用于发射光的目标区域相关的参数、与用于感测反射光的反射光感测区域相关的参数、与发射光的输出图案相关的参数、与发射光的输出大小相关的参数、与用于感测反射光的感测速度相关的参数、感测时段或感测灵敏度等。
图2、图3A、图3B、图3C和图3D是根据本公开实施例的用于描述由电子设备100执行的跟踪用户的眼睛的方法的图。
参考图2，电子设备100可以跟踪用户的眼睛。通常，“眼睛”的方向是指用户观看的方向，并且“眼睛跟踪”是指测量用户的眼睛(例如，用户所注视的点210)的过程，并且可以通过跟踪双眼的位置和移动来执行。
根据本公开实施例的电子设备100可以包括用于跟踪用户的眼睛的眼睛跟踪传感器160。根据本公开实施例的眼睛跟踪传感器160可以包括用于跟踪用户左眼的第一眼睛跟踪传感器161和用于跟踪用户右眼的第二眼睛跟踪传感器162。第一眼睛跟踪传感器161和第二眼睛跟踪传感器162具有相同的结构并且以相同的方式操作。
图3A是用于描述基于从用户的眼睛320反射的光量来跟踪用户的眼睛的方法的图。
根据本公开实施例的第一眼睛跟踪传感器161和第二眼睛跟踪传感器162具有相同的结构并以相同的方式操作，并且因此第一眼睛跟踪传感器161将在图3A中描述。
参考图3A，根据本公开实施例的第一眼睛跟踪传感器161可以包括向用户的眼睛320提供光的照明器301和检测光的检测器302。照明器301可以包括提供光的光源和控制从光源提供的光的方向的扫描镜。扫描镜可以控制方向，以将从光源提供的光导向用户的眼睛320(例如，角膜310)。扫描镜可以包括这样的结构，通过该结构，反射角可以机械地改变以反射从光源提供的光并将光导向用户的眼睛320，并且可以根据改变的反射角使用从光源提供的光扫描包括角膜310的区域。
检测器302可以检测从用户的眼睛320反射的光，并且测量检测到的光量。例如，当光从用户的角膜310的中心反射时，检测器302检测到的光量可以最大。相应地，当检测器302检测到的光量最大时，第一眼睛跟踪传感器161可以基于光入射到用户的眼睛320上并从用户的眼睛320反射的点330来确定用户的眼睛320的眼睛方向340。例如，当光量最大时，第一眼睛跟踪传感器161可以确定连接光入射到用户的眼睛320上并从用户的眼睛320反射的点330与用户的眼睛320(例如，用户左眼)的眼睛中心点的方向340，但是方法不限于此。
此外，第二眼睛跟踪传感器162也可以以参考图3A描述的相同方式确定用户眼睛(例如，用户右眼)的眼睛方向。
图3B是用于描述基于从用户的眼睛反射的反射光的位置来跟踪用户的眼睛的方法的图。
根据本公开实施例的第一眼睛跟踪传感器161和第二眼睛跟踪传感器162具有相同的结构并且以相同的方式操作，并且因此第一眼睛跟踪传感器161将在图3B中描述。第一眼睛跟踪传感器161可以包括照明器351和捕获器352。照明器351可以包括红外发光二极管(IR LED)。如图3B所示，照明器351可以包括设置在不同位置处的多个发光二极管。当用户的眼睛被跟踪时，照明器351可以向用户的眼睛提供光(例如，红外光)。因为光被提供给用户的眼睛，所以反射光可以在用户的眼睛中产生。
捕获器352可以包括至少一个相机。此时，至少一个相机可以包括红外相机IR。电子设备100可以使用由捕获器352捕获的用户眼睛的图像来跟踪用户眼睛(例如，用户左眼)。例如，第一眼睛跟踪传感器161可以通过从用户眼睛的图像中检测瞳孔和反射光来跟踪用户的眼睛。第一眼睛跟踪传感器161可以从用户眼睛的图像中检测瞳孔和反射光的位置，并且基于瞳孔的位置与反射光的位置之间的关系来确定用户眼睛的眼睛方向。
例如，第一眼睛跟踪传感器161可以从捕获的第一眼睛图像361中检测瞳孔370和反射光381，并且基于瞳孔370的位置与反射光381的位置之间的关系来确定用户眼睛的眼睛方向391。以相同的方式，第一眼睛跟踪传感器161可以分别从第二至第五眼睛图像362、363、364和365中检测瞳孔370以及反射光382、383、384和385，并且基于瞳孔370的位置与反射光382、383、384和385的位置之间的关系来确定用户眼睛的眼睛方向392、393、394和395
此外，第二眼睛跟踪传感器162也可以以参考图3B描述的相同方式确定用户眼睛(例如，用户右眼)的眼睛方向。
图3C是示出用户的眼睛的三维(3D)眼睛模型的图。
参考图2和图3C，电子设备100可以使用第一眼睛跟踪传感器161确定用户左眼的眼睛方向，并且使用第二眼睛跟踪传感器162确定用户右眼的眼睛方向。例如，电子设备100可以基于人类的平均眼睛模型来确定眼睛方向。眼睛模型可以通过假设人类的眼睛3100为球形并且眼睛理想地根据眼睛方向转动来进行建模。此外，眼球模型可以用数学方法来表达，如下面的等式1和等式2所示。
[等式1]
x＝d·tanα，
y＝d·secα·tanβ
[等式2]
β＝sin-1(diff_y/r)，
α＝sin-1(diff_x/rcosβ)
在等式1中，d表示用户眼睛的中心3150与虚拟屏幕3200之间的距离，α表示基于用户眼睛注视于虚拟屏幕3200前面的情况下用户眼睛在x轴方向所转动的角度，并且β表示基于用户眼睛注视于虚拟屏幕3200前面的情况下用户眼睛在y轴方向所转动的角度。此外，在等式2中，r表示当假设用户的眼睛是球体时该球体的半径。
根据本公开的实施例，第一眼睛跟踪传感器161可以使用参考图3A和图3B描述的方法来测量用户的眼睛(例如，左眼)的转动程度(例如，α和β)。电子设备100可以使用用户眼睛的转动程度(α和β)来计算用户眼睛的眼睛方向在虚拟屏幕3200上的二维(2D)坐标。
图3D是根据本公开实施例的用于描述执行眼睛跟踪传感器160的校准的方法的参考图。
作为示例，当用户第一次使用电子设备100时，电子设备100可以校准第一眼睛跟踪传感器161和第二眼睛跟踪传感器162，以准确地测量用户的左眼和右眼。电子设备100可以输出不同深度(例如，d1、d2和d3)的、其上有用于诱导用户眼睛的多个点(通常为9个)的虚拟图像VI1、VI2和VI3，并且相对于多个点中的每一个来诱导用户所注视的点。
当用户注视于虚拟图像VI1、VI2和VI3中的每一个中所包括的点时，电子设备100可以以表格、数组或任何其他数据存储机制的形式来存储从眼睛跟踪传感器160输出的信息(眼睛信息)。
如参考图3A所述，在使用从用户的角膜反射的光量的方法中，电子设备100可以存储扫描镜的反射角和光量的信息作为每个点的眼睛信息，并且在通过使用红外光来捕获用户的眼睛的方法中，可以存储包括用户的眼睛和在每个点处捕获的反射光的图像作为眼睛信息。
电子设备100可以通过将存储的眼睛信息与从眼睛跟踪传感器160输出的测量的眼睛信息进行比较来确定用户眼睛的眼睛方向。电子设备100可以使用从第一眼睛跟踪传感器161输出的眼睛信息来确定用户左眼的眼睛方向，并且可以使用从第二眼睛跟踪传感器162输出的眼睛信息来确定用户右眼的眼睛方向。
如图2所示，电子设备100可以使用用户左眼的眼睛方向、右眼的眼睛方向以及双眼之间的距离来估计在整体空间10中用户所注视的点210的坐标。
例如，电子设备100可以通过使用坐标映射等将用户所注视的点210设置成被映射为在参考图1描述的整体空间10中的2D坐标信息(例如，x坐标值和y坐标值)，或者可以以表格的形式来存储点210。
图4A和图4B是根据本公开实施例的用于描述由电子设备100执行的获得关于注视点430的深度信息的方法的图。
参考图4A，电子设备100可以使用右眼的眼睛方向和左眼的眼睛方向的辐辏(vergence)(将指示眼睛方向的两条虚拟直线相交)来估计关于用户所注视的点的深度信息。
例如，如图4B所示，电子设备100可以基于与左眼相对应的第一眼睛方向410、与右眼相对应的第二眼睛方向420以及双眼之间的距离来计算到注视点430(双眼中的眼睛所聚向(verge)的点)的距离值Z1。根据图4B所示的几何布置，电子设备100可以通过利用使用眼睛跟踪传感器160测量的双眼的眼睛信息和下面的等式3来获得关于注视点430的深度信息。
[等式3]
Figure BDA0003297101330000111
在等式3中，△x表示虚拟屏幕450上左眼的x坐标x1与右眼的x坐标x2之间的差。在这点上，可以假设左眼的y坐标与右眼的y坐标相同来计算差异。此外，在等式3中，a表示用户的双眼之间的距离，并且可以使用预设值(例如，7cm)。此外，D表示用户的眼睛与虚拟屏幕450之间的距离。
电子设备100可以获得到用户双眼的眼睛所聚向的注视点430的距离值Z1，作为z值与D值之和。
可替代地，电子设备100可以基于第一眼睛方向410与第二眼睛方向420之间形成的角度来估计关于注视点430的深度信息(例如，Z1)。第一眼睛方向410与第二眼睛方向420之间形成的角度越小，到注视点430的距离越大，而第一眼睛方向410与第二眼睛方向420之间形成的角度越大，注视点430越近。
图5A和图5B是根据本公开实施例的用于描述由电子设备100执行的基于用户的注视点来确定深度传感器150的测量参数的方法的图。
深度传感器150的测量参数可以是需要在深度传感器150中预先设置的数值信息，以作为当使用深度传感器150获得关于至少一个对象的深度信息时获得深度信息所需的参数。例如，深度传感器150的测量参数可以包括与用于发射光的目标区域相关的参数、与用于感测反射光的反射光感测区域相关的参数、与发射光的输出图案相关的参数、与发射光的输出大小相关的参数、与用于感测反射光的感测速度相关的参数、感测时段或感测灵敏度等。
参考图5A和图5B，根据本公开实施例的电子设备100可以包括眼睛跟踪传感器160、处理器120和深度传感器150。
参考图5A，根据本公开实施例的眼睛跟踪传感器160可以获得用户的眼睛信息。这参考图2至图3D进行了详细描述，并且因此省略其详细描述。
眼睛跟踪传感器160可以将用户的眼睛信息发送到处理器120。处理器120可以基于用户的眼睛信息来获得关于注视点的信息。
例如，处理器120可以基于眼睛信息中所包括的用户左眼的眼睛方向(第一眼睛方向)和用户右眼的眼睛方向(第二眼睛方向)来获得注视点的2D定位信息。处理器120可以使用第一眼睛方向和第二眼睛方向来确定整体空间中相对于用户注视点的2D坐标(例如，x坐标值和y坐标值)。
处理器120可以通过使用注视点的2D定位信息来确定深度传感器150的测量参数。例如，处理器120可以通过使用注视点的2D定位信息来确定目标区域的参数。处理器120可以确定预定ROI作为相对于注视点的目标区域。
深度传感器150可以基于确定的目标区域的参数来获得深度信息。例如，当发光时，光发射器170可以将发光区域限制为目标区域(与注视点相对应的区域)，或者当感测反射光时，传感器180可以将发光区域限制为目标区域(与注视点相对应的区域)。相应地，深度传感器150可以获得关于在目标区域(注视点和注视点的周围区域)而不是整体空间中所包括的对象的深度信息。
参考图5B，根据本公开实施例的眼睛跟踪传感器160可以获得用户的眼睛信息，并且将眼睛信息发送到处理器120。处理器120可以基于用户的眼睛信息来获得注视点的估计的深度信息。例如，处理器120可以基于眼睛信息中所包括的用户的第一眼睛方向和第二眼睛方向来获得注视点的估计的深度信息(例如，z坐标值)。
根据本公开实施例的处理器120可以使用注视点的估计的深度信息来确定与深度传感器150的发射光的输出相关的参数(例如，发射光的输出图案和发射光的输出的幅度)。
例如，处理器120可以确定深度传感器150的参数，使得当估计的深度小时(当距离近时)，从光发射器170发射的光的输出图案(光脉冲的宽度)减小，而当估计的深度大时(当距离远时)，从光发射器170发射的光的输出图案(光脉冲的宽度)增大。此外，当传感器180感测反射光时，处理器120可以确定深度传感器150的参数，使得当估计的深度小时，感测速度或感测时段增加。相反，当估计的深度大时，感测速度或感测时段减小。相应地，深度传感器150可以基于相对于光的输出图案(光脉冲的宽度)和感测速度或感测时段的所确定的参数来获得ROI中所包括的对象的深度信息。此时，ROI可以是相对于注视点的预设区域。
此外，处理器120可以确定深度传感器150的参数，使得当注视点的估计的深度小时，从光发射器170发射的光的输出减少。相反，当估计的深度大时，从光发射器170发射的光的输出增加。此外，当传感器180感测反射光时，电子设备100可以确定深度传感器150的参数，使得当估计的深度小时，灵敏度降低。相反，当估计的深度较大时，灵敏度增加。相应地，深度传感器150可以在考虑所确定的光的输出幅度和感测灵敏度的情况下获得ROI中所包括的对象的深度信息。此时，ROI可以是相对于注视点的预设区域。
在下文中，将根据深度传感器的类型详细描述基于关于注视点的信息(注视点的2D定位信息和注视点的估计的深度信息)来确定深度传感器的测量参数的示例。
图6至图7B是根据本公开实施例的用于描述由电子设备执行的当深度传感器150使用TOF方法时确定测量参数的方法的参考图。
根据本公开实施例的深度传感器150可以包括飞行时间(TOF)深度传感器610。
TOF方法是分析光从对象620反射并返回所花费的时间和测量到对象620的距离d的方法。TOF深度传感器610可以包括光发射器630和传感器单元640。
光发射器630可以被布置成围绕传感器单元640，但是配置不限于此。传感器640可以被布置成围绕光发射器630。
光发射器630可以包括产生预定波长的光的光源。光源可以包括能够发射人眼不可见的红外波长的光的红外发光二极管(IR LED)激光二极管(LD)，但不限于此，并且光源的波段和种类可以被不同地配置。光发射器630可以通过根据控制信号驱动光源来向对象620发射光。例如，光发射器630可以通过以交替方式重复打开和关闭光源光来向对象620发射光。
传感器单元640可以感测从对象620反射并返回的反射光。例如，传感器单元640可以包括光学感测元件，诸如钉扎光电二极管(PPD)、光电门、电荷耦合器件(CCD)等。传感器单元640可以包括被布置成阵列的多个传感器，并且阵列中所包括的一个单元650可以被配置为形成一对同相接受器651和异相接受器652。此时，同相接受器651可以仅在同相状态下(当光发射器630发光时)被激活以检测光，并且异相接受器652可以仅在异相状态下(当光发射器630不发光时)被激活以检测光。
图7A是示出从光发射器630发射的光710、反射光720、由同相接受器接收的光以及由异相接受器接收的光的曲线图。
从光发射器630发射的光710可以从与深度传感器610分隔开预定距离d的对象620反射并返回。与发射光710相比，反射光720可以通过预定距离d导致发生时间延迟。例如，光可能不会在仅当光发射器630发射光710时激活的同相接受器的操作区间中的某个区间期间被接收。此外，相反，反射光可以在异相接受器的操作区间中的某个区间期间被接收。同相接受器和异相接受器可以测量接收的光量。例如，同相接受器和异相接受器可以接收从对象反射的光，产生并累积电子，从而测量累积的电子的量(电荷量)。到对象620的距离d可以如下面的等式4中计算。
[等式4]
Figure BDA0003297101330000141
这里，c表示光速，t表示光710的脉冲的长度，q1表示发光时的累积电荷量(由同相接受器测量的电荷量)，并且q2表示不发光时的累积电荷量(由异相接受器测量的电荷量)。也就是说，距离d越远，开始接收反射光的点越晚。相应地，与q1相比，q2可能相对增加。结果，TOF深度传感器610可以使用等式4来计算深度信息。
同时，根据本公开实施例的电子设备100可以通过使用用户的眼睛信息来确定整体空间中的注视点。电子设备100可以使用眼睛跟踪传感器160来获得用户的眼睛信息，并且可以基于用户的眼睛信息来获得注视点的2D定位信息。
根据本公开实施例的电子设备100可以基于注视点的2D定位信息来控制光发射器630和传感器单元640。
再次参考图6，根据本公开实施例的光发射器630可以划分成多个区域。电子设备100可以为每个区域驱动光源。电子设备100可以驱动多个区域当中与注视点的2D定位信息相对应的区域中所包括的光源。例如，当光发射器630划分成四个区域A1、A2、A3和A4时，电子设备100可以驱动与注视点的2D定位信息相对应的第一区域A1中所包括的光源，并且可以不驱动剩余的第二至第四区域A2、A3和A4中所包括的光源。
相应地，可以减少根据驱动光源的功耗。此外，传感器单元640也可以划分成多个区域。电子设备100可以仅驱动多个区域当中与注视点的2D定位信息相对应的区域中所包括的光源。例如，当传感器单元640划分成四个区域B1、B2、B3和B4时，电子设备100可以通过仅驱动与注视点的2D定位信息相对应的第一区域B1中所包括的传感器来感测信号。相应地，可以减少根据计算深度信息的功耗。
根据本公开实施例的电子设备100可以基于注视点的2D定位信息，仅驱动深度传感器中所包括的光发射器630中与注视点的2D定位信息相对应的区域的光源，通过仅驱动传感器单元640中与注视点的2D定位信息相对应的区域中所包括的传感器来感测信号，并且计算深度信息。
此外，根据本公开实施例的电子设备100可以基于注视点的估计的深度信息来确定发射光710的脉冲的长度、幅度等作为优化的参数。例如，电子设备100可以基于注视点的估计的深度信息来确定光710的脉冲的长度、幅度(光的输出)等。例如，当估计的深度小时(当距离近时)，电子设备100可以减小由光发射器630投射的光710的脉冲的长度(光的波长)，并且减小光710的脉冲的输出。此外，当估计的深度大(即，距离远)时，电子设备100可以增加由光发射器630投射的光710的脉冲的长度(光的波长)，并且增加光710的脉冲的输出。
此外，当传感器单元640感测反射光脉冲时，电子设备100可以在估计的深度小时减小感测速度并降低感测灵敏度。此外，电子设备100可以在估计的深度大时减小感测速度并增加感测灵敏度。如上所述，因为深度传感器的测量参数可以被确定为针对注视点优化的参数，所以可以提高关于注视点的深度信息的准确性。
电子设备100可以计算关于ROI的深度信息，而不计算整体空间的深度信息。相应地，计算深度信息的速度可以增加，并且功耗可以降低。
此外，根据本公开实施例的电子设备100可以基于由深度传感器计算的深度信息(实际深度信息)来重新优化深度传感器的测量参数，并且使用重新优化的测量参数来执行深度感测。相应地，可以进一步提高深度信息的准确性。
图7B是根据本公开实施例的用于描述由电子设备100执行的使用匹配表750来确定深度传感器的测量参数的方法的图。
图7B所示的匹配表750是与用户的眼睛信息和深度传感器的测量参数相对应的表，并且可以被存储在根据本公开实施例的电子设备100中。根据本公开实施例的电子设备100可以使用匹配表750控制图6的光发射器630和传感器单元640。
电子设备100可以基于从眼睛跟踪传感器160获得的用户的眼睛信息来获得注视点的2D定位信息(x坐标和y坐标)和估计的深度信息(z坐标)，并且通过使用匹配表750来确定与获得的2D定位信息和估计的深度信息相对应的测量参数。
例如，当注视点的2D定位信息为(3,4)并且估计的深度信息的z值为3时，电子设备100可以驱动光发射器630的第一区域A1中所包括的光源，并且可以不驱动剩余的第二至第四区域A2、A3和A4中所包括的光源。此外，电子设备100可以仅驱动传感器单元640的第一区域B1中所包括的传感器来感测信号。电子设备100可以控制光发射器630，使得从光发射器630输出的光710的脉冲的幅度为2，光710的脉冲的时段为2ms，并且光710的脉冲的占空比为10％。
可替代地，当注视点的2D定位信息为(-2,-5)并且估计的深度信息的z值为5时，电子设备100可以驱动光发射器630的第三区域A3中所包括的光源，并且可以不驱动剩余的第一区域A1、第二区域A2和第四区域A4中所包括的光源。此外，电子设备100可以仅驱动传感器单元640的第三区域B3中所包括的传感器来感测信号。电子设备100可以控制光发射器630，使得从光发射器630输出的光710的脉冲的幅度为2，光710的脉冲的时段为2ms，并且光710的脉冲的占空比为20％。
根据本公开实施例的电子设备100可以基于从眼睛跟踪传感器160获得的用户的眼睛信息(注视点的2D定位信息和估计的深度信息)实时计算深度传感器的测量参数(例如，与目标区域相关的参数、与发射光的输出相关的参数、与反射光的感测相关的参数等)。此时，电子设备100可以使用预设的等式或算法来计算深度传感器的测量参数。
电子设备100可以通过使用实时计算的测量参数来控制深度传感器的光发射器630和传感器单元640。
同时，根据本公开实施例的电子设备100可以与外部设备执行有线或无线通信(例如，Wi-Fi、蓝牙、Zigbee、红外线等)。电子设备100可以将从眼睛跟踪传感器160获得的用户的眼睛信息(注视点的2D定位信息和估计的深度信息)发送到外部设备。
例如，图7B的匹配表750可以被存储在通过有线或无线通信连接到电子设备100的外部设备中。基于从电子设备100接收的眼睛信息和匹配表750，外部设备可以确定深度传感器的测量参数(例如，与目标区域相关的参数、与发射光的输出相关的参数、与反射光的感测相关的参数等)。
可替代地，外部设备可以基于从电子设备100接收的眼睛信息来实时计算深度传感器的测量参数(例如，与目标区域相关的参数、与发射光的输出相关的参数、与反射光的感测相关的参数等)。此时，外部设备可以通过使用预设的等式或算法来计算测量参数。
外部设备可以将深度传感器的测量参数发送到电子设备100。电子设备100可以使用接收到的深度传感器的测量参数来控制深度传感器的光发射器630和传感器单元640，但是配置不限于此。
图8和图9是根据本公开实施例的由电子设备100执行的用于描述当深度传感器150使用结构光(SL)方法时确定测量参数的方法的参考图。
根据本公开实施例的深度传感器150可以包括SL深度传感器。SL方法是在对象830上反射一图案的光、分析在对象830的表面上形成的图案的形状和位置、以及测量到对象830的距离(深度信息)的方法。通常，SL深度传感器可以将线性图案或点图案的光投射到对象830上。在对象830上形成的光的形式或图案可以根据对象830的弯曲而改变。SL方法可以包括投光器(light projector)810和相机820，并且可以被视为用投光器810替换立体图像型深度传感器中所使用的两个相机之一的结构。通常，固定图案的膜或能够改变图案形状的液晶膜可以设置在由投光器810投射的光的路径上，并且光可以穿过膜，并且因此光的形式或图案可以改变。例如，SL深度传感器可以通过使用算法来分析由投光器810投射的光在对象830的表面上形成的图案的形状和位置，来计算深度信息。
同时，根据本公开实施例的电子设备100可以通过使用用户的眼睛信息来确定在整体空间中的注视点。电子设备100可以通过使用眼睛跟踪传感器来获得用户的眼睛信息，并且可以基于用户的眼睛信息来获得注视点的2D定位信息。根据本公开实施例的电子设备100可以基于注视点的2D定位信息来控制投光器810和相机820。
根据本公开实施例的电子设备100可以控制投光器810将光仅投射到与注视点的2D定位信息相对应的区域。例如，投光器810可以改变液晶膜的图案来透射光，以穿过与注视点的2D定位信息相对应的第二区域C2，并且可以不投射穿过第一区域C1、第三区域C3和第四区域C4的光。相应地，可以减少根据驱动光源的功耗。
此外，相机820还可以划分成多个区域D1、D2、D3和D4，并且电子设备100可以仅使用在多个区域D1、D2、D3和D4当中与注视点的2D定位信息相对应的区域中获得的图像信号来计算深度信息。
例如，图9所示的第一图像910可以是示出固定图案的光作为整体被投射到现实空间上的图像。相机820可以捕获由对象表面上形成的投射光产生的图案。例如，图9所示的第二图像920可以是由投射到整体现实空间上的光产生的图案的图像。电子设备100可以通过分析第二图像920来计算关于现实空间的深度信息。
根据本公开实施例的电子设备100可以通过使用用户双眼的眼睛信息来确定整体空间中的注视点。电子设备100可以通过使用眼睛跟踪传感器来获得双眼的眼睛信息，并且可以基于双眼的眼睛信息来获得注视点的2D定位信息。
当基于双眼的眼睛信息获得了注视点的2D定位信息时，根据本公开实施例的电子设备100可以基于注视点的2D定位信息将固定图案的光仅投射到ROI上。电子设备100可以确定相对于眼睛所指向的注视点的预设区域作为ROI。例如，如图9所示，投光器可以将固定图案的光仅投射到车辆的后部915(ROI)上，并且相机可以获得捕获其上投射有光的ROI915的第三图像930。
相应地，电子设备100可以计算关于ROI 915的深度信息，而不计算整体空间的深度信息，从而提高计算深度信息的速度并降低功耗。
图10是根据本公开实施例的用于描述由电子设备100执行的当深度传感器150使用立体图像(SI)方法时确定测量参数的方法的参考图。
根据本公开实施例的深度传感器150可以包括SI深度传感器。SI方法是指通过使用两个相机来捕获对象的立体效果的方法。在这种情况下，深度传感器可以包括两个相机。深度传感器可以通过使用由每个相机观看的图像的差异信息，基于三角测量的原理来计算相对于特定对象的深度信息(距离)。人类通过进入左眼和右眼的图像之间的差异来感受立体效果。深度传感器以类似于人眼感受立体效应的原理的方式测量距离。例如，当深度小时(距离近)，由两个相机捕获的图像之间的差异大，而当深度大时(距离远)，由两个相机捕获的图像之间的差异小。
在SI方法的情况下，因为需要同时实时处理两个图像，所以需要处理器的快速处理性能，并且需要硬件处理。因此，仅使用小型设备的处理器很难实时处理SI方法。
根据本公开实施例的SI深度传感器可以包括第一相机和第二相机。此时，第一相机和第二相机可以在不同位置处在不同方向上捕获现实空间。例如，第一相机可以在第一位置处在第一方向上捕获现实空间以获得第一图像1010，并且第二相机可以在第二位置处在第二方向上捕获现实空间以获得第二图像1020。在这种情况下，当使用第一图像1010与第二图像1020之间的差异图像时，可以获得整体现实空间的深度信息。
同时，根据本公开实施例的电子设备100可以通过使用用户双眼的眼睛信息来确定整体空间的ROI。电子设备100可以通过使用眼睛跟踪传感器来获得双眼的眼睛信息，并且可以基于双眼的眼睛信息来获得注视点的2D定位信息。例如，当电子设备100的用户的注视点是第一点时，电子设备100可以确定相对于第一点的预设区域作为ROI。图10的第一区域1015表示第一图像1010中的与ROI相对应的区域，并且第二区域1025表示第二图像1020中的与ROI相对应的区域。相应地，电子设备100可以通过仅计算第一区域1015的图像与第二区域1025的图像1030和1040之间的差异图像来计算与ROI相关的深度信息。
当基于双眼的眼睛信息获得了注视点的2D定位信息时，根据本公开实施例的电子设备100可以基于注视点的2D定位信息来确定所捕获的第一图像1010和第二图像1020中的ROI，并且仅计算与ROI相关的深度信息。可替代地，电子设备100可以通过使用变焦功能来放大和捕获ROI，获得与ROI相关的图像1030和1040，并且计算与ROI相关的深度信息。相应地，深度信息的计算速度可以提高，并且功耗可以降低。
图11是根据本公开实施例的用于描述由电子设备100执行的显示虚拟对象1120的方法的图。
参考图11，根据本公开实施例的电子设备100可以基于获得的注视点的深度信息在显示器上显示虚拟对象1120。例如，电子设备100可以以增强现实(AR)的形式显示虚拟对象1120。当以AR的形式显示虚拟对象时，电子设备100可以在显示器上显示虚拟对象1120，使得虚拟对象1120与通过显示器观察到的现实空间1110(现实世界的2D或3D空间)重叠。
例如，电子设备100可以获得注视点周围的区域(例如，桌子周围的区域)的深度信息，并且将与获得的深度信息类似的深度给予虚拟对象1120(例如，花瓶)，使得用户认为虚拟对象1120位于桌子周围的区域中。
图12是根据本公开实施例的操作电子设备100的方法的流程图。
参考图12，根据本公开实施例的电子设备100可以获得用户双眼的眼睛信息(S1210)。
根据本公开实施例的电子设备100可以使用眼睛跟踪传感器向用户的眼睛(左眼和右眼)提供光，并且可以感测从用户的眼睛反射的光量。电子设备100可以基于感测到的光量来确定双眼的眼睛方向。
可替代地，电子设备100可以使用眼睛跟踪传感器向用户的眼睛提供光，并且可以捕获用户的眼睛。此外，电子设备100可以基于捕获的眼睛的相应图像来确定双眼的眼睛方向。
根据本公开实施例的电子设备100可以基于眼睛信息来获得注视点(S1220)。
电子设备100可以基于用户右眼的眼睛方向和用户左眼的眼睛方向来获得相对于用户所注视的点的2D坐标信息(x坐标值和y坐标值)。此外，电子设备100基于用户右眼的眼睛方向和用户左眼的眼睛方向来估计到用户所注视的点的距离(z坐标值)。相应地，电子设备100可以获得注视点的2D定位信息和估计的深度信息。
根据本公开实施例的电子设备100可以基于关于注视点的信息来确定深度传感器的测量参数(S1230)。
深度传感器的测量参数可以包括与目标区域相关的参数、与发射光的输出相关的参数(发射光的输出图案和发射光的输出的幅度)或与反射光的感测相关的参数中的至少一个。例如，电子设备100可以通过使用注视点的2D定位信息来确定与目标区域相关的参数，并且可以通过使用注视点的估计的深度信息来确定与发射光的输出相关的参数(发射光的输出图案和发射光的输出的幅度)和与反射光的感测相关的参数。这将参考图5A至图10进行详细描述，并且因此将省略其详细描述。
根据本公开实施例的电子设备100可以基于确定的测量参数来获得关于相对于注视点的预设ROI中所包括的至少一个对象的深度信息。
图13是根据本公开实施例的用于描述由电子设备100执行的获得深度信息1330和1340的方法的图。
根据本公开实施例的深度传感器可以包括至少一个相机，并且获得关于深度传感器中包括的相机的视场(FOV)中所包括的现实空间1310的深度信息。在下文中，深度传感器能够感测到的范围的空间(现实空间1310)将被称为“整体空间”
如图13所示，根据本公开实施例的电子设备100可以确定整体空间1310的ROI1320。
例如，如参考图2至图3D所述，电子设备100可以通过使用眼睛跟踪传感器来获得用户双眼的眼睛信息，并且基于双眼的眼睛信息来获得用户的注视点。此外，先前相对于注视点设置的区域可以基于获得的注视点而被确定为ROI 1320。可替代地，电子设备100可以获得整体空间1310的图像，并且使用对象识别技术来识别所确定的ROI 1320内的主要对象(例如，人、脸、手等)，从而将识别的主要对象而不是先前相对于注视点设置的区域确定为ROI 1320。
当确定ROI 1320时，电子设备100可以相对于ROI 1320和除ROI 1320之外的剩余空间使用不同测量参数来获得深度信息。
例如，电子设备100可以将深度传感器的测量参数设置为第一参数，以获得关于ROI的深度信息1330。此时，电子设备100可以基于注视点的信息来设置第一参数。例如，电子设备100可以基于注视点的2D定位信息将先前相对于注视点设置的区域设置为ROI1320，并且设置发光区域、光感测区域等以对应于所设置的ROI 1320。此外，电子设备100可以基于注视点的估计的深度信息来设置发射光或光输出的图案。
例如，当深度传感器是TOF深度传感器时，传感器单元可以通过增加采样速率或减少采样周期来感测与ROI相对应的信号，并且可以不感测与剩余区域相对应的信号，从而获得关于ROI的高分辨率深度信息。
此外，电子设备100可以将深度传感器的测量参数设置为第二参数，以获得关于除ROI 1320之外的剩余区域的深度信息1340。例如，当深度传感器是TOF深度传感器时，传感器单元可以通过降低采样速率或增加采样周期来感测与剩余区域相对应的信号，并且可以不感测与ROI相对应的信号，从而获得关于ROI的低分辨率深度信息。
可替代地，电子设备100可以获得关于包括ROI的整体空间1310的低分辨率深度信息。
相应地，电子设备100可以获得关于ROI的高度准确的深度信息(高分辨率深度信息)，并且还获得关于剩余区域(注视点周围的区域)的近似深度信息(低分辨率深度信息)。
图14是示出根据本公开实施例的由电子设备100执行的获得深度信息的方法的流程图。
参考图14，根据本公开实施例的电子设备100可以确定整体空间中的ROI(S1410)。参考图13详细描述了确定ROI的方法，并且因此将省略其详细描述。
电子设备100可以将深度传感器的测量参数设置为第一参数集，以获得关于整体空间的深度信息(S1420)。
例如，电子设备100可以获得关于整体空间的低分辨率深度信息。
电子设备100可以基于关于整体空间的深度信息来获得关于ROI的第一深度信息(S1430)。
例如，电子设备100可以确定关于整体空间的深度信息中所包括的关于ROI的深度信息作为第一深度信息。
电子设备100可以基于第一深度信息来确定第二参数集(S1440)。例如，电子设备100可以基于ROI的第一深度信息来确定与深度传感器的发射光的输出相关的参数(发射光的输出图案和发射光的输出的幅度)，或者与反射光的感测相关的参数。
电子设备100可以通过使用具有被设置为第二参数集的测量参数的深度传感器来获得关于ROI的第二深度信息(S1450)。此时，第二深度信息可以是高分辨率深度信息，并且可以是具有比在S1420中获得的低分辨率深度信息的准确性更高的准确性的深度信息。
图15是示出根据本公开实施例的电子设备100重复执行图14的获得深度信息的操作的示例的图。
参考图15，根据本公开实施例的电子设备100可以以交替的方式定期地重复执行获得关于整体空间的深度信息1510(低分辨率深度信息)的操作(S1420)和获得关于ROI的第二深度信息1520(高分辨率深度信息)的操作(S1450)。
例如，电子设备100可以设置用于获得关于整体空间的深度信息1510的第一时段T1和用于获得关于ROI的第二深度信息1520的第二时段T2。此时，电子设备100可以根据电子设备100的移动来调节第一时段T1，以调节除ROI之外的剩余区域的深度信息的更新时段。也就是说，电子设备100可以根据通过电子设备100的移动而产生的图像中除ROI之外的剩余区域的移动的变化量来调节第一时段T1。例如，当电子设备100的移动小时(当电子设备100静止时)，电子设备100可以增加第一时段T1。相反地，当电子设备100的移动大时(当电子设备100为动态时)，电子设备100可以减小第二时段T2。
此外，电子设备100可以根据电子设备100的用户与显示在注视点上的虚拟对象之间的交互所需的最小时间来调节第二时段T2。例如，电子设备100可以将第二时段T2设置为等于或短于更新关于进行交互的手的深度信息(诸如手势识别)所需的最小时间，但不限于此。
图16是示出根据本公开实施例的电子设备100使用AR方法来提供虚拟对象1630的示例的图。
参考图16，根据本公开实施例的电子设备100可以包括至少一个相机(图像传感器)。例如，至少一个相机可以是深度传感器中所包括的深度相机或者与深度传感器分开提供的相机。
至少一个相机可以获得与相机的FOV中所包括的空间相对应的图像1610。电子设备100可以从获得的图像1610中检测主要对象。例如，电子设备100可以使用AR方法来显示虚拟对象1630，使得用户认为虚拟对象1630位于现实对象1620附近。此外，当电子设备100的用户通过使用手与虚拟对象1630进行交互时，主要对象可以是用户的手1640。
电子设备100可以从获得的图像1610中检测手1640的区域，确定手1640的区域作为ROI，并且确定除手1640的区域之外的剩余区域作为背景区域。
电子设备100可以获得关于ROI的高分辨率深度信息和关于背景区域的低分辨率深度信息。例如，电子设备100可以设置深度传感器的测量参数，以相对于手1640的区域获得高准确性的深度信息，从而获得高分辨率的深度信息。同时，电子设备100可以设置深度传感器的测量参数，以相对于背景区域获得低准确性的深度信息，从而获得低分辨率深度信息。
电子设备100可以使用手1640的区域的高分辨率深度信息来估计手1640的姿态或者识别手1640的姿势。同时，电子设备100可以使用关于背景区域的低分辨率深度信息来执行相机姿态跟踪或背景建模，但是配置不限于此。
图17是示出根据本公开实施例的电子设备100使用深度信息来识别人的面部的示例的图。
参考图17，根据本公开实施例的电子设备100可以包括至少一个相机。例如，至少一个相机可以是深度传感器中所包括的深度相机或者与深度传感器分开提供的相机。至少一个相机可以获得包括面部的图像。
电子设备100可以从获得的面部图像中检测主要特征区域。例如，在人的面部中，眼睛、鼻子和嘴巴区域可以是区别于其他人的重要区域。电子设备100可以从面部图像中检测眼睛、鼻子和嘴巴区域。根据本公开实施例的电子设备100可以获得相对于面部的眼睛、鼻子和嘴区域1740的高分辨率深度信息以及相对于剩余区域的低分辨率深度信息。
图17的第一深度图像1710表示相对于整体面部区域获得的低分辨率深度信息，并且第二深度图像1720表示相对于整体面部区域获得的高分辨率深度信息。此外，第三深度图像1730表示由电子设备100获得的相对于眼睛、鼻子和嘴巴区域1740的高分辨率深度信息以及相对于剩余区域的低分辨率深度信息。
根据本公开的实施例，当电子设备100使用第三深度图像1730执行面部识别(身份识别)时，与电子设备100使用第一深度图像1710执行面部识别时相比，识别性能(识别准确性)可以提高。此外，与电子设备100使用第二深度图像1720执行面部识别时相比，识别速度可以提高。此外，当在远距离识别人的面部时，电子设备100可以增加主要特征区域的分辨率以获得深度图像，从而提高识别性能。
图18是示出根据本公开实施例的电子设备100的配置的框图。
参考图18，根据本公开实施例的电子设备100可以包括眼睛跟踪传感器160、深度传感器150和处理器120。
根据本公开实施例的眼睛跟踪传感器160可以包括向用户的眼睛提供光的照明器和检测光的检测器。照明器可以包括提供光的光源和控制从光源提供的光的方向的扫描镜。扫描镜可以控制方向，以将光源提供的光导向用户的眼睛(例如，角膜)。检测器可以检测从用户的眼睛反射的光，并且测量检测到的光量。眼睛跟踪传感器160可以基于测量的光量来跟踪用户的双眼。
可替代地，根据本公开实施例的眼睛跟踪传感器160可以包括照明器和捕获器。照明器可以包括红外发光二极管(IR LED)，并且当用户的眼睛被捕获时，向用户的眼睛提供光(例如，红外光)。因为光被提供给用户的眼睛，所以反射光可以在用户的眼睛中产生。此外，捕获器可以包括至少一个相机。此时，至少一个相机可以包括红外相机IR。捕获器可以捕获用户的眼睛。眼睛跟踪传感器160可以基于用户的眼睛图像来跟踪用户的眼睛。
根据本公开实施例的深度传感器150可以获得关于现实世界中所包括的一个或多个对象的深度信息。深度信息可以对应于从深度传感器150到特定对象的距离。从深度传感器150到特定对象的距离越大，深度值越大。根据本公开实施例的深度传感器150可以以各种方式获得对象的深度信息。例如，深度传感器150可以使用TOF方法、SI方法或SL方法中的至少一个来获得深度信息。
根据本公开实施例的深度传感器150可以包括至少一个相机，并且获得关于其中包括的相机的FOV中所包括的实际空间的深度信息。
根据本公开实施例的处理器120通常可以控制电子设备100。根据本公开实施例的处理器120可以执行存储在存储器中的一个或多个程序。
根据本公开实施例的存储器可以存储用于驱动和控制电子设备100的各种数据、程序或应用。存储在存储器中的程序可以包括一个或多个指令。存储在存储器中的程序(一个或多个指令)或应用可以由处理器120执行。
根据本公开实施例的处理器120可以基于由眼睛跟踪传感器160获得的用户的眼睛信息来获得关于注视点的信息。例如，处理器120可以基于用户右眼的眼睛方向和用户左眼的眼睛方向来获得相对于用户所注视的点的2D坐标信息(x坐标值和y坐标值)。此外，处理器120可以基于用户右眼的眼睛方向和用户左眼的眼睛方向来估计到用户注视的点的距离(z坐标值)。相应地，处理器120可以获得注视点的2D定位信息和估计的深度信息。
根据本公开实施例的处理器120可以基于注视点的信息将先前相对于注视点设置的区域设置为ROI，并且获得关于ROI中所包括的至少一个对象的深度信息。例如，处理器120可以基于关于注视点的信息来确定深度传感器150的测量参数。深度传感器150的测量参数可以包括与目标区域相关的参数、与发射光的图案相关的参数、与发射光的输出相关的参数等。例如，处理器120可以使用注视点的2D定位信息来确定与目标区域相关的参数，并且使用注视点的估计的深度信息来确定与发射光的图案相关的参数和与发射光的输出相关的参数。
这参考图5至图10进行了详细描述，并且因此将省略其详细描述。处理器120可以基于确定的测量参数来获得关于ROI中所包括的至少一个对象的深度信息。
根据本公开实施例的处理器120可以将深度传感器150的测量参数设置为第一参数集，以获得关于整体空间的低分辨率深度信息。此外，处理器120可以基于低分辨率深度信息中所包括的关于ROI的深度信息来确定第二参数集。处理器120可以将深度传感器150的测量参数设置为第二参数集，以获得关于ROI的高分辨率深度信息。
图19是示出根据本公开另一实施例的电子设备1900的配置的框图。图19的电子设备1900可以是图18的电子设备100的实施例。
参考图19，根据本公开实施例的电子设备1900可以包括感测单元1910、存储器1960、控制器1930、输出器1920、用户输入器1940和通信器1950。
图19的控制器1930和存储器1960分别对应于图18的处理器120和存储器130，并且因此将省略对它们的相同描述。
感测单元1910可以感测电子设备1900的状态或电子设备1900周围的状态，并且可以将感测到的信息发送到控制器1930。
感测单元1910可以包括图像传感器1911、深度传感器1912、眼睛跟踪传感器1913、加速度传感器1914、位置传感器(例如，全球定位系统(GPS))1915、温度/湿度传感器1916、磁传感器1917、陀螺仪传感器1918或麦克风1919中的至少一个，但是感测单元1910不限于此。
根据本公开实施例的图像传感器1911可以获得图像帧，诸如静止图像或运动图像。例如，图像传感器1911可以捕获电子设备1900外部的图像。此时，由图像传感器1911捕获的图像可以由控制器1930或单独的图像处理器(未示出)处理。
图19的深度传感器1912和眼睛跟踪传感器1913分别对应于图18的深度传感器150和眼睛跟踪传感器160，并且因此将省略对它们的相同描述。
麦克风1919可以接收外部声音信号，并且将接收到的信号处理为电语音数据。例如，麦克风1919可以从外部设备或扬声器接收声音信号。麦克风1919可以使用各种降噪算法来消除在接收外部声音信号的过程中产生的噪声。
普通技术人员将理解加速度传感器1914、位置传感器1915、温度/湿度传感器1916、磁传感器1917和陀螺仪传感器1918的功能，并且因此将省略其详细描述。
输出器1920可以是输出音频信号或视频信号或振动信号的输出接口。输出器1920可以包括显示器1921、声音输出器1922、振动马达1923等。
显示器1921可以显示和输出由电子设备1900处理的信息。例如，显示器1921可以显示虚拟对象。
根据本公开的实施例，显示器1921可以是透明显示器或不透明显示器。透明显示器是指其中显示信息的屏幕的背面被反射的信息显示设备。透明显示器可以包括透明设备，并且可以相对于透明设备调节透光率以调节透明度，或者调节每个像素的RGB值以调节透明度。
声音输出器1922可以输出从通信器1950接收的或者存储在存储器1960中的音频数据。此外，声音输出器1922可以输出与电子设备1900执行的功能(例如，呼叫信号接收声音、消息接收声音和警报声音)相关的声音信号。声音输出器1922可以包括扬声器、蜂鸣器等。
根据本公开的实施例，当通过虚拟输入接口产生输入时，声音输出器1922可以输出与产生的输入相对应的音频信号。
振动马达1923可以输出振动信号。例如，振动马达1923可以输出与音频数据或视频数据的输出(例如，呼叫信号接收声音、消息接收声音等)相对应的振动信号。此外，当通过虚拟对象产生输入时，振动马达1923可以输出振动信号。
用户输入器1940可以是用户输入用于控制电子设备1900的数据的用户输入接口。例如，用户输入器1940可以包括键盘、圆顶开关、触摸板(接触电容型、耐压型、红外线检测型、表面超声波传导型、整体张力测量型、压电效应型等)、滚轮、微动开关等，但不限于此。根据本公开的实施例，用户输入器1940可以包括虚拟输入接口。
通信器1950可以是包括用于电子设备1900与外部设备之间或者电子设备1900与服务器之间的通信的一个或多个元件的通信接口。例如，通信器1950可以包括短程无线通信器1951、移动通信器1952和广播接收器1953。
短程无线通信器1951可以包括蓝牙通信器、近场通信器(NFC/RFID)、WLAN(WiFi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、超宽带(UWB)通信器、Ant+通信器等，但是无线通信不限于此。
例如，通信器1950可以将由眼睛跟踪传感器1913获得的用户的眼睛信息(注视点的2D定位信息和估计的深度信息)发送到外部设备，并且可以从外部设备接收与用户的眼睛信息相对应的深度传感器1912的测量参数。
移动通信器1952可以向移动通信网络上的基站、外部终端或服务器中的至少一个发送无线电信号，以及从其接收信号。这里，根据语音呼叫信号、视频呼叫信号或文本/多媒体消息发送/接收，无线电信号可以包括各种类型的数据。
广播接收器1953可以通过广播信道从外部接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。根据实施方式示例，电子设备1900可以不包括广播接收器1953。
存储器1960可以存储用于处理和控制控制器1930的程序，并且存储输入/输出数据(例如，与输入模式、虚拟输入接口相对应的手势信息、通过虚拟输入接口输入的数据、由传感器测量的感测信息、内容等)。
根据本公开实施例的存储器1960可以存储图7B所示的匹配表750。可替代地，根据本公开的实施例，存储器1960可以存储用于基于眼睛信息计算深度传感器1912的测量参数的等式、算法等。
例如，匹配表750可以被存储在只读存储器(ROM)中。当驱动深度传感器时，控制器1930可以将存储在ROM中的匹配表750加载到随机存取存储器(RAM)中，并且通过使用加载的匹配表750来确定与眼睛信息匹配的测量参数。
控制器1930可以向深度传感器1912输出确定的测量参数，以控制深度传感器1912使用确定的测量参数获得深度信息。
存储器1960可以包括闪存类型、硬盘类型、多媒体卡微型、卡类型存储器(例如，SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘或光盘中的至少一种类型的存储介质。此外，电子设备1900可以操作执行存储器1960的存储功能的互联网上的web存储器或云服务器。存储在存储器1960中的程序可以取决于其功能而被分类成多个模块，例如，用户界面(UI)模块1961、通知模块1962等。
UI模块1961可以为每个应用提供与电子设备1900交互工作的专用UI或图形UI(GUI)。此外，根据本公开的实施例，UI模块1961可以选择并提供适合于某一情形的虚拟输入接口。
通知模块1962可以生成用于通知电子设备1900的事件已经发生的信号。电子设备1900中发生的事件的示例可以包括呼叫信号接收、消息接收、通过虚拟输入接口输入的按键信号、日程通知等。通知模块1962可以通过显示器1921以视频信号输出通知信号，通过声音输出器1922以音频信号输出通知信号，和/或通过振动马达1923以振动信号输出通知信号。此外，通知模块1962可以使用外部设备输出触觉信号。
同时，图18和图19中所示的电子设备100和1900的框图是本公开的实施例的框图。根据图像电子设备100和1900的实际实施方式的规范，框图的每个元件可以被集成、添加或省略。也就是说，在必要时，两个或更多个元件可以组合成一个元件，或者一个元件可以细分成两个或更多个元件。此外，在每个框中执行的功能是为了解释本公开的实施例，并且其特定操作或设备不限制本公开的范围。
图20和图21是根据本公开实施例的用于描述由电子设备100执行的自动调节焦点的方法的图。
参考图20，当根据本公开实施例的电子设备100显示虚拟对象2020位于现实对象2010周围时，用户可能经历辐辏-调节冲突(vergence-accommodation conflict)。例如，当从电子设备100到现实对象2010的距离为d1时，电子设备100可以显示虚拟对象2020位于距离d1处。此时，因为用户看到虚拟对象2020位于距离d1处，所以用户双眼的辐辏距离为d1。同时，因为虚拟对象2020实际上显示在电子设备100的显示器上，所以双眼的焦距可以是从用户的眼睛到显示器的距离d2。在这种情况下，辐辏距离和焦距可能不一致，并且当电子设备100被长时间使用时，用户可能会感到虚弱、眩晕和运动障碍。
因此，为了缓解辐辏-调节冲突，根据本公开实施例的电子设备100可以调节焦距(focal length)。
参考图21，根据本公开的实施例，电子设备100可以包括焦点调节透镜2110。焦点调节透镜2110可以指能够调节诸如焦距或光轴位置的光学特性的光学器件，但不限于此。例如，焦点调节透镜2110可以根据施加的电压而局部改变有效折射率。液晶通常可以用于焦点调节透镜2110，但是调节配置不限于此。
根据本公开实施例的电子设备100可以使用眼睛跟踪传感器获得用户的眼睛信息，并且基于用户的眼睛信息，获得关于注视点(例如，现实对象2010)的信息，并且基于关于注视点的信息，获得关于注视点的深度信息。这在图1至图19中详细描述，并且因此将省略其描述。
此外，电子设备100可以基于关于现实对象2010的深度信息来显示虚拟对象2020。例如，电子设备100可以在显示器上显示虚拟对象2020，使得用户认为虚拟对象2020位于通过显示器观察到的现实对象2010周围。
根据本公开实施例的电子设备100可以基于现实对象2010的深度信息(或虚拟对象2020的深度信息)来调节焦距。例如，当到现实对象2010的距离为d1时，电子设备100可以使用焦点调节透镜2110将用户眼睛的焦距调节到d1。此时，电子设备100可以基于用户的眼睛信息获得关于焦点调节透镜2110的整体区域当中用户眼睛穿过的第一区域2121和第二区域2122的信息。电子设备100可以通过调节施加到焦点调节透镜2110的电压来改变折射率，使得第一区域2121和第二区域2122的焦距为d1。相应地，辐辏距离和焦距可以是一致的，并且可以防止辐辏-调节冲突。
图22是根据本公开实施例的用于描述由电子设备100执行的执行基于眼睛的空间建模的方法的图。
参考图22，图22中所示的整体空间2210表示电子设备100中所包括的深度传感器能够感测到的范围内的空间。根据本公开的实施例，电子设备100可以使用眼睛跟踪传感器获得用户的眼睛信息。例如，如参考图2至图4B所述，电子设备100可以获得关于电子设备100的用户所注视的点或空间的2D定位信息和深度信息。电子设备100可以基于获得的信息来获得关于用户所注视的点或空间(注视点)的深度信息。这参考图1至图19进行了详细描述，并且因此将省略其详细描述。例如，当用户注视整体空间2210中的椅子2220时，电子设备100可以获得关于椅子2220的深度信息。电子设备100可以基于关于椅子2220的深度信息来重叠并显示椅子2220周围的虚拟对象。
此外，当用户的眼睛移动时，电子设备100可以基于用户的眼睛已经移动到的空间的信息(2D定位信息和深度信息)来获得关于用户的眼睛移动到的空间的深度信息。
根据本公开的实施例，电子设备100可以实时获得用户的眼睛信息，基于用户的眼睛信息来获得整体空间2210中的注视点，将先前相对于获得的注视点设置的区域设置为ROI，并且获得仅关于所确定的ROI的深度信息。电子设备100可以基于获取的深度信息对ROI执行建模。
相应地，电子设备100可以仅在所需空间上执行建模，从而提高建模速度并降低功耗。
根据本公开实施例的操作电子设备的方法可以以程序命令的形式来实施，该程序命令可以通过各种计算机组件来执行并被记录在计算机可读记录介质中。计算机可读记录介质可以单独地或以组合方式包括程序命令、数据文件、数据结构等。记录在计算机可读记录介质中的程序命令可以是为本公开的实施例专门设计和配置的程序命令，或者是计算机软件领域的技术人员要使用的已知程序命令。计算机可读记录介质的示例可以包括诸如硬盘、软盘和磁带的磁介质，诸如光盘只读存储器(CD-ROM)和数字多功能盘(DVD)的光学介质，诸如软盘的磁光介质，以及诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存的被专门配置为存储和执行程序命令的硬件设备，等等。此外，程序命令的示例包括由编译器创建的机器语言代码和可由计算机使用解释器执行的高级语言代码。
此外，根据本公开的所述实施例，电子设备及其操作方法可以被包括并提供在计算机程序产品中。计算机程序产品可以在卖方和买方之间作为产品进行交易。
计算机程序产品可以包括软件(S/W)程序和其中存储有S/W程序的计算机可读存储介质。例如，计算机程序产品可以包括通过电子设备制造商或电子市场(例如，GooglePlay商店和应用商店)而电子分发的S/W程序形式的产品(例如，可下载的应用)。对于电子分发，S/W程序的至少一部分可以被存储在存储介质中，或者可以临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器、或者用于临时存储S/W程序的中继服务器的存储介质。
在包括服务器和客户端设备的系统中，计算机程序产品可以包括服务器的存储介质或客户端设备的存储介质。可替代地，当存在通信连接到服务器或客户端设备的第三设备(例如，智能电话)时，计算机程序产品可以包括第三设备的存储介质。可替代地，计算机程序产品可以包括从服务器发送到客户端设备或第三设备或者从第三设备发送到客户端设备的S/W程序本身。
在这种情况下，服务器、客户端设备和第三设备中的一个可以执行计算机程序产品来执行根据本公开的所述实施例的方法。可替代地，服务器、客户端设备和第三设备中的两个或更多个可以执行计算机程序产品，以便以分布式方式执行根据本公开的所述实施例的方法。
例如，服务器(例如，云服务器或AI服务器)可以执行存储在服务器中的计算机程序产品，以控制通信地连接到服务器的客户端设备来执行根据本公开的所述实施例的方法。
根据本公开实施例的电子设备可以基于注视点来获得深度信息，并且因此深度感测的效率可以增加且功耗可以减小。
根据本公开实施例的电子设备可以使用针对注视点优化的参数来获得深度信息，从而提高深度信息的准确性。
尽管上面已经详细描述了本公开的实施例，但是本公开的范围不限于此，并且本领域普通技术人员将理解，在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可以对其进行各种修改和改进。

Claims (20)

1.一种头戴式显示设备，包括：
眼睛跟踪电路，被配置为获得用户左眼的方向和用户右眼的方向；
深度传感器，被配置为获得关于一个或多个对象的深度信息；以及
一个或多个处理器，被配置为基于所述用户左眼的方向和所述用户右眼的方向来确定注视点，并且基于所述注视点来确定所述深度传感器的测量参数。
2.根据权利要求1所述的头戴式显示设备，其中，所述一个或多个处理器还被配置为基于所述用户左眼的方向和所述用户右眼的方向来获得所述注视点的二维(2D)定位信息。
3.根据权利要求2所述的头戴式显示设备，其中，所述一个或多个处理器还被配置为基于所述用户左眼的方向和所述用户右眼的方向来获得所述注视点的估计的深度信息。
4.根据权利要求1所述的头戴式显示设备，其中，所述深度传感器还被配置为根据所述测量参数获得关于相对于所述注视点设置的感兴趣区域ROI的深度信息。
5.根据权利要求1所述的头戴式显示设备，其中，所述深度传感器的测量参数包括与目标区域相关的参数、与发射光的输出相关的参数或与反射光的感测相关的参数中的至少一个。
6.根据权利要求4所述的头戴式显示设备，其中，所述一个或多个处理器还被配置为基于关于所述ROI的深度信息来重新确定所述深度传感器的测量参数，并且
其中，所述深度传感器还被配置为根据所述测量参数重新获得关于所述ROI的深度信息。
7.根据权利要求4所述的头戴式显示设备，其中，所述深度传感器还被配置为通过使用飞行时间TOF方法、结构光SL方法或立体图像SI方法中的至少一个来获得关于所述ROI的深度信息。
8.根据权利要求7所述的头戴式显示设备，其中，当所述深度传感器包括TOF深度传感器时，所述一个或多个处理器还被配置为基于所述注视点的2D定位信息来确定所述测量参数，使得所述深度传感器中所包括的光源当中与所述注视点相对应的一些光源被驱动，并且
其中，所述深度传感器还被配置为通过驱动所述一些光源来获得关于所述ROI的深度信息。
9.根据权利要求4所述的头戴式显示设备，还包括显示包括所述ROI的现实空间的显示器，并且
其中，所述一个或多个处理器还被配置为基于关于所述ROI的深度信息来控制所述显示器在所述ROI上显示至少一个虚拟对象。
10.根据权利要求4所述的头戴式显示设备，其中，所述一个或多个处理器还被配置为：
将所述深度传感器的测量参数设置为第一参数；
基于所述第一参数，控制所述深度传感器获得关于所述深度传感器能够感测到的空间的整体深度信息，所述空间包括所述ROI；
基于所述整体深度信息，获得关于所述ROI的第一深度信息；
基于所述第一深度信息，将所述深度传感器的测量参数设置为第二参数；以及
基于所述第二参数，控制所述深度传感器获得关于所述ROI的第二深度信息。
11.一种操作电子设备的方法，所述方法包括：
获得用户左眼的左眼方向和用户右眼的右眼方向；
基于所述用户左眼的方向和所述用户右眼的方向来获得注视点；以及
基于所述注视点来确定深度传感器的测量参数。
12.根据权利要求11所述的方法，其中，所述获得包括：基于所述用户左眼的方向和所述用户右眼的方向来获得所述注视点的二维(2D)定位信息。
13.根据权利要求12所述的方法，其中，获得关于所述注视点的信息还包括：基于所述用户左眼的方向和所述用户右眼的方向来获得所述注视点的估计的深度信息。
14.根据权利要求11所述的方法，还包括根据所述测量参数获得关于相对于所述注视点设置的感兴趣区域ROI的深度信息。
15.根据权利要求11所述的方法，其中，确定所述深度传感器的测量参数包括：确定与目标区域相关的参数、与发射光的输出相关的参数或与反射光的感测相关的参数中的至少一个。
16.根据权利要求14所述的方法，还包括：
基于关于所述ROI的深度信息来重新确定所述深度传感器的测量参数；以及
根据所述测量参数重新获得关于所述ROI的深度信息。
17.根据权利要求14所述的方法，其中，获得关于所述ROI的深度信息包括：通过使用飞行时间TOF方法、结构光SL方法或立体图像SI方法中的至少一个来获得关于所述ROI的深度信息。
18.根据权利要求17所述的方法，其中，确定所述深度传感器的测量参数包括：当使用所述TOF方法获得所述深度信息时，基于所述注视点的2D定位信息来确定所述测量参数，使得所述深度传感器中所包括的光源当中与所述注视点相对应的一些光源被驱动，并且
获得关于所述ROI的深度信息包括：通过驱动所述一些光源获得关于所述ROI的深度信息。
19.根据权利要求14所述的方法，其中，获得关于所述ROI的深度信息包括：
将所述深度传感器的测量参数设置为第一参数；
基于所述第一参数，获得关于所述深度传感器能够感测到的空间的整体深度信息；
基于所述整体深度信息，获得关于所述ROI的第一深度信息；以及
基于所述第一深度信息，将所述深度传感器的测量参数设置为第二参数，以及基于所述第二参数，获得关于所述ROI的第二深度信息。
20.一种其上记录有程序的非暂时性计算机可读记录介质，所述程序用于执行根据权利要求11所述的方法。
CN202080027905.1A 2019-04-11 2020-02-17 头戴式显示设备及其操作方法 Active CN113661433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311324927.6A CN117590582A (zh) 2019-04-11 2020-02-17 头戴式显示设备及其操作方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962832544P 2019-04-11 2019-04-11
US62/832,544 2019-04-11
KR10-2019-0106133 2019-08-28
KR1020190106133A KR20200120466A (ko) 2019-04-11 2019-08-28 헤드 마운트 디스플레이 장치 및 그 동작방법
PCT/KR2020/002225 WO2020209491A1 (en) 2019-04-11 2020-02-17 Head-mounted display device and operating method of the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311324927.6A Division CN117590582A (zh) 2019-04-11 2020-02-17 头戴式显示设备及其操作方法

Publications (2)

Publication Number Publication Date
CN113661433A true CN113661433A (zh) 2021-11-16
CN113661433B CN113661433B (zh) 2023-10-24

Family

ID=73034974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027905.1A Active CN113661433B (zh) 2019-04-11 2020-02-17 头戴式显示设备及其操作方法

Country Status (2)

Country Link
KR (1) KR20200120466A (zh)
CN (1) CN113661433B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220149348A (ko) * 2021-04-30 2022-11-08 삼성전자주식회사 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197832A1 (en) * 2003-10-30 2006-09-07 Brother Kogyo Kabushiki Kaisha Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion
US20130335543A1 (en) * 2012-06-13 2013-12-19 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN105393160A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 基于眼睛注视的相机自动聚焦
US20170160518A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjusting virtual reality headset
CN106999034A (zh) * 2014-11-18 2017-08-01 三星电子株式会社 用于输出虚拟图像的可穿戴设备和方法
CN108351523A (zh) * 2015-11-06 2018-07-31 欧库勒斯虚拟现实有限责任公司 利用头戴式显示器使用立体照相机以及结构光的深度映射

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197832A1 (en) * 2003-10-30 2006-09-07 Brother Kogyo Kabushiki Kaisha Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion
US20130335543A1 (en) * 2012-06-13 2013-12-19 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN105393160A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 基于眼睛注视的相机自动聚焦
CN106999034A (zh) * 2014-11-18 2017-08-01 三星电子株式会社 用于输出虚拟图像的可穿戴设备和方法
CN108351523A (zh) * 2015-11-06 2018-07-31 欧库勒斯虚拟现实有限责任公司 利用头戴式显示器使用立体照相机以及结构光的深度映射
US20170160518A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjusting virtual reality headset

Also Published As

Publication number Publication date
CN113661433B (zh) 2023-10-24
KR20200120466A (ko) 2020-10-21

Similar Documents

Publication Publication Date Title
US11809623B2 (en) Head-mounted display device and operating method of the same
US10788673B2 (en) User-based context sensitive hologram reaction
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
US9710130B2 (en) User focus controlled directional user input
US9727132B2 (en) Multi-visor: managing applications in augmented reality environments
US20150379770A1 (en) Digital action in response to object interaction
US20140152558A1 (en) Direct hologram manipulation using imu
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
US20130326364A1 (en) Position relative hologram interactions
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US11689877B2 (en) Immersive augmented reality experiences using spatial audio
CN114761909A (zh) 针对头戴式显示器的内容稳定
KR20160024986A (ko) 깊이 카메라를 통한 시선 추적
KR20200082109A (ko) 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템
US11527004B2 (en) Electronic device and operation method thereof
CN111316059B (zh) 使用邻近设备确定对象尺寸的方法和装置
CN113661433B (zh) 头戴式显示设备及其操作方法
KR20210150881A (ko) 전자 장치 및 그 동작 방법
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
US20190364256A1 (en) Method and System for Dynamically Generating Scene-Based Display Content on a Wearable Heads-Up Display
US20200192083A1 (en) Modified slow-scan drive signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant