CN111103971A - 头戴式装置在用户上的位置的确定 - Google Patents

头戴式装置在用户上的位置的确定 Download PDF

Info

Publication number
CN111103971A
CN111103971A CN201911021881.4A CN201911021881A CN111103971A CN 111103971 A CN111103971 A CN 111103971A CN 201911021881 A CN201911021881 A CN 201911021881A CN 111103971 A CN111103971 A CN 111103971A
Authority
CN
China
Prior art keywords
eye
user
mounted device
pupil
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911021881.4A
Other languages
English (en)
Inventor
约金·扎克里森
米凯尔·罗塞尔
卡洛斯·佩德雷拉
马克·莱恩
西蒙·约翰森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN111103971A publication Critical patent/CN111103971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

提供了一种方法、系统和非暂态计算机可读存储介质，用于确定用于扩展现实(XR)的头戴式装置是否正确定位在用户上，以及在该头戴式装置被确定为未正确定位在该用户上时可选地执行位置校正过程。实施例包括：通过基于该用户的第一眼睛的第一图像估计瞳孔在二维中的位置来执行眼睛跟踪；确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内；以及，如果该第一眼睛的瞳孔的所确定的位置在该预定容许区域内，则断定该头戴式装置正确定位在该用户上；或者，如果该第一眼睛的瞳孔的所确定的位置在该预定容许区域之外，则断定该头戴式装置未正确定位在该用户上。

Description

头戴式装置在用户上的位置的确定
技术领域
本披露内容总体上涉及确定用于虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其他扩展现实(XR)的头戴式装置在用户上的位置。本披露内容还涉及相应的系统和存储介质。
背景技术
如果头戴式装置(例如，虚拟现实(VR)头戴式装置、增强现实(AR)头戴式装置、混合现实(MR)头戴式装置或其他版本的扩展现实(XR)头戴式装置)未正确安装在用户头部，则头戴式装置的性能可能会受到负面影响。此外，即使头戴式装置最初已经被正确定位，头戴式装置在使用期间也可能例如由于用户的头部移动或旋转时的滑移而被重新定位。
因为头戴式装置的透镜或其他光学设备通常针对相对于用户眼睛的特定位置进行优化，所以未正确佩戴头戴式装置的用户可能会经历导致较差视觉体验的问题。例如，如果头戴式装置被适配成向用户提供三维(3D)体验，则在头戴式装置未正确定位在用户头部上时，这种3D体验可能会失真。由头戴式装置提供的VR或MR体验可能例如变得不太逼真，或者由AR或MR头戴式装置显示的虚拟对象可能无法像它们本来能够的那样适应真实的环境。在头戴式装置的屏幕上向用户显示的任何图像可能进一步被体验为模糊的。
如果头戴式装置配备有眼睛跟踪或注视跟踪功能，则在头戴式装置未正确定位在用户头部上时，这种功能的性能也可能受到负面影响，因为眼睛跟踪器或注视跟踪器将不能看到/检测用户的眼睛，并且因此任何跟踪信号的质量都将较差。
需要为已确定问题中的一个或多个提供解决方案。
发明内容
提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，用于解决或至少改善认定的问题中的一个或多个问题。从属权利要求中定义了优选实施例。
具体而言，本文呈现的实施例旨在为用户实现优化的视觉体验，并且旨在能够实现眼睛跟踪或注视跟踪的执行的最佳可能先决条件。
这些目的是通过提供用于识别头戴式装置是否正确定位在用户头部的解决方案来实现的。根据一些实施例，如果头戴式装置未正确定位，则本文提供的解决方案甚至更进一步通过以下操作来对此进行一些处理：例如让用户和/或系统知道该问题；指导用户如何重新定位头戴式装置；和/或提供自动重新定位。
在第一方面，提供了一种用于确定用于扩展现实(XR)的头戴式装置是否正确定位在用户上的方法的实施例，该方法包括使用处理电路系统通过以下操作来执行眼睛跟踪：基于该用户的第一眼睛的第一图像来估计该第一眼睛的瞳孔的位置。该方法进一步包括使用该处理电路系统通过确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内来确定该头戴式装置是否正确定位在该用户上。如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域内，则该方法包括断定该头戴式装置正确定位在该用户上。或者，如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域之外，则该方法包括断定该头戴式装置未正确定位在该用户上。
根据第二方面，提供了一种用于确定用于扩展现实(XR)的头戴式装置是否未正确定位在用户上的系统的实施例，该系统包括处理电路系统，该处理电路系统被配置成通过基于该用户的第一眼睛的第一图像估计该第一眼睛的瞳孔的位置来执行眼睛跟踪。该处理电路系统进一步被配置成通过确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内来确定该头戴式装置是否正确定位在该用户上。如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域内，则该处理电路系统被配置成断定该头戴式装置正确定位在该用户上。如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域之外，则该处理电路系统被配置成断定该头戴式装置未正确定位在该用户上。
在第三方面，提供了一种存储指令的非暂态计算机可读存储介质，该指令在由系统的处理电路系统执行时，使该系统：通过基于该用户的第一眼睛的图像估计该第一眼睛的瞳孔的位置来执行眼睛跟踪；并且通过以下操作确定该头戴式装置是否正确定位在该用户上：确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内；以及如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域内，则断定该头戴式装置正确定位在该用户上；或者如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域之外，则断定该头戴式装置未正确定位在该用户上。
在本披露内容中针对根据第一方面的方法的实施例呈现的效果和/或优点也可以应用于根据第三方面的非暂态计算机可读存储介质的相应实施例。
应注意，本披露内容中的实施例涉及权利要求中记载的特征的所有可能的组合。
附图说明
在下文中，将参考附图更详细地描述示例实施例，在附图中：
图1a是眼睛的正视图；
图1b示出了图1a的眼睛的图像；
图1c示出了图1a的眼睛的图像；
图2是根据一个或多个实施例的系统的示意性概览图；
图3a是根据一个或多个实施例的用于确定用于扩展现实(XR)的头戴式装置是否正确定位在用户上的方法的流程图；
图3b至图3e是示出图3a的方法的实施例的流程图；
图4是从眼睛一侧观察图1a中的眼睛而得到的截面视图；
图5示出了图1a的眼睛的第一图像和第二眼睛的第二图像；
图6示出了头戴式装置的用户的一对眼睛和头戴式装置的示意图；
图7a示出了根据一个或多个实施例的眼睛和头戴式装置的示意图；以及
图7b示出了眼睛和眼睛注视所指向的图像的示意图。
所有附图都是示意性的，不一定按比例绘制，并且通常仅示出为了阐明各个实施例所必需的部分，而其他部分可以被省略或仅被提出。除非另有指示，否则出现在多个附图中的任何附图标记在所有附图中指代相同的对象或特征。
具体实施方式
引言
本披露内容的实施例旨在确定用户是否正确佩戴了头戴式装置。本文的一些实施例进一步包括在确定头戴式装置未正确定位在用户上后，执行位置校正过程。该位置校正过程可以包括向用户或系统或两者通知所确定的头戴式装置的不正确定位，和/或在适用的情况下执行自动位置校正。
所谓头戴式装置在用户上的正确位置，是指头戴式装置定位于用户的头部上，使得被布置成使用户能够体验VR、AR、MR或其他XR内容以及使得用户能够看到周围事物的任何图像和/或看到真实世界周围事物的头戴式装置的光学器件相对于用户视野被最佳定位。当然，最佳定位应理解为处于最佳位置，或者处于不是最佳位置而是在最佳位置的可容许公差内的位置。这导致用户的注视指向由头戴式装置呈现的图像的中心，或者可容许地接近中心的位置。
为了获得头戴式装置在用户上的正确位置，考虑了两个不同的方面。
1.用户的眼睛之间的距离与头戴式装置的透镜杯之间的距离的差是否很大？换言之，透镜杯距离是否需要调整？
以及
2.用户的视野(FOV)是否未与头戴式装置的光学器件对准？如果对于用户的一只或两只眼睛，这些问题中的一个或两个的答案为是，则可以断定头戴式装置未正确定位在用户上。
本文中结合附图描述的实施例给出了关于如何找到上述问题中的一个或两个问题的可靠答案的解决方案。具体而言，结合图3d和图3e呈现的方法(以及相应的系统和非暂态计算机可读介质)的实施例旨在找到问题1的可靠答案，而结合图3b和图3c呈现的方法(以及相应的系统和非暂态计算机可读介质)的实施例旨在找到问题2的可靠答案。如本文所解释的，可以设想到方法实施例的组合。该组合可能意味着更好地解决这些问题中的一个问题或者解决两个问题的可能性，从而实现对头戴式装置是否正确定位在用户上的问题的改进的答案。
通过确保头戴式装置正确定位在用户上，我们确保向用户显示的任何图像内容都将具有最高可能的质量。同时，在头戴式装置中或者在根据本文呈现的实施例的系统中具有眼睛跟踪功能的任何相机传感器也将能够获得用户眼睛的优化图像，因为对于每只眼睛，当用户“直视”时，用户的注视将指向或者充分靠近描绘眼睛的图像的中心。换言之，用户的FOV将与头戴式装置的光学器件的最佳位置(即“最有效点”)对准。
本文的实施例涉及用于虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其他扩展现实(XR)应用的头戴式装置。换言之，在本披露内容中，至少称为VR、AR和MR的技术被包括在概念XR中。
贯穿本披露内容，术语头戴式装置是指适配成佩戴在用户头部的装置。头戴式装置可以包括显示光学器件。显示光学器件应被理解为包括适合于生成和/或显示可以呈现给头戴式装置的用户/佩戴者以传达VR、AR、MR或其他XR体验的2D图像数据、3D图像数据、图形数据、全息数据或其他内容的任何光学器件。除了实际的显示光学器件之外，头戴式装置通常还包括其他部件。这种其他部件可以例如包括用于给头戴式装置供电的电路、用于检测头戴式装置的运动的传感器、眼睛或注视跟踪设备、或者用于保护头戴式装置的部件的外壳。换言之，术语头戴式装置可以但不一定被解释为仅指代旨在布置在用户的一只眼睛前方或用户双眼前方的实际显示光学器件。
本文使用的术语眼睛跟踪可以被理解为包括：在现实世界中、在眼睛的3D模型中、在描绘眼睛的2D图像中跟踪或观察眼睛的实际部分；或者确定眼睛正在跟踪或注视的对象。确定眼睛正在跟踪或注视的对象也可以称为注视跟踪。
本文关于用户的一只眼睛(例如第一眼睛)描述的任何实施例当然同样适用于用户的任何一只眼睛，并且也可以对用户的双眼并行地或连续地执行。
贯穿本披露内容，术语获取信息可以被理解为以推送方式接收信息和/或以拉取方式检索信息。
下文将参考图1a至图7b描述头戴式装置位置确定方法、头戴式装置位置确定系统和相关联的存储介质。首先，将参考图1a和图4描述眼睛的某些特征。
图1a是眼睛100的正视图。图4是从眼睛100一侧看而获取的眼睛100的截面视图。虽然图4或多或少示出了整个眼睛100，但是图1a中呈现的正视图仅示出了眼睛100的通常在人的面部的前方的位置处可见的那些部分。眼睛100具有角膜101和瞳孔102，该瞳孔具有瞳孔中心103和瞳孔边缘104。
系统架构
图2是根据一个或多个实施例的系统200的示意性概览图，该系统用于确定用于扩展现实(XR)的头戴式装置260是否未正确定位在用户270上。系统200包括处理电路系统210，该处理电路系统210被配置成执行眼睛跟踪以估计用户270的第一眼睛100的一部分的位置，并且被配置成基于第一眼睛100的该一部分的估计位置来确定头戴式装置260是否正确地定位在用户270上。系统200可以进一步包括或通信地连接至显示器720。
在一些非限制性实施例中，处理电路系统210可以包括或通信地连接至眼睛跟踪设备220，该眼睛跟踪设备220例如以在眼睛100看/注视显示器720时用于照亮用户270的眼睛100的一个或多个照明器和用于捕捉眼睛100的图像的一个或多个相机为形式，或者是本领域已知的任何其他合适的眼睛跟踪设备。处理电路系统210可以例如经由有线或无线连接而通信地连接至眼睛跟踪设备220。照明器可以例如为红外或近红外照明器，例如以发光二极管(LED)为形式。然而，也可以设想其他类型的照明器。相机可以例如为电荷耦合装置(CCD)相机或互补金属氧化物半导体(CMOS)相机。然而，也可以设想其他类型的相机。
显示器720可以例如是液晶显示器(LCD)或LED显示器。然而，也可以设想其他类型的显示器。显示器可以例如是平的或弯曲的。显示器720可以例如放置在用户的一只眼睛前方。不同的显示器720可以用于左眼和右眼。不同的眼睛跟踪设备220(如照明器和相机)可以例如用于左眼和右眼。
处理电路系统210可以用于双眼的眼睛跟踪，或者可以存在用于左眼和右眼的不同的处理电路系统210。系统200可以例如执行眼睛跟踪以针对左眼和右眼分别估计眼睛的一部分的位置，并且然后可以基于双眼的该部分的估计位置来确定头戴式装置260是否正确定位在用户270上。在非限制性示例中，如果处理电路系统210已经确定头戴式装置260对于用户的至少一只眼睛未正确定位在用户270上，则处理电路系统210可以被配置成确定头戴式装置260未正确定位在用户270上。
处理电路系统210可以例如包括一个或多个处理器。(一个或多个)处理器可以例如是被配置成执行特定眼睛跟踪和位置确定方法的专用集成电路(ASIC)。替代性地，(一个或多个)处理器可以被配置成执行存储在一个或多个存储器240中的指令(例如，以计算机程序为形式)。这种存储器240可以例如包括在系统200中，或者可以处于系统200的外部(例如，远离该系统200)。存储器240可以存储用于使系统200执行根据结合图3a至图3e呈现的实施例中的任意实施例的方法的指令。
在一个或多个实施例中，处理电路系统210可以被配置成执行结合图3a至图3e描述的方法实施例中的任意或所有方法实施例。
应当理解，上面参考图2描述的系统200被提供为示例，并且可以设想许多其他系统。例如，系统200可以仅由处理电路系统210组成。显示器720可以例如包括在系统200中，或者可以被视为与系统200分离。
由如图2中的系统200等系统执行的眼睛跟踪通常采用眼睛模型。该眼睛模型根据单个用户的眼睛的特性来校准。
在图2中，佩戴头戴式装置260的用户270示意性地展示在系统200旁边。根据本文呈现的任何实施例的系统200可以被并入或通信地连接至这种头戴式装置260。
方法实施例
在下文中，将结合图3a至图7b描述方法实施例。
图3a示出了用于确定用于扩展现实(XR)的头戴式装置260是否正确定位在用户270上的方法的实施例，该方法包括：
在步骤310中：使用处理电路系统210执行眼睛跟踪，以估计用户270的第一眼睛100的一部分的位置。
在步骤320中：使用处理电路系统210基于第一眼睛100的一部分的估计位置确定头戴式装置260是否正确定位在用户270上。
在可选步骤330中：如果确定头戴式装置260未正确定位在用户270上，则执行位置校正过程。
在本披露内容中，执行位置校正过程可以包括以下各项的任一项或全部：
-如果已经确定透镜杯距离d透镜_杯太小或太大，则执行透镜杯距离d透镜_杯的机动位置校正；
-向系统200或用户270通知头戴式装置260的所确定的不正确定位；或
-激活定位引导，该定位引导提供关于手动校正该头戴式装置260的位置所要采取的步骤的引导。
激活定位引导可以包括向用户270显示、呈现或以其他方式传达重新定位信息或要采取的步骤。重新定位信息或要采取的步骤被配置成引导并由此使用户270能够改善头戴式装置260的位置。
现在将结合图3b至图3e呈现图3a中所示方法的不同实施例。
在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310和/或使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以包括图3b中结合图1b和图1c示出的子步骤。在这些实施例中，该方法包括：
在步骤311中：基于用户270的第一眼睛100的第一图像110，估计第一眼睛100的瞳孔102在二维中的位置。
瞳孔102的位置可以被定义为根据任何合适的坐标系描述的二维(2D)或三维(3D)坐标。出于步骤310的目的，第一图像110通常为2D图像，由此瞳孔102的位置被定义在2D中。例如，瞳孔102的位置可以根据相对于第一图像110和/或用于捕捉第一图像110的相机定义的坐标系(例如图5中展示的坐标系530)被定义为2D坐标。替代性地，瞳孔102的位置可以被定义为包括在如第一图像110中描绘的瞳孔的区域内的两个或更多个2D坐标的组。
在一些实施例中，该方法可以包括通过从并入系统200中或在该系统200外部的存储器或相机(图中未示出)接收或检索第一图像110来获得图像110。
在一些实施例中，在步骤310中，瞳孔102的位置可以近似为瞳孔中心103的位置。在一些实施例中，在步骤310的中，瞳孔102的位置可以从位于瞳孔边缘104上的一个或多个坐标导出。在一些实施例中，在步骤310中，瞳孔102的位置可以近似为虹膜(图中未示出)的中心的位置。
在步骤321中：确定第一眼睛100的瞳孔102的估计位置是否在第一图像110中的预定容许区域120内。
如图1b和图1c中所展示的，与第一图像110相比，预定容许区域120通常至少在x方向或y方向上较小。
如果第一眼睛100的瞳孔102的所确定的位置在第一图像110的预定容许区域120内，则该方法在步骤322中继续。
如果第一眼睛100的瞳孔102的所确定的位置在第一图像110的预定容许区域120之外，则该方法在步骤323中继续。
如果第一眼睛100的瞳孔102的所确定的位置被定义为单个2D坐标，则第一眼睛100的瞳孔102的位置位于第一图像110的预定容许区域120之外将被理解为该坐标位于区域120之外。
如果第一眼睛100的瞳孔102的所确定的位置被定义为包括在如第一图像110中所描绘的瞳孔102的区域内的一组两个或更多个2D坐标，则第一眼睛100的瞳孔102的位置在第一图像110的预定容许区域120之外将被理解为该组坐标的一部分或全部位于区域120之外。
在步骤322中：断定头戴式装置260正确定位在用户270上。
在步骤323中：断定头戴式装置260未正确定位在用户270上。
可选地，根据一个或多个实施例，重复执行图3的方法，当步骤320完成时，则从步骤310再次开始。此选项由图3中的虚线箭头展示。根据一个或多个其他实施例，图3的方法也可以仅执行一次、以特定的预设时间间隔执行、或者根据系统设置中指定的其他规则执行。
在一些实施例中，使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以进一步包括以下子步骤：获得第一眼睛100的注视角β，并将获得的注视角β与预设注视角阈值TGA进行比较。如果获得的注视角β低于预设注视角阈值TGA，则该方法继续进行执行眼睛跟踪和确定头戴式装置260是否正确定位在用户270上的步骤310和步骤320。如果获得的注视角β不低于预设注视角阈值TGA，则该方法可以通过重复以下子步骤来继续：获得第一眼睛100的注视角β，并将获得的注视角β与预设注视角阈值TGA进行比较。可以为用户270的第一眼睛100和第二眼睛600分别执行获得注视角β。
现在参考图7a和图7b，注视角β可以被定义为头戴式装置260的光学轴线710与用户270的第一眼睛100的注视方向130之间的角度，其中，头戴式装置260的光学轴线710被定义为穿过第一眼睛100的焦点740和头戴式装置260的内部坐标系630中的坐标原点的向量，并且其中，用户270的第一眼睛100的注视方向130被定义为穿过第一眼睛100的焦点740和第一眼睛100在显示器720处的注视点750的向量。焦点740也可以被称为注视原点，并且通常是指眼睛100的中心、眼睛100的眼球中心或眼睛100的角膜101的中心。内部坐标系例如可以是坐标系630，其在图6、图7a和图7b中以不同视角展示。
换言之，该方法可以包括一次地或反复地获得用户的眼睛的注视角β，并将其与预设阈值进行比较。如果注视角β低于预设注视角阈值TGA，则这意味着用户270的注视，或者具体地说，用户270的第一眼睛100的注视，指向头戴式装置260的显示器720上显示的图像的中心730，或者指向图像中离中心730在预设容许公差内的点。相反地，如果注视角β不低于预设注视角阈值TGA，则用户270的注视，或者具体地说，用户270的第一眼睛100的注视，指向离图像的中心730太远的点。如果是这种情况，例如，如果用户270正看着显示器720的右上角而不是直视前方(直视前方也可以被称为直视或向前看)，则不需要执行步骤310和步骤320，因为如果用户270没有沿头戴式装置260的光学轴线710的方向直视前方，或者至少注视方向没有靠近该方向，则结果将是不可靠的。如图7a所示，头戴式装置260的光学轴线710可以沿着头戴式装置260的内部坐标系630的z轴线延伸，由此在注视头戴式装置260的显示器720的用户看来，光学轴线710总是向前延伸。因此，检查注视角β并将其与预设注视角阈值TGA进行比较可以进一步提高本文呈现的一个或多个实施例的性能和可靠性。在一些实施例中，可以为用户270的每眼睛定义光学轴线710，因此也可以定义内部坐标系630，其中每个光学轴线710从一只眼睛延伸向布置成由所述眼睛观看的显示器720。例如，第一头戴式显示器和第二头戴式显示器可分别布置在包括于头戴式装置260中的第一透镜杯610和第二透镜杯620中，或连接到该第一透镜杯610和该第二透镜杯620。图6中示意性地展示了包括在头戴式装置260中的这种透镜杯610、620的示例。
根据结合步骤310和步骤320描述的任何实施例的方法(可选地包括一个或多个子步骤)可以分别针对用户270的第一眼睛100和第二眼睛600执行，并且如果对于第一眼睛和第二眼睛中的至少一只眼睛来说头戴式装置260未正确定位在用户270上，则可以断定头戴式装置260未正确定位在用户270上。
在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310可以包括图3c中所示的子步骤。在这些实施例中，该方法包括：
在步骤312中：获得第一眼睛100的眼睛旋转中心105，其中，该眼睛旋转中心105定义第一眼睛100的所有注视方向在第一眼睛100的角膜101后面会聚的点。
在一些实施例中，获得第一眼睛100的眼睛旋转中心105可能意味着从存储器240检索或接收先前确定的眼睛旋转中心。
在其他实施例中，获得第一眼睛100的眼睛旋转中心105可以理解为由系统200的处理电路系统210通过以下方式确定眼睛旋转中心105：对于用户270的第一眼睛100的一组多个图像中的每个图像，估计角膜101的位置或角膜101的中心的位置，以及第一眼睛100的注视方向130；以及将眼睛旋转中心105估计为所有注视方向130在第一眼睛100的角膜101后面会聚的点。
在一个或多个实施例中，估计角膜101的位置或角膜101的中心的位置、确定注视方向130和估计眼睛旋转中心105可分别针对用户270的第一眼睛100和第二眼睛600两者执行。
可以使用本领域已知的任何合适的眼睛跟踪方法来执行眼睛旋转中心105的确定，例如，瞳孔中心角膜反射(PCCR)、眼角到瞳孔、机器学习模型等。
在步骤313中：对于给定的注视方向130，基于获得的眼睛旋转中心105估计第一眼睛100的瞳孔102在三维中的位置。
在步骤314中：基于第一眼睛100的瞳孔102在三维中的估计位置，估计第一眼睛100的瞳孔102在二维中的位置。
在图3c的方法的一个或多个实施例中，步骤314的估计第一眼睛100的瞳孔102在二维中的位置是仅基于第一眼睛100的瞳孔102在三维中的估计位置的。替代性地，步骤314的估计第一眼睛100的瞳孔102在二维中的位置进一步基于第一眼睛100的瞳孔102在三维中的估计位置。换言之，可以组合图3b和图3c中所示的方法实施例。在一些实施例中，该方法可以包括基于眼睛旋转中心105的已估计半径来确定在注视方向130是正前方，或者换言之，与头戴式装置260的光学轴线710对准时，第一眼睛100的瞳孔102将被定位的位置。因此，对于任何已知的注视角β，包括在本文中被认为是非常大的注视角β，我们可以调整2D图像中由于注视角β而产生的瞳孔移动。换言之，该方法可以包括基于眼睛旋转中心105和获得的注视角β来调整描绘第一眼睛100的2D图像中的瞳孔移动。进一步地，由于我们始终可以估计在注视方向130是正前方或者与头戴式装置260的光学轴线710对准时瞳孔102将被定位的位置，因此我们可以针对正前方的注视方向的估计而减小预定容许区域120。换言之，该方法可以包括在注视方向130与头戴式装置260的光学轴线710对准或在其预设容许公差范围内时减小预定容许区域120。
结合图3c呈现的方法步骤310的实施例可以与本文呈现的方法步骤320的实施例中的任意或所有实施例组合。
在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310和/或使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以包括图3d中所示的子步骤。在这些实施例中，该方法包括：
在步骤315中：通过基于用户270的第二眼睛的第二图像510估计第二眼睛的瞳孔602在2D中的位置来执行眼睛跟踪。
图5示出了这种第二图像510的示例，其至少以第二眼睛的瞳孔602的正视图示出了瞳孔中心603和瞳孔边缘604。
在一个或多个实施例中，根据公共坐标系来分别定义第一眼睛和第二眼睛的瞳孔102、602的位置的每一个。图5展示了2D中这种公共坐标系530的非限制性示例，其相对于第一图像110和/或第二图像510和/或相对于用于捕获第一图像110和/或第二图像510的相机定义。瞳孔602的位置可以根据公共坐标系定义为2D坐标。替代性地，可以将瞳孔602的位置定义为包括在如第二图像510中描绘的瞳孔602的区域内的两个或更多个2D坐标的组。
在一些实施例中，步骤315可以包括通过从并入系统200或在该系统200外部的存储器240或相机(图中未示出)接收或检索第二图像510来获得第二图像510。
在一些实施例中，第一眼睛的瞳孔102和第二眼睛的瞳孔602的位置可以分别近似为第一瞳孔102的中心103和第二瞳孔602的中心603的位置。在其他实施例中，第一眼睛的瞳孔102和第二眼睛的瞳孔602的位置可以分别从位于第一瞳孔102的瞳孔边缘104和第二瞳孔602的瞳孔边缘604上的一个或多个坐标得出。在一些实施例中，第一眼睛100的瞳孔102和第二眼睛600的瞳孔602的位置可以分别近似为第一瞳孔102的虹膜的中心和第二瞳孔602的虹膜的中心的位置。
在步骤316中：将眼间距d眼睛确定为第一眼睛100的瞳孔102的位置与第二眼睛的瞳孔602的位置之间的差。
在步骤324中：确定所确定的眼间距d眼睛的绝对值是否高于预设眼间隔阈值T眼睛。
如果所确定的眼间距d眼睛的绝对值高于预设眼间隔阈值T眼睛，则该方法在步骤325中继续。
如果所确定的眼间距d眼睛的绝对值不高于预设眼间隔阈值T眼睛，则该方法在步骤326中继续。
在一些实施例中，可以在一维中将眼间距d眼睛确定为例如示例坐标系530的x方向上的距离。在其他实施例中，可以在二维中将眼间距d眼睛确定为例如示例坐标系530的x方向和y方向上的距离。
在步骤325中：断定头戴式装置260未正确定位在用户270上。
换言之，步骤325断定用户270的眼睛之间的距离与透镜杯610、620之间的距离之间的差超过预设阈值T眼睛，其中，T眼睛定义当该差太大而使得系统200无法为用户270提供可接受的视觉体验的极限。换言之，如果超过T眼睛，则需要调整透镜杯距离d透镜_杯，因为透镜杯610、620不与用户的眼睛和FOV对准。
在步骤326中：断定头戴式装置260正确定位在用户270上。
结合图3d描述的实施例步骤315、316和324到326可以与本文呈现的方法步骤310和/或320的任意或所有其他实施例组合。因此，可以获得确定头戴式装置260是否正确定位在用户270上的替代的且可能的进一步改进的方式。
在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310和/或使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以包括图3e中所示的子步骤。在这些实施例中，该方法包括：
在步骤317中：在3D中将透镜杯间距d透镜_杯估计为头戴式装置260的第一透镜杯610的中心611的位置与头戴式装置260的第二透镜杯620的中心621的位置之间的差。
头戴式装置260的第一透镜杯610的中心611的位置和头戴式装置260的第二透镜杯620的中心621的位置可以以任何合适的方式获得，例如通过从存储器240或其他处理电路系统210接收或检索，或在使用头戴式装置260期间计算。
在步骤318中：通过在3D中将眼间距d眼睛估计为用户270的第一眼睛100的瞳孔102的位置与用户270的第二眼睛600的瞳孔602的位置之间的差来执行眼睛跟踪。
第一透镜杯610的中心611和第二透镜杯620的中心621的位置以及用户270的第一眼睛100的瞳孔102和第二眼睛600的瞳孔602中的每个瞳孔的位置中的每个位置可以分别根据公共坐标系(例如，坐标系630)来定义。
替代性地，代替使用瞳孔位置，步骤318可以包括分别使用例如第一眼睛和第二眼睛的瞳孔中心103、瞳孔中心603、角膜中心、虹膜中心或眼球中心来估计眼睛间隔。
应当理解，步骤317和步骤318可以以任何顺序、相继或并行地执行。
在步骤319中：计算透镜杯间距d透镜_杯与眼间距d眼睛之间的差d差。
在一个或多个实施例中，差d差在3D中定义和计算。
在步骤327中：确定透镜杯间距d透镜_杯与眼间距d眼睛之间的所计算的差d差是否高于预设差阈值T差。
如果所确定的眼间距d眼睛的绝对值高于预设眼间隔阈值T眼睛，则该方法在步骤328中继续。
如果所确定的眼间距d眼睛的绝对值不高于预设眼间隔阈值T眼睛，则该方法在步骤329中继续。
在步骤328中：断定头戴式装置260未正确定位在用户270上。
换言之，步骤328包括断定用户270的眼睛之间的距离与透镜杯610、620之间的距离之间的差超过预设阈值T眼睛，其中，T眼睛定义当该差太大而使得系统200无法为用户270提供可接受的视觉体验的极限。换言之，如果超过T眼睛，则需要调整透镜杯距离d透镜_杯，因为透镜杯610、620不与用户的眼睛和FOV对准。
在步骤329中：断定头戴式装置260正确定位在用户270上。
结合图3e描述的实施例步骤317-319和327-329可以与本文呈现的方法步骤310和/或320的任意或所有其他实施例组合。因此，可以获得确定头戴式装置260是否正确定位在用户270上的替代的且可能的进一步改进的方式。
进一步实施例
在一个或多个实施例中，提供了一种存储指令的非暂态计算机可读存储介质，该指令在由系统200的处理电路系统210执行时，使系统200执行本文所述的任意实施例的方法。该非暂态计算机可读存储介质可以存储指令，该指令在由系统200的处理电路系统210执行时，使系统200通过以下操作执行眼睛跟踪：基于用户的第一眼睛100的图像估计第一眼睛100的瞳孔102的位置；并且通过以下方式确定头戴式装置260是否正确地定位在用户270上：确定第一眼睛100的瞳孔102的估计位置是否在第一图像110中的预定容许区域120内；并且如果第一眼睛100的瞳孔102的所确定的位置在第一图像110的预定容许区域120内：则断定头戴式装置260正确定位在用户上，或者如果第一眼睛100的瞳孔102的所确定的位置在该第一图像110的预定容许区域120之外：则断定头戴式装置260未正确定位在用户270上。在一些实施例中，非暂态计算机可读存储介质可以进一步存储指令，该指令在由系统200的处理电路系统210执行时，使系统200在确定头戴式装置260未正确定位在用户270上时执行位置校正过程。
在一些实施例中，非暂态计算机可读存储介质可以存储指令，该指令在由系统200的处理电路系统210执行时，使系统200执行如本文(换言之，在权利要求、发明内容或具体实施方式中)披露的方法中的任何方法定义的方法。
例如，可以在计算机程序产品中提供该非暂态计算机可读存储介质。换言之，计算机程序产品可以例如包括存储指令的非暂态计算机可读存储介质，该指令在由系统200的处理电路系统210执行时，使系统200执行如任何方法实施例中所定义的方法。
如在上文参照图2所述的，存储介质不必一定包括在系统200中。
本领域技术人员应认识到，本发明决不限于上述优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。例如，如本文所解释的，上文中参考图3a至图7b描述的实施例可以组合以形成进一步实施例。此外，应当理解，图2中所示的系统200仅仅旨作为示例，并且其他系统也可以执行上文中参照图3a至图3e描述的方法。
应当理解，处理电路系统210(或处理器)可以包括以下各项中的一个或多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、或任何其他合适的计算装置、资源、或可操作用于单独地或与其他计算机部件(如存储器或存储介质)结合地提供计算机功能的硬件、软件和/或编码逻辑的组合。
还应理解，存储器或存储介质(或计算机可读介质)可以包括任何形式的易失性或非易失性计算机可读存储器，包括但不限于持久存储器、固态存储器、远程安装存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如，硬盘)、可移除存储介质(例如，闪存驱动器、致密盘(CD)或数字视频磁盘(DVD))和/或任何其他易失性或非易失性、非暂态装置可读和/或计算机可执行存储装置，这些存储装置存储处理器或处理电路系统能够使用的信息、数据和/或指令。
另外地，在实践所要求保护的发明时，本领域的技术人员可以通过研究附图、披露内容以及所附权利要求书来理解和实现所披露实施例的变体。在权利要求中，词语“包括”不排除其他要素或步骤，并且不定冠词“一个”或“一种”(“a”或“an”)并不排除多个。在权利要求中，词语“或者(or)”不应解释为异或性(有时被称为“XOR”)。相反，“A或B”等表达涵盖了所有情况“A而非B”、“B而非A”以及“A和B”，除非另有说明。在彼此不同的从属权利要求中记载的某些措施/方法的事实并不表明这些措施/方法的组合不能被有利地使用。权利要求中的任何附图标记不应被理解为对范围进行限制。

Claims (20)

1.一种用于确定用于扩展现实(XR)的头戴式装置(260)是否正确定位在用户(270)上的方法，所述方法包括：
-使用处理电路系统(210)，通过基于所述用户(270)的第一眼睛(100)的第一图像(110)来估计所述第一眼睛(100)的瞳孔(102)在二维中的位置，来执行眼睛跟踪；
-使用所述处理电路系统(210)，通过以下操作确定所述头戴式装置(260)是否正确定位在所述用户(270)上：
-确定所述第一眼睛(100)的所述瞳孔(102)的估计位置是否在所述第一图像(110)中的预定容许区域(120)内；以及
(i)如果所述第一眼睛(100)的所述瞳孔(102)的所确定的位置在所述第一图像(110)的所述预定容许区域(120)内：则断定所述头戴式装置(260)正确定位在所述用户(270)上，或者
(ii)如果所述第一眼睛(100)的所述瞳孔(102)的所确定的位置在所述第一图像(110)的所述预定容许区域(120)之外：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
2.如权利要求1所述的方法，其中，使用所述处理电路系统(210)确定所述头戴式装置(260)是否正确定位在所述用户(270)上的步骤进一步包括：
a)获得所述第一眼睛(100)的注视角(β)；
b)将所获得的注视角(β)与预设注视角阈值(TGA)进行比较；以及
-如果所获得的注视角(β)低于所述预设注视角阈值(TGA)，则继续进行执行眼睛跟踪和确定所述头戴式装置(260)是否正确定位在所述用户(270)上的步骤；或
-如果所获得的注视角(β)不低于所述预设注视角阈值(TGA)，则返回到步骤a)。
3.如权利要求2所述的方法，其中，所获得的注视角(β)被定义为所述头戴式装置(260)的光学轴线(710)与所述用户(270)的所述第一眼睛(100)的注视方向(130)之间的角度，其中，所述头戴式装置(260)的所述光学轴线(710)被定义为穿过所述第一眼睛(100)的焦点(740)和所述头戴式装置(260)的内部坐标系(630)中的坐标原点的向量，并且其中，所述用户(270)的所述第一眼睛(100)的所述注视方向(130)被定义为穿过所述第一眼睛(100)的所述焦点(740)和所述第一眼睛(100)在显示器(720)处的注视点(750)的向量。
4.如前述权利要求中任一项所述的方法，其中，使用处理电路系统(210)来执行眼睛跟踪的步骤进一步包括：
-获得所述第一眼睛(100)的眼睛旋转中心(105)，其中，所述眼睛旋转中心(105)定义所述第一眼睛(100)的所有注视方向在所述第一眼睛(100)的角膜(101)后面会聚的点；以及
-对于给定的注视方向(130)，基于所获得的眼睛旋转中心(105)估计所述第一眼睛(100)的所述瞳孔(102)在三维中的位置，
其中，估计所述第一眼睛(100)的所述瞳孔(102)在二维中的位置进一步基于所述第一眼睛(100)的所述瞳孔(102)在三维中的估计位置。
5.如前述权利要求中任一项所述的方法，进一步包括使用所述处理电路系统(210)以：
-通过基于所述用户(270)的第二眼睛的第二图像(510)估计所述第二眼睛的瞳孔(602)在二维中的位置，来执行眼睛跟踪，其中，所述第一眼睛和所述第二眼睛的所述瞳孔(102，602)的位置中的每个位置分别根据公共坐标系来定义；
-将眼间距(d眼睛)确定为所述第一眼睛(100)的所述瞳孔(102)的位置与所述第二眼睛的所述瞳孔(602)的位置之间的差，
其中，使用所述处理电路系统(210)确定所述头戴式装置(260)是否正确定位在所述用户(270)上进一步包括：
-如果所确定的眼间距(d眼睛)的绝对值高于预设眼间隔阈值(T眼睛)：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
6.如权利要求1至4中任一项所述的方法，进一步包括：
-在三维中将透镜杯间距(d透镜_杯)估计为所述头戴式装置(260)的第一透镜杯(610)的中心(611)的位置与所述头戴式装置(260)的第二透镜杯(620)的中心(621)的位置之间的差；
-在三维中通过将眼间距(d眼睛)估计为所述用户(270)的所述第一眼睛(100)的所述瞳孔(102)的位置与所述用户(270)的第二眼睛(600)的瞳孔(602)的位置之间的差，来执行眼睛跟踪，其中，所述第一透镜杯和所述第二透镜杯(610，620)的所述中心(611，621)的位置以及所述用户(270)的所述第一眼睛和所述第二眼睛(100，600)的所述瞳孔(102，602)中的每个瞳孔的位置中的每个位置分别根据公共坐标系来定义；以及
-计算所述透镜杯间距(d透镜_杯)与所述眼间距(d眼睛)之间的差(D差)；
其中，使用所述处理电路系统(210)确定所述头戴式装置(260)是否正确定位在所述用户(270)上进一步包括：
-将所述透镜杯间距(d透镜_杯)与所述眼间距(d眼睛)之间的所计算的差(d差)与预设差阈值(T差)进行比较；以及
-如果所计算的差(d差)高于所述预设差阈值(T差)：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
7.如前述权利要求中任一项所述的方法，进一步包括，如果确定所述头戴式装置(260)未正确定位在所述用户(270)上：则执行位置校正过程。
8.如权利要求7所述的方法，其中，执行所述位置校正过程包括：如果已经确定所述透镜杯距离(d透镜_杯)太小或太大，则执行所述透镜杯距离(d透镜_杯)的机动位置校正。
9.如权利要求7或8中任一项所述的方法，其中，执行所述位置校正过程包括向所述系统(200)或所述用户(270)通知所述头戴式装置(260)的所确定的不正确定位。
10.如权利要求7至9中任一项所述的方法，其中，执行所述位置校正过程包括启动定位引导，所述定位引导提供关于手动校正所述头戴式装置(260)的位置所要采取的步骤的引导。
11.一种用于确定用于扩展现实(XR)的头戴式装置(260)是否未正确定位在用户(270)上的系统(200)，所述系统(200)包括处理电路系统(210)，所述处理电路系统被配置成：
-通过基于所述用户(270)的第一眼睛(100)的第一图像(110)估计所述第一眼睛(100)的瞳孔(102)的位置，来执行眼睛跟踪；以及
-通过以下操作确定所述头戴式装置(260)是否正确定位在所述用户(270)上：
-确定所述第一眼睛(100)的所述瞳孔(102)的估计位置是否在所述第一图像(110)中的预定容许区域(120)内；以及
(i)如果所述第一眼睛(100)的所述瞳孔(102)的所确定的位置在所述第一图像(110)的所述预定容许区域(120)内：则断定所述头戴式装置(260)正确定位在所述用户(270)上，或者
(ii)如果所述第一眼睛(100)的所述瞳孔(102)的所确定的位置在所述第一图像(110)的所述预定容许区域(120)之外：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
12.如权利要求11所述的系统(200)，其中，所述处理电路系统(210)进一步被配置成：
a)获得所述第一眼睛(100)的注视角(β)；
b)将所获得的注视角(β)与预设注视角阈值(TGA)进行比较；以及
-如果所获得的注视角(β)低于所述预设注视角阈值(TGA)，则继续进行执行眼睛跟踪和确定所述头戴式装置(260)是否正确定位在所述用户(270)上的步骤；或
-如果所获得的注视角(β)不低于所述预设注视角阈值(TGA)，则返回到步骤a)。
13.如权利要求11或12所述的系统(200)，其中，所述处理电路系统(210)进一步被配置成：
-通过获得所述第一眼睛(100)的眼睛旋转中心(105)来执行所述眼睛跟踪，其中，所述眼睛旋转中心(105)定义所述第一眼睛(100)的所有注视方向在所述第一眼睛(100)的角膜(101)后面会聚的点；以及
-对于给定的注视方向(130)，基于所获得的眼睛旋转中心(105)估计所述第一眼睛(100)的所述瞳孔(102)在三维中的位置，
-其中，估计所述第一眼睛(100)的所述瞳孔(102)在二维中的位置进一步基于所述第一眼睛(100)的所述瞳孔(102)在三维中的估计位置。
14.如权利要求11至13中任一项所述的系统(200)，其中，所述处理电路系统(210)进一步被配置成：
-通过基于所述用户(270)的第二眼睛的第二图像(510)估计所述第二眼睛的瞳孔(602)在二维中的位置，来执行眼睛跟踪，其中，所述第一眼睛和所述第二眼睛的所述瞳孔(102，602)的位置中的每个位置分别根据公共坐标系来定义；
-将眼间距(d眼睛)确定为所述第一眼睛(100)的所述瞳孔(102)的位置与所述第二眼睛的所述瞳孔(602)的位置之间的差，
其中，所述处理电路系统(210)被配置成通过以下操作确定所述头戴式装置(260)是否正确定位在所述用户(270)上：
-如果所确定的眼间距(d眼睛)的绝对值高于预设眼间隔阈值(T眼睛)：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
15.如权利要求11至14中任一项所述的系统(200)，其中，所述处理电路系统(210)进一步被配置成：
-将透镜杯间距(d透镜_杯)估计为所述头戴式装置(260)的第一透镜杯(610)的中心(621)的位置与所述头戴式装置(260)的第二透镜杯(620)的中心(631)的位置之间的差；
-通过将眼间距(d眼睛)估计为所述用户(270)的所述第一眼睛(100)的所述瞳孔(102)的位置与所述用户(270)的第二眼睛(600)的瞳孔(602)的位置之间的差，来执行眼睛跟踪，其中，所述第一透镜杯(610)的所述中心(611)和所述第二透镜杯(620)的所述中心(621)的位置以及所述用户(270)的所述第一眼睛(100)的所述瞳孔(102)和所述第二眼睛(600)的所述瞳孔(602)中的每个瞳孔的位置中的每个位置分别根据公共坐标系来定义；
-计算所述透镜杯间距(d透镜_杯)与所述眼间距(d眼睛)之间的差(D差)；以及
-将所述透镜杯间距(d透镜_杯)与所述眼间距(d眼睛)之间的所计算的差(d差)与预设差阈值(T差)进行比较；
其中，所述处理电路系统(210)进一步被配置成通过以下操作确定所述头戴式装置(260)是否正确定位在所述用户(270)上：
-如果所计算的差(d差)高于所述预设差阈值(T差)：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
16.如权利要求11至15中任一项所述的系统(200)，其中，所述处理电路系统(210)进一步被配置成：如果所述头戴式装置(260)被确定为未正确定位在所述用户(270)上，则执行位置校正过程。
17.如权利要求16所述的系统(200)，其中，所述处理电路系统(210)被配置成在所述位置校正过程中：
-如果已经确定所述透镜杯距离(d透镜_杯)太小或太大，则执行对所述透镜杯距离(d透镜_杯)的机动位置校正；
-向所述系统(200)或所述用户(260)通知所述头戴式装置(260)的所确定的不正确定位；或
-启动定位引导，所述定位引导提供关于手动校正所述头戴式装置(260)的位置所要采取的步骤的引导。
18.一种头戴式装置(260)，包括如权利要求11至17中任一项所述的系统。
19.一种存储指令的非暂态计算机可读存储介质，所述指令在由系统(200)的处理电路系统(210)执行时，使所述系统：
-通过基于所述用户(270)的第一眼睛(100)的图像(110)估计所述第一眼睛(100)的瞳孔(102)的位置，来执行眼睛跟踪；以及
-通过以下操作确定所述头戴式装置(260)是否正确定位在所述用户(270)上：
-确定所述第一眼睛(100)的所述瞳孔(102)的估计位置是否在所述第一图像(110)中的预定容许区域(120)内；以及
(i)如果所述第一眼睛(100)的所述瞳孔(102)的所确定的位置在所述第一图像(110)的所述预定容许区域(120)内：则断定所述头戴式装置(260)正确定位在所述用户(270)上，或者
(ii)如果所述第一眼睛(100)的所述瞳孔(102)的所确定的位置在所述第一图像(110)的所述预定容许区域(120)之外：则断定所述头戴式装置(260)未正确定位在所述用户(270)上。
20.如权利要求19所述的非暂态计算机可读存储介质，进一步存储有当由系统(200)的处理电路系统(210)执行时使所述系统在所述头戴式装置(260)被确定为未正确定位在所述用户(270)上时执行位置校正过程的指令。
CN201911021881.4A 2018-10-29 2019-10-25 头戴式装置在用户上的位置的确定 Pending CN111103971A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1851340-8 2018-10-29
SE1851340 2018-10-29

Publications (1)

Publication Number Publication Date
CN111103971A true CN111103971A (zh) 2020-05-05

Family

ID=70328745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911021881.4A Pending CN111103971A (zh) 2018-10-29 2019-10-25 头戴式装置在用户上的位置的确定

Country Status (2)

Country Link
US (2) US11551376B2 (zh)
CN (1) CN111103971A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589532A (zh) * 2021-07-30 2021-11-02 歌尔光学科技有限公司 头戴设备的显示校准方法、装置、头戴设备及存储介质
CN115668100A (zh) * 2020-05-21 2023-01-31 奇跃公司 使用眼睛跟踪对激光束扫描显示器进行扭曲

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347308B2 (en) * 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
JP2023518421A (ja) * 2020-03-20 2023-05-01 マジック リープ， インコーポレイテッド 網膜結像および追跡のためのシステムおよび方法
US11391945B2 (en) * 2020-08-31 2022-07-19 Sony Interactive Entertainment LLC Automatic positioning of head-up display based on gaze tracking
WO2023238197A1 (ja) * 2022-06-06 2023-12-14 株式会社ソニー・インタラクティブエンタテインメント 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20160302663A1 (en) * 2013-12-17 2016-10-20 Essilor International (Compagnie Generale D'optique) Method for calibrating a head-mounted eye tracking device
US20160353094A1 (en) * 2015-05-29 2016-12-01 Seeing Machines Limited Calibration of a head mounted eye tracking system
US20170102767A1 (en) * 2015-10-12 2017-04-13 Samsung Electronics Co., Ltd. Head mounted electronic device
US20170344107A1 (en) * 2016-05-25 2017-11-30 Intel Corporation Automatic view adjustments for computing devices based on interpupillary distances associated with their users
CN107506036A (zh) * 2017-08-23 2017-12-22 歌尔股份有限公司 Vr瞳距调节方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017348A1 (ja) 2012-07-24 2014-01-30 ソニー株式会社 画像表示装置および画像表示方法
US20150312558A1 (en) 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
US9599825B1 (en) 2015-09-30 2017-03-21 Daqri, Llc Visual indicator for transparent display alignment
EP3958048A1 (en) * 2016-04-17 2022-02-23 Optica Amuka (A.A.) Ltd. Liquid crystal lens with enhanced electrical drive
JP6971686B2 (ja) * 2017-08-02 2021-11-24 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US11093208B2 (en) * 2018-02-16 2021-08-17 Valve Corporation Using detected pupil location to align optical components of a head-mounted display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20160302663A1 (en) * 2013-12-17 2016-10-20 Essilor International (Compagnie Generale D'optique) Method for calibrating a head-mounted eye tracking device
US20160353094A1 (en) * 2015-05-29 2016-12-01 Seeing Machines Limited Calibration of a head mounted eye tracking system
US20170102767A1 (en) * 2015-10-12 2017-04-13 Samsung Electronics Co., Ltd. Head mounted electronic device
US20170344107A1 (en) * 2016-05-25 2017-11-30 Intel Corporation Automatic view adjustments for computing devices based on interpupillary distances associated with their users
CN107506036A (zh) * 2017-08-23 2017-12-22 歌尔股份有限公司 Vr瞳距调节方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115668100A (zh) * 2020-05-21 2023-01-31 奇跃公司 使用眼睛跟踪对激光束扫描显示器进行扭曲
CN115668100B (zh) * 2020-05-21 2023-10-27 奇跃公司 使用眼睛跟踪对激光束扫描显示器进行扭曲
CN113589532A (zh) * 2021-07-30 2021-11-02 歌尔光学科技有限公司 头戴设备的显示校准方法、装置、头戴设备及存储介质

Also Published As

Publication number Publication date
US11551376B2 (en) 2023-01-10
US20200134867A1 (en) 2020-04-30
US20230108738A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
CN111103971A (zh) 头戴式装置在用户上的位置的确定
US11126840B2 (en) Head-mounted display
KR102469507B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP5414946B2 (ja) ヘッドマウントディスプレイおよびその位置ずれ調整方法
IL305833A (en) Eye center for determining rotation, choosing depth plane and processing camera position in display systems
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
US20110249868A1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
EP3292437A2 (en) Transition between binocular and monocular views
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2015013031A5 (zh)
EP3671313A2 (en) Gaze tracking using mapping of pupil center position
EP4236310A3 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
CN110537897B (zh) 视线追踪方法和装置、计算机可读存储介质、电子设备
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
CN114424147A (zh) 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
JP6501389B2 (ja) ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラム
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
US10438402B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
CN111522431B (zh) 使用眼睛跟踪系统对闪光进行分类
EP3637169A1 (en) Method and device for displaying virtual image
US11259010B2 (en) Detecting relocation of a head-mounted device
WO2017081915A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN113064278A (zh) 视觉增强方法、系统、计算机存储介质及智能眼镜
CN112613389A (zh) 眼部手势控制方法和系统及其vr眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination