CN114994910A - 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统 - Google Patents

用于头戴式装置的、用于更新眼睛追踪模型的方法和系统 Download PDF

Info

Publication number
CN114994910A
CN114994910A CN202210522764.1A CN202210522764A CN114994910A CN 114994910 A CN114994910 A CN 114994910A CN 202210522764 A CN202210522764 A CN 202210522764A CN 114994910 A CN114994910 A CN 114994910A
Authority
CN
China
Prior art keywords
eye
eye tracking
sensor
sensor data
tracking sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210522764.1A
Other languages
English (en)
Inventor
普拉文·库马尔·拉娜
杰拉尔德·比安基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN114994910A publication Critical patent/CN114994910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于包括眼睛追踪传感器的头戴式装置的、用于更新与眼睛相关联的眼睛追踪模型的系统、头戴式装置、计算机程序、载体、以及方法。借助于眼睛追踪传感器获取与眼睛相关联的第一传感器数据。在获取第一传感器数据之后，相对于眼睛移动眼睛追踪传感器。在移动眼睛追踪传感器之后，借助于眼睛追踪传感器获取与眼睛相关联的第二传感器数据。然后基于第一传感器数据和第二传感器数据更新与眼睛相关联的眼睛追踪模型。

Description

用于头戴式装置的、用于更新眼睛追踪模型的方法和系统
本申请是申请日为2020年09月25日、申请号为202011025043.7、发明名称为“用于头戴式装置的、用于更新眼睛追踪模型的方法和系统”的发明专利申请的分案申请。
技术领域
本公开内容涉及眼睛追踪领域。具体地，本公开内容涉及用于更新头戴式装置的与眼睛相关联的眼睛追踪模型的方法和系统。
背景技术
例如用于增强现实或虚拟现实的头戴式装置可以有利地提供有眼睛追踪功能。眼睛追踪功能通常是在包括眼睛追踪系统的基础上的，该眼睛追踪系统包括一个或多个眼睛追踪传感器，该一个或多个眼睛追踪传感器接收每只眼睛的传感器数据，例如每只眼睛的图像形式。借助于图像和眼睛追踪模型，可以确定每只眼睛的注视数据，该注视数据包括注视射线(即，注视方向和视线起点)和/或在平面/显示器上的注视位置。眼睛追踪模型通常涉及眼睛追踪传感器和眼睛追踪系统的其他零件和部分相对于眼睛的位置，以及针对每只眼睛的眼睛模型。
当在头戴式装置中对每只眼睛使用单个眼睛追踪传感器时，通常难以获得准确的眼睛追踪模型。当每只眼睛使用至少两个眼睛追踪传感器时，可以获得更准确的眼睛追踪模型。然而，增加眼睛追踪传感器将导致额外的成本并且增加了复杂性。因此，业内缺少在不增加现有头戴式装置的复杂性和成本的情况下提供更准确的眼睛追踪模型的方法和系统。
因此，希望的是解决上述现有技术的问题。
发明内容
本公开内容的目的是单独地或以任何组合来减轻、缓解、或消除现有技术的一个或多个上述问题和缺点。
此目的通过如独立权利要求中限定的方法、系统、头戴式装置、计算机程序和载体来达成。
根据第一方面，提供了一种用于头戴式装置的、用于更新与眼睛相关联的眼睛追踪模型的方法，其中，头戴式装置包括眼睛追踪传感器。在该方法中，借助于眼睛追踪传感器获取与眼睛相关联的第一传感器数据。在获取第一传感器数据之后，相对于眼睛移动眼睛追踪传感器。在移动眼睛追踪传感器之后，借助于眼睛追踪传感器获取与眼睛相关联的第二传感器数据。然后基于第一传感器数据和第二传感器数据更新相对于眼睛的眼睛追踪模型。
通过移动眼睛追踪传感器，获取的第一传感器数据和获取的第二传感器数据与分别在移动眼睛追踪传感器之前和之后相对于眼睛定位在两个不同位置的眼睛追踪传感器相关眼睛眼睛。与传感器数据与相对于眼睛定位在单个位置的眼睛追踪传感器相关的情况相比，这将使得对眼睛追踪模型的更新变得更准确。
头戴式装置所涉及的装置安装在用户的头部、并且其范围从用于虚拟现实的风镜形式的较笨重的装置到用于增强现实的眼镜形式的较轻便的装置。
本公开内容至少部分地基于以下认识：移动眼睛追踪传感器将使得能够在对每只眼睛使用单个眼睛追踪传感器时获得更准确眼睛追踪模型，并且因此，将不需要对每只眼睛增设额外的眼睛追踪传感器。在现有技术中，这种移动通常被认为会增加眼睛追踪系统的结构的复杂性。本公开内容进一步基于以下认识：如果眼睛追踪传感器的移动是由于无论如何都会发生的、在不增加头戴式装置的复杂性的情况下容易实现的、或已经允许的移动，则眼睛追踪传感器的这种移动将不会进一步增加头戴式装置的结构的复杂性。因此，可以提供更准确的眼睛追踪模型而不会增加现有头戴式装置的复杂性和成本。
在一些实施例中，眼睛追踪传感器可移动地布置在头戴式装置中。例如，眼睛追踪传感器可以布置在头戴式装置的零件上，该零件可移动地布置在头戴式装置中。可移动地布置在头戴式装置中的头戴式装置零件优选地是出于一些其他目的而已经可移动地布置的零件。因此，将眼睛追踪传感器布置在该零件上将不会增加复杂性和成本。
在另外一些实施例中，眼睛追踪传感器固定不动地布置在头戴式装置中。眼睛追踪传感器可以借助于头戴式装置无论如何都会发生的移动或在不增加头戴式装置的复杂性的情况下容易实现的移动而移动。例如，这种移动可以是由于用户将头戴式装置放在她或他的头上或在她或他头上调节头戴式装置所引起。另外，这种移动可以通过例如以特定方式对用户提供移动头戴式装置的指令而引起。这些指令可以例如经由用户接口(例如显示器、麦克风、耳机等)提供。因此，将不会增加复杂性或成本。
在一些实施例中，眼睛追踪传感器相对于头戴式装置的光学系统布置成使得通过相对于眼睛移动光学系统来相对于眼睛移动眼睛追踪传感器。眼睛追踪传感器可以布置在光学系统上，例如在玻璃、屏幕、透镜杯、框架、显示器等上，并且可以通过移动光学系统或移动至少眼睛追踪传感器布置在其上的光学系统的零件来移动眼睛追踪传感器。光学系统或至少眼睛追踪传感器布置在其上的光学系统的零件可以可移动地或固定不动地布置在头戴式装置中。在前一种情况下，整个头戴式系统或至少绝大部分头戴式系统相对于眼睛移动，以使光学系统相对于眼睛移动并且因此使眼睛追踪传感器相对于眼睛移动。在后一种情况下，光学系统或光学系统的至少眼睛追踪传感器布置在其上的零件在头戴式装置中相对于眼睛移动，以使眼睛追踪传感器相对于眼睛移动。因此，将不会增加额外的复杂性或成本。
在另外的实施例中，眼睛追踪传感器相对于可移动地布置在头戴式装置中的显示器布置成使得通过相对于眼睛移动头戴式装置中的显示器来使眼睛追踪传感器相对于眼睛移动眼睛。可移动布置的显示器可能出于其他原因已经设置在头戴式装置中。例如可提供这种可移动布置的显示器以使头戴式装置适应于具有不同双眼间距离的不同用户或根据当前视线会聚距离适应于单个用户的不同瞳距。因此，将不会增加额外的复杂性或成本。
在一些实施例中，眼睛追踪传感器可以例如是成像装置。第一传感器数据代表眼睛的第一图像并且第二传感器数据代表眼睛的第二图像，并且移动使得眼睛追踪传感器与眼睛之间的角度发生变化。更新眼睛追踪模型包括识别第一图像中眼睛的特征的位置，并且识别第二图像中眼睛的特征的位置。然后基于第一图像中眼睛的特征的位置、第二图像中眼睛的特征的位置、以及眼睛追踪传感器的移动来确定眼睛追踪传感器距眼睛的特征的距离。基于所确定的距离更新与眼睛相关联的眼睛追踪模型。
在另外的实施例中，本公开内容的第一方面的方法进一步包括，在获取第二传感器数据之后，进一步相对于眼睛移动眼睛追踪传感器，并且在进一步移动眼睛追踪传感器之后，借助于眼睛追踪传感器获取与眼睛相关联的第三传感器数据。然后进一步基于第三传感器数据更新与眼睛相关联的眼睛追踪模型。
在一些实施例中，眼睛追踪传感器的移动是已知的移动。
在又一些实施例中，眼睛追踪传感器的移动是相对于眼睛的平移移动。
在再一些实施例中，使用即时定位与地图构建(SLAM)算法来更新所述眼睛追踪模型。
在另外一些实施例中，眼睛追踪模型通过指示用户的眼睛的角膜的曲率半径的角膜参数被参数化，并且其中，对眼睛追踪模型的更新包括对角膜参数的值的更新。
在另外一些实施例中，眼睛追踪模型通过指示所述用户的眼睛的瞳孔位置的瞳孔位置参数被参数化，并且其中，对眼睛追踪模型的更新包括对瞳孔位置参数的值的更新。
根据第二方面，提供了一种用于包括眼睛追踪传感器的头戴式显示器的系统。该系统包括处理器和存储器。存储器包含可由处理器执行的指令，由此系统能操作以执行根据第一方面的方法。
根据第二方面的系统的实施例可以例如包括与根据第一方面的方法的任何实施例的特征相对应的特征。
根据第三方面，提供了一种包括第二方面的系统的头戴式装置。
根据第三方面的头戴式装置的实施例可以例如包括与根据第二方面的系统的任何实施例的特征相对应的特征。
根据第四方面，提供了一种用于包括眼睛追踪传感器的头戴式装置的计算机程序。该计算机程序包括指令，这些指令当由至少一个处理器执行时，使该至少一个处理器执行根据第一方面的方法。
使处理器执行根据第一方面的方法是指对于该方法的每个步骤，步骤要么在处理器中执行要么处理器触发和/或控制不同实体来执行该步骤。
根据第四方面的该计算机程序的实施例可以例如包括与根据第一方面的方法的任何实施例的特征相对应的特征。
根据第五方面，提供了一种包括根据第四方面的计算机程序的载体。该载体是电子信号、光信号、无线电信号和计算机可读存储介质之一。
根据第五方面的载体的实施例可以例如包括与根据第四方面的计算机程序的任何实施例的特征相对应的特征。
附图说明
前述内容将从以下对附图中展示的示例实施例的更具体的描述变得清楚，在附图中，在不同附图中，相同的附图标记表示相同的部分。附图不一定是按比例绘制的，而是将侧重点放在展示示例实施例。
图1a和图1b是展示了根据本公开内容的方法的实施例的流程图。
图2是展示了根据本公开内容的系统的实施例的框图。
图3是根据本公开内容的头戴式装置的实施例的示意性图。
图4是用户的眼睛与根据本公开内容的方法、系统和头戴式装置的实施例的关系的示意图。
所有附图都是示意性的，不一定按比例绘制，并且通常仅示出为了阐明相应示例所必需的部分，而其他部分可以被省略或仅被暗示出。
具体实施方式
在下文中将参考附图更全面地描述本公开内容的各方面。然而，本文公开的设备和方法可以以许多不同的形式来实现并且不应被解释为限于本文所阐述的各个方面。所有附图中相同的附图标记表示相同的元件。
本文使用的术语仅出于描述本公开内容的特定方面的目的并且不旨在限制本发明。如本文所使用的，单数形式的“一(a)”、“一个(an)”和“该”也旨在包括复数形式，除非上下文另外明确指明。
在下文中，提供了用于包括眼睛追踪传感器的头戴式装置的、用于更新眼睛追踪模型的方法和系统的示例的描述。对于这些示例常见的是对一只眼睛使用单个眼睛追踪传感器(并且对另一只眼睛一般也使用单个眼睛追踪传感器)并且在移动之前和之后借助于单个眼睛追踪传感器获取传感器数据。眼睛追踪传感器移动的方式尤其取决于应用场合、眼睛追踪传感器布置在其中的头戴式装置的类型、以及眼睛追踪传感器布置在头戴式装置中的方式。提供了两种主要的替代方案。在第一替代方案中，眼睛追踪传感器可移动地布置在头戴式装置中，而在第二替代方案中，眼睛追踪传感器固定不动地布置在头戴式装置中。在第一替代方案中，眼睛追踪传感器可以在头戴式装置中移动而无需移动整个头戴式装置。可移动地布置通常是指当用户佩戴头戴式装置时在无需改变头戴式装置相对于用户的头部的位置的情况下眼睛追踪传感器可以相对于眼睛移动。然而，在第一替代方案中，头戴式装置的其他零件或部分也可以移动或是可移动的。在第二替代方案，为了移动眼睛追踪传感器则需要移动整个头戴式装置或至少绝大部分头戴式装置眼睛。固定不动地布置通常是指当用户佩戴头戴式装置时在无需改变头戴式装置相对于用户的头部的位置的情况下眼睛追踪传感器无法相对于眼睛的位置移动。然而，当头戴式装置相对于用户的头部移动时，为了使眼睛追踪传感器相对于用户的眼睛移动，头戴式装置的其他零件或部分仍可以保持静止眼睛。
根据眼睛第一替代方案(其中眼睛追踪传感器可移动地布置在头戴式装置中)的一个示例，眼睛追踪传感器被布置成使得该眼睛追踪传感器与下列部件一起移动：可移动地布置在头戴式装置中的虚拟视网膜显示器的显示器(或透镜杯或其他部件)或可移动地布置在具有用于进行瞳距调节的机构的头戴式装置中的显示器(或透镜杯或其他部件)。
根据眼睛第二替代方案(其中眼睛追踪传感器固定不动地布置在头戴式装置中)的示例，眼睛追踪传感器被布置成使得该眼睛追踪传感器例如在眼睛追踪传感器固定不动地布置在头戴式装置上时通过要求用户向上和向下移动头戴式装置或通过使用用户戴上或调节头戴式装置时的移动而与整个头戴式装置一起移动。
图1a和图1b示出了流程图，该流程图展示了用于头戴式装置的、用于更新与眼睛相关联的眼睛追踪模型的方法100的实施例，其中，头戴式装置包括眼睛追踪传感器。更新与眼睛相关联的眼睛追踪模型的步骤可以包括基于第一传感器数据和第二传感器数据估计与眼睛相关联的眼睛追踪模型。根据应用场合，眼睛追踪模型可以涉及多种不同类型的眼睛追踪模型的其中一种类型。在一些应用场合中，眼睛追踪模型可以通过指示用户的眼睛的角膜的曲率半径的角膜参数来参数化。在一些应用场合中，眼睛追踪模型通过指示用户的眼睛的瞳孔位置的瞳孔位置参数来参数化。进一步，眼睛追踪模型可以由眼球的半径和/或位置来参数化。
参考图1a。在方法100中，借助于眼睛追踪传感器获取110与用户的眼睛相关的第一传感器数据。传感器数据可以是不同类型的，例如由数字图像传感器形式的眼睛追踪传感器捕获到的眼睛的数字图像。对于一些应用场合，用记录可见光的数字图像传感器就足够了。对于其他应用场合，例如当使用来自红外光源的闪光来确定注视数据时需要记录红外光的数字图像传感器。
在获取110第一传感器数据之后，相对于眼睛移动120眼睛追踪传感器。如上文指示的，眼睛追踪传感器可以固定不动地布置在头戴式装置中或可移动地布置在头戴式装置中。在任一种情况下，特别是在后一种情况下，眼睛追踪传感器相对于眼睛的移动可以是已知的移动122。在一些示例中，移动可以是完全已知的，使得移动的距离和方向均是已知的。在此类示例中，在该方法之后的步骤中可以使用已知的移动来执行准确计算。在其他示例中，移动仅在一定程度上是已知的，例如仅已知移动的方向而不知道移动的准确距离。在此类示例中，在该方法之后的步骤中，可以使用部分已知的移动来进行近似计算。即使移动是完全未知的，也存在近似算法(例如即时定位与地图构建(SLAM))，在连续地轮流获得传感器数据和眼睛追踪传感器的情况下，这些近似算法可以适用。
在特定示例中，眼睛追踪传感器的移动是相对于眼睛的平移移动124。
在眼睛追踪传感器可移动地布置在头戴式装置中的一些示例中，眼睛追踪传感器相对于显示器(或透镜杯或其他部件)布置，该显示器可移动地布置在头戴式装置中。然后，通过相对于眼睛移动126头戴式装置中的显示器(或透镜杯或其他部件)来相对于眼睛移动眼睛追踪传感器。这种可移动地布置的(透镜杯或其他部件)可以例如设置在头戴式装置中显示器(或透镜杯或其他部件)还出于另一目的应当可移动地布置在的地方。例如，为了相对于用户的瞳距校准虚拟视网膜显示器并且为了支持机构基于用户的当前视线会聚距离来相对于瞳距连续调节显示器，这种布置可以是必要的。于是显示器(或透镜杯或其他部件)的移动一般相对于眼睛是水平和平移的。
在移动120了眼睛追踪传感器之后，借助于眼睛追踪传感器获取130与眼睛相关联的第二传感器数据。一般来说，第二传感器数据是与第一传感器数据相同类型的传感器数据。
在一些示例中，在获取130了第二传感器数据之后，可以相对于眼睛进一步移动140眼睛追踪传感器。此进一步移动140可以是与在获取110了第一传感器数据之后的移动120相同类型的移动。
在眼睛追踪传感器进一步移动140之后，借助于眼睛追踪传感器获取150与眼睛相关联的第三传感器数据。
可以通过连续交替地移动眼睛追踪传感器和获取传感器数据来重复该过程，并且结果可以在之后的步骤中用于近似算法(例如即时定位与地图构建(SLAM))。
现在参考图1b。方法100继续基于第一传感器数据和第二传感器数据(以及第三传感器数据或更多的传感器数据(如果可获得的话))更新160与眼睛相关联的眼睛追踪模型。因为在移动眼睛追踪传感器之前和之后借助于眼睛追踪传感器分别获取了第一传感器数据和第二传感器数据，所以相比使用不移动的单个眼睛追踪传感器，该第一传感器数据和该第二传感器数据将眼睛提供额外的信息。在一示例中，第一传感器数据代表112第一图像440并且第二传感器数据代表132第二图像460。此外，移动使得眼睛追踪传感器与眼睛之间的角度发生变化。在这样的示例中，可以识别162第一图像中眼睛的特征的位置，并且可以识别163第二图像中特征的位置。基于第一图像中特征的位置、第二图像中特征的位置、以及眼睛追踪传感器的移动，确定164眼睛追踪传感器与眼睛的特征的距离。然后基于所确定的距离更新165眼睛追踪模型。例如，如果移动是已知的水平平移移动，该水平平移移动够快且够短，使得获取两个图像之间的时间短，则产生的两个图像将非常接近立体装备中的产生的两个图像，并且因此可以使用立体技术来确定眼睛追踪传感器与眼睛的特征的距离。
如果移动是未知的，则可以应用近似算法(例如即时定位与地图构建(SLAM))来更新168眼睛追踪模型。在这种情况下，对于连续地交替获得传感器数据和移动眼睛追踪传感器，这种近似算法可以有利地适用眼睛。
图1a和图1b包括在具有实线边界的框中展示的一些步骤和在具有虚线边界的框中展示的一些步骤。包括在具有实线边界的框中的步骤是包括在范围最宽的示例实施例中的操作。包括在具有虚线边界的框中的步骤可以如下的示例实施例：该示例实施例包括在范围较宽的示例实施例的操作中、或者可以作为这些范围较宽的示例实施例的操作的一部分、或者是可以作为这些范围较宽的示例实施例的操作的补充而采取的进一步操作。并非所有步骤都一定要按顺序执行，并且并非所有操作都需要执行。此外，这些步骤中的至少一些可以并行执行。
如本文例如关于图1a和图1b公开的用于头戴式装置的、用于更新与眼睛相关联的眼睛追踪模型的方法以及该方法中的步骤可以在图2的系统200中实施。系统200包括处理器210和载体220，该载体包括例如呈计算机程序形式的计算机可执行指令230，这些指令当由处理器210执行时使系统200执行该方法。载体220可以例如是电子信号、光信号、无线电信号、暂时性计算机可读存储介质和非暂时性计算机可读存储介质。
关于图2展示的系统200可以例如在图3中展示的头戴式装置中实施。
图3示出了根据一个或多个实施例的头戴式装置1010。头戴式装置1010是可以可选地被配置成安装(或布置)在用户1000的头部处的装置，如图4所示。头戴式装置1010可以例如包括头戴式显示器(HMD)(例如VR头戴式装置、AR头戴式装置或MR头戴式装置)和/或被包括在HMD中。头戴式装置1010或HMD包括显示装置1015，该显示装置能够响应于从计算机接收到的控制信号而显示多个物体。显示装置1015可以对真实世界体验是透明的而对虚拟世界体验是非透明的。一般来说，头戴式装置1010被进一步配置成使用(例如指示瞳孔位置、注视方向和/或会聚距离的)一个或多个眼睛追踪传感器(未示出)、通过视线追踪信号提供眼睛追踪功能。换句话说，头戴式装置1010一般被配置用于提供用户正在看的物体的指示和/或用户正在看/观看的深度的指示。头戴式装置1010对于每只眼睛包括单个眼睛追踪传感器。
显示装置1015可以例如是3D显示器、例如立体显示器。3D显示器可以例如包括配备有AR功能的眼镜。进一步地，3D显示器可以是自动立体的或自动多视点的体3D显示器，这意味着这些3D显示器形成肉眼可见的3D图像，而不需要立体风镜或立体头戴式显示器。因此，3D显示器可以是头戴式装置1010的一部分。
在一般示例中，显示器(透镜杯或其他部件)相对于眼睛可水平移动，例如以便使得显示器能够相对于瞳孔居中。通过在每只眼睛相应的可水平移动的显示器(透镜杯或其他件)上对每只眼睛布置一个眼睛追踪传感器，眼睛追踪传感器也将可以水平移动并且因此可以执行本公开内容的方法的方法实施例。
其中显示器可水平移动的一个具体示例是使用虚拟视网膜显示器的头戴式装置。在这样的应用场合中，使用半透反射式/反射式光学器件来反射来自光源(例如使用RGB光引擎)的扫描光，并且可以倾斜的MEMS扫描镜已经布置成相对于眼睛可水平移动，以便能够调节成与眼睛的瞳孔的位置对准。
应当注意的是，图3中展示的头戴式装置的设计仅是示例。根据本公开内容的头戴式装置与具体设计无关。该头戴式装置涵盖了其他设计，例如更类似于常规眼镜、典型地用于智能眼镜的设计。
图4是与根据本公开内容的方法、系统和头戴式设的实施例相关的用户眼睛410的示意图。
提供了头戴式装置的可移动部分420，例如可移动显示器420。在可移动显示器420上、或在可移动显示器420的框架上布置了相机430形式的眼睛追踪传感器，使得在移动显示器420时相机430移动。获取第一图像440形式的第一传感器数据，并且在显示器420和相机430的已知的移动450之后，获取第二图像460形式的第二传感器数据。移动450是相对于眼睛410的平移移动450。应当注意的是，出于解说目的，在图4中移动450的尺寸相对于相机430与眼睛410的距离被夸大表示。移动通常是毫米量级的。识别了第一图像440中眼睛的特征(例如瞳孔)的位置470并且识别了第二图像460中特征的位置480。现在，基于已知的移动450、眼睛特征在第一图像440中的位置470、眼睛特征在第二图像460中的位置480，可以确定相机430与眼睛的特征的距离。
在一个示例中，眼睛追踪传感器相对于头戴式装置1010的光学系统布置成使得通过相对于眼睛410移动光学系统来相对于眼睛410移动450眼睛追踪传感器。眼睛追踪传感器可以布置在光学系统上，例如布置在眼镜、屏幕、透镜杯、框架、显示器等上，并且可以通过移动光学系统或至少光学系统的零件(眼睛追踪传感器布置在该零件上)来移动眼睛追踪传感器。光学系统或至少光学系统的零件(眼睛追踪传感器布置在该零件上)可以可移动地或固定不动地布置在头戴式装置1010中。
本领域技术人员认识到，本发明决不限于上述实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。
另外地，在实践所要求保护的发明时，本领域的技术人员可以通过研究附图、公开内容以及所附权利要求来理解和实现所公开实施例的变型。在权利要求中，词语“包括”不排除其他要素或步骤，并且不定冠词“一个(a)”或“一种(an)”并不排除复数。本文使用的术语仅出于描述本公开内容的特定方面的目的并且不旨在限制本发明。本公开内容提及的功能单元之间任务的划分不一定对应于划分为多个物理单元；相反，一个物理部件可以具有多个功能，并且一个任务可以通过协作的若干物理部件以分布式方式来执行。计算机程序可以存储/分布在合适的非暂时性介质(诸如与其他硬件一起提供的或作为其他硬件的一部分而提供的光学存储介质或固态介质)上，但是也可以诸如经由互联网或其他有线或无线电通信系统以其他形式来分布。在相互不同的从属权利要求中引用某些度量/特征的简单事实并不表明不能有利地使用这些度量/特征的组合。方法步骤不一定必须以它们在权利要求或本文描述的实施例中出现的顺序来执行，除非明确描述了要求一定的顺序。权利要求中的任何附图标记不应被理解为对范围进行限制。

Claims (16)

1.一种用于头戴式装置(1010)的、用于更新与眼睛(410)相关联的眼睛追踪模型的方法(100)，其中，所述头戴式装置包括眼睛追踪传感器，所述方法包括：
借助于所述眼睛追踪传感器获取(110)与所述眼睛相关联的第一传感器数据；
借助于所述眼睛追踪传感器获取(130)与所述眼睛相关联的第二传感器数据，其中，在相对于所述眼睛移动所述眼睛追踪传感器之后获取所述第二传感器数据；以及
基于所述第一传感器数据和所述第二传感器数据更新(160)与所述眼睛相关联的所述眼睛追踪模型。
2.如权利要求1所述的方法，其中，所述眼睛追踪传感器可移动地布置在所述头戴式装置中。
3.如权利要求1所述的方法，其中，所述眼睛追踪传感器固定不动地布置在所述头戴式装置中。
4.如权利要求1或2所述的方法，其中，所述眼睛追踪传感器相对于所述头戴式装置的光学系统布置成使得通过相对于所述眼睛移动所述光学系统来相对于所述眼睛移动所述眼睛追踪传感器。
5.如权利要求1或2所述的方法，其中，所述眼睛追踪传感器相对于可移动地布置在所述头戴式装置中的显示器(420)布置成使得通过相对于所述眼睛移动所述头戴式装置中的所述显示器来相对于所述眼睛移动所述眼睛追踪传感器。
6.如权利要求1所述的方法，其中，所述第一传感器数据代表(112)所述眼睛的第一图像(440)并且所述第二传感器数据代表(132)所述眼睛的第二图像(460)，其中，所述移动使得所述眼睛追踪传感器与所述眼睛之间的角度发生变化，并且其中，更新所述眼睛追踪模型进一步包括：
识别(162)所述第一图像中所述眼睛的特征的位置(470)；
识别(163)所述第二图像中所述眼睛的所述特征的位置(480)；
基于所述第一图像中所述眼睛的所述特征的位置、所述第二图像中所述眼睛的所述特征的位置、以及所述眼睛追踪传感器的移动来确定(164)所述眼睛追踪传感器到所述眼睛的所述特征的距离；以及
基于所确定的距离更新(165)与所述眼睛相关联的所述眼睛追踪模型。
7.如权利要求1所述的方法，进一步包括：
相对于所述眼睛移动(140)所述眼睛追踪传感器，其中，在获取所述第二传感器数据之后移动所述眼睛追踪传感器；以及
借助于所述眼睛追踪传感器获取(150)与所述眼睛相关联的第三传感器数据，其中，在移动所述眼睛追踪传感器之后获取所述第三传感器数据，
其中，进一步基于所述第三传感器数据更新与所述眼睛相关联的所述眼睛追踪模型。
8.如权利要求1所述的方法，其中，所述眼睛追踪传感器的移动是已知的移动(122)。
9.如权利要求1所述的方法，其中，所述眼睛追踪传感器的移动是相对于所述眼睛的平移移动(124)。
10.如权利要求1所述的方法，其中，使用即时定位与地图构建SLAM算法来更新(168)所述眼睛追踪模型。
11.如权利要求1所述的方法，其中，所述眼睛追踪模型通过指示所述用户的所述眼睛的角膜的曲率半径的角膜参数被参数化，并且其中，对所述眼睛追踪模型的更新包括更新所述角膜参数的值。
12.如权利要求1所述的方法，其中，所述眼睛追踪模型通过指示所述用户的所述眼睛的瞳孔位置的瞳孔位置参数被参数化，并且其中，对所述眼睛追踪模型的更新包括更新所述瞳孔位置参数的值。
13.一种用于头戴式装置(1010)的、用于更新与眼睛(410)相关联的眼睛追踪模型的系统(200)，其中，所述头戴式装置包括眼睛追踪传感器，所述系统包括处理器(210)和存储器，所述存储器包含可由所述处理器执行的指令，由此所述系统能操作以：
通过所述眼睛追踪传感器获取与所述眼睛相关联的第一传感器数据；
通过所述眼睛追踪传感器获取与所述眼睛相关联的第二传感器数据，其中，在相对于所述眼睛移动所述眼睛追踪传感器之后获取所述第二传感器数据；以及
基于所述第一传感器数据和所述第二传感器数据更新与所述眼睛相关联的所述眼睛追踪模型。
14.一种头戴式装置(1010)，所述头戴式装置包括如权利要求13所述的系统。
15.一种载体(220)，所述载体包括用于头戴式装置(1010)的、用于更新与眼睛(410)相关联的眼睛追踪模型的计算机程序，其中，所述头戴式装置包括眼睛追踪传感器，所述计算机程序包括指令(230)，所述指令在由处理器(210)执行时使至少一个处理器：
通过所述眼睛追踪传感器获取与所述眼睛相关联的第一传感器数据；
通过所述眼睛追踪传感器获取与所述眼睛相关联的第二传感器数据，其中，在相对于所述眼睛移动所述眼睛追踪传感器之后获取所述第二传感器数据；以及
基于所述第一传感器数据和所述第二传感器数据更新与所述眼睛相关联的所述眼睛追踪模型。
16.如权利要求15所述的载体(220)，其中，所述载体是电子信号、光信号、无线电信号和计算机可读存储介质之一。
CN202210522764.1A 2019-09-30 2020-09-25 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统 Pending CN114994910A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1951103A SE1951103A1 (en) 2019-09-30 2019-09-30 Methods and systems for a head-mounted device for updating an eye tracking model
SE1951103-9 2019-09-30
CN202011025043.7A CN112578558B (zh) 2019-09-30 2020-09-25 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011025043.7A Division CN112578558B (zh) 2019-09-30 2020-09-25 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统

Publications (1)

Publication Number Publication Date
CN114994910A true CN114994910A (zh) 2022-09-02

Family

ID=72659028

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011025043.7A Active CN112578558B (zh) 2019-09-30 2020-09-25 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统
CN202210522764.1A Pending CN114994910A (zh) 2019-09-30 2020-09-25 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011025043.7A Active CN112578558B (zh) 2019-09-30 2020-09-25 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统

Country Status (4)

Country Link
US (1) US11934571B2 (zh)
EP (1) EP3800530A1 (zh)
CN (2) CN112578558B (zh)
SE (1) SE1951103A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202010326D0 (en) * 2020-07-06 2020-08-19 Palakollu Vamsee Krishna A virtual reality headset

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
US10686972B2 (en) * 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
KR102402467B1 (ko) * 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
US10311584B1 (en) * 2017-11-09 2019-06-04 Facebook Technologies, Llc Estimation of absolute depth from polarization measurements
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US10488917B2 (en) * 2018-02-17 2019-11-26 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze using reflective element
KR102094953B1 (ko) * 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
US10884492B2 (en) 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US10901502B2 (en) * 2019-06-27 2021-01-26 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪

Also Published As

Publication number Publication date
CN112578558B (zh) 2022-06-03
CN112578558A (zh) 2021-03-30
US20210255698A1 (en) 2021-08-19
SE543354C2 (en) 2020-12-15
EP3800530A1 (en) 2021-04-07
SE1951103A1 (en) 2020-12-15
US11934571B2 (en) 2024-03-19

Similar Documents

Publication Publication Date Title
US11606548B2 (en) Head mounted display device and method for providing visual aid using same
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
JP5967597B2 (ja) 画像表示装置および画像表示方法
US20200051320A1 (en) Methods, devices and systems for focus adjustment of displays
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
US10048750B2 (en) Content projection system and content projection method
JP2023504373A (ja) 電子ディスプレイの中心窩レンダリングのための予測視線追跡システムおよび方法
EP3409013B1 (en) Viewing device adjustment based on eye accommodation in relation to a display
US20150187115A1 (en) Dynamically adjustable 3d goggles
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
CN114945853A (zh) 用于头戴式显示系统中的变形的补偿
WO2019109323A1 (zh) 图像显示方法、穿戴式智能设备及存储介质
CN111868605B (zh) 针对具体使用者校准能够佩戴在使用者的头部上的显示装置以用于增强显示的方法
CN112578558B (zh) 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统
CN109298793A (zh) 一种屏幕位置调节方法及装置
WO2016203844A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111417893B (zh) 用于检验眼科镜片在镜架中的安装的方法和组件
JP2017091190A (ja) 画像処理装置、画像処理方法およびプログラム
KR101849371B1 (ko) 착용형 디스플레이 장치에서의 자동 초점 조절 장치 및 방법
CN118078204A (zh) 用于改善眼动跟踪系统的性能的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination