CN107427208A - 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法 - Google Patents

用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法 Download PDF

Info

Publication number
CN107427208A
CN107427208A CN201580078102.8A CN201580078102A CN107427208A CN 107427208 A CN107427208 A CN 107427208A CN 201580078102 A CN201580078102 A CN 201580078102A CN 107427208 A CN107427208 A CN 107427208A
Authority
CN
China
Prior art keywords
eye
tracking equipment
eye tracking
wear
optical component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580078102.8A
Other languages
English (en)
Other versions
CN107427208B (zh
Inventor
T·森格劳布
W·尼斯蒂科
M·涅瑟
M·哈勒尔
D·威廉姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Sense Organ Motion Instrument Innovation Sensor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sense Organ Motion Instrument Innovation Sensor Co Ltd filed Critical Sense Organ Motion Instrument Innovation Sensor Co Ltd
Publication of CN107427208A publication Critical patent/CN107427208A/zh
Application granted granted Critical
Publication of CN107427208B publication Critical patent/CN107427208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于确定眼部(12)的至少一个特征的方法和头戴式眼部跟踪设备(10a,10b)，其中所述眼部跟踪设备(10a,10b)包括用于捕获由所述眼部(12)反射的光的捕获设备(C)，和能够改变穿过光学部件(14；E,E1,En,E2)的所述光的传播方向的所述光学部件(14；E,E1,En,E2)。所述眼部跟踪设备(10a,10b)被配置为使得当固定到用户的头部时，由所述捕获设备(C)捕获的所述光已经穿过所述光学部件(14；E,E1,En,E2)并且构成图像的至少一部分，并且所述特征是基于所述图像并依赖关于所述眼部(12)和所述头戴式眼部跟踪设备(10a,10b)之间的相对位置的信息来确定的。

Description

用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪 设备和方法
技术领域
本发明涉及一种用于确定至少一个眼部的至少一个第一特征的头戴式眼部跟踪设备，其中该头戴式眼部跟踪设备包括用于捕获由用户的至少一个眼部反射的光的至少一个捕获设备，以及至少一个光学部件，该至少一个光学部件能够改变穿过该光学部件的光的传播方向。此外，本发明涉及一种利用头戴式眼部跟踪设备来确定用户的至少一个眼部的至少一个第一特征的方法。
背景技术
已知存在采用现有技术的头戴式眼部跟踪设备，其可以包括可安装到用户的头部的框架和插入到框架中的透镜，用户可以通过这些透镜观看。通常，眼部跟踪设备包括相机，这些相机捕获用户眼部的图像并从其确定注视方向。这些相机可以放置在框架中，并且可以具有直接通向用户的眼部的路径。这种构造的缺点在于，相机至少在某些注视方向上只能从侧面看到眼部，并且更难捕获眼部特征。这降低了跟踪准确度。此外，这些相机可以被用户看到，并且可能是干扰或遮挡视野的部分。
此外，已知具有集成的眼部跟踪设备的头戴式显示器。头戴式显示器通常包括显示器，其利用例如框架安装到用户的头部。这些显示器上显示的图像可以利用透镜或透镜系统投射到用户的眼部上。此外，已知存在采用现有技术的头戴式设备，其中用户看不到相机并且相机通过透镜系统观察用户的眼部。这些设备使用基于外观的内插眼部跟踪方法，其具有很大缺点，即当设备相对于用户眼部的相对位置改变时，例如如果头戴式眼部跟踪设备略微滑动，会使这些眼部跟踪设备的校准无效。这导致移动后准确度降低。
因此，本发明的目的是提供一种头戴式眼部跟踪设备和一种利用头戴式眼部跟踪设备来确定用户的至少一个眼部的至少一个第一特征的方法，其在定位头戴式眼部跟踪设备的部件时提供更大的灵活性，同时避免对跟踪准确度造成不利影响。
该目的通过头戴式眼部跟踪设备和用于利用具有独立权利要求的特征的头戴式眼部跟踪设备来确定用户的至少一个眼部的至少一个特征的方法来解决。本发明的有利实施方案在从属权利要求中给出。
发明内容
根据本发明，头戴式眼部跟踪设备被配置为使得当固定到用户的头部时，由捕获设备捕获的光在其被该用户的至少一个眼部反射之前和/或之后通过至少一个光学部件并构成图像的至少一部分。因此，该眼部跟踪设备被配置为基于该图像并且依赖关于至少一个眼部和该头戴式眼部跟踪设备之间的相对位置的信息来确定至少一个第一特征。
因此，有利的是，在执行眼部跟踪时，可以考虑在至少一个眼部和头戴式眼部跟踪设备之间的相对位置的变化，使得发生相对位置的改变时不必重复校准，同时眼部跟踪质量不会受到负面影响。此外，由于捕获的图像至少部分地由已经通过光学部件的光构成，所以该设置允许在定位头戴式眼部跟踪设备的部件时具有更大的灵活性。因此，可将头戴式眼部跟踪设备的捕获设备(其可以包括一个或多个相机或图像传感器)和/或光源(如果有的话)相对于用户的观察方向定位在光学部件的后面。这另外实现了以非常有益的方式来使用户看不到这些其他部件。此外，这具有很大的优点，即可以在位置方面优化这些其他部件，从而可以实现更高的跟踪质量和准确度。此外，这允许将光学部件定位成靠近用户的眼部，使得可以改善对用户的周围情况或眼部跟踪设备的显示设备上显示的图像的视觉感知。
关于眼部和头戴式眼部跟踪设备之间的相对位置的信息还实现了至少一个眼部的至少一个第一特征的无漂移定位，即使头戴式眼部跟踪设备的部件如光源或捕获设备位于光学部件后面。此外，至少一个眼部和头戴式眼部跟踪设备之间的相对位置应被理解为整个眼部和眼部跟踪设备之间的相对位置。眼部跟踪设备和用户头部之间的相对位置将是等同的表征，因此，代替能够基于图像并依赖关于至少一个眼部和头戴式眼部跟踪设备之间的相对位置信息来确定至少一个第一特征的眼部跟踪设备，也可以说，该眼部跟踪设备能够基于关于用户头部和头戴式眼部跟踪设备的相对位置的信息来确定至少一个第一特征。
通常，至少一个光学部件可以包括和/或可以被配置为透镜、棱镜、球面透镜、非球面透镜、自由曲面透镜、波导、透镜系统，或包括一个或多个所述透镜和/或棱镜的光学系统。所述至少一个光学部件还可以包括和/或可以被配置为上述元件和/或系统的任何组合。特别地，至少一个光学部件包括折射光学部件和/或反射光学元件。此类成像光学器件使物和像在数学上相关联，使得例如关于眼部和跟踪设备之间的相对位置的信息也可以在知道数学关系或其近似或者关于该光学器件的大体至少一个信息时从像本身导出。此外，除了所述至少一个光学部件之外，头戴式眼部跟踪设备可以包括一个或多个另外的光学部件。这些另外的光学部件也可以被配置为或包括上述透镜、棱镜、反射光学元件如反射镜等。
此外，优选的是，光学部件定位在眼部的前方。因此，用户可以通过光学部件观察，并且光学部件可以将用户的周围情况或显示器上的图像投射到他/她的眼部上。如果头戴式眼部跟踪设备同时被配置为头戴式显示器，或者换句话说还包括用于向至少一个眼部显示图像的显示器，则这是特别有利的。
因此，本发明的一个优选实施方案是眼部跟踪设备包括被配置为显示图像的显示设备，优选地其中头戴式眼部跟踪设备被配置为使得来自显示设备的光至少部分地穿过至少一个光学部件并投射到至少一个眼部上，特别是当该头戴式眼部跟踪设备固定到用户的头部时。因此，光学部件可以有利地用于将一个或多个显示器上显示的图像投射到用户的几乎完整的视野中。此外，显示器可以被配置为所谓的双向显示器，即被配置为同时显示和捕获图像。因此，头戴式眼部跟踪设备的显示器可以包括和/或被配置为头戴式眼部跟踪设备的捕获设备，其有利于头戴式眼部跟踪设备的特别紧凑的构造。
此外，可以采用几种方式导出关于相对位置的信息。存在有利和简单的方法来从捕获的图像直接导出该信息。为此，知道关于光学部件的一些信息是有益的，例如其成像特性和/或上述数学关系和/或其近似。该信息可以被定义并且被头戴式眼部跟踪设备知道，例如存储在眼部跟踪设备的存储设备或眼部跟踪设备可耦接的存储设备中和/或在由眼部跟踪设备的处理单元执行的用于眼部跟踪的算法中实现，或者该头戴式眼部跟踪设备可以被配置为例如通过执行校准程序导出该信息。关于相对位置的信息也可以在例如不知道关于光学部件的任何信息的情况下另外地确定。头戴式眼部跟踪可以被配置为使得可以捕获用户的眼部和/或脸部的图像，其包括当用户改变他/她的注视方向时不会改变其相对于眼部跟踪设备的位置的特征，不计用户和眼部跟踪设备之间的相对位置改变。例如，可以检测眼部的眼角。如果眼部跟踪设备基于捕获的图像来确定瞳孔的位置，则如果用户改变他/她的注视方向，该位置在图像中改变，但是眼角的位置不会由于注视方向的改变而改变。因此，可以确定瞳孔位置的改变是否是由于眼部跟踪设备相对于用户的眼部的移动，因为在这种情况下，眼角的位置也将改变，或者瞳孔位置的改变是否是由于用户改变他/她的观察方向，因为在这种情况下，眼角的位置不会改变。除了眼角以为，也可以检测眼部或脸部的其他特征，如眉毛、鼻子等。头戴式眼部跟踪设备还可以包括用于检测关于相对位置的信息(如相对位置的变化)的部件，例如传感器特别是接近传感器、加速度计或惯性测量单元。
因此，有许多简单和有利的方式来确定关于眼部和眼部跟踪设备之间的相对位置的信息以及使用该信息来校正或重新定标所确定的眼部特征。
此外，头戴式眼部跟踪设备可以被配置为执行基于模型的眼部跟踪和/或基于外观的眼部跟踪。在这两种情况下，如果捕获设备和/或光源位于光学部件后面，而不会对眼部跟踪质量产生负面影响，则有利地可以确定至少一个眼部的至少一个特征。
此外，头戴式眼部跟踪设备可以被配置为将至少一个第一特征确定为由所述至少一个眼部的瞳孔、巩膜、角膜缘、虹膜、角膜、角膜中心、眼球中心、瞳孔中心、瞳孔直径、瞳孔特征、角膜缘特征、巩膜特征、虹膜特征、血管特征、角膜特征、眼球特征、注视方向、注视点、取向、位置和眼睑闭合组成的组中的至少一个。也可以确定这些特征中的更多个，例如，首先确定注视方向，然后可以确定眼球中心和瞳孔中心，由此可以计算注视向量。还可以使用上述组中特征的其他组合或上述组中的单个特征来计算注视方向向量。
在这种情况下，注视点是用户正在观察的点。可以通过使用户的每个眼部的注视方向向量相交来计算。如果用户正在观察的二维表面是已知的，例如，用户正在观察可以集成到头戴式眼部跟踪设备中的屏幕或显示器，则注视点可以计算为左眼或右眼的注视方向或左眼和右眼的平均注视方向与这个表面的交点。还可以使用用于计算双眼注视点的更先进的方法，例如在统计、随机或更高级的模型中考虑用户的外貌或条件诸如眼球震颤或斜视。
在本发明的一个有利实施方案中，眼部跟踪设备被配置为依赖关于眼部和眼部跟踪设备之间的相对位置的信息，基于图像来执行对至少一个眼部的第二特征的定位，以及基于对至少一个第二特征的定位来确定至少一个第一特征。如已经提到的那样，为了将注视方向确定为第一特征，可以确定像瞳孔、角膜或眼球这样的第二特征。通常，第二特征也可以是上述组中的至少一个。
在该语境中，第二特征的定位可以被理解为第二特征在实空间中的定位或者第二特征在图像中的定位。例如，如果眼部跟踪设备执行基于外观或内插眼部跟踪，则通常在校准程序中，眼部跟踪设备在他/她正在观察预定义的校准点时捕获用户的眼部的多个图像，并且眼部跟踪设备建立映射，该映射例如将图像中的瞳孔位置映射到显示器上的对应注视点。
因此，不必执行瞳孔在实空间中的定位。现在，考虑到眼部和眼部跟踪设备之间的相对位置的信息是非常有利的，因为这样眼部跟踪设备能够区分两种情况，即图像中瞳孔的位置是由于注视方向的改变而改变还是由于眼部跟踪设备相对于用户头部的移动而改变。为了区分这两种情况，可以像已经提到的那样另外检测眼部特征如眼角。
此外，可通过确定第二特征相对于眼部跟踪设备的两个或三个实空间坐标，将第二特征的定位作为第二特征在实空间中的定位来执行。
因此，当眼部跟踪设备被配置为将定位作为3D定位来执行时，这非常有益。因此，可以非常准确地确定眼部的位置、角膜的位置或瞳孔的位置或其他眼部特征，使得同样可以精确地计算注视方向。
该3D定位优选地与基于模型的眼部跟踪一起执行。因此，本发明的另一个非常有利的实施方案是，头戴式眼部跟踪设备被配置为基于至少一个眼部的至少一个第一特征和/或至少一个第二特征和/或至少一个第三特征的模型来确定至少一个眼部的至少一个第一特征。例如，可以从瞳孔轮廓或角膜缘轮廓的透视畸变推断眼部取向，并且可以从非动态变化的眼部特征的图像中的尺寸计算到各个眼部的距离，这些特征诸如角膜缘长轴和短轴，或眼球半径。因此，例如，如果假设对于每个用户，眼球半径是相同的并且是已知的，则通过从图像确定眼球半径以及通过将该确定的半径相对于实际已知半径来设置，可以确定眼部与相机或总体来讲捕获设备的距离。对于相机通过至少一个光学部件看到眼部的情况，必须考虑光学部件的光学特性。如果光学部件的焦距、缩放系数或任何其他成像特性是已知的，则可以将在捕获的图像中检测到的形状和尺寸映射到相应的实际形状和尺寸。可以由此导出例如眼部的3D位置和/或3D取向或其他眼部特征，并且由此执行这些特征的3D定位。
因此，非常有利的是，根据本发明的另一个实施方案，头戴式眼部跟踪设备被配置为基于关于至少一个光学部件的光学特性的信息确定至少一个第一特征和/或执行至少一个第二特征的定位和/或提供关于相对位置的信息。该光学特性可以是焦距，例如光学部件的单个透镜的焦距；有效焦距，例如光学部件的总光学系统的有效焦距；缩放系数；成像特性；折射特性；光学部件的透镜的直径或表面特性。这些特性不必精确地知道，但也可以通过光学部件和/或其单个光学元件的光学特性或模型的某些近似来近似。例如，可以通过多项式描述和/或网格表示等来描述光学部件的透镜和/或自由曲面透镜和/或棱镜的表面特性。透镜的折射特性可以用斯涅耳定律描述，并且光学部件的薄透镜的折射特性可以例如由薄透镜近似来近似。如果光学部件包括不止一个光学元件，那么也可以为每个光学元件使用不同的近似或数学描述。
可以预先给出光学部件的这些光学特性，例如该信息已经包括在用于眼部跟踪的算法中，或者该信息可以由眼部跟踪设备本身例如通过校准程序导出。有利地，关于光学部件的光学特性的该信息也可以用于或包括在用于搜索图像中的眼部特征的特征搜索标准中。例如，为了检测图像中的瞳孔，眼部跟踪设备在图像中搜索具有一定尺寸的类圆形对象或椭圆形对象。如果现在图像中的这些尺寸由于光学部件而改变，则可以在搜索瞳孔候选者时考虑这一点，使得眼部跟踪设备搜索具有根据至少一个光学部件的光学特性重新定标的尺寸的类圆形对象或椭圆形对象。图像中的对象的形式也可以由于光学部件的光学特性而改变，所以可以类似地将这考虑在内。
因此，可以使用关于光学部件的光学特性的信息非常准确地执行至少一个第一特征以及至少一个第二特征的定位。关于光学特性的信息也可以用于提供关于眼部和眼部跟踪设备之间的相对位置的信息，特别是因为该信息可以从捕获的图像直接导出。如果使用关于光学部件的光学特性的知识将眼部跟踪设备配置为在实空间中定位眼部特征，则眼部跟踪设备因此能够确定眼部和眼部跟踪设备之间的相对位置，此外还可以确定该相对位置的变化。因此，头戴式眼部跟踪设备和用户头部之间的变化对眼部跟踪性能没有任何负面影响，相反，通过在眼部跟踪设备的部件的定位中具有更大的灵活性，特别是执行基于模型的眼部跟踪，眼部跟踪质量例如注视准确度甚至可以比已知的眼部跟踪系统有所提高。
此外，头戴式眼部跟踪设备可以被配置为映射图像中的至少一个第二特征的位置，并且依赖关于眼部和眼部跟踪设备之间的相对位置的信息来修改该映射。特别地，眼部跟踪设备可以将图像中的第二特征的位置映射到实空间中的第二特征的位置，基于在图像中检测到的瞳孔的位置来确定瞳孔在实空间中的位置。还可以基于图像计算注视方向和/或注视点之类的特征，并将其映射到实空间中的相应方向和/或位置。这可以例如通过在映射时考虑光学部件的光学特性来完成。另一方面，图像中的至少一个第二特征的位置也可以直接映射到第一特征的对应值。例如，眼部跟踪设备可以确定瞳孔在图像中的位置并将该位置映射到相应的注视方向。为了定义该映射，可以执行例如校准或模拟程序。为了实现眼部跟踪设备和眼部之间的相对位置的变化不会使该图无效，非常有利的做法是依赖关于眼部和眼部跟踪设备之间的相对位置的信息来修改该映射。这样，即使在眼部和眼部跟踪设备之间的相对位置发生变化时，映射也始终保持有效并且正确地映射第二特征。例如可以通过确定图像中的眼角、附加传感器如陀螺仪、接近传感器、加速度计或惯性测量单元或这些传感器的任何组合和/或通过根据捕获的图像导出该信息，来检测这些变化。
头戴式眼部跟踪设备还可以被配置为从第一注视方向确定实际注视方向来作为至少一个眼部的至少一个第二特征，其中关于至少一个光学部件的光学特性的信息用于校正从图像导出的第一注视方向，以提供实际注视方向作为眼部的第一特征。有利地，这是用以确定用户的注视方向的一种非常简单和容易的方法。例如，眼部跟踪设备被配置为以常规方式基于捕获的图像确定注视方向，忽略光学部件的影响。然后，可通过考虑了至少一个光学部件的光学特性的映射将该确定的第一注视方向映射到实际注视方向。例如，该映射可以通过校准程序导出，或者可以预先定义，例如作为查找表。由于该映射考虑了光学部件的光学特性，因此会自动考虑眼部跟踪设备与眼部之间的相对位置的变化。这也适用于不同于注视方向的其他眼部特征。因此，可以根据图像确定眼部的其他特征，如角膜、瞳孔位置等，并使用考虑了光学部件的光学特性的映射来将这些特征映射到实际特征。
因此，十分有利的是，头戴式眼部跟踪设备被配置为通过从捕获设备捕获的图像导出至少一个眼部的至少一个第二特征的特性来确定至少一个眼部的至少一个第一特征和/或执行对至少一个第二特征的定位，其中关于至少一个光学部件的特性的信息用于映射从所述图像导出的至少一个第二特征的特性以提供至少一个第一特征和/或对至少一个第二特征的所述定位。该特性可以是第二特征的尺寸、位置和/或形状，如角膜直径或瞳孔轮廓形状。
此外，头戴式眼部跟踪设备可以被配置为从用于校准头戴式眼部跟踪设备的校准程序的校准结果导出关于至少一个光学部件的光学特性的信息。如果光学部件包括具有透镜或棱镜和/或自由曲面透镜的非常复杂的光学系统，则无法以如此容易的数学方式描述，或者根据描述光学部件的复杂数学公式来计算注视方向的计算时间非常长，因此从校准程序中导出光学特性是非常有益的。这样，光学部件的光学特性就从校准程序中隐含地导出，例如根据校准结果，可以定义将检测到或确定的特征映射到实际特征的映射。也可以使用用于光学部件的模型，例如具有厚度和/或曲率半径参数的透镜模型，其中模型的这些参数可以在校准程序期间被拟合，使得模型近似或准确地描述实际光学部件的光学特性。
因此，本发明的一个优选实施方案是，头戴式眼部跟踪设备被配置为从至少一个光学部件的模型导出关于该至少一个光学部件的光学特性的信息，特别是其中该至少一个光学部件的模型对穿过该至少一个光学部件的光的变化进行建模。如上所述，该模型可用于在校准程序期间拟合模型参数。此外，还可以预先给出该模型，例如作为实际光学部件的光学特性和成像特性的近似。例如，如果光学部件包括具有的厚度比其曲率半径小得多的透镜，则可以使用薄透镜近似来对穿过该光学部件的光的变化建模。也可以为该模型使用其他方法来简化复杂的透镜系统以及用于描述光学部件的光学特性。
根据本发明的另一实施方案，头戴式眼部跟踪设备被配置为使得当固定到用户的头部时，从用户的至少一个眼部到捕获设备的光路被至少一个光学部件改变。因此，捕获设备捕获的眼部特征的图像受到光学部件的影响。可以补偿光学部件对图像中的眼部特征的影响，例如，通过前述方法来补偿。使从眼部到捕获设备的光路被至少一个光学部件改变，或者换句话说，使光学部件在从眼部到捕获设备的光路中，将在定位捕获设备时的灵活度方面具有非常大的优势。首先，特别是如果头戴式眼部跟踪设备包括显示设备，则非常有利的是使光学部件尽可能靠近用户的眼部，这样可以优化将显示器上显示的图像投射到眼部上。如果具有较小直径的透镜更靠近用户的眼部，则也可以使用这些透镜来将这些图像投射到用户的整个视野。在这样的设置中，将相机或捕获设备定位在眼部和光学部件之间是非常困难的。因此，能够将捕获设备定位在光学部件后面的某处将是非常有益的，并且一方面可以更高的跟踪质量执行眼部跟踪，另一方面可以将光学部件放置成尽可能靠近眼部。此外，通过将捕获设备定位在光学部件后面，可以使用户看不到捕获设备，这样用户不会因为看到捕获设备而受到干扰。
此外，头戴式眼部跟踪设备可以包括至少一个光源，该光源用于当头戴式眼部跟踪设备固定到用户的头部时照亮至少一个眼部的至少一部分。优选地，该光源被配置为在至少一个眼部上引起至少一次反射。这些反射如闪光或其他浦肯野图像可以用于眼部跟踪，特别是更准确地确定眼部特征的位置和取向。这些一个或多个光源可以例如发射红外光，红外光的优点是用户看不到它，这样它就不会干扰他/她。在这种情况下，捕获设备优选地被配置为对至少红外光谱范围敏感。捕获设备捕获由至少一个光源产生的反射，并使用这些反射相对于眼部或眼部特征的位置来定位眼部的特征，例如通过将角膜建模为球面镜，这增强了跟踪质量，如在Hammond所著书“Remote Eye Tracking”第7章中所解释。
通常，头戴式眼部跟踪设备可以被配置为使得光路从至少一个光源延伸到至少一个眼部，并且从至少一个眼部延伸到至少一个捕捉设备，其中至少一个光学部件被定位在该光路中，特别是使得沿着该光路传播的光穿过至少一个光学部件。因此，捕获设备或至少一个光源甚至这两者都可以相对于用户的观察方向被放置在光学部件的后面，使得眼部跟踪设备的部件的优化定位的灵活性更加提高。
出于相同的原因，优选的是头戴式眼部跟踪设备被配置为使得当固定到用户的头部时，在光路上从至少一个光源传播到用户的至少一个眼部的光线的传播方向被至少一个光学部件改变。在该实施方案中，从用户的角度来看光源放置在光学部件的后面，使得由光源发射的光首先通过光学部件，然后投射到眼部并产生反射。如果捕获设备也被放置在光学部件的后面，则由眼部反射的光在被捕获设备捕获之前再次通过光学部件，使得被捕获设备捕获并构成图像的光的至少一部分已经通过光学部件两次。还可以进行这样的配置，其中捕获设备直接捕获眼部的图像，而光学部件不在其间，只有一个或多个光源位于光学部件后面，使得由光源发射的光通过光学部件，之后被眼部反射，然后由捕获设备直接检测。在这种情况下，捕获图像中只有与在眼部上引起的反射相关的部分受到光学部件的影响，其中不影响其他眼部特征。在这种情况下，关于光学部件的光学特性的信息用于仅相对于反射来确定眼部的至少一个第一特征。例如，如果产生点状和/或类圆形反射，则光学部件可以改变这些反射的尺寸和形状和位置，这在确定注视方向或其他特征时有利地被考虑。光源也可以被配置为在眼部上产生结构化反射或光图案，例如环形形状，之后它们的大小、形状或位置相似地受到光学部件的影响，这在确定眼部特征时可以再次考虑。
根据本发明的又一个实施方案，头戴式眼部跟踪设备包括平面光学元件，优选地是反射镜，特别是关于不同光谱范围的分束镜和/或二向色镜和/或热镜，其中头戴式眼部跟踪设备被配置为使得当固定到用户的头部时，从用户的至少一个眼部传播到捕获设备的光的至少一部分被该平面光学元件反射，并且优选地在被该平面光学元件反射之前穿过至少一个光学部件。该平面光学元件具有很大的优点，即在捕获设备的定位方面提供了更大的灵活性。平面光学元件能够将从眼部到捕获设备的光路重定向，使得可以将捕获设备定位成用户看不到它。在这种情况下，将平面光学元件作为二向色镜例如作为热镜是非常有利的，其可以使预定的光谱范围透射，并且使第二光谱范围反射，第二光谱范围例如与第一光谱范围不同的红外光谱范围。这样，当该反射镜使可见光波长范围透射时，用户可以透过该反射镜观察而看不到该反射镜。同时，捕获设备可以捕获眼部的红外图像，其由反射镜反射的光构成，然后有利地可以用于确定眼部的至少一个第一特征。另选地或除此之外，该平面光学元件还可以用于重定向来自眼部跟踪设备的一个或多个光源的光，以在用户的眼部上产生反射。以类似的方式，用户也可以看不到这些光源，并且这些光源的定位可以被优化。
如果头戴式眼部跟踪设备也被配置为头戴式显示器，则平面光学元件可以被定位成使得并配置为使得来自显示器的光通过反射镜、通过光学部件然后投射到眼部，使得尽管平面光学元件被定位在用户到显示器的观察路径中，他/她可以不间断地观看显示器上的图像。此外，反射镜可以位于光学部件的光轴上，并且优选地，反射镜的表面法线朝光轴倾斜某个角度，特别是45°度。这样，利用平面光学元件将光路重定向成直角。
此外，头戴式眼部跟踪设备被配置为使得当固定到用户的头部时，在从至少一个光源到用户的至少一个眼部的光路上传播的光被平面光学元件反射，并且优选地在被平面光学元件反射之后穿过至少一个光学部件。因此，用户也可以看不到光源，并且光源可以放置在用于照亮眼部的最佳位置。
本发明还涉及用于利用头戴式眼部跟踪设备确定用户的至少一个眼部的至少一个第一特征的方法，该头戴式眼部跟踪设备具有用于捕获由至少一个眼部反射的光的至少一个捕获设备，和至少一个光学部件，其中穿过该至少一个光学部件的光的传播方向被改变。其中，当头戴式眼部跟踪设备固定到用户的头部时，光被至少一个捕获设备捕获，其中光在其被用户的至少一个眼部反射之前和/或之后已经通过光学部件并且构成图像的至少一部分，其中至少一个第一特征是基于图像并且依赖关于至少一个眼部和头戴式眼部跟踪设备之间的相对位置的信息确定的。
关于根据本发明的头戴式眼部跟踪设备所描述的优选实施方案和优点对应地适用于根据本发明的方法。特别地，根据本发明的头戴式眼部跟踪设备可以用于执行根据本发明的用于确定至少一个眼部的至少一个特征的方法。此外，根据本发明的头戴式眼部跟踪设备的所述实施方案构成了根据本发明的方法的其他步骤。
尽管通过参考用户的至少一个眼部描述了本发明，但是本发明也同样适用于双眼。例如，眼部跟踪设备可以包括两个捕获单元，每个眼部各一个捕获单元；或者用于双眼的一个公共捕获单元；两个光学部件，每个眼部各一个光学部件；或者一个公共光学部件。
此外，可以为每个眼部执行至少一个第一特征或其他特征的确定，如上所述。
优选实施方案是指可以在头戴式眼部跟踪设备中固定在适当位置或动态定位的光学部件。如果该光学部件包括多个光学元件，则这些光学元件中的每一个的位置可以固定或可变化。根据上述说明，该位置可以是已知的或未知的。此外，至少一个光学部件或光学部件的至少一个光学元件可以具有静态或动态特征，例如，在透镜的情况下，屈光力可以随时间和空间而变化(例如在液体透镜的情况下)，该状态可以是头戴式眼部跟踪设备已知或未知的。
附图说明
在下文中，将参照附图更详细地描述本发明的有利实施方案。
它们在以下附图中示出：
图1是根据本发明的第一实施方案的头戴式眼部跟踪设备的示意图；
图2是根据本发明的第二实施方案的头戴式眼部跟踪设备的示意图；
图3是用于描述根据本发明一个实施方案的头戴式眼部跟踪设备的光学部件的光学特性的光线追踪原理的示意图；并且
图4是用于在根据本发明一个实施方案的眼部跟踪设备中使用的虚拟坐标系中再现眼部的示意图。
具体实施方式
图1示出了根据本发明的第一实施方案的头戴式眼部跟踪设备10a的示意图。总体来讲，头戴式眼部跟踪设备10a包括捕获设备C，该捕获设备可以包括一个或多个相机或传感器，这些相机或传感器用于拍摄穿戴头戴式眼部跟踪设备10a的用户的眼部12的照片。此外，眼部跟踪设备10a包括光学部件14，该光学部件可以包括一个或多个透镜、棱镜或其他光学元件。在该实施例中，光学部件14包括透镜E1和可选的另外的透镜En，该透镜由图1中的虚线透镜轮廓示出。还可选地，眼部跟踪设备10a可以包括一个或多个光源L，图1中示例性地示出了其中的两个。作为另外的可选部件，眼部跟踪设备10a可以包括热镜M和显示设备16。此外，眼部跟踪设备10a包括处理单元18，其用于处理所捕获的图像并确定眼部12的至少一个特征。
相对于从用户的眼部12到捕获设备C的光路，光学部件14被放置在捕获设备C和眼部12之间，使得由捕获设备C捕获的图像中的至少一些眼部特征被光学部件14改变，这些特征例如其形状、大小和/或位置。例如，捕获设备10和眼部之间的透镜E1可以放大捕获的图像中的瞳孔12a。
光源L可以在角膜上产生反射，特别是以结构化的方式，如环形形状，和/或点状方式和/或类圆形方式。在该设置中，从光源L到眼部12的光路也被光学部件14改变。特别是在这种构造中，由光源L发射的光也被反射镜M反射、通过光学部件14并投射到眼部12。捕获设备C捕获的图像由处理单元18处理，并检测眼部12的特征。
热镜M有助于提高关于捕获设备C和光源L的灵活性，并仍然可以在眼部上产生捕获设备C的中心视图。这由虚拟相机Cv示出。捕获设备C的视图对应于在没有反射镜M的虚拟相机Cv的位置处的相机的视图。
在本发明的其他实施方案中，例如对于头戴式眼部跟踪设备10a的不同用途，例如用于医疗或诊断目的，捕获设备C也可以被放置在所示的虚拟相机Cv的位置，并且可以省略反射镜M和显示设备16。捕获设备C还可以包括在不同位置的不止一个相机或传感器。捕获单元C也可以被放置成在眼部12上直接观看而不必使光学部件14在中间，并且只有光源L被放置成使得从光源L到眼部12的光路通过光学部件14。另一方面，光源L也可以这样放置，使得它们可以直接照射光，而不必使光学部件14在其间并且捕获设备C如图所示定位。
光源L和/或捕获设备C甚至可以放置在光学部件14的元件之间。因此，眼部跟踪设备10a的部件的最佳定位有许多可能性，它们可以优化光学特性和眼部跟踪质量。
图2示出了根据本发明另一实施方案的头戴式眼部跟踪设备10b的示意图。在该实施方案中，光学部件14包括自由曲面透镜E，并且由捕获设备C捕获的从眼部12传播到该自由曲面透镜E的光被热镜M反射，然后被捕获设备C捕获。通常，任何种类的光波导可以被附加地或替代该自由曲面透镜E使用。在光传播通过光学部件14期间，它被自由曲面透镜E的表面内反射多次，为此目的，透镜E可选地可以在其表面的一些部分上包括反射涂层。此外，同样地，眼部跟踪设备10b可以包括显示单元16，其中来自显示单元16的光通过热镜M、通过自由曲面透镜E，并最终投射到眼部12。这里同样地，眼部跟踪设备10b可以可选地包括一个或多个光源，在这种情况下它们未示出。这些可选的光源可以被定位成使得它们直接和/或通过自由曲面透镜E照亮眼部12。使用自由曲面透镜E的优点是，眼部跟踪设备10b可以更加紧凑地构建，同时可以使用户看不到眼部跟踪设备的部件如捕获设备C。
在这些情况下，当捕获设备C捕获已经通过光学部件14的光以构成眼部12的图像的至少一部分时，与现有技术的眼部跟踪技术不同的是，处理单元18现在必须处理这样的事实，即图像中观察到的眼部12或观察到的闪光不是将真实眼部12直接投射到捕获设备C的传感器上，而是可能被光学部件14改变。为了补偿这一点，可以应用几种不同的技术，在以下将关于一种设置对这些技术进行更详细的说明，其中捕获设备C放置在光学部件14后面，这也适用于光源L，其也放置在光学部件14后面。
首先，可通过执行校准程序，隐含地考虑光学部件14的光学特性，并且可基于该校准来定义映射，该映射将捕获的图像中的某些眼部特征的位置(如瞳孔的位置)映射到相应的真实眼部特征(如实空间中瞳孔12a的位置)或其他眼部特征(如注视方向)。这种方法的普遍问题是，一旦用户相对于眼部跟踪设备10a,10b移动他/她的头部，例如，如果头戴式眼部跟踪设备10a,10b略微滑动，则眼部跟踪将不再准确。本发明有利地通过在确定眼部12的特征时考虑到关于眼部跟踪设备10a,10b和眼部12之间的相对位置的至少一个信息来解决这个问题。这可以例如通过检测眼角12b或在用户改变他/她的注视方向的情况下相对于眼部跟踪设备10b不移动的其他特征来实现，不计眼部跟踪设备10a,10b改变其相对于用户头部的位置。这种移动将导致此类图像，即其中捕获的眼角12b还包括与之前获得的图像不同的位置。例如，可以在图像中确定眼角12b的位置偏移，并且使用该位置偏移来将图像中的瞳孔12a的检测位置移回。
还可以使用其他方法如光线追踪，在虚拟坐标系中重现眼部，对相机图像进行畸变矫正，使用虚拟相机和/或在虚拟刺激平面上重现注视，并且将在下文中说明这些方法。这些方法中的大多数使用光学部件14的模型，但这不是必需的。有几种模型可用于光学部件14或其一些部分，如用于光学部件14中的透镜或透镜系统或其他光学元件的模型，并且本发明不依赖于指定的模型。可以使用描述光学部件14或其元件的折射特性或近似物的任何模型。例如，光学部件14可以被建模为单个元件的集合或组合，其中每个元件可以通过使用近轴近似的近轴透镜模型来描述，特别是用于薄透镜、球面透镜模型、厚透镜模型和/或自由曲面模型。自由曲面模型包括一个封闭的表面，它可以用基本形状如椭圆体、平面、盒子、抛物面等来表示，使用建构实体几何定律将这些基本形状组合，如多个形状的相交、减法、联合、剪切等，以及通过细分、线性化、三角形或多边形网格或二阶表面的近似。但是也可以用简化的模型来描述光学部件14的整个光学系统或光学部件14的子集，或者如果这不可行，则依赖预先计算的或换句话说现有的通过光学部件14的光路的表示，如相对于光学部件14提出的用于一个或多个特定相机的光线追踪。
图3示出了用于在根据本发明一个实施方案的头戴式眼部跟踪设备10a,10b中使用的光线追踪原理的示意图，特别地考虑了光学部件14的光学特性。这种方法的理念是追踪从捕获单元C例如相机或光源(其在图3中用附图标记B表示)后退到检测到的特征(其在图3中用观察点P1表示)的方向Dir1的光线，直到它们到达光学部件14。然后，光学部件14处的光线被折射，并且获得新的射出光线，特别是折射光线，其可以由该光线上的点P2及其新的方向Dir2描述。如何进行折射取决于光学部件14的模型，例如，取决于透镜模型。当人们对例如相机传感器上的已知点的折射像感兴趣时，光线追踪可以在另一个方向上也是有益的。例如，对于光学部件14的薄透镜，可以使用薄透镜近似来对光的折射进行建模。此外，对于捕获单元C，可以使用针孔相机模型，这意味着捕获单元包括具有相机传感器和假设具有无穷小开口的孔径的相机，使得对于相机传感器的每个点和/或像素，可以分配一个光线方向，光沿着该方向穿过孔径并投射到该点和/像素。在一个实施方案中，光学部件14使用薄透镜近似来进行光线的双向校正，以便校正从例如针孔相机模型得出的光线，以及将3D点投射到相机传感器上，使得当通过至少一个光学部件14观察该点时，相机将感知到该点。
在一些实施方案中，捕获设备C例如相机、光学部件14的每个透镜元件E1、En、E、每个光源L以及最终其他光学元件(诸如反射镜M)在空间中的位置和取向是已知的。在其他实施方案中，这些元件中的一些或全部的位置可能不是已知的，并且在这种情况下可以执行校准程序，以便找到所述参数的能够最小化整体校准误差的未知值。因此，校准不一定是明确的，即不一定通过构建部件的模型来执行，而是还可以通过使用全局映射(如单应性，或甚至从用户校准来确定和/或导出和/或分解)而被隐含地执行。
借助于通过应用一系列光线追踪变换的光学设置的已知或经校准和/或映射的坐标和特性来确定真实世界(意指度量点)中的点的坐标和/或方向。这些变换可以通过在反射表面应用反射定律，即相对于表面法线的入射角和反射角相同，和/或通过在折射表面应用斯涅耳定律来执行。该折射光线可用于重现眼部12或眼部12的特征的算法，而不是使用来自捕获设备C例如相机或图像传感器的原始光线。
在眼部跟踪设备10a,10b包括一个或多个光源L的情况下，所述的光线追踪对引起例如角膜上的反射的假定直接光路进行校正。这涵盖了相机、光源L、反射镜和眼部12相对于光学部件14例如透镜系统的所有可能的设置。例如，捕获设备C(例如，相机)可以在一侧，眼部12和光源L在另一侧。但是相机和光源L也可以在同一侧，或甚至在光学部件14的透镜系统的中间某处。
通常可以执行三种类型的光线追踪。第一种是向后光线追踪，其通过例如使用针孔相机模型，从相机像平面上的点例如闪光或角膜反射的坐标开始来执行。然后投射该光线，直到其到达光学部件14的部件的表面并经过一系列折射和反射。第二种是向前光线追踪，光线直接从光源L或眼部12的特征开始，经过一系列折射和反射，到达相机的图像传感器。第三种是向前和向后光线追踪的混合，其中考虑了来自光源L的光线和对应于图像中的已看到的特征的光线，并将其用于查找眼部模型的参数。
在理论上，该方法可以用于到目前没有考虑通过用被光学部件14改变的光线代替来自相机的光线，将光学部件14置于通向用户的路径中的几乎所有眼部跟踪算法。例如，我们展示了一种使用光线追踪重现真实眼部位置和注视方向的方法。反向光线追踪的想法更为普遍，并且不仅限于此算法。
例如，可以考虑一组可能的眼状态/假设(例如粒子滤波器)，其中每个状态假设包含模型中包括的眼部分量的全套坐标，例如眼部位置和取向，包括视轴向到光轴偏移等。然后对于每个所述假设，可以针对预期在图像中看到的每个特征执行光线追踪。这种特征可以是瞳孔中心和/或轮廓、虹膜中心和/或轮廓、眼角、眼睑、角膜反射等。因此可以找到所述特征在(虚)像中的预期位置。然后可以应用统计测量误差模型，将所述假设的可能性作为其每个特征(在2D中)与在实像中检测到的特征的距离的函数来计算。
图4示出了用于在根据本发明一个实施方案的头戴式眼部跟踪设备10a,10b中使用的用于在虚拟坐标系中重现眼部的示意图，特别地考虑了光学部件14的光学特性。在该实施例中，光学部件14被示例性地配置为薄透镜E2。当用相机通过该透镜E2观察到用户的眼部时，相机将在位于头戴式眼部跟踪设备10a,10b或头戴式显示器的透镜E2的焦距内时在看到这样的虚像。图4示出了这种情况。这里，12c表示真眼12的角膜缘，并且E2表示薄透镜近似中的薄透镜。此外，f表示透镜E2的焦距，其中焦距f大于物距g，使得真角膜缘12c的像在像距b处作为虚像12c'产生。
基于捕获眼部图像的任何眼部跟踪方法可以应用于该像，其忽视观察到的眼部因光学部件14的透镜或总体来讲光学系统而畸变。这种算法的输出将是眼部参数，如眼部的位置和/或取向、注视等，其不反映眼部的真实状态，而是描述了虚拟眼部。该方法的目标是从观察到的虚拟参数计算相应的真实眼部参数。一个原则是在虚拟坐标中取重现的眼部的任何点，例如眼部中心、角膜位置、瞳孔和/或角膜缘中心、角膜缘的轮廓点等等，并将其转换为实际坐标。该变换由光学部件14例如通过其透镜或透镜系统完全限定，并且可以例如实现为查找表、(非)线性映射或内插。该变换可以像简单的薄透镜模型一样明确地计算，或者可以例如通过对光学部件14的整个光学系统执行离线光线追踪模拟而数字地获得。
一种可能性是定义一系列可能的眼球位置和眼部取向。可以通过具有任意间隔和分布的有限位置和/或取向的网格对该集合进行采样。然后对每个样本进行光线追踪，并且将每个相关眼部特征的坐标存储在与模拟的地面真实坐标相对应的查找表中。例如，如果具有该查找表，可以查找在图像传感器上确定的2D角膜反射，图像传感器可以看到眼部的虚像，并获得角膜中心的采用实际度量坐标的相应3D坐标。
另一种方法是矫正相机图像的畸变。通过光学部件14(例如通过透镜或透镜系统)看到的用户眼部的虚像在数学上与实像相关，可以看到至少对于眼部到光学部件14的已知或假设距离，其间是否不存在光学部件14例如透镜或透镜系统，这可以使用其他传感器如接近传感器来确定。目标是矫正该图像的畸变，即要从观察到的虚拟2D点计算相应的实际2D点。该原理是要在虚拟眼部图像中确定一个直接可观察的眼部特征如角膜缘，或直接可见的眼部特征的一部分如角膜缘的轮廓点，并且之后使用光学部件14的一个或多个透镜或光学部件14的其他光学元件的特性来校正该点(或方向)。
另一种方法是使用虚拟相机。代替通过真实的例如针孔相机来校正观察到的虚像，可以构建一个虚拟相机，其将头戴式眼部跟踪设备10a,10b的光学部件14例如透镜作为该相机的一部分来建模。
另一种可能性是使用这种模拟来创建表示复杂光学设置的近似虚拟相机，其由预定义的参数组描述，这些参数可以包括虚拟相机的虚拟6D坐标、水平视场和垂直视场、主轴偏移、像平面相对于虚拟相机的光轴的倾斜。另外，可以计算出虚拟相机的2D畸变模型，它可以具有极性分量、多项式或其他非线性模型。另选地，光线追踪可以仅仅是为了预先计算表或者学习模型或功能的参数，其将眼部特征(例如2D瞳孔中心到2D角膜反射中心)之间的相对2D坐标映射到3D眼部位置和/或眼部的取向。
另一种方法是在虚拟刺激平面上重现注视。代替对光学部件14例如透镜进行校正，现在忽略光学部件14，并且通过传统算法(不包括透镜)完成眼部跟踪。这意味着基于改变的图像计算注视，并且之后校正眼部特征(例如注视)的最后输出。
这种方法可以作为简单的变通方案来实现有效的注视数据，而不会对透镜进行太多的处理。此外，该方法在光学部件14的光学元件的数量方面没有限制。首先，执行在相机前面的光学部件14的眼部跟踪，并且重现眼部位置和注视取向以及所有其他相关特征，忽略光学部件14的存在。如果需要后续步骤，则可以使用可能预定的关系将计算的“虚拟”参数映射到“实际”坐标。
该转换可以直接通过向量代数来执行，考虑到透镜的特性。另一种方法可以是计算实际到虚拟坐标的映射，通过直接光线追踪来执行虚拟激励平面的细分，然后应用内插。当光学部件14包括不止一个透镜或者甚至包括复杂光学系统时，也可以应用该方法。
总而言之，本发明使得可以在将捕获设备和照明源定位在头戴式眼部跟踪设备内以及使用户看不到部件方面获得灵活性。此外，可以定位眼部跟踪设备的捕获设备，使得在不同的眼部位置和运动上优化眼部特征的特征可见性。

Claims (15)

1.用于确定至少一个眼部(12)的至少一个第一特征的头戴式眼部跟踪设备(10a,10b)，其中所述头戴式眼部跟踪设备(10a,10b)包括至少一个捕获设备(C)和至少一个光学部件(14；E,E1,En,E2)，所述至少一个捕获设备用于捕获由所述至少一个眼部(12)反射的光，所述至少一个光学部件能够改变穿过所述光学部件(14；E,E1,En,E2)的所述光的传播方向，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为使得当固定到用户的头部时，由所述捕获设备(C)捕获的所述光在其被所述用户的所述至少一个眼部(12)反射之前和/或之后已经穿过所述至少一个光学部件(14；E,E1,En,E2)并且构成图像的至少一部分，其中所述眼部跟踪设备(10a,10b)被配置为基于所述图像并依赖关于所述至少一个眼部(12)和所述头戴式眼部跟踪设备(10a,10b)之间的相对位置的信息来确定所述至少一个第一特征。
2.根据权利要求1所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述眼部跟踪设备被配置为依赖关于所述眼部(12)和所述眼部跟踪设备(10a,10b)之间的所述相对位置的所述信息，基于所述图像来执行对所述至少一个眼部(12)的第二特征的定位，特别是3D定位，并且基于对所述至少一个第二特征的所述定位来确定所述至少一个第一特征。
3.根据前述权利要求中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述眼部跟踪设备(10a,10b)包括被配置为显示图像的显示设备(16)，特别是其中所述头戴式眼部跟踪设备(10a,10b)被配置为使得源自所述显示设备(16)的光至少部分地穿过所述至少一个光学部件(14)并投射到所述至少一个眼部(12)上。
4.根据前述权利要求中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为基于所述至少一个眼部(12)的所述至少一个第一特征和/或至少一个第二特征和/或至少一个第三特征的模型来确定所述至少一个眼部(12)的所述至少一个第一特征。
5.根据权利要求2至4中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴眼部跟踪设备(10a,10b)被配置为映射所述图像中的所述至少一个第二特征的位置，并且依赖关于所述眼部(12)和所述眼部跟踪设备(10a,10b)之间的所述相对位置的所述信息来修改所述映射。
6.根据前述权利要求中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为基于关于所述至少一个光学部件(14；E,E1,En,E2)的特性的信息确定所述至少一个第一特征和/或执行对所述至少一个第二特征的所述定位和/或提供关于所述相对位置的所述信息。
7.根据权利要求6所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为通过从所述捕获设备(C)捕获的所述图像导出所述至少一个眼部(12)的所述至少一个第二特征的特性来确定所述至少一个眼部(12)的所述至少一个第一特征和/或执行对所述至少一个第二特征的所述定位，其中关于所述至少一个光学部件(14；E,E1,En,E2)的所述特性的信息用于映射从所述图像导出的所述至少一个第二特征的所述特性以提供所述至少一个第一特征和/或对所述至少一个第二特征的所述定位。
8.根据权利要求6或7所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为从用于校准所述头戴式眼部跟踪设备(10a,10b)的校准程序的校准结果导出关于所述至少一个光学部件(14；E,E1,En,E2)的所述特性的所述信息。
9.根据权利要求6至8中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为从所述至少一个光学部件(14；E,E1,En,E2)的模型导出关于所述至少一个光学部件(14；E,E1,En,E2)的所述特性的所述信息，特别是其中所述至少一个光学部件(14；E,E1,En,E2)的所述模型对穿过所述至少一个光学部件(14；E,E1,En,E2)的光的变化进行建模。
10.根据前述权利要求中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴眼部跟踪设备(10a,10b)被配置为使得当固定到用户的所述头部时，从所述用户的所述至少一个眼部(12)到所述捕获设备(C)的光路被所述至少一个光学部件(14；E,E1,En,E2)改变。
11.根据前述权利要求中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)包括至少一个光源(L)，所述至少一个光源用于当所述头戴式眼部跟踪设备(10a,10b)固定到用户的所述头部时照亮所述至少一个眼部(12)的至少一部分，其中所述头戴式眼部跟踪设备(10a,10b)被配置为使得光路从所述至少一个光源(L)延伸到所述至少一个眼部(12)并且从所述至少一个眼部(12)延伸到所述至少一个捕获设备(C)，其中所述至少一个光学部件(14；E,E1,En,E2)位于所述光路中，特别是使得沿着所述光路传播的所述光穿过所述至少一个光学部件(14；E,E1,En,E2)。
12.根据权利要求11所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为使得当固定到用户的所述头部时，从所述至少一个光源(L)传播到所述光路上的所述用户的所述至少一个眼部(12)的光的传播方向被所述至少一个光学部件(14；E,E1,En,E2)改变。
13.根据前述权利要求中的一项所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)包括平面光学元件(M)，优选地是反射镜，特别是关于不同光谱范围的分束镜和/或二向色镜和/或热镜，其中所述头戴式眼部跟踪设备(10a,10b)被配置为使得当固定到用户的所述头部时，从用户的所述至少一个眼部(12)传播到所述捕获设备(C)的所述光的至少一部分被所述平面光学元件(M)反射，并且优选地在被所述平面光学元件(M)反射之前穿过所述至少一个光学部件(14；E,E1,En,E2)。
14.根据权利要求13所述的头戴式眼部跟踪设备(10a,10b)，
其特征在于
所述头戴式眼部跟踪设备(10a,10b)被配置为使得当固定到用户的所述头部时，在从所述至少一个光源(L)到所述用户的所述至少一个眼部(12)的所述光路上传播的光被所述平面光学元件(M)反射，并且优选地在被所述平面光学元件(M)反射之后穿过所述至少一个光学部件(14；E,E1,En,E2)。
15.用于利用头戴式眼部跟踪设备(10a,10b)确定用户的至少一个眼部(12)的至少一个第一特征的方法，所述头戴式眼部跟踪设备具有用于捕获由所述至少一个眼部(12)反射的光的至少一个捕获设备(C)，和至少一个光学部件(14；E,E1,En,E2)，其中穿过所述至少一个光学部件(14；E,E1,En,E2)的光的传播方向被改变，
其特征在于
当所述头戴式眼部跟踪设备(10a,10b)固定到用户的所述头部时，光被所述至少一个捕获设备(C)捕获，其中所述光在其被所述用户的所述至少一个眼部(12)反射之前和/或之后已经穿过所述光学部件(14；E,E1,En,E2)并且构成图像，其中所述至少一个第一特征是基于所述图像并且依赖关于所述至少一个眼部(12)和所述头戴式眼部跟踪设备(10a,10b)之间的相对位置的信息确定的。
CN201580078102.8A 2015-03-03 2015-11-06 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法 Active CN107427208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15157451 2015-03-03
EP15157451.4 2015-03-03
PCT/EP2015/075972 WO2016138969A1 (en) 2015-03-03 2015-11-06 Head mounted eye tracking device and method for providing drift free eye tracking through a lens system

Publications (2)

Publication Number Publication Date
CN107427208A true CN107427208A (zh) 2017-12-01
CN107427208B CN107427208B (zh) 2020-10-16

Family

ID=52648836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078102.8A Active CN107427208B (zh) 2015-03-03 2015-11-06 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法

Country Status (5)

Country Link
US (1) US10354136B2 (zh)
EP (2) EP3264972A1 (zh)
KR (1) KR102073460B1 (zh)
CN (1) CN107427208B (zh)
WO (1) WO2016138969A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
US11675427B2 (en) 2018-08-27 2023-06-13 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877556B2 (en) 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
CA3084546C (en) * 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
CN109544637B (zh) * 2018-10-18 2024-02-27 北京伟景智能科技有限公司 双目标定验证装置
SE542887C2 (en) 2018-10-31 2020-08-11 Tobii Ab Gaze tracking using mapping of pupil center position
IL271287A (en) * 2019-12-09 2021-06-30 Eyeway Vision Ltd Systems and methods to follow the eye
GB2595909B (en) * 2020-06-11 2022-08-24 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
WO2022119679A1 (en) * 2020-12-02 2022-06-09 Daedalus Labs Llc Electronic devices with lenses
US20240027753A1 (en) * 2022-07-22 2024-01-25 Apple Inc. Electronic Devices With Rearward-Facing Sensors
US20240103618A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Corrected Gaze Direction and Origin

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245767A1 (en) * 2009-03-27 2010-09-30 Utechzone Co., Ltd. Eye-tracking method and eye-tracking system for implementing the same
KR20120060978A (ko) * 2010-09-30 2012-06-12 한국기초과학지원연구원 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN104238739A (zh) * 2013-06-11 2014-12-24 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN104302226A (zh) * 2012-05-25 2015-01-21 索尼电脑娱乐公司 视频分析设备、视频分析方法和注视点显示系统
US20150035744A1 (en) * 2013-07-30 2015-02-05 Steve Robbins Near-eye optic positioning in display devices

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
JP5065605B2 (ja) 2006-03-02 2012-11-07 Ｊｘ日鉱日石エネルギー株式会社 水素製造装置および燃料電池システム並びにその運転方法
EP2499963A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US20140099623A1 (en) 2012-10-04 2014-04-10 Karmarkar V. Amit Social graphs based on user bioresponse data
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9345402B2 (en) * 2012-09-11 2016-05-24 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245767A1 (en) * 2009-03-27 2010-09-30 Utechzone Co., Ltd. Eye-tracking method and eye-tracking system for implementing the same
US8135173B2 (en) * 2009-03-27 2012-03-13 Utechzone Co., Ltd. Eye-tracking method and eye-tracking system for implementing the same
KR20120060978A (ko) * 2010-09-30 2012-06-12 한국기초과학지원연구원 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
CN104302226A (zh) * 2012-05-25 2015-01-21 索尼电脑娱乐公司 视频分析设备、视频分析方法和注视点显示系统
CN104238739A (zh) * 2013-06-11 2014-12-24 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
US20150035744A1 (en) * 2013-07-30 2015-02-05 Steve Robbins Near-eye optic positioning in display devices
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
US11675427B2 (en) 2018-08-27 2023-06-13 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法

Also Published As

Publication number Publication date
KR20180007349A (ko) 2018-01-22
US10354136B2 (en) 2019-07-16
EP4372682A2 (en) 2024-05-22
EP3264972A1 (en) 2018-01-10
CN107427208B (zh) 2020-10-16
WO2016138969A1 (en) 2016-09-09
US20180032812A1 (en) 2018-02-01
KR102073460B1 (ko) 2020-02-04

Similar Documents

Publication Publication Date Title
CN107427208A (zh) 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
US11042034B2 (en) Head mounted display calibration using portable docking station with calibration target
CN105812778B (zh) 双目ar头戴显示设备及其信息显示方法
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
CN109558012B (zh) 一种眼球追踪方法及装置
US10115205B2 (en) Eye tracking system with single point calibration
CN103605208B (zh) 内容投射系统及方法
JP2020034919A (ja) 構造化光を用いた視線追跡
KR20170136582A (ko) 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법
CN117741956A (zh) 固定距离虚拟和增强现实系统及方法
WO2015051606A1 (zh) 定位方法及定位系统
AU2004325004A2 (en) Method for designing spectacle lenses taking into account an individual's head and eye movement
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
JP2005185431A (ja) 視線検出方法および視線検出装置
US11624907B2 (en) Method and device for eye metric acquisition
US20210183102A1 (en) Raycast calibration for artificial reality head-mounted displays
CN107991775B (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN109643152A (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
CN108259887A (zh) 注视点校准方法及装置、注视点标定方法及装置
CN108369744A (zh) 通过双目单应性映射的3d注视点检测
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
Böhme et al. A software framework for simulating eye trackers
JP2012029940A (ja) 視線計測方法及び視線計測装置
JPH11249086A (ja) 疑似視覚レンズ並びにこれを用いた疑似視覚カメラ及び疑似視覚装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190725

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: German Pavilion

Applicant before: Sense organ motion instrument innovation sensor company limited

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant