CN114140867A - 使用眼睛特征的眼睛姿态识别 - Google Patents

使用眼睛特征的眼睛姿态识别 Download PDF

Info

Publication number
CN114140867A
CN114140867A CN202111499004.5A CN202111499004A CN114140867A CN 114140867 A CN114140867 A CN 114140867A CN 202111499004 A CN202111499004 A CN 202111499004A CN 114140867 A CN114140867 A CN 114140867A
Authority
CN
China
Prior art keywords
eye
iris
roll angle
image
roll
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111499004.5A
Other languages
English (en)
Inventor
A·克勒
M·A·克鲁格
G·阿麦耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114140867A publication Critical patent/CN114140867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述了使用眼睛的特征用于眼睛姿态识别的系统和方法。系统和方法的实施例可以包括在眼睛图像中分割眼睛的虹膜以获得眼睛的瞳孔和角膜缘边界，使用眼睛的瞳孔和角膜缘边界确定眼睛姿态的两个角坐标(例如，俯仰和偏航)，识别眼睛的眼睛特征(例如，虹膜特征或巩膜特征)，使用识别的眼睛特征确定眼睛姿态的第三角坐标(例如，滚动)，并且利用眼睛姿态测量用于图像的显示或生物测定应用。在一些实施方式中，可以不执行虹膜分割，并且从眼睛特征确定两个角坐标。

Description

使用眼睛特征的眼睛姿态识别
本申请是申请号为201680072403.4的中国专利申请“使用眼睛特征的眼睛姿态识别”(申请日为2016年10月12日)的分案申请。
相关申请的交叉引用
本申请根据35 U.S.C.§119(e)要求于2015年10月16日提交的标题为“使用眼睛特征的眼睛姿态识别”(“EYE POSE IDENTIFICATION USING EYE FEATURES”)的美国临时申请No.62/242,838的优先权的权益，其在此通过引用整体并入。
技术领域
本公开一般涉及用于处理眼睛图像的系统和方法。
背景技术
人类虹膜可以用作生物测定信息(biometric information)的来源。生物测定信息可以提供个人的认证或识别。提取生物测定信息的过程(通常称为生物测定模板)通常具有许多挑战。
发明内容
在一个方面中，公开了一种用于眼睛姿态识别的方法。该方法在硬件计算机处理器的控制下执行。该方法包括在眼睛图像中分割眼睛的虹膜以获得眼睛的瞳孔和角膜缘边界；使用眼睛的瞳孔和角膜缘边界确定眼睛姿态测量的两个角坐标；识别眼睛的虹膜特征；使用所识别的虹膜特征来确定眼睛姿态测量的第三角坐标；并利用眼睛姿态测量用于图像的显示或生物测定应用。另一方面，用于眼睛姿态识别的方法可以通过头戴式显示系统来执行。虹膜特征可以包括虹膜中的纹理、图案或关键点。在另一方面，对于虹膜特征另外或可替代地，该方法可以使用巩膜特征来实施。
在另一方面，描述了一种用于从眼睛图像中识别眼睛姿态的方法。该方法在硬件计算机处理器的控制下执行，并且包括从眼睛图像确定眼睛的俯仰和偏航；从眼睛特征确定眼睛的滚动；以及至少部分地基于俯仰、偏航和滚动来确定眼睛图像的眼睛姿态。可穿戴显示系统可以包括执行该方法的处理器。眼睛特征可以包括虹膜特征或巩膜特征。
在另一方面，公开了一种用于检测头戴式显示器的操作中的错误的方法。该方法在硬件计算机处理器的控制下执行，并且包括确定头戴式显示器的佩戴者的第一眼睛的第一滚动角，确定头戴式显示器的佩戴者的第二眼睛的第二滚动角，以及至少部分地基于第一滚动角和第二滚动角的比较来检测头戴式显示器操作中的错误。
在本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。从描述、附图和权利要求中，其它特征、方面和优点将变得显而易见。本概述和以下详细描述都不旨在限定或限制本发明主题的范围。
附图说明
图1示意性地图示了示出眼睛特征的眼睛的示例。
图1A示出了可以用于相对于眼睛的自然静止状态测量眼睛姿态方向的三个角度(例如，偏航、俯仰和滚动)的示例。
图2A-2B示意性地示出了使用虹膜特征的示例眼睛姿态识别系统。
图3A-3B示意性地示出了用于识别眼睛的眼睛姿态的虹膜代码识别系统的示例。
图4示意性地示出了眼睛姿态识别程序的示例。
图5示意性地示出了可穿戴显示系统的示例。
在整个附图中，可以重新使用参考数字来指示参考元素之间的对应关系。提供附图以图示在此描述的示例实施例并且不旨在限制本公开的范围。
具体实施方式
概述
从眼睛提取生物测定信息通常包括用于在眼睛图像内虹膜分割的过程。虹膜分割可以涉及如下操作，包括定位虹膜边界，包括找到虹膜的瞳孔和边缘边界，如果眼睑遮挡虹膜则定位上眼睑或下眼睑，检测并排除睫毛、阴影或反射的遮挡等等。例如，眼睛图像可以被包括在脸部的图像中，或者可以是眼周区域的图像。为了执行虹膜分割，瞳孔的边界(虹膜的内部边界)和角膜缘(虹膜的外部边界)都可以被识别为图像数据的分离段。
此外，为了获得生物测定信息(例如，眼睛姿态)，存在用于跟踪计算机用户的眼睛运动的算法。例如，耦合到计算机的监控器的相机可以提供用于识别眼睛运动的图像。然而，用于眼睛跟踪的相机距离用户的眼睛有一段距离。例如，相机可以放置在与计算机耦合的用户监控器的顶部处。结果，由相机产生的眼睛图像通常产生差的分辨率。
另外，关于相机和用户头部的几何形状通常不是提供给跟踪眼睛运动的算法的先验。结果，确定用户的眼睛姿态可能带来挑战，并且可能不容易与用户头部的坐标系相关。利用在此公开的技术，眼睛姿态识别可用于基本上识别眼睛的指向方向并且还预测被虹膜上的眼睑遮挡的区域。在此描述的眼睛姿态识别的实施例可以有利地用于估计被眼睑遮挡的虹膜部分。另外，在一些实施方式中，该眼睛姿态识别可用于生成眼睑位置的模型，可以使用该模型代替分割算法以及用于头部的坐标系的识别或者作为分割算法以及用于头部的坐标系的识别的起点。
在可穿戴头戴式显示器(HMD)的背景下，与耦合到用户的监控器的相机相比，相机可以更接近用户的眼睛。例如，相机可以安装在可穿戴HMD上，该可穿戴HMD本身安装到用户的头部。眼睛到这种相机的接近度可以产生更高分辨率的眼睛图像。因此，计算机视觉技术有可能从用户的眼睛提取视觉特征，特别是在虹膜(例如虹膜特征)处或虹膜周围的巩膜(例如巩膜特征)中。例如，当由靠近眼睛的相机观看时，眼睛的虹膜将显示详细的结构。这种虹膜特征在红外照明下观察时特别明显，并且可用于生物识别。这些虹膜特征在不同用户之间是唯一的，并且可以用指纹的方式唯一地用于识别用户。眼睛特征可以包括眼睛巩膜中(虹膜外)的血管，当在红色或红外光下观察时，其也可以看起来特别明显。
本公开描述了可以与“描述符”相关联的虹膜特征。描述符可以是虹膜特征附近的区域的数字表示。该描述符可用于识别眼睛的另一图像中的相同虹膜特征。如在此所公开的，这种虹膜特征不仅可以用于跟踪一般意义上的眼睛的运动，而且可以用于确定眼睛的姿态(例如注视方向)。例如，关于两个眼睛图像的单应性的计算(例如，两个眼睛图像之间的数学变换)可用于识别眼睛姿态：两个图像之间的虹膜特征的变化可以指示相对于初始眼睛姿态(在另一个图像中)的新的眼睛姿态(例如，在一个图像中)。除了虹膜特征之外或作为替代，可以使用眼睛的巩膜中特征的描述符。
本公开还描述了眼睛姿态识别的示例。使用虹膜特征，可以使用基于特征的跟踪技术(FBT)、基于代码的跟踪(CBT)技术或两者来处理至少两个眼睛图像之间的单应性的计算。在两种技术的某些实施例中，虹膜首先被分割，例如，虹膜的瞳孔和角膜缘边界被识别为图像数据的分离段。从该分割中，可以确定眼睛姿态的两个角度维度(例如，俯仰角和偏航角)。通过比较虹膜特征，可以识别眼睛姿态的第三角度维度(例如，滚动)，并且进而采用识别的所有三个角度维度，可以识别眼睛的眼睛姿态。如下面将进一步描述的，基于特征的跟踪技术和基于代码的跟踪技术可以以每种技术计算眼睛姿态的第三角度维度(例如，眼睛的滚动角)的方式变化。在各种实施例中，眼睛的所有三个角度维度可以根据各种眼睛图像的虹膜特征的比较来确定，而不必对眼睛图像执行虹膜分割。
当处理来自可穿戴HMD的眼睛图像时可能存在其它挑战。例如，使用来自安装在HMD中的相机的图像来跟踪眼睛可能会引入其它问题：眼睛运动可能难以与HMD运动或安装到HMD的相机的运动区分。然而，使用在此描述的技术，可以通过确定HMD的参考系中的眼睛的眼睛姿态来缓解使用从HMD获得的图像来跟踪眼睛中存在的挑战。
更具体地，当前的眼睛图像处理技术可以不使用眼睛的滚动或眼睛姿态的第三角度维度。然而，对眼睛滚动的估计可用于测量由于眼睛运动、噪声抑制或用于HMD运动的错误检查引起的扭曲。根据从安装到HMD的相机获得的眼睛图像的角度来看，滚动角可以对应于相机的姿态(例如，相机的指向方向)相对于围绕眼睛的轨道的变化，该眼睛的旋转轴线是瞳孔的光轴。就相机的确切位置相对于眼睛而言未精确知晓的情况下(例如，在可穿戴HMD的情况下)来说，瞳孔的滚动角的计算可用于确定相机的位置，以及因此HMD本身的安装。
另外，因为获得眼睛图像的相机被安装到HMD本身，所以可以确定用户在头部的坐标系中的观看方向。作为示例，对于头戴式增强现实(AR)装置，可以确定使用HMD自身的坐标系的眼睛姿态识别。
如在此所使用的，视频以其普通含义使用，并且包括但不限于视频图像序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可以包括多个连续帧或非连续帧，可以具有或不具有音频通道。视频可以包括多个帧，它们按时间排序或者不按时间排序。因此，视频中的图像可以被称为眼睛图像帧或眼睛图像。
眼睛的示例
图1示出具有眼睑104、巩膜108、虹膜112和瞳孔116的眼睛100的图像。曲线116a示出瞳孔116和虹膜112之间的瞳孔边界，并且曲线112a示出虹膜112和巩膜108之间的角膜缘边界(眼睛的“白色”)。眼睑104包括上眼睑104a和下眼睑104b。眼睛100被图示为自然静止姿态(例如，其中用户的脸部和视线都被定向为它们将朝向用户正前方的远处对象)。眼睛100的自然静止姿态可以通过自然静止方向120来指示，该自然静止方向120是当处于自然静止姿态(例如，直接在用于图1中所示的眼睛100的平面之外)时与眼睛100的表面正交的方向并且在该示例中，在瞳孔116内居中。
眼睛可以包括可用于眼睛跟踪或生物测定应用的虹膜或巩膜(或两者)中的眼睛特征124。图1示出包括虹膜特征124a和巩膜特征124b的眼睛特征124的示例。眼睛特征124可以被称为个体的关键点。这种眼睛特征对于个体的眼睛可能是独特的，并且对于该个体的每只眼睛而言可以是不同的。虹膜特征124a可以是特定颜色密度的点，与虹膜颜色的其余部分相比，或者与围绕该点的某些区域相比。作为另一个示例，虹膜的纹理(例如，与特征附近的虹膜的纹理不同的纹理)或图案可以被识别为虹膜特征124a。作为又一个示例，虹膜特征124a可以是外观与虹膜不同的瘢痕。眼睛特征124也可以与眼睛的血管相关联。例如，血管可能存在于虹膜之外但在巩膜之内。在红色或红外光照射下，这种血管可能更显著可见。巩膜特征124b可以是眼睛巩膜中的血管。在一些情况下，术语眼睛特征可以用于指代眼睛中或眼睛上的任何类型的识别特征，无论该特征是在虹膜、巩膜中还是通过瞳孔看到的特征(例如在视网膜上)。
每只眼睛特征124可以与描述符相关联，该描述符是围绕眼睛特征124的区域的数字表示。描述符也可以被称为虹膜特征表示。作为又一个示例，可以从以下导出这种眼睛特征：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、加速段测试提取特征(FAST)、定向FAST和旋转BRIEF(ORB)、KAZE、加速KAZE(AKAZE)等。因此，眼睛特征124可以从来自已知的计算机视觉领域的算法和技术中导出。这种眼睛特征124可以被称为关键点。在下面描述的一些示例实施例中，将根据虹膜特征来描述眼睛特征。这不是限制，并且在其它实施方式中可以附加地或替代地使用任何类型的眼睛特征(例如，巩膜特征)。
当眼睛100移动以看向不同的对象时，眼睛姿态将相对于自然静止方向120改变。当前眼睛姿态可以参考自然静止眼睛姿态方向120来测量。眼睛100的当前姿态可以表示为，该三个角度参数指示相对于眼睛的自然静止方向120的当前眼睛姿态方向。为了说明的目的，并参考图1A中所示的示例坐标系，这些角度参数可以被表示为α(可以表示偏航)、β(可以表示俯仰)以及γ(可以表示滚动)。在其它实施方式中，可以使用其它技术或角度表示来测量眼睛姿态，例如，任何其它类型的欧拉(Euler)角度系。
可以使用任何适当的过程从视频获得眼睛图像，例如使用可以从一个或多个连续帧提取图像的视频处理算法。可以使用如在此所述的各种眼睛跟踪技术从眼睛图像确定眼睛的姿态。
基于特征跟踪的眼睛姿态识别的示例
图2A-2B示意性地示出了使用虹膜特征的示例眼睛姿态识别系统。更具体地，图2A-2B示出用于眼睛姿态识别的基于特征的跟踪技术。所描绘的示例示出分段虹膜。如图2A中所示，在具有虹膜112和瞳孔116的眼睛中识别虹膜特征124a。曲线116a示出瞳孔116和虹膜112之间的瞳孔边界，并且曲线112a示出虹膜112和巩膜之间的角膜缘边界。如上所述，虹膜特征124a可以与数值表示相关联，例如，如从分割的虹膜区域计算的。
虹膜特征124a可用于将任何特定图像(例如，图2B中的图像)与眼睛的参考图像(例如，如图2A所示的在静止位置指向前方的眼睛)相关联。在该示例中，图2A可以是从参考眼睛图像获得的眼睛。图2B描绘了相同眼睛旋转，如从另一眼睛图像获得的(朝向指向方向)。使用虹膜特征124a，可以计算将旋转的眼睛图像(例如，图2B)中的虹膜特征124a的位置与参考眼睛图像(例如，图2A)中的位置相关联的单应性。例如，可以使用虹膜特征124a来计算两个角度维度。或者在另一个实施例中，虹膜可以首先用在该虹膜分割之后计算的这两个角度维度来分割。因为虹膜几乎是平坦的，所以单应性可以是适当的映射；然而，在一些实施方式中，可以考虑来自角膜的变形，以用于更高精度的结果。在一个实施例中，两个角度维度可以被表示偏航和俯仰。另外，如图2B中所描绘，眼睛的指向方向可以与第三角度维度相关。第三角度维度可以表示眼睛的滚动。通过获得的眼睛的所有三个角度维度，并且可以识别包括三个角度维度的眼睛姿态。所识别的眼睛姿态可以是在三维角坐标系中表示的眼睛的数字表示。因此，可以确定眼睛在第三角度维度中的滚动旋转的变化，例如，图2A-2B中描绘的滚动旋转的变化。计算至少两个图像之间的单应性的这种过程可以被称为“匹配”虹膜特征124a。
所计算的两个角度维度(例如，偏航和俯仰)可以用于验证经由其它分割技术确定的虹膜分割。例如，可以与确定虹膜特征(例如关键点)单应性的同时求解分割变换。在一个实施方式中，可以求解分割变换，与图像隔离的关键点，从关键点求解单应性，以及验证的分割，使用关键点和边界分割计算最终解(如果分割被验证)以计算单个解。
如果直接从图像计算虹膜特征124a，则虹膜特征124a的数字表示可以在两个获得的眼睛图像之间改变。例如，瞳孔的透视变形和扩张状态可以改变分段眼睛中的虹膜特征124a的表观位置。另外，数字表示(例如，描述符)可能变形并且可能引入挑战来匹配图像之间的虹膜特征124a。相应地，在一个实施例中，瞳孔可以被重新映射到等效的正面视图(例如，通过反转从角膜缘边界计算的单应性)，并且此后从该未变形的图像计算虹膜特征124a。这种映射还可以包括从瞳孔边界延伸到角膜缘边界的径向维度的归一化。
此外，所获得的眼睛图像可以被转换为极坐标表示系(参见例如Daugman的美国专利No.5,291,560)。在这种表示系中，x坐标相当于未变形图像中的角坐标，而y坐标相当于“伪半径”(距瞳孔边界的径向距离)。这种极坐标图像可以归一化为标准尺寸。在这种情况下，在极坐标图像上计算虹膜特征124a和数字表示。两个获得的眼睛图像之间的匹配可以相对于由该极坐标图像定义的数字表示来计算。为了找到两个获得的眼睛图像之间的匹配，可以反转极性变换和矫正(rectification)变换，并且可以计算原始图像中的虹膜特征124a的位置。在一个实施例中，与取向相关联的虹膜特征124a可能是不必要的。在所计算的极坐标图像中，虹膜特征124a的取向可以是固定的，与眼睛的滚动旋转无关。
尽管前面的示例已经在使用虹膜特征来识别眼睛姿态的上下文中进行了描述，但这是用于说明而不是限制。在其它实施方式中，任何合适的眼睛特征可用于识别眼睛姿态。例如，瞳孔特征可以用于检测眼睛图像之间的变化，并且因此计算眼睛的滚动角。
基于代码跟踪的眼睛姿态识别示例
图3A-3B示意性地示出用于识别眼睛的眼睛姿态的虹膜代码识别技术的示例。该示例示出使用虹膜特征(的基于代码的跟踪技术，诸如图1中的虹膜特征124a。如图3A中所示，处于静止姿态(例如，向前看)的眼睛的图像304a可以包括虹膜特征124a1。如图3B中所示，图像304b示出眼睛的滚动角的变化量308a，该量308a相对于在静止姿态图像304a1中的它们的角度位置来有角度地偏移图像304b中的虹膜特征124a1。例如，图像304a中的虹膜特征124a1在角度位置中偏移了角度308a，以在图像304b中表现为偏移的虹膜特征124a2。从静止角度示出图像304b(例如，就好像眼睛正向前看)，这可以使用上述的偏转角和俯仰角来实现。
图像304a、304b中的虹膜可以映射(例如“展开”)到具有上面讨论的径向坐标r和角坐标γ的极坐标表示系。或者在另一个实施例中，虹膜可以首先用映射到极坐标表示系的两个角度维度来分段。可以分别从图像304a、304b中的每一个中提取虹膜代码312a、312b。由于眼睛旋转的角度308a，虹膜代码312b中的虹膜特征将相对于在虹膜代码312a中的它们位置偏移偏移量308b。通过比较虹膜代码312a、312b，可以确定偏移量308b。在极坐标系中，偏移量308b可以以像素来测量，其可以被转换成以例如度为单位的角度308a的测量。
虹膜代码可以以各种方式计算。例如，在一些实施例中，虹膜代码可以根据JohnDaugman为虹膜生物测定法开发的算法来计算(参见例如美国专利No.5,291,560)。例如，虹膜代码可以基于虹膜图像(在极坐标中)与2D带通滤波器(例如，Gabor滤波器)的卷积，并且虹膜代码可以表示为两个位数(例如，是否对特定Gabor滤波器的响应是正的或负的)。
在基于代码的跟踪技术的比较过程中，可以针对第三角度维度中可能的平移(translation)窗口(例如，-10像素到+10像素)来重新计算初始虹膜代码312a(例如，来自起始眼睛位置(诸如来自图像304a)的虹膜代码)。可以基于预期的滚动角度量(其对应于虹膜代码中的水平平移)来选择窗口，这随着他们的眼睛姿态改变或随着HMD在被用户穿戴时偏移、移动或旋转的用户的体验。该窗口可表示小于约5度，小于约10度，小于约20度，小于约30度或一些其它值的滚动角度。在一些实施方式中，重新计算的虹膜代码被散列并存储在二叉树中。可以通过确定当前测量的虹膜代码之间相对于来自参考图像304a的重新计算的虹膜代码中的一个虹膜代码的最小数量的不同位(例如，汉明(Hamming)距离)来计算偏移量308b。可以选择最小数量的不同位作为沿γ轴的正确旋转。从虹膜代码312b的γ轴方向中的位移312ab，可以直接计算虹膜的滚动角(图像304b和图像304a之间的角度308a)。例如，如果展开的图像是512像素宽，并且与最优匹配相对应的位移是5像素，则眼睛的滚动是(5像素/512像素)×360度≈3.5度。
尽管前面的示例已经在使用虹膜特征来识别眼睛姿态的上下文中进行了描述，但这是用于说明而不是限制。在其它实施方式中，任何合适的眼睛特征可用于识别眼睛姿态。例如，瞳孔特征可以用于检测眼睛图像之间的变化，并且因此计算眼睛的滚动角。另外，虽然已经在极坐标表示的上下文中描述了上述示例，但这是用于说明而不是限制。在其它实施方式中，可以使用映射到合适坐标系的虹膜特征的任何合适的数字表示来实现基于代码的跟踪技术。
眼睛姿态估计例程示例
图4是用于使用上述FBT和CBT技术的实施例来测量眼睛姿态的说明性例程400的流程图400。例程400在框404处开始。在框408处，接收眼睛图像。可以从各种来源接收眼睛图像，包括但不限于：图像捕获装置、头戴式显示系统、服务器、非暂态计算机可读介质或客户端计算装置(例如，智能手机)。
正常的人类虹膜是高度精确的圆形。通常，当从相机获得图像时，即使在静止位置(例如，直向前)，虹膜通常也不会呈现为圆形，因为相机可能没有被定位以便从大致正面角度观看眼睛。如果对于一些特定的图像，虹膜的平面和成像器的平面不平行，则虹膜的边界可能呈卵形或椭圆形。仪器影响(诸如相机的观看角度)也可能会变形图像，使得虹膜看起来不呈圆形。在框412处，将来自眼睛图像的眼睛虹膜分割以识别虹膜的角膜缘边界和瞳孔边界。作为分割的一部分，可以确定眼睑的位置(其通常阻挡虹膜的一部分)。如在此所述，在一些实施方式中可以不执行分割虹膜；因此，框412是可选的。
在框416处，基于虹膜边界(角膜缘或瞳孔)或通常基于虹膜分割确定眼睛姿态的两个角坐标。例如，给定表征透视变换的相机的内部参数(例如，透镜的焦距、像素坐标中的成像器表面上的光学中心点等)，可以解决在两个角度维度中观看虹膜的透视变换。因此，可以确定的两个角度维度可以是眼睛的偏航和俯仰(参见例如图1A中示出的角度α和β)。如前所述，眼睛的滚动(围绕第三角度维度旋转不会改变虹膜边界)可能无法单独从透视变换求解。
在框420处，眼睛特征在眼睛图像中被识别。例如，这可以如上所述关于某些位置中的虹膜的纹理或图案或关键点而发生。可以例如根据像素的密度，根据距虹膜特征的半径，根据虹膜代码，通过计算虹膜特征周围的区域，或者通过任何其它方法将数字表示与虹膜特征相关联，来计算虹膜特征的数字表示。此外，如在此所述，例程400不限于仅在眼睛的虹膜中的特征并且可以(另外地或替代地)应用于眼睛的巩膜(虹膜外部)中的特征。
在框424处，基于所识别的眼睛特征来确定眼睛姿态的第三角度坐标。如以上关于图2A-2B处的基于特征的跟踪技术和关于图3A-3B处的基于代码的跟踪技术所描述的，可以根据图像(在框408处获取)和处于参考状态(例如，眼睛朝前看的静止状态)的眼睛的图像之间的眼睛特征(虹膜特征或巩膜特征)的角度位置的变化来确定眼睛姿态的第三角度坐标(例如，图1A中所示的滚动角γ)。因此，在确定眼睛的三个角度维度的情况下，可以识别如三维角坐标系所表示的眼睛的眼睛姿态。
在框428处，所识别的眼睛姿态可以用于生物测定应用或头戴式显示器(HMD)的图像显示。因此，从该示例中可以看出，可以根据虹膜的分割和从分割的眼睛所测量的识别的虹膜特征来识别眼睛姿态。
在一些实施方式中，虹膜分割可以使用所识别的眼睛姿态来重新估计，并且可以执行初始虹膜分割和重新估计的虹膜分割之间的比较以验证眼睛姿态估计的一致性。例如，如果重新估计的虹膜分割与初始虹膜分割基本上相同(例如，小于阈值差异)，则眼睛姿态估计可能是准确的。可替代地，姿态两次测量可以融合为单次测量(例如，通过以生成两次测量的最大概率来计算潜在姿态)。
在各种实施例中，例如，如以下参考图5所描述的，例程400可以由可穿戴显示系统500的硬件处理器(例如，本地或远程处理模块528、532)来执行。例程400可以针对HMD的佩戴者的单眼或HMD的佩戴者的双眼来执行。
头戴式显示器错误旋转例程的示例
在各种实施例中，用于确定头戴式显示器相对于佩戴者的头部的旋转的例程可以类似于例程400(其中从虹膜特征识别出眼睛姿态)来执行。通常，佩戴者的每只眼睛的角度滚动基本上相同。在可穿戴头戴式显示器的情况下，HMD相对于佩戴者头部的旋转可导致对于佩戴者的每只眼睛来说明显不同的眼睛滚动。因此，如果对于眼睛中每只眼睛的角度滚动测量相差超过阈值，则可以生成错误信号以指示可穿戴头戴式显示器发生错误。例如，在各种实施例中，阈值可以在1度与5度之间，5度与10度之间或是一些其它旋转量。
在各种实施例中，可以在一系列图像上平均每只眼睛的角度滚动，并随后使用该错误旋转技术进行比较。
在一些实施例中，这种比较可能仅在眼睛处于中立、静止位置时执行。在其它情况下，可以针对其它注视方向执行该确定。在该情况下，可以在比较两只眼睛之前明确地减去由于眼睛的转向肌肉(例如，内侧直肌和外直肌)的自然作用而导致的眼睛的预期滚动。
眼睛姿态识别的示例应用
当在视频图像的上下文中处理时，使用眼睛姿态识别的系统和方法允许改进图像处理中的许多经典问题。另外还可以解决新的问题。例如，眼睛姿态识别可以用于从视频进行图像分类(例如，识别眼睛的虹膜)，以及用于视频的一个或多个帧内的特定对象类型的定位(例如，上眼睑的位置)。作为另一示例，眼睛姿态识别可以应用于视频以用于眼睛跟踪的应用(例如，确定眼睛的取向或方向)。
在一些这种应用中，如下面将进一步讨论的，可穿戴显示系统可以包括处理器，该处理器对由可操作地耦合到(例如，附接到或包含在内)可穿戴显示系统的图像捕获装置所获取的视频数据执行眼睛姿态识别。图像捕获装置可以获取佩戴者的眼睛或佩戴者身体的其它部位(例如，眉毛)的视频以用于识别眼睛姿态。
使用眼睛姿态识别有利地允许识别视频(例如，从可穿戴显示系统中的图像捕获装置获取)中的眼睛姿态，这可以允许改进对视频中对象(诸如生物测定信息)的识别或分类。例如，传统的生物测定模板可能难以确定眼睛的眼睛姿态。然而，在此描述的眼睛姿态识别方法可以识别眼睛姿态的三个角度维度，诸如偏航、俯仰和滚动。因此，通过提供提取生物测定信息的能力，当单独使用虹膜分割时，眼睛姿态识别(如图4中所描述和图2A-2B和图3中所示)可以更好地跟踪不可用的眼睛的部分，并且可以提供用于生物测定提取的更精确的虹膜分割。在此公开的眼睛姿态识别技术可以由头戴式显示器(例如，诸如图5中)用于生物测定提取。
使用眼睛姿态识别的示例可穿戴显示系统
在一些实施例中，显示系统可以是可穿戴的，其可以有利地提供更沉浸式的虚拟现实(VR)、增强现实(AR)或混合现实(MR)体验，其中数字再现图像或其部分以其中他们看起来是或可被感知是真实的方式呈现给佩戴者。
不受理论限制，相信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个对应的图像的不同呈现，可以实现感知的深度的高度可信的模拟。例如，包含波导堆叠的显示器可以被配置为佩戴在用户或观看者的眼睛前面。通过使用多个波导引导以将来自图像注入装置(例如，离散显示器或多路显示器的输出端，其经由一个或多个光纤传输图像信息)的光引导到与与特定波导相关联的深度平面对应的特定角度(和发散量)处的观看者的眼睛，可以利用波导堆叠来为眼睛/大脑提供三维感知。
在一些实施例中，可以利用两个波导堆叠(一个波导堆叠对应于观看者的每只眼睛)来向每只眼睛提供不同的图像。作为一个示例，增强现实场景可以如此，使得AR技术的佩戴者看到以人物、树木、背景中的建筑物和具体平台为特征的真实世界的公园状设置。除了这些物品之外，AR技术的佩戴者也可感知他“看到”站在真实世界平台上的机器人雕像，并且卡通形象的化身角色飞行，其似乎是大黄蜂的化身，即使机器人雕像和大黄蜂不存在于真实世界中。波导堆叠可用于生成与输入图像对应的光场，并且在一些实施方式中，可穿戴显示器包括可穿戴光场显示器。在美国专利公开No.2015/0016777中描述了用于提供光场图像的可穿戴显示装置和波导堆叠的示例，其全部内容通过引用结合在此。
图5示出可用于向佩戴者504呈现VR、AR或MR体验的可穿戴显示系统500的示例。可穿戴显示系统500可被编程为执行眼睛姿态识别以提供在此描述的任何应用或实施例。显示系统500包括显示器508，以及支持显示器508的功能的各种机械和电子模块和系统。显示器508可以耦合到框架512，框架512可由显示系统佩戴者或观看者504佩戴并且被配置为将显示器508定位在佩戴者504的眼睛前方。显示器508可以是光场显示器。在一些实施例中，扬声器516被耦合到框架512并被定位在用户的耳道附近，在一些实施例中，另一扬声器(未示出)被定位在用户的另一个耳道附近以提供立体声/可塑形声音控制。显示器508诸如通过有线引线或无线连接可操作地耦合520到本地数据处理模块524，该本地数据处理模块524可以以各种配置安装，诸如固定地附接到框架512，固定地附接到用户佩戴的头盔或帽子，嵌入在耳机中，或以其它方式可移除地附接到用户504(例如，在背包式配置中，在腰带耦合式配置中)。
框架512可以具有附接或安装到框架512的一个或多个相机以获得佩戴者的眼睛的图像。在一个实施例中，可以将相机安装到佩戴者眼睛前方的框架512上，使得可以直接对眼睛成像。在其它实施例中，相机可以沿着框架512的杆(例如，靠近佩戴者的耳朵)安装。在这种实施例中，显示器512可以涂覆有将来自佩戴者的眼睛的光反射回朝向相机的材料。由于虹膜特征在红外图像中突出，所以光可以是红外光。
本地处理和数据模块524可以包括硬件处理器以及诸如非易失性存储器(例如闪存)的非暂态数字存储器，两者都可以用于辅助数据的处理、缓存和存储。数据包括如下数据：(a)从(诸如图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪)传感器(其可以例如可操作地耦合到框架512或以其它方式附接到佩戴者504)捕获的数据；和/或(b)使用远程处理模块528和/或远程数据储存库532获取和/或处理的数据，可能在这种处理或检索之后传递给显示器508。本地处理和数据模块524可以通过通信链路536、540(诸如经由有线或无线通信链路)可操作地耦合到远程处理模块528和远程数据储存库532，使得这些远程模块528、532可操作地彼此耦合并且作为资源可用于本地处理和数据模块524。图像捕获装置可用于捕获在眼睛姿态识别过程中使用的眼睛图像。
在一些实施例中，远程处理模块528可以包括一个或多个处理器，其被配置为分析和处理数据和/或图像信息，诸如由图像捕获装置捕获的视频信息。视频数据可以本地存储在本地处理和数据模块524中和/或远程数据储存库532中。在一些实施例中，远程数据储存库532可以包括数字数据存储设施，其可以通过互联网或者“云”资源配置中的其它网络配置而可用。在一些实施例中，在本地处理和数据模块524中存储所有数据并且执行所有计算，允许从远程模块完全自主使用。
在一些实施方式中，本地处理和数据模块524和/或远程处理模块528被编程为执行如在此描述的识别眼睛姿态的实施例。例如，本地处理和数据模块524和/或远程处理模块528可以被编程为执行参考图4描述的例程400的实施例。本地处理和数据模块524和/或远程处理模块528可以被编程为使用在此公开的眼睛姿态识别技术，在生物测定提取方面，例如以识别或认证佩戴者504的身份，或者在眼睛注视或眼睑形状估计或姿态估计方面，例如以确定每只眼睛正观看的方向。图像捕获装置可捕获特定应用的视频(例如，用于眼睛跟踪应用的佩戴者的眼睛的视频或用于手势识别应用的佩戴者的手或手指的视频)。可以通过处理模块524、528中的一个或两个使用眼睛姿态识别技术来分析视频。通过该分析，处理模块524、528可以执行眼睛姿态识别或检测和/或生物测定提取等。作为示例，本地处理和数据模块524和/或远程处理模块528可以被编程为存储从附接到框架512的相机获得的眼睛图像。另外，本地处理和数据模块524和/或远程处理模块528可以被编程为使用在此描述的基于特征的跟踪或基于代码的跟踪技术(例如，例程400)来处理眼睛图像，以识别可穿戴显示系统500的佩戴者的眼睛姿态。在一些情况下，将眼睛姿态识别的至少一些卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。可以在数据模块524和/或532中存储用于眼睛姿态识别的各种参数(例如，权重、偏差项、随机子集采样因子、数量和滤波器的大小等(例如，索贝尔(Sobel)微分算子)等)。
视频分析的结果(例如，估计的眼睛姿态)可以由处理模块524、528中的一个或两个用于额外的操作或处理。例如，在各种应用中，可穿戴显示系统500可使用生物测定识别、眼睛跟踪、识别或对象、姿态等的分类。例如，佩戴者的眼睛的视频可用于眼睛姿态识别，处理模块524、528进而可以使用该眼睛姿态识别来确定佩戴者504通过显示器508的注视方向。可穿戴显示系统500的处理模块524、528可以被编程具有眼睛姿态识别的一个或多个实施例来执行在此描述的视频或图像处理应用中的任何一个。
其它方面
这里描述的眼睛姿态识别技术可以应用于图像(例如，来自视频帧)。眼睛姿态识别可以一起看作为用于处理眼睛图像的单个过程和/或方法。
在第一方面，公开了一种用于处理眼睛图像的方法。该方法在硬件计算机处理器的控制下并且包括：在眼睛图像中分割眼睛的虹膜以获得眼睛的瞳孔和角膜缘边界；使用眼睛的瞳孔和角膜缘边界确定第一眼睛姿态测量的两个角坐标；识别眼睛的虹膜特征；使用所识别的虹膜特征来确定第一眼睛姿态测量的第三角坐标；并利用第一眼睛姿态测量用于图像的显示或生物测定应用。
在第二方面，如方面1的方法，其中识别眼睛的虹膜特征包括：确定虹膜特征的描述符，描述符包括虹膜特征的数字表示。
在第三方面，如方面1或方面2的方法，其中确定第三角坐标包括使用基于特征的跟踪技术、基于代码的跟踪技术或其组合来确定第三角坐标。
在第四方面，如方面1或方面2的方法，其中确定第三角坐标包括使用基于特征的跟踪技术和基于代码的跟踪技术来确定第三角坐标。
在第五方面，如方面4的方法，其中基本上同时执行基于特征的眼睛跟踪技术和基于代码的跟踪技术以验证所确定的眼睛姿态的一致性。
在第六方面，如方面1-5中任一方面的方法，其中确定第三角坐标包括至少部分地基于虹膜特征来确定眼睛图像和参考眼睛图像之间的单应性。
在第七方面，如方面1-6中任一方面的方法，其中确定第三角坐标包括至少部分地基于虹膜特征来确定从眼睛图像生成的虹膜代码与从参考眼睛图像生成的虹膜代码之间的偏移。
在第八方面，如方面1-7中任一方面的方法，其中虹膜特征包括具有不同纹理的虹膜区域、虹膜中的图案或虹膜的关键点。
在第九方面，如方面1-8中任一方面的方法，其中针对用户的第一眼睛确定第一眼睛姿态测量，并且针对用户的第二眼睛确定第二眼睛姿态测量，并且其中第一眼睛姿态测量和第二眼睛姿态测量的平均被用作用户的眼睛姿态的单个估计。
在第十方面，公开了一种硬件处理器。硬件处理器被编程为执行如方面1-9中任一方面的方法。
在第十一方面，一种用于确定眼睛姿态的可穿戴显示系统，该可穿戴显示系统包括：如方面10的硬件处理器；以及图像装置，其被配置为向硬件处理器发送可穿戴显示系统的佩戴者的眼睛图像。
在第十二方面，如方面11的可穿戴显示系统，其中硬件处理器被进一步编程为执行如方面1-9中任一方面的方法以确定可穿戴显示系统的佩戴者的眼睛的生物测定信息。
在第十三方面，公开了一种头戴式显示系统。该头戴式显示系统包括：图像捕获装置，其被配置为捕获眼睛图像；硬件处理器，其被编程为：从图像捕获装置接收眼睛图像；至少部分地基于眼睛图像来确定眼睛的俯仰和偏航；至少部分地基于眼睛图像中的眼睛特征来确定眼睛的滚动；并且至少部分地基于俯仰、偏航和滚动来确定眼睛图像的眼睛姿态。
在第十四方面，如方面13的头戴式显示系统，其中为了确定眼睛的滚动，硬件处理器被编程为确定眼睛图像和参考眼睛图像之间的单应性。
在第十五方面，如方面13或方面14的头戴式显示系统，其中为了确定眼睛的滚动，硬件处理器被编程为利用眼睛图像的极坐标表示。
在第十六方面，如方面13-15中任一方面的头戴式显示系统，其中为了确定眼睛的滚动，硬件处理器被编程为将眼睛图像的虹膜代码与来自参考眼睛图像的虹膜代码进行比较。
在第十七方面，如方面13-16中任一方面的头戴式显示系统，其中硬件处理器进一步被编程为：使用眼睛图像的眼睛姿态来确定眼睛的生物测定数据。
在第十八方面，如方面13-17中任一方面的头戴式显示系统，其中眼睛特征包括虹膜特征。
在第十九方面，如方面18的头戴式显示系统，其中虹膜特征包括虹膜中的纹理、图案或关键点。
在第二十方面，如方面13-17中任一方面的头戴式显示系统，其中眼睛特征包括巩膜特征。
在第二十一方面，如方面20的头戴式显示系统，其中巩膜特征包括血管。
在第二十二方面，如方面13-21中任一方面的头戴式显示系统，其中处理器被进一步编程为在眼睛图像中分割眼睛的虹膜。
在第二十三方面，公开了一种用于检测头戴式显示器(HMD)的操作中的错误的方法。该方法在硬件计算机处理器的控制下并且包括：确定HMD的佩戴者的第一眼睛的第一滚动角；确定HMD的佩戴者的第二眼睛的第二滚动角；以及至少部分地基于第一滚动角和第二滚动角的比较来检测头戴式显示器操作的操作中的错误。
在第二十四方面，如方面23的方法，其中检测头戴式显示器的操作中的错误包括：确定第一滚动角和第二滚动角之间的差超过错误阈值。
在第二十五方面，如方面23或24中任一方面的方法，进一步包括：基于检测到的错误生成错误信号。
在第二十六方面，如方面23-25中任一方面的方法，其中检测头戴式显示器操作的操作中的错误包括跟踪多个眼睛图像中的滚动角的平均值。
在第二十七方面，如方面23-26中任一方面的方法，其中确定第一滚动角或确定第二滚动角包括执行方面1-9中任一方面的方法。
在第二十八方面，公开了一种设备。该设备包括被配置为拍摄眼睛图像的相机；以及处理系统，其被编程为分析眼睛的图像以估计眼睛的眼睛姿态。
在第二十九方面，如方面28的设备，其中相机是数码相机。
在第三十方面，如方面28-29中任一方面的设备，其中为了分析眼睛的图像以估计眼睛的眼睛姿态，处理系统被编程为确定当前眼睛姿态和参考眼睛姿态之间的相对变换。
在第三十一方面，如方面30的设备，其中为了确定当前眼睛姿态和参考眼睛姿态之间的相对变换，处理系统被编程为分析眼睛中的眼睛特征。
在第三十二方面，如方面31的设备，其中为了分析眼睛中的眼睛特征，处理系统被编程以分析眼睛中的虹膜特征或巩膜特征。
在第三十三方面，如方面32的设备，其中为了分析眼睛中的眼睛特征，处理系统被编程为分析眼睛虹膜的角膜缘的环。
在第三十四方面，如方面33的设备，其中为了分析眼睛虹膜的角膜缘的环，处理系统被编程为确定将角膜缘边界与相机的坐标系相关联的角度变换的三个维度中的两个维度。
在第三十五方面，如方面34的设备，其中处理系统被进一步编程为执行角窗口的搜索以确定虹膜代码的最优匹配的偏移。
在第三十六方面，如方面35的设备，其中处理系统被进一步编程为使用该偏移来测量与角度变换的第三“滚动”自由度对应的滚动角。
在第三十七方面，如方面33-36中任一方面的设备，其中处理系统被编程为分析眼睛中的虹膜特征或巩膜特征，并顺序地分析眼睛虹膜的角膜缘的环或作为同步优化的一部分。
在第三十八方面，如方面31-37中任一方面的设备，其中处理系统被进一步编程以提取眼睛特征。
在第三十九方面，如方面38的设备，其中处理系统被进一步编程为：在提取眼特征之前将虹膜图像转换为极坐标形式；并将眼睛特征反向映射回图像坐标。
在第四十方面，如方面28-39中任一方面的设备，其中该设备是头戴式显示器。
在第四十一方面，如方面40的设备，其中眼睛是头戴式显示器的佩戴者的一只眼睛，其中滚动角包括头戴式显示器的佩戴者的一只眼睛的滚动角并且其中处理系统被进一步编程为：测量与头戴式显示器的佩戴者的另一只眼睛的第三“滚动”自由度对应的滚动角；并在两个滚动角不匹配时生成错误信号。
在第四十二方面，如方面41的设备，其中处理系统被编程为：将两个滚动角的平均值确定为角度测量的滚动维度的单个估计。
在第四十三方面，如方面36-42中任一方面的设备，其中测量眼睛的滚动角(扭转)以校正眼睛的视轴。
结论
在此描述的和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用程序特定的电路和/或被配置为执行具体和特定计算机指令的电子硬件来执行的代码模块中并且完全或部分自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由特定于给定功能的电路来执行。
此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算装置(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或实质上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体编程的计算机硬件对于处理视频数据以在商业上合理的时间量内提供期望的图像处理任务或应用是必需的。
代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、相同或相似的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，该传输介质包括基于无线的和基于有线/电缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其它方式存储在任何类型的非暂态有形计算机存储器中，或者可以经由计算机可读传输介质来传达。
在此描述的和/或附图中描述的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地代表包括用于实现特定功能(例如逻辑或算术)或过程中的步骤的一个或多个可执行指令的代码模块、代码段或代码部分。各种过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其它方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。在此描述的方法和过程也不限于任何特定的序列，并且与其相关的框、步骤或状态可以以适当的其它序列(例如串行、并行或以一些其它方式)来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，在此描述的实施方式中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。
过程、方法和系统可以在网络(或分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、互联网和万维网。网络可以是有线或无线网络或任何其它类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，其中没有单独的一个对于在此公开的期望的属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将在此定义的一般原理应用于其它实施方式。因此，权利要求不旨在限于在此所示的实施方式，而是应被赋予与本公开、在此公开的原理和新颖特征一致的最宽范围。
本说明书中在分开的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。相反地，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中或以任何合适的子组合来实现。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。每个和所有实施例都不需要或不可缺少任何单个特征或特征组合。
除非另有明确说明，或者在所使用的上下文中以其它方式理解，否则在此使用的条件语言，诸如“能够”、“可”、“可能”、“可以”、“例如”等是通常旨在表达某些实施例包括，而其它实施例不包括某些特征、元件和/或步骤。因此，这种条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在或将在任何特定实施例中执行。术语“包含”、“包括”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、列表中的一些或全部元素。另外，除非另有说明，否则本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。
如在此所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A，B，C，A和B，A和C，B和C以及A、B和C。除非另有特别说明，否则诸如短语“X、Y和Z中的至少一个”的连接语言通常用于表达项目、术语等可以是X、Y或Z中的至少一个。因此，这种连接语言通常并不意味着某些实施例需要X中的至少一个，Y中的至少一个和Z中的至少一个各自存在。
类似地，虽然操作可以以特定顺序在附图中描绘，但是应该认识到，这种操作不需要以所示出的特定顺序或按顺序执行，或者执行所有示出的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其它操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其它实施方式中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (28)

1.一种头戴式显示器HMD系统，包括：
一个或多个图像捕获装置，在所述HMD系统的错误检测时，其被配置为捕获至少所述HMD系统的佩戴者的第一眼睛的第一眼睛图像和所述HMD系统的所述佩戴者的第二眼睛的第二眼睛图像；以及
硬件处理器，其被编程为：
至少基于所述第一眼睛图像，确定所述HMD系统的所述佩戴者的所述第一眼睛的第一滚动角，所述第一滚动角对应于所述第一眼睛围绕垂直于所述第一眼睛的第一瞳孔的中心平面的第一光轴的旋转；
至少基于所述第二眼睛图像，确定所述HMD系统的所述佩戴者的所述第二眼睛的第二滚动角，所述第二滚动角对应于所述第二眼睛围绕垂直于所述第二眼睛的第二瞳孔的中心平面的第二光轴的旋转；以及
至少部分地基于所述第一滚动角与所述第二滚动角之间的差异，检测所述HMD系统的操作中的错误。
2.根据权利要求1所述的系统，其中，所述硬件处理器还被编程为：基于所检测的错误，生成错误信号。
3.根据权利要求2所述的系统，其中，所述错误信号被显示给所述HMD系统的所述佩戴者。
4.根据权利要求1所述的系统，其中，检测所述HMD系统的操作中的错误包括：跟踪多个眼睛图像中的滚动角的平均值。
5.根据权利要求1所述的系统，其中，确定所述第一滚动角或确定所述第二滚动角包括：使用基于特征的跟踪技术、基于代码的跟踪技术、或其组合来确定所述第一滚动角或确定所述第二滚动角。
6.根据权利要求1所述的系统，其中，所述硬件处理器被配置为：使用所述第一滚动角与所述第二滚动角之间的所述差异来测量噪声抑制。
7.根据权利要求1所述的系统，其中，操作中的错误包括：所述HMD系统相对于所述佩戴者的头部被旋转。
8.根据权利要求1所述的系统，其中，检测操作中的错误包括：确定所述第一滚动角和所述第二滚动角的平均值作为角度测量的滚动维度的单个估计。
9.根据权利要求1所述的系统，其中，测量所述第一滚动角或所述第二滚动角以校正所述第一眼睛或所述第二眼睛的视轴。
10.根据权利要求1所述的系统，其中，在所述第一眼睛和所述第二眼睛处于中立位置时，确定所述第一滚动角和确定所述第二滚动角被执行。
11.根据权利要求1所述的系统，其中，在所述第一眼睛和所述第二眼睛处于不同于中立位置的注视位置时，确定所述第一滚动角和确定所述第二滚动角被执行。
12.根据权利要求11所述的系统，其中，所述硬件处理器被编程为：
作为所述第一眼睛的转向肌肉的自然动作的结果，从所述第一滚动角中减去所述第一眼睛的第一预期滚动；以及
作为所述第二眼睛的转向肌肉的自然动作的结果，从所述第二滚动角中减去所述第二眼睛的第二预期滚动。
13.一种设备，包括：
相机，其被配置为拍摄眼睛的图像；以及
处理系统，其被编程为：分析所述眼睛的所述图像以估计所述眼睛的眼睛姿态。
14.根据权利要求13所述的装置，其中，所述相机是数码相机。
15.根据权利要求13所述的装置，其中，为了分析所述眼睛的所述图像以估计所述眼睛的所述眼睛姿态，所述处理系统被编程为：确定当前眼睛姿态与参考眼睛姿态之间的相对变换。
16.根据权利要求15所述的装置，其中，为了确定所述当前眼睛姿态与所述参考眼睛姿态之间的所述相对变换，所述处理系统被编程为：分析所述眼睛中的眼睛特征。
17.根据权利要求16所述的装置，其中，为了分析所述眼睛中的所述眼睛特征，所述处理系统被编程为：分析所述眼睛中的虹膜特征或巩膜特征。
18.根据权利要求17所述的装置，其中，为了分析所述眼睛中的所述眼睛特征，所述处理系统被编程为：分析所述眼睛的虹膜的角膜缘的环。
19.根据权利要求18所述的装置，其中，为了分析所述眼睛的所述虹膜的所述角膜缘的所述环，所述处理系统被编程为：确定将角膜缘边界与所述相机的坐标系相关的角度变换的三个维度中的两个维度。
20.根据权利要求19所述的装置，其中，所述处理系统还被编程为：执行角窗口的搜索以确定用于虹膜代码的最优匹配的偏移。
21.根据权利要求20所述的装置，其中，所述处理系统还被编程为：使用所述偏移来测量与所述角度变换的第三“滚动”自由度对应的滚动角。
22.根据权利要求18所述的装置，其中，所述处理系统被编程为：顺序地或作为同步优化的一部分来分析所述眼睛中的所述虹膜特征或所述巩膜特征和分析所述眼睛的所述虹膜的所述角膜缘的所述环。
23.根据权利要求16所述的装置，其中，所述处理系统还被编程为：提取眼睛特征。
24.根据权利要求23所述的装置，其中，所述处理系统还被编程为：在所述眼睛特征被提取之前，将虹膜图像转换为极坐标形式；并将所述眼睛特征反向映射回图像坐标。
25.根据权利要求13所述的装置，其中，所述装置是头戴式显示器。
26.根据权利要求25所述的装置，其中，所述眼睛是所述头戴式显示器的佩戴者的一只眼睛，其中，所述滚动角包括所述头戴式显示器的所述佩戴者的所述一只眼睛的滚动角，并且其中，所述处理系统还被编程为：测量与所述头戴式显示器的所述佩戴者的另一只眼睛的第三“滚动”自由度对应的滚动角；以及在该两个滚动角不匹配时生成错误信号。
27.根据权利要求26所述的装置，其中，所述处理系统被编程为：确定所述两个滚动角的平均值作为角度测量的滚动维度的单个估计。
28.根据权利要求21所述的装置，其中，测量所述眼睛的所述滚动角(扭转)以校正所述眼睛的视轴。
CN202111499004.5A 2015-10-16 2016-10-12 使用眼睛特征的眼睛姿态识别 Pending CN114140867A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562242838P 2015-10-16 2015-10-16
US62/242,838 2015-10-16
CN201680072403.4A CN108369653B (zh) 2015-10-16 2016-10-12 使用眼睛特征的眼睛姿态识别

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680072403.4A Division CN108369653B (zh) 2015-10-16 2016-10-12 使用眼睛特征的眼睛姿态识别

Publications (1)

Publication Number Publication Date
CN114140867A true CN114140867A (zh) 2022-03-04

Family

ID=58517818

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111499004.5A Pending CN114140867A (zh) 2015-10-16 2016-10-12 使用眼睛特征的眼睛姿态识别
CN201680072403.4A Active CN108369653B (zh) 2015-10-16 2016-10-12 使用眼睛特征的眼睛姿态识别

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680072403.4A Active CN108369653B (zh) 2015-10-16 2016-10-12 使用眼睛特征的眼睛姿态识别

Country Status (10)

Country Link
US (3) US10163010B2 (zh)
EP (2) EP3362946B1 (zh)
JP (3) JP6885935B2 (zh)
KR (1) KR102702357B1 (zh)
CN (2) CN114140867A (zh)
AU (2) AU2016340222B2 (zh)
CA (2) CA3170014A1 (zh)
IL (3) IL297610B2 (zh)
NZ (1) NZ741863A (zh)
WO (1) WO2017066296A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836664A (zh) 2015-08-21 2021-05-25 奇跃公司 使用眼睛姿态测量的眼睑形状估计
AU2016310452B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
CA3170014A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
KR102217797B1 (ko) 2016-11-11 2021-02-18 매직 립, 인코포레이티드 전체 얼굴 이미지의 안구주위 및 오디오 합성
JP7178403B2 (ja) * 2017-09-01 2022-11-25 マジック リープ， インコーポレイテッド ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
CN112106066A (zh) * 2018-03-16 2020-12-18 奇跃公司 根据眼睛跟踪相机的面部表情
US11067805B2 (en) * 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
FR3081072B1 (fr) * 2018-05-09 2020-04-17 Idemia Identity & Security France Procede de reconnaissance biometrique a partir des iris
CN108732764B (zh) 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
US11033185B2 (en) * 2018-06-08 2021-06-15 Alcon Inc. System and method for automatic torsion correction in diagnostic ophthalmic measurements
US11074675B2 (en) * 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
WO2020042843A1 (en) * 2018-08-27 2020-03-05 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
WO2020059277A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
WO2020137162A1 (ja) * 2018-12-28 2020-07-02 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
IL264530B2 (en) * 2019-01-29 2024-07-01 Eyeway Vision Ltd Device for tracking eye movement and method therefor
CN113785258A (zh) 2019-03-22 2021-12-10 惠普发展公司，有限责任合伙企业 检测眼睛测量
CN113892127A (zh) * 2019-05-17 2022-01-04 奇跃公司 使用神经网络和角点检测器进行角点检测的方法和装置
CN111986097B (zh) * 2019-05-24 2024-02-09 北京小米移动软件有限公司 图像处理方法及装置
US20210068652A1 (en) * 2019-09-09 2021-03-11 Apple Inc. Glint-Based Gaze Tracking Using Directional Light Sources
CN115053270A (zh) 2019-12-09 2022-09-13 奇跃公司 用于基于用户身份来操作头戴式显示系统的系统和方法
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN111158492B (zh) * 2019-12-31 2021-08-06 维沃移动通信有限公司 视频剪辑方法及头戴式设备
CN111507208B (zh) * 2020-03-30 2021-06-25 中国科学院上海微系统与信息技术研究所 一种基于巩膜识别的身份验证方法、装置、设备和介质
US11012677B1 (en) * 2020-06-15 2021-05-18 Microsoft Technology Licensing, Llc Systems and methods for correcting rolling shutter artifacts
CN112446302B (zh) * 2020-11-05 2023-09-19 杭州易现先进科技有限公司 一种人体姿态检测方法、系统、电子设备和存储介质
US12087029B2 (en) 2021-03-15 2024-09-10 Nec Corporation Information processing apparatus, information processing method and recording medium
CN116052261A (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 视线估计方法及电子设备
CN117809357A (zh) * 2023-12-26 2024-04-02 北京极溯光学科技有限公司 一种眼球模型的确定方法、装置及电子设备

Family Cites Families (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3040466B2 (ja) 1990-07-17 2000-05-15 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像処理方法
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5481479A (en) 1992-12-10 1996-01-02 Loral Fairchild Corp. Nonlinear scanning to optimize sector scan electro-optic reconnaissance system performance
US6095989A (en) 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US6463176B1 (en) 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
US5583795A (en) 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
EP1197094B1 (en) * 1999-07-13 2004-02-11 Surgivision Ltd. Stereoscopic video observation and image magnification system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6999612B1 (en) * 2000-08-31 2006-02-14 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion directly from image intensities
EP1357831A2 (en) * 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
KR100374707B1 (ko) * 2001-03-06 2003-03-04 에버미디어 주식회사 도비치스 웨이블렛 변환을 이용한 홍채인식방법
FR2831302A1 (fr) * 2001-10-19 2003-04-25 St Microelectronics Sa Codage d'informations concentriques
US7505604B2 (en) 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
JP4128837B2 (ja) 2002-09-30 2008-07-30 佐藤 淳 路面走行レーン検出装置
WO2004089214A2 (en) * 2003-04-11 2004-10-21 Bausch & Lomb Inc. System and method for acquiring data and aligning and tracking of an eye
US7379567B2 (en) * 2003-07-17 2008-05-27 Matsushita Electric Industrial Co., Ltd. Iris code generation method, individual authentication method, iris code entry device, individual authentication device, and individual certification program
US20050027386A1 (en) 2003-07-30 2005-02-03 Michele Weigand Decentralized project management system
US7664322B1 (en) 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
US7756301B2 (en) 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method
US8098901B2 (en) * 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US7524064B2 (en) 2004-03-09 2009-04-28 Research Foundation Of The State University Of New York Apparatus and method for assessing retinal damage
JP4506250B2 (ja) 2004-04-12 2010-07-21 日産自動車株式会社 上瞼検出装置
JP2005334402A (ja) * 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
WO2006017771A1 (en) 2004-08-06 2006-02-16 University Of Washington Variable fixation viewing distance scanned light displays
JP4529635B2 (ja) 2004-10-22 2010-08-25 日産自動車株式会社 開閉眼判定装置
JP3686418B2 (ja) 2004-10-29 2005-08-24 アレイ株式会社 計測装置およびその方法
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7746235B2 (en) 2005-03-10 2010-06-29 Delphi Technologies, Inc. System and method of detecting eye closure based on line angles
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP5008269B2 (ja) * 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
US7327860B2 (en) 2005-05-04 2008-02-05 West Virginia University Conjunctival scans for personal identification
JP2007011667A (ja) * 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 虹彩認証装置および虹彩認証方法
JP4664147B2 (ja) * 2005-07-29 2011-04-06 株式会社山武 虹彩認証装置
WO2007025258A2 (en) * 2005-08-25 2007-03-01 Sarnoff Corporation Methods and systems for biometric identification
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8233672B2 (en) * 2007-06-11 2012-07-31 Matos Jeffrey A Apparatus and method for verifying the identity of an author
KR100651753B1 (ko) 2005-11-19 2006-12-01 한국전자통신연구원 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치
US10709610B2 (en) 2006-01-20 2020-07-14 Lensar, Inc. Laser methods and systems for addressing conditions of the lens
US11090190B2 (en) 2013-10-15 2021-08-17 Lensar, Inc. Iris registration method and system
KR101299074B1 (ko) 2006-03-03 2013-08-30 허니웰 인터내셔널 인코포레이티드 홍채 인코딩 시스템
DE602007007062D1 (de) 2006-03-03 2010-07-22 Honeywell Int Inc Iriserkennungssystem mit bildqualitätsmetrik
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US7682026B2 (en) 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
EP2062197A4 (en) * 2006-09-15 2010-10-06 Retica Systems Inc MULTIMODAL BIOMETRIC SYSTEM AND METHOD FOR LARGE DISTANCES
WO2008091401A2 (en) 2006-09-15 2008-07-31 Retica Systems, Inc Multimodal ocular biometric system and methods
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
JP4650386B2 (ja) * 2006-09-29 2011-03-16 沖電気工業株式会社 個人認証システム及び個人認証方法
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4309927B2 (ja) 2007-03-14 2009-08-05 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP4309928B2 (ja) 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP4307496B2 (ja) 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
WO2008142740A1 (ja) 2007-04-16 2008-11-27 Fujitsu Limited 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
FR2915301A1 (fr) 2007-04-20 2008-10-24 Groupe Ecoles Telecomm Procede de comparaison d'images d'une biometrie entre au moi ns une image de reference et au moins une image de test dont on cherche a evaluer un degre de correlation avec l'image d e reference
EP2143041A4 (en) 2007-05-01 2011-05-25 Compulink Man Ct Inc PHOTODOCUMENTEGMENTATION METHOD AND METHOD
US20100202669A1 (en) * 2007-09-24 2010-08-12 University Of Notre Dame Du Lac Iris recognition using consistency information
JP5097514B2 (ja) 2007-11-22 2012-12-12 国立大学法人東京工業大学 ワイヤ電極式イオナイザ
US20090252382A1 (en) 2007-12-06 2009-10-08 University Of Notre Dame Du Lac Segmentation of iris images using active contour processing
DE102008003906B4 (de) * 2008-01-10 2009-11-26 Rodenstock Gmbh Verwendung eines Fixationstargets und Vorrichtung
JP2009169745A (ja) 2008-01-17 2009-07-30 Toyota Motor Corp 閉眼検出装置
JP5262243B2 (ja) 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
US7883071B2 (en) 2008-05-21 2011-02-08 Raytheon Company Methods and apparatus for isolation system
ATE484804T1 (de) * 2008-06-25 2010-10-15 Deutsche Telekom Ag System zur extraktion, identifizierung und überprüfung von irismerkmalen auf der basis von directionlets
WO2010011785A1 (en) 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
JP2010033305A (ja) 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8345922B2 (en) 2008-09-03 2013-01-01 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
WO2010129074A1 (en) * 2009-01-14 2010-11-11 Indiana University Research & Technology Corporation System and method for identifying a person with reference to a sclera image
JP5387007B2 (ja) 2009-01-22 2014-01-15 日本電気株式会社 画像処理装置、生体認証装置、画像処理方法及びプログラム
JP5221436B2 (ja) 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US8693745B2 (en) 2009-05-04 2014-04-08 Duke University Methods and computer program products for quantitative three-dimensional image correction and clinical parameter computation in optical coherence tomography
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
CN101692980B (zh) 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
US8403479B2 (en) 2009-12-17 2013-03-26 Johnson & Johnson Vision Care, Inc. Contact lens eye model
US8948467B2 (en) * 2010-08-06 2015-02-03 Honeywell International Inc. Ocular and iris processing system and method
US9092371B2 (en) 2010-09-02 2015-07-28 The Aerospace Corporation Signal parameter estimator
KR101697181B1 (ko) * 2010-09-07 2017-01-17 삼성전자주식회사 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
DE102011054833A1 (de) * 2010-10-29 2012-05-03 Hoya Corp. Verfahren zum Messen der binokularen Sehleistung, Programm zum Messen der binokularen Sehleistung, Verfahren zum Entwerfen von Brillengläsern und Verfahren zur Herstellung von Brillengläsern
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP4893862B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
JP4893863B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US20140043229A1 (en) * 2011-04-07 2014-02-13 Nec Casio Mobile Communications, Ltd. Input device, input method, and computer program
EP2701122B1 (en) 2011-04-19 2020-02-26 Aisin Seiki Kabushiki Kaisha Eyelid detection device, eyelid detection method, and program
JP5755012B2 (ja) 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US8755607B2 (en) * 2011-04-28 2014-06-17 Sri International Method of normalizing a digital image of an iris of an eye
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US8854491B2 (en) * 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
JP5737399B2 (ja) * 2011-07-11 2015-06-17 トヨタ自動車株式会社 赤目判定装置
DE112011105441B4 (de) 2011-07-11 2019-11-14 Toyota Jidosha Kabushiki Kaisha Augenliderfassungsvorrichtung
US9213163B2 (en) * 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
CA2845567C (en) * 2011-09-07 2019-05-21 Improved Vision Systems (I.V.S.) Ltd. Method and system for treatment of visual impairment
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
IL215883A0 (en) * 2011-10-24 2012-03-01 Iriss Medical Technologies Ltd System and method for indentifying eye conditions
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
ITVR20110201A1 (it) 2011-11-02 2013-05-03 Milano Politecnico Dispositivo per il monitoraggio della posizione e deimovimenti dell'occhio, particolarmente adatto per la radioterapia oculare
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9135508B2 (en) * 2011-12-20 2015-09-15 Microsoft Technology Licensing, Llc. Enhanced user eye gaze estimation
CN102592260B (zh) 2011-12-26 2013-09-25 广州商景网络科技有限公司 证照图像裁剪方法及系统
US9075453B2 (en) 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US8958599B1 (en) * 2012-01-06 2015-02-17 Google Inc. Input method and system based on ambient glints
US8913789B1 (en) 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
JP2013192196A (ja) * 2012-02-16 2013-09-26 Panasonic Corp カーソル合成装置およびカーソル合成方法
CN102629319B (zh) 2012-03-27 2014-02-19 中国科学院自动化研究所 基于特定边界检测子的鲁棒虹膜区域分割方法
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130321389A1 (en) * 2012-05-29 2013-12-05 General Electric Company System and method for 3d imaging
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US9122926B2 (en) 2012-07-19 2015-09-01 Honeywell International Inc. Iris recognition using localized Zernike moments
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
JP6020576B2 (ja) * 2012-09-19 2016-11-02 株式会社ニコン 視線検出装置較正方法、視線情報検出方法、眼鏡レンズ設計方法、眼鏡レンズ選択方法、および、眼鏡レンズ製造方法
CN105303772A (zh) 2012-09-24 2016-02-03 由田新技股份有限公司 瞌睡提醒装置
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
CN102901970A (zh) 2012-11-08 2013-01-30 天津理工大学 一种单调制连续波激光测距装置与测距方法
US9152847B2 (en) 2012-11-27 2015-10-06 Adobe Systems Incorporated Facial landmark localization by exemplar-based graph matching
US9224036B2 (en) * 2012-12-20 2015-12-29 Google Inc. Generating static scenes
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
JP6318462B2 (ja) 2013-01-30 2018-05-09 株式会社ニコン 表示装置
KR20150122666A (ko) 2013-02-27 2015-11-02 톰슨 라이센싱 교정-프리 응시 추정을 위한 방법 및 디바이스
US9179833B2 (en) * 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US9424467B2 (en) * 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
CN103164704B (zh) 2013-04-12 2016-05-11 山东师范大学 一种基于混合高斯模型的虹膜图像分割算法
CN103258343B (zh) 2013-05-07 2015-09-16 中南大学 一种基于图像编辑的眼部图像处理方法
US9801539B2 (en) * 2013-05-23 2017-10-31 Stiftung Caesar—Center Of Advanced European Studies And Research Ocular Videography System
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
GB201310368D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP2015015563A (ja) * 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
US20150029322A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
US10042994B2 (en) * 2013-10-08 2018-08-07 Princeton Identity, Inc. Validation of the right to access an object
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
JP2015090569A (ja) 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
KR101470243B1 (ko) * 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
TWI498769B (zh) * 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
EP2886041A1 (en) * 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
US20170046813A1 (en) 2014-01-08 2017-02-16 Nokia Technologies Oy An apparatus and associated methods for image capture
JP5956479B2 (ja) 2014-01-29 2016-07-27 株式会社東芝 表示装置及び視線推定装置
US9804395B2 (en) * 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
JP6550642B2 (ja) 2014-06-09 2019-07-31 パナソニックＩｐマネジメント株式会社 皺検出装置および皺検出方法
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
ES2883563T3 (es) 2014-06-16 2021-12-09 Fondation De Linstitut De Rech Idiap Método y aparato de estimación de la mirada
CN104537334B (zh) 2014-07-08 2019-09-10 珠海易胜电子技术有限公司 一种改善在非理想环境下虹膜识别性能的方法
US9563805B2 (en) * 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking
US9798383B2 (en) * 2014-09-19 2017-10-24 Intel Corporation Facilitating dynamic eye torsion-based eye tracking on computing devices
US10425814B2 (en) * 2014-09-24 2019-09-24 Princeton Identity, Inc. Control of wireless communication device capability in a mobile device with a biometric key
CN104680016A (zh) 2014-11-05 2015-06-03 河南科技大学 基于几何优化逼近的抛物线轮廓最小区域拟合方法
CN104484649B (zh) * 2014-11-27 2018-09-11 北京天诚盛业科技有限公司 虹膜识别的方法和装置
CN104502329B (zh) 2014-12-28 2017-02-22 冶金自动化研究设计院 一种libs成分分析中元素最优工作曲线的建立方法
US9710707B1 (en) * 2014-12-31 2017-07-18 Morphotrust Usa, Llc Detecting iris orientation
CN105812777B (zh) * 2015-01-21 2018-02-09 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN104793741A (zh) 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
CN105157563B (zh) 2015-04-28 2016-08-03 湖南大学 一种基于机器视觉的啤酒瓶口定位方法
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
AU2016310452B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
CN112836664A (zh) * 2015-08-21 2021-05-25 奇跃公司 使用眼睛姿态测量的眼睑形状估计
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
CA3170014A1 (en) * 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
US9983709B2 (en) 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US10565433B2 (en) * 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Also Published As

Publication number Publication date
JP7136875B2 (ja) 2022-09-13
US20190114480A1 (en) 2019-04-18
CN108369653A (zh) 2018-08-03
EP3362946B1 (en) 2020-08-26
WO2017066296A1 (en) 2017-04-20
AU2021240222B2 (en) 2022-12-15
EP3362946A4 (en) 2019-06-05
IL291684B2 (en) 2023-03-01
KR20180072734A (ko) 2018-06-29
EP3362946A1 (en) 2018-08-22
JP2018532199A (ja) 2018-11-01
CA3170014A1 (en) 2017-04-20
CA3001682A1 (en) 2017-04-20
IL258620A (en) 2018-06-28
JP2022095879A (ja) 2022-06-28
US11126842B2 (en) 2021-09-21
JP7399210B2 (ja) 2023-12-15
JP2021049354A (ja) 2021-04-01
CA3001682C (en) 2022-10-11
AU2021240222A1 (en) 2021-10-28
US10163010B2 (en) 2018-12-25
EP3761232A1 (en) 2021-01-06
IL291684B (en) 2022-11-01
IL297610B2 (en) 2023-11-01
IL258620B (en) 2022-05-01
KR102702357B1 (ko) 2024-09-02
CN108369653B (zh) 2021-12-14
US20170109580A1 (en) 2017-04-20
NZ741863A (en) 2019-05-31
IL297610B1 (en) 2023-07-01
AU2016340222B2 (en) 2021-07-01
US11749025B2 (en) 2023-09-05
IL297610A (en) 2022-12-01
US20220004758A1 (en) 2022-01-06
IL291684A (en) 2022-05-01
JP6885935B2 (ja) 2021-06-16
AU2016340222A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
CN108369653B (zh) 使用眼睛特征的眼睛姿态识别
US11227158B2 (en) Detailed eye shape model for robust biometric applications
JP7538186B2 (ja) ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
EP3337383B1 (en) Eyelid shape estimation
US20220301217A1 (en) Eye tracking latency enhancements
CN112836664A (zh) 使用眼睛姿态测量的眼睑形状估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination