CN108369653A - 使用眼睛特征的眼睛姿态识别 - Google Patents

Abstract

描述了使用眼睛的特征用于眼睛姿态识别的系统和方法。系统和方法的实施例可以包括在眼睛图像中分割眼睛的虹膜以获得眼睛的瞳孔和角膜缘边界，使用眼睛的瞳孔和角膜缘边界确定眼睛姿态的两个角坐标(例如，俯仰和偏航)，识别眼睛的眼睛特征(例如，虹膜特征或巩膜特征)，使用识别的眼睛特征确定眼睛姿态的第三角坐标(例如，滚动)，并且利用眼睛姿态测量用于图像的显示或生物测定应用。在一些实施方式中，可以不执行虹膜分割，并且从眼睛特征确定两个角坐标。

Description

使用眼睛特征的眼睛姿态识别

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2015年10月16日提交的标题为“使用眼睛特征的眼睛姿态识别”(“EYE POSE IDENTIFICATION USING EYE FEATURES”)的美国临时申请No.62/242,838的优先权的权益，其在此通过引用整体并入。

技术领域

本公开一般涉及用于处理眼睛图像的系统和方法。

背景技术

人类虹膜可以用作生物测定信息(biometric information)的来源。生物测定信息可以提供个人的认证或识别。提取生物测定信息的过程(通常称为生物测定模板)通常具有许多挑战。

发明内容

在一个方面中，公开了一种用于眼睛姿态识别的方法。该方法在硬件计算机处理器的控制下执行。该方法包括在眼睛图像中分割眼睛的虹膜以获得眼睛的瞳孔和角膜缘边界；使用眼睛的瞳孔和角膜缘边界确定眼睛姿态测量的两个角坐标；识别眼睛的虹膜特征；使用所识别的虹膜特征来确定眼睛姿态测量的第三角坐标；并利用眼睛姿态测量用于图像的显示或生物测定应用。另一方面，用于眼睛姿态识别的方法可以通过头戴式显示系统来执行。虹膜特征可以包括虹膜中的纹理、图案或关键点。在另一方面，对于虹膜特征另外或可替代地，该方法可以使用巩膜特征来实施。

在另一方面，描述了一种用于从眼睛图像中识别眼睛姿态的方法。该方法在硬件计算机处理器的控制下执行，并且包括从眼睛图像确定眼睛的俯仰和偏航；从眼睛特征确定眼睛的滚动；以及至少部分地基于俯仰、偏航和滚动来确定眼睛图像的眼睛姿态。可穿戴显示系统可以包括执行该方法的处理器。眼睛特征可以包括虹膜特征或巩膜特征。

在另一方面，公开了一种用于检测头戴式显示器的操作中的错误的方法。该方法在硬件计算机处理器的控制下执行，并且包括确定头戴式显示器的佩戴者的第一眼睛的第一滚动角，确定头戴式显示器的佩戴者的第二眼睛的第二滚动角，以及至少部分地基于第一滚动角和第二滚动角的比较来检测头戴式显示器操作中的错误。

在本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。从描述、附图和权利要求中，其它特征、方面和优点将变得显而易见。本概述和以下详细描述都不旨在限定或限制本发明主题的范围。

附图说明

图1示意性地图示了示出眼睛特征的眼睛的示例。

图1A示出了可以用于相对于眼睛的自然静止状态测量眼睛姿态方向的三个角度(例如，偏航、俯仰和滚动)的示例。

图2A-2B示意性地示出了使用虹膜特征的示例眼睛姿态识别系统。

图3A-3B示意性地示出了用于识别眼睛的眼睛姿态的虹膜代码识别系统的示例。

图4示意性地示出了眼睛姿态识别程序的示例。

图5示意性地示出了可穿戴显示系统的示例。

在整个附图中，可以重新使用参考数字来指示参考元素之间的对应关系。提供附图以图示在此描述的示例实施例并且不旨在限制本公开的范围。

具体实施方式

概述

从眼睛提取生物测定信息通常包括用于在眼睛图像内虹膜分割的过程。虹膜分割可以涉及如下操作，包括定位虹膜边界，包括找到虹膜的瞳孔和边缘边界，如果眼睑遮挡虹膜则定位上眼睑或下眼睑，检测并排除睫毛、阴影或反射的遮挡等等。例如，眼睛图像可以被包括在脸部的图像中，或者可以是眼周区域的图像。为了执行虹膜分割，瞳孔的边界(虹膜的内部边界)和角膜缘(虹膜的外部边界)都可以被识别为图像数据的分离段。

此外，为了获得生物测定信息(例如，眼睛姿态)，存在用于跟踪计算机用户的眼睛运动的算法。例如，耦合到计算机的监控器的相机可以提供用于识别眼睛运动的图像。然而，用于眼睛跟踪的相机距离用户的眼睛有一段距离。例如，相机可以放置在与计算机耦合的用户监控器的顶部处。结果，由相机产生的眼睛图像通常产生差的分辨率。

另外，关于相机和用户头部的几何形状通常不是提供给跟踪眼睛运动的算法的先验。结果，确定用户的眼睛姿态可能带来挑战，并且可能不容易与用户头部的坐标系相关。利用在此公开的技术，眼睛姿态识别可用于基本上识别眼睛的指向方向并且还预测被虹膜上的眼睑遮挡的区域。在此描述的眼睛姿态识别的实施例可以有利地用于估计被眼睑遮挡的虹膜部分。另外，在一些实施方式中，该眼睛姿态识别可用于生成眼睑位置的模型，可以使用该模型代替分割算法以及用于头部的坐标系的识别或者作为分割算法以及用于头部的坐标系的识别的起点。

在可穿戴头戴式显示器(HMD)的背景下，与耦合到用户的监控器的相机相比，相机可以更接近用户的眼睛。例如，相机可以安装在可穿戴HMD上，该可穿戴HMD本身安装到用户的头部。眼睛到这种相机的接近度可以产生更高分辨率的眼睛图像。因此，计算机视觉技术有可能从用户的眼睛提取视觉特征，特别是在虹膜(例如虹膜特征)处或虹膜周围的巩膜(例如巩膜特征)中。例如，当由靠近眼睛的相机观看时，眼睛的虹膜将显示详细的结构。这种虹膜特征在红外照明下观察时特别明显，并且可用于生物识别。这些虹膜特征在不同用户之间是唯一的，并且可以用指纹的方式唯一地用于识别用户。眼睛特征可以包括眼睛巩膜中(虹膜外)的血管，当在红色或红外光下观察时，其也可以看起来特别明显。

本公开描述了可以与“描述符”相关联的虹膜特征。描述符可以是虹膜特征附近的区域的数字表示。该描述符可用于识别眼睛的另一图像中的相同虹膜特征。如在此所公开的，这种虹膜特征不仅可以用于跟踪一般意义上的眼睛的运动，而且可以用于确定眼睛的姿态(例如注视方向)。例如，关于两个眼睛图像的单应性的计算(例如，两个眼睛图像之间的数学变换)可用于识别眼睛姿态：两个图像之间的虹膜特征的变化可以指示相对于初始眼睛姿态(在另一个图像中)的新的眼睛姿态(例如，在一个图像中)。除了虹膜特征之外或作为替代，可以使用眼睛的巩膜中特征的描述符。

本公开还描述了眼睛姿态识别的示例。使用虹膜特征，可以使用基于特征的跟踪技术(FBT)、基于代码的跟踪(CBT)技术或两者来处理至少两个眼睛图像之间的单应性的计算。在两种技术的某些实施例中，虹膜首先被分割，例如，虹膜的瞳孔和角膜缘边界被识别为图像数据的分离段。从该分割中，可以确定眼睛姿态的两个角度维度(例如，俯仰角和偏航角)。通过比较虹膜特征，可以识别眼睛姿态的第三角度维度(例如，滚动)，并且进而采用识别的所有三个角度维度，可以识别眼睛的眼睛姿态。如下面将进一步描述的，基于特征的跟踪技术和基于代码的跟踪技术可以以每种技术计算眼睛姿态的第三角度维度(例如，眼睛的滚动角)的方式变化。在各种实施例中，眼睛的所有三个角度维度可以根据各种眼睛图像的虹膜特征的比较来确定，而不必对眼睛图像执行虹膜分割。

当处理来自可穿戴HMD的眼睛图像时可能存在其它挑战。例如，使用来自安装在HMD中的相机的图像来跟踪眼睛可能会引入其它问题：眼睛运动可能难以与HMD运动或安装到HMD的相机的运动区分。然而，使用在此描述的技术，可以通过确定HMD的参考系中的眼睛的眼睛姿态来缓解使用从HMD获得的图像来跟踪眼睛中存在的挑战。

更具体地，当前的眼睛图像处理技术可以不使用眼睛的滚动或眼睛姿态的第三角度维度。然而，对眼睛滚动的估计可用于测量由于眼睛运动、噪声抑制或用于HMD运动的错误检查引起的扭曲。根据从安装到HMD的相机获得的眼睛图像的角度来看，滚动角可以对应于相机的姿态(例如，相机的指向方向)相对于围绕眼睛的轨道的变化，该眼睛的旋转轴线是瞳孔的光轴。就相机的确切位置相对于眼睛而言未精确知晓的情况下(例如，在可穿戴HMD的情况下)来说，瞳孔的滚动角的计算可用于确定相机的位置，以及因此HMD本身的安装。

另外，因为获得眼睛图像的相机被安装到HMD本身，所以可以确定用户在头部的坐标系中的观看方向。作为示例，对于头戴式增强现实(AR)装置，可以确定使用HMD自身的坐标系的眼睛姿态识别。

如在此所使用的，视频以其普通含义使用，并且包括但不限于视频图像序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可以包括多个连续帧或非连续帧，可以具有或不具有音频通道。视频可以包括多个帧，它们按时间排序或者不按时间排序。因此，视频中的图像可以被称为眼睛图像帧或眼睛图像。

眼睛的示例

图1示出具有眼睑104、巩膜108、虹膜112和瞳孔116的眼睛100的图像。曲线116a示出瞳孔116和虹膜112之间的瞳孔边界，并且曲线112a示出虹膜112和巩膜108之间的角膜缘边界(眼睛的“白色”)。眼睑104包括上眼睑104a和下眼睑104b。眼睛100被图示为自然静止姿态(例如，其中用户的脸部和视线都被定向为它们将朝向用户正前方的远处对象)。眼睛100的自然静止姿态可以通过自然静止方向120来指示，该自然静止方向120是当处于自然静止姿态(例如，直接在用于图1中所示的眼睛100的平面之外)时与眼睛100的表面正交的方向并且在该示例中，在瞳孔116内居中。

眼睛可以包括可用于眼睛跟踪或生物测定应用的虹膜或巩膜(或两者)中的眼睛特征124。图1示出包括虹膜特征124a和巩膜特征124b的眼睛特征124的示例。眼睛特征124可以被称为个体的关键点。这种眼睛特征对于个体的眼睛可能是独特的，并且对于该个体的每只眼睛而言可以是不同的。虹膜特征124a可以是特定颜色密度的点，与虹膜颜色的其余部分相比，或者与围绕该点的某些区域相比。作为另一个示例，虹膜的纹理(例如，与特征附近的虹膜的纹理不同的纹理)或图案可以被识别为虹膜特征124a。作为又一个示例，虹膜特征124a可以是外观与虹膜不同的瘢痕。眼睛特征124也可以与眼睛的血管相关联。例如，血管可能存在于虹膜之外但在巩膜之内。在红色或红外光照射下，这种血管可能更显著可见。巩膜特征124b可以是眼睛巩膜中的血管。在一些情况下，术语眼睛特征可以用于指代眼睛中或眼睛上的任何类型的识别特征，无论该特征是在虹膜、巩膜中还是通过瞳孔看到的特征(例如在视网膜上)。

每只眼睛特征124可以与描述符相关联，该描述符是围绕眼睛特征124的区域的数字表示。描述符也可以被称为虹膜特征表示。作为又一个示例，可以从以下导出这种眼睛特征：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、加速段测试提取特征(FAST)、定向FAST和旋转BRIEF(ORB)、KAZE、加速KAZE(AKAZE)等。因此，眼睛特征124可以从来自已知的计算机视觉领域的算法和技术中导出。这种眼睛特征124可以被称为关键点。在下面描述的一些示例实施例中，将根据虹膜特征来描述眼睛特征。这不是限制，并且在其它实施方式中可以附加地或替代地使用任何类型的眼睛特征(例如，巩膜特征)。

当眼睛100移动以看向不同的对象时，眼睛姿态将相对于自然静止方向120改变。当前眼睛姿态可以参考自然静止眼睛姿态方向120来测量。眼睛100的当前姿态可以表示为，该三个角度参数指示相对于眼睛的自然静止方向120的当前眼睛姿态方向。为了说明的目的，并参考图1A中所示的示例坐标系，这些角度参数可以被表示为α(可以表示偏航)、β(可以表示俯仰)以及γ(可以表示滚动)。在其它实施方式中，可以使用其它技术或角度表示来测量眼睛姿态，例如，任何其它类型的欧拉(Euler)角度系。

可以使用任何适当的过程从视频获得眼睛图像，例如使用可以从一个或多个连续帧提取图像的视频处理算法。可以使用如在此所述的各种眼睛跟踪技术从眼睛图像确定眼睛的姿态。

基于特征跟踪的眼睛姿态识别的示例

图2A-2B示意性地示出了使用虹膜特征的示例眼睛姿态识别系统。更具体地，图2A-2B示出用于眼睛姿态识别的基于特征的跟踪技术。所描绘的示例示出分段虹膜。如图2A中所示，在具有虹膜112和瞳孔116的眼睛中识别虹膜特征124a。曲线116a示出瞳孔116和虹膜112之间的瞳孔边界，并且曲线112a示出虹膜112和巩膜之间的角膜缘边界。如上所述，虹膜特征124a可以与数值表示相关联，例如，如从分割的虹膜区域计算的。

虹膜特征124a可用于将任何特定图像(例如，图2B中的图像)与眼睛的参考图像(例如，如图2A所示的在静止位置指向前方的眼睛)相关联。在该示例中，图2A可以是从参考眼睛图像获得的眼睛。图2B描绘了相同眼睛旋转，如从另一眼睛图像获得的(朝向指向方向)。使用虹膜特征124a，可以计算将旋转的眼睛图像(例如，图2B)中的虹膜特征124a的位置与参考眼睛图像(例如，图2A)中的位置相关联的单应性。例如，可以使用虹膜特征124a来计算两个角度维度。或者在另一个实施例中，虹膜可以首先用在该虹膜分割之后计算的这两个角度维度来分割。因为虹膜几乎是平坦的，所以单应性可以是适当的映射；然而，在一些实施方式中，可以考虑来自角膜的变形，以用于更高精度的结果。在一个实施例中，两个角度维度可以被表示偏航和俯仰。另外，如图2B中所描绘，眼睛的指向方向可以与第三角度维度相关。第三角度维度可以表示眼睛的滚动。通过获得的眼睛的所有三个角度维度，并且可以识别包括三个角度维度的眼睛姿态。所识别的眼睛姿态可以是在三维角坐标系中表示的眼睛的数字表示。因此，可以确定眼睛在第三角度维度中的滚动旋转的变化，例如，图2A-2B中描绘的滚动旋转的变化。计算至少两个图像之间的单应性的这种过程可以被称为“匹配”虹膜特征124a。

所计算的两个角度维度(例如，偏航和俯仰)可以用于验证经由其它分割技术确定的虹膜分割。例如，可以与确定虹膜特征(例如关键点)单应性的同时求解分割变换。在一个实施方式中，可以求解分割变换，与图像隔离的关键点，从关键点求解单应性，以及验证的分割，使用关键点和边界分割计算最终解(如果分割被验证)以计算单个解。

如果直接从图像计算虹膜特征124a，则虹膜特征124a的数字表示可以在两个获得的眼睛图像之间改变。例如，瞳孔的透视变形和扩张状态可以改变分段眼睛中的虹膜特征124a的表观位置。另外，数字表示(例如，描述符)可能变形并且可能引入挑战来匹配图像之间的虹膜特征124a。相应地，在一个实施例中，瞳孔可以被重新映射到等效的正面视图(例如，通过反转从角膜缘边界计算的单应性)，并且此后从该未变形的图像计算虹膜特征124a。这种映射还可以包括从瞳孔边界延伸到角膜缘边界的径向维度的归一化。

此外，所获得的眼睛图像可以被转换为极坐标表示系(参见例如Daugman的美国专利No.5,291,560)。在这种表示系中，x坐标相当于未变形图像中的角坐标，而y坐标相当于“伪半径”(距瞳孔边界的径向距离)。这种极坐标图像可以归一化为标准尺寸。在这种情况下，在极坐标图像上计算虹膜特征124a和数字表示。两个获得的眼睛图像之间的匹配可以相对于由该极坐标图像定义的数字表示来计算。为了找到两个获得的眼睛图像之间的匹配，可以反转极性变换和矫正(rectification)变换，并且可以计算原始图像中的虹膜特征124a的位置。在一个实施例中，与取向相关联的虹膜特征124a可能是不必要的。在所计算的极坐标图像中，虹膜特征124a的取向可以是固定的，与眼睛的滚动旋转无关。

尽管前面的示例已经在使用虹膜特征来识别眼睛姿态的上下文中进行了描述，但这是用于说明而不是限制。在其它实施方式中，任何合适的眼睛特征可用于识别眼睛姿态。例如，瞳孔特征可以用于检测眼睛图像之间的变化，并且因此计算眼睛的滚动角。

基于代码跟踪的眼睛姿态识别示例

图3A-3B示意性地示出用于识别眼睛的眼睛姿态的虹膜代码识别技术的示例。该示例示出使用虹膜特征(的基于代码的跟踪技术，诸如图1中的虹膜特征124a。如图3A中所示，处于静止姿态(例如，向前看)的眼睛的图像304a可以包括虹膜特征124a1。如图3B中所示，图像304b示出眼睛的滚动角的变化量308a，该量308a相对于在静止姿态图像304a1中的它们的角度位置来有角度地偏移图像304b中的虹膜特征124a1。例如，图像304a中的虹膜特征124a1在角度位置中偏移了角度308a，以在图像304b中表现为偏移的虹膜特征124a2。从静止角度示出图像304b(例如，就好像眼睛正向前看)，这可以使用上述的偏转角和俯仰角来实现。

图像304a、304b中的虹膜可以映射(例如“展开”)到具有上面讨论的径向坐标r和角坐标γ的极坐标表示系。或者在另一个实施例中，虹膜可以首先用映射到极坐标表示系的两个角度维度来分段。可以分别从图像304a、304b中的每一个中提取虹膜代码312a、312b。由于眼睛旋转的角度308a，虹膜代码312b中的虹膜特征将相对于在虹膜代码312a中的它们位置偏移偏移量308b。通过比较虹膜代码312a、312b，可以确定偏移量308b。在极坐标系中，偏移量308b可以以像素来测量，其可以被转换成以例如度为单位的角度308a的测量。

虹膜代码可以以各种方式计算。例如，在一些实施例中，虹膜代码可以根据JohnDaugman为虹膜生物测定法开发的算法来计算(参见例如美国专利No.5,291,560)。例如，虹膜代码可以基于虹膜图像(在极坐标中)与2D带通滤波器(例如，Gabor滤波器)的卷积，并且虹膜代码可以表示为两个位数(例如，是否对特定Gabor滤波器的响应是正的或负的)。

在基于代码的跟踪技术的比较过程中，可以针对第三角度维度中可能的平移(translation)窗口(例如，-10像素到+10像素)来重新计算初始虹膜代码312a(例如，来自起始眼睛位置(诸如来自图像304a)的虹膜代码)。可以基于预期的滚动角度量(其对应于虹膜代码中的水平平移)来选择窗口，这随着他们的眼睛姿态改变或随着HMD在被用户穿戴时偏移、移动或旋转的用户的体验。该窗口可表示小于约5度，小于约10度，小于约20度，小于约30度或一些其它值的滚动角度。在一些实施方式中，重新计算的虹膜代码被散列并存储在二叉树中。可以通过确定当前测量的虹膜代码之间相对于来自参考图像304a的重新计算的虹膜代码中的一个虹膜代码的最小数量的不同位(例如，汉明(Hamming)距离)来计算偏移量308b。可以选择最小数量的不同位作为沿γ轴的正确旋转。从虹膜代码312b的γ轴方向中的位移312ab，可以直接计算虹膜的滚动角(图像304b和图像304a之间的角度308a)。例如，如果展开的图像是512像素宽，并且与最优匹配相对应的位移是5像素，则眼睛的滚动是(5像素/512像素)×360度≈3.5度。

尽管前面的示例已经在使用虹膜特征来识别眼睛姿态的上下文中进行了描述，但这是用于说明而不是限制。在其它实施方式中，任何合适的眼睛特征可用于识别眼睛姿态。例如，瞳孔特征可以用于检测眼睛图像之间的变化，并且因此计算眼睛的滚动角。另外，虽然已经在极坐标表示的上下文中描述了上述示例，但这是用于说明而不是限制。在其它实施方式中，可以使用映射到合适坐标系的虹膜特征的任何合适的数字表示来实现基于代码的跟踪技术。

眼睛姿态估计例程示例

图4是用于使用上述FBT和CBT技术的实施例来测量眼睛姿态的说明性例程400的流程图400。例程400在框404处开始。在框408处，接收眼睛图像。可以从各种来源接收眼睛图像，包括但不限于：图像捕获装置、头戴式显示系统、服务器、非暂态计算机可读介质或客户端计算装置(例如，智能手机)。

正常的人类虹膜是高度精确的圆形。通常，当从相机获得图像时，即使在静止位置(例如，直向前)，虹膜通常也不会呈现为圆形，因为相机可能没有被定位以便从大致正面角度观看眼睛。如果对于一些特定的图像，虹膜的平面和成像器的平面不平行，则虹膜的边界可能呈卵形或椭圆形。仪器影响(诸如相机的观看角度)也可能会变形图像，使得虹膜看起来不呈圆形。在框412处，将来自眼睛图像的眼睛虹膜分割以识别虹膜的角膜缘边界和瞳孔边界。作为分割的一部分，可以确定眼睑的位置(其通常阻挡虹膜的一部分)。如在此所述，在一些实施方式中可以不执行分割虹膜；因此，框412是可选的。

在框416处，基于虹膜边界(角膜缘或瞳孔)或通常基于虹膜分割确定眼睛姿态的两个角坐标。例如，给定表征透视变换的相机的内部参数(例如，透镜的焦距、像素坐标中的成像器表面上的光学中心点等)，可以解决在两个角度维度中观看虹膜的透视变换。因此，可以确定的两个角度维度可以是眼睛的偏航和俯仰(参见例如图1A中示出的角度α和β)。如前所述，眼睛的滚动(围绕第三角度维度旋转不会改变虹膜边界)可能无法单独从透视变换求解。

在框420处，眼睛特征在眼睛图像中被识别。例如，这可以如上所述关于某些位置中的虹膜的纹理或图案或关键点而发生。可以例如根据像素的密度，根据距虹膜特征的半径，根据虹膜代码，通过计算虹膜特征周围的区域，或者通过任何其它方法将数字表示与虹膜特征相关联，来计算虹膜特征的数字表示。此外，如在此所述，例程400不限于仅在眼睛的虹膜中的特征并且可以(另外地或替代地)应用于眼睛的巩膜(虹膜外部)中的特征。

在框424处，基于所识别的眼睛特征来确定眼睛姿态的第三角度坐标。如以上关于图2A-2B处的基于特征的跟踪技术和关于图3A-3B处的基于代码的跟踪技术所描述的，可以根据图像(在框408处获取)和处于参考状态(例如，眼睛朝前看的静止状态)的眼睛的图像之间的眼睛特征(虹膜特征或巩膜特征)的角度位置的变化来确定眼睛姿态的第三角度坐标(例如，图1A中所示的滚动角γ)。因此，在确定眼睛的三个角度维度的情况下，可以识别如三维角坐标系所表示的眼睛的眼睛姿态。

在框428处，所识别的眼睛姿态可以用于生物测定应用或头戴式显示器(HMD)的图像显示。因此，从该示例中可以看出，可以根据虹膜的分割和从分割的眼睛所测量的识别的虹膜特征来识别眼睛姿态。

在一些实施方式中，虹膜分割可以使用所识别的眼睛姿态来重新估计，并且可以执行初始虹膜分割和重新估计的虹膜分割之间的比较以验证眼睛姿态估计的一致性。例如，如果重新估计的虹膜分割与初始虹膜分割基本上相同(例如，小于阈值差异)，则眼睛姿态估计可能是准确的。可替代地，姿态两次测量可以融合为单次测量(例如，通过以生成两次测量的最大概率来计算潜在姿态)。

在各种实施例中，例如，如以下参考图5所描述的，例程400可以由可穿戴显示系统500的硬件处理器(例如，本地或远程处理模块528、532)来执行。例程400可以针对HMD的佩戴者的单眼或HMD的佩戴者的双眼来执行。

头戴式显示器错误旋转例程的示例

在各种实施例中，用于确定头戴式显示器相对于佩戴者的头部的旋转的例程可以类似于例程400(其中从虹膜特征识别出眼睛姿态)来执行。通常，佩戴者的每只眼睛的角度滚动基本上相同。在可穿戴头戴式显示器的情况下，HMD相对于佩戴者头部的旋转可导致对于佩戴者的每只眼睛来说明显不同的眼睛滚动。因此，如果对于眼睛中每只眼睛的角度滚动测量相差超过阈值，则可以生成错误信号以指示可穿戴头戴式显示器发生错误。例如，在各种实施例中，阈值可以在1度与5度之间，5度与10度之间或是一些其它旋转量。

在各种实施例中，可以在一系列图像上平均每只眼睛的角度滚动，并随后使用该错误旋转技术进行比较。

在一些实施例中，这种比较可能仅在眼睛处于中立、静止位置时执行。在其它情况下，可以针对其它注视方向执行该确定。在该情况下，可以在比较两只眼睛之前明确地减去由于眼睛的转向肌肉(例如，内侧直肌和外直肌)的自然作用而导致的眼睛的预期滚动。

眼睛姿态识别的示例应用

当在视频图像的上下文中处理时，使用眼睛姿态识别的系统和方法允许改进图像处理中的许多经典问题。另外还可以解决新的问题。例如，眼睛姿态识别可以用于从视频进行图像分类(例如，识别眼睛的虹膜)，以及用于视频的一个或多个帧内的特定对象类型的定位(例如，上眼睑的位置)。作为另一示例，眼睛姿态识别可以应用于视频以用于眼睛跟踪的应用(例如，确定眼睛的取向或方向)。

在一些这种应用中，如下面将进一步讨论的，可穿戴显示系统可以包括处理器，该处理器对由可操作地耦合到(例如，附接到或包含在内)可穿戴显示系统的图像捕获装置所获取的视频数据执行眼睛姿态识别。图像捕获装置可以获取佩戴者的眼睛或佩戴者身体的其它部位(例如，眉毛)的视频以用于识别眼睛姿态。

使用眼睛姿态识别有利地允许识别视频(例如，从可穿戴显示系统中的图像捕获装置获取)中的眼睛姿态，这可以允许改进对视频中对象(诸如生物测定信息)的识别或分类。例如，传统的生物测定模板可能难以确定眼睛的眼睛姿态。然而，在此描述的眼睛姿态识别方法可以识别眼睛姿态的三个角度维度，诸如偏航、俯仰和滚动。因此，通过提供提取生物测定信息的能力，当单独使用虹膜分割时，眼睛姿态识别(如图4中所描述和图2A-2B和图3中所示)可以更好地跟踪不可用的眼睛的部分，并且可以提供用于生物测定提取的更精确的虹膜分割。在此公开的眼睛姿态识别技术可以由头戴式显示器(例如，诸如图5中)用于生物测定提取。

使用眼睛姿态识别的示例可穿戴显示系统

在一些实施例中，显示系统可以是可穿戴的，其可以有利地提供更沉浸式的虚拟现实(VR)、增强现实(AR)或混合现实(MR)体验，其中数字再现图像或其部分以其中他们看起来是或可被感知是真实的方式呈现给佩戴者。

不受理论限制，相信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个对应的图像的不同呈现，可以实现感知的深度的高度可信的模拟。例如，包含波导堆叠的显示器可以被配置为佩戴在用户或观看者的眼睛前面。通过使用多个波导引导以将来自图像注入装置(例如，离散显示器或多路显示器的输出端，其经由一个或多个光纤传输图像信息)的光引导到与与特定波导相关联的深度平面对应的特定角度(和发散量)处的观看者的眼睛，可以利用波导堆叠来为眼睛/大脑提供三维感知。

在一些实施例中，可以利用两个波导堆叠(一个波导堆叠对应于观看者的每只眼睛)来向每只眼睛提供不同的图像。作为一个示例，增强现实场景可以如此，使得AR技术的佩戴者看到以人物、树木、背景中的建筑物和具体平台为特征的真实世界的公园状设置。除了这些物品之外，AR技术的佩戴者也可感知他“看到”站在真实世界平台上的机器人雕像，并且卡通形象的化身角色飞行，其似乎是大黄蜂的化身，即使机器人雕像和大黄蜂不存在于真实世界中。波导堆叠可用于生成与输入图像对应的光场，并且在一些实施方式中，可穿戴显示器包括可穿戴光场显示器。在美国专利公开No.2015/0016777中描述了用于提供光场图像的可穿戴显示装置和波导堆叠的示例，其全部内容通过引用结合在此。

图5示出可用于向佩戴者504呈现VR、AR或MR体验的可穿戴显示系统500的示例。可穿戴显示系统500可被编程为执行眼睛姿态识别以提供在此描述的任何应用或实施例。显示系统500包括显示器508，以及支持显示器508的功能的各种机械和电子模块和系统。显示器508可以耦合到框架512，框架512可由显示系统佩戴者或观看者504佩戴并且被配置为将显示器508定位在佩戴者504的眼睛前方。显示器508可以是光场显示器。在一些实施例中，扬声器516被耦合到框架512并被定位在用户的耳道附近，在一些实施例中，另一扬声器(未示出)被定位在用户的另一个耳道附近以提供立体声/可塑形声音控制。显示器508诸如通过有线引线或无线连接可操作地耦合520到本地数据处理模块524，该本地数据处理模块524可以以各种配置安装，诸如固定地附接到框架512，固定地附接到用户佩戴的头盔或帽子，嵌入在耳机中，或以其它方式可移除地附接到用户504(例如，在背包式配置中，在腰带耦合式配置中)。

框架512可以具有附接或安装到框架512的一个或多个相机以获得佩戴者的眼睛的图像。在一个实施例中，可以将相机安装到佩戴者眼睛前方的框架512上，使得可以直接对眼睛成像。在其它实施例中，相机可以沿着框架512的杆(例如，靠近佩戴者的耳朵)安装。在这种实施例中，显示器512可以涂覆有将来自佩戴者的眼睛的光反射回朝向相机的材料。由于虹膜特征在红外图像中突出，所以光可以是红外光。

本地处理和数据模块524可以包括硬件处理器以及诸如非易失性存储器(例如闪存)的非暂态数字存储器，两者都可以用于辅助数据的处理、缓存和存储。数据包括如下数据：(a)从(诸如图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪)传感器(其可以例如可操作地耦合到框架512或以其它方式附接到佩戴者504)捕获的数据；和/或(b)使用远程处理模块528和/或远程数据储存库532获取和/或处理的数据，可能在这种处理或检索之后传递给显示器508。本地处理和数据模块524可以通过通信链路536、540(诸如经由有线或无线通信链路)可操作地耦合到远程处理模块528和远程数据储存库532，使得这些远程模块528、532可操作地彼此耦合并且作为资源可用于本地处理和数据模块524。图像捕获装置可用于捕获在眼睛姿态识别过程中使用的眼睛图像。

在一些实施例中，远程处理模块528可以包括一个或多个处理器，其被配置为分析和处理数据和/或图像信息，诸如由图像捕获装置捕获的视频信息。视频数据可以本地存储在本地处理和数据模块524中和/或远程数据储存库532中。在一些实施例中，远程数据储存库532可以包括数字数据存储设施，其可以通过互联网或者“云”资源配置中的其它网络配置而可用。在一些实施例中，在本地处理和数据模块524中存储所有数据并且执行所有计算，允许从远程模块完全自主使用。

在一些实施方式中，本地处理和数据模块524和/或远程处理模块528被编程为执行如在此描述的识别眼睛姿态的实施例。例如，本地处理和数据模块524和/或远程处理模块528可以被编程为执行参考图4描述的例程400的实施例。本地处理和数据模块524和/或远程处理模块528可以被编程为使用在此公开的眼睛姿态识别技术，在生物测定提取方面，例如以识别或认证佩戴者504的身份，或者在眼睛注视或眼睑形状估计或姿态估计方面，例如以确定每只眼睛正观看的方向。图像捕获装置可捕获特定应用的视频(例如，用于眼睛跟踪应用的佩戴者的眼睛的视频或用于手势识别应用的佩戴者的手或手指的视频)。可以通过处理模块524、528中的一个或两个使用眼睛姿态识别技术来分析视频。通过该分析，处理模块524、528可以执行眼睛姿态识别或检测和/或生物测定提取等。作为示例，本地处理和数据模块524和/或远程处理模块528可以被编程为存储从附接到框架512的相机获得的眼睛图像。另外，本地处理和数据模块524和/或远程处理模块528可以被编程为使用在此描述的基于特征的跟踪或基于代码的跟踪技术(例如，例程400)来处理眼睛图像，以识别可穿戴显示系统500的佩戴者的眼睛姿态。在一些情况下，将眼睛姿态识别的至少一些卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。可以在数据模块524和/或532中存储用于眼睛姿态识别的各种参数(例如，权重、偏差项、随机子集采样因子、数量和滤波器的大小等(例如，索贝尔(Sobel)微分算子)等)。

视频分析的结果(例如，估计的眼睛姿态)可以由处理模块524、528中的一个或两个用于额外的操作或处理。例如，在各种应用中，可穿戴显示系统500可使用生物测定识别、眼睛跟踪、识别或对象、姿态等的分类。例如，佩戴者的眼睛的视频可用于眼睛姿态识别，处理模块524、528进而可以使用该眼睛姿态识别来确定佩戴者504通过显示器508的注视方向。可穿戴显示系统500的处理模块524、528可以被编程具有眼睛姿态识别的一个或多个实施例来执行在此描述的视频或图像处理应用中的任何一个。

其它方面

这里描述的眼睛姿态识别技术可以应用于图像(例如，来自视频帧)。眼睛姿态识别可以一起看作为用于处理眼睛图像的单个过程和/或方法。

在第一方面，公开了一种用于处理眼睛图像的方法。该方法在硬件计算机处理器的控制下并且包括：在眼睛图像中分割眼睛的虹膜以获得眼睛的瞳孔和角膜缘边界；使用眼睛的瞳孔和角膜缘边界确定第一眼睛姿态测量的两个角坐标；识别眼睛的虹膜特征；使用所识别的虹膜特征来确定第一眼睛姿态测量的第三角坐标；并利用第一眼睛姿态测量用于图像的显示或生物测定应用。

在第二方面，如方面1的方法，其中识别眼睛的虹膜特征包括：确定虹膜特征的描述符，描述符包括虹膜特征的数字表示。

在第三方面，如方面1或方面2的方法，其中确定第三角坐标包括使用基于特征的跟踪技术、基于代码的跟踪技术或其组合来确定第三角坐标。

在第四方面，如方面1或方面2的方法，其中确定第三角坐标包括使用基于特征的跟踪技术和基于代码的跟踪技术来确定第三角坐标。

在第五方面，如方面4的方法，其中基本上同时执行基于特征的眼睛跟踪技术和基于代码的跟踪技术以验证所确定的眼睛姿态的一致性。

在第六方面，如方面1-5中任一方面的方法，其中确定第三角坐标包括至少部分地基于虹膜特征来确定眼睛图像和参考眼睛图像之间的单应性。

在第七方面，如方面1-6中任一方面的方法，其中确定第三角坐标包括至少部分地基于虹膜特征来确定从眼睛图像生成的虹膜代码与从参考眼睛图像生成的虹膜代码之间的偏移。

在第八方面，如方面1-7中任一方面的方法，其中虹膜特征包括具有不同纹理的虹膜区域、虹膜中的图案或虹膜的关键点。

在第九方面，如方面1-8中任一方面的方法，其中针对用户的第一眼睛确定第一眼睛姿态测量，并且针对用户的第二眼睛确定第二眼睛姿态测量，并且其中第一眼睛姿态测量和第二眼睛姿态测量的平均被用作用户的眼睛姿态的单个估计。

在第十方面，公开了一种硬件处理器。硬件处理器被编程为执行如方面1-9中任一方面的方法。

在第十一方面，一种用于确定眼睛姿态的可穿戴显示系统，该可穿戴显示系统包括：如方面10的硬件处理器；以及图像装置，其被配置为向硬件处理器发送可穿戴显示系统的佩戴者的眼睛图像。

在第十二方面，如方面11的可穿戴显示系统，其中硬件处理器被进一步编程为执行如方面1-9中任一方面的方法以确定可穿戴显示系统的佩戴者的眼睛的生物测定信息。

在第十三方面，公开了一种头戴式显示系统。该头戴式显示系统包括：图像捕获装置，其被配置为捕获眼睛图像；硬件处理器，其被编程为：从图像捕获装置接收眼睛图像；至少部分地基于眼睛图像来确定眼睛的俯仰和偏航；至少部分地基于眼睛图像中的眼睛特征来确定眼睛的滚动；并且至少部分地基于俯仰、偏航和滚动来确定眼睛图像的眼睛姿态。

在第十四方面，如方面13的头戴式显示系统，其中为了确定眼睛的滚动，硬件处理器被编程为确定眼睛图像和参考眼睛图像之间的单应性。

在第十五方面，如方面13或方面14的头戴式显示系统，其中为了确定眼睛的滚动，硬件处理器被编程为利用眼睛图像的极坐标表示。

在第十六方面，如方面13-15中任一方面的头戴式显示系统，其中为了确定眼睛的滚动，硬件处理器被编程为将眼睛图像的虹膜代码与来自参考眼睛图像的虹膜代码进行比较。

在第十七方面，如方面13-16中任一方面的头戴式显示系统，其中硬件处理器进一步被编程为：使用眼睛图像的眼睛姿态来确定眼睛的生物测定数据。

在第十八方面，如方面13-17中任一方面的头戴式显示系统，其中眼睛特征包括虹膜特征。

在第十九方面，如方面18的头戴式显示系统，其中虹膜特征包括虹膜中的纹理、图案或关键点。

在第二十方面，如方面13-17中任一方面的头戴式显示系统，其中眼睛特征包括巩膜特征。

在第二十一方面，如方面20的头戴式显示系统，其中巩膜特征包括血管。

在第二十二方面，如方面13-21中任一方面的头戴式显示系统，其中处理器被进一步编程为在眼睛图像中分割眼睛的虹膜。

在第二十三方面，公开了一种用于检测头戴式显示器(HMD)的操作中的错误的方法。该方法在硬件计算机处理器的控制下并且包括：确定HMD的佩戴者的第一眼睛的第一滚动角；确定HMD的佩戴者的第二眼睛的第二滚动角；以及至少部分地基于第一滚动角和第二滚动角的比较来检测头戴式显示器操作的操作中的错误。

在第二十四方面，如方面23的方法，其中检测头戴式显示器的操作中的错误包括：确定第一滚动角和第二滚动角之间的差超过错误阈值。

在第二十五方面，如方面23或24中任一方面的方法，进一步包括：基于检测到的错误生成错误信号。

在第二十六方面，如方面23-25中任一方面的方法，其中检测头戴式显示器操作的操作中的错误包括跟踪多个眼睛图像中的滚动角的平均值。

在第二十七方面，如方面23-26中任一方面的方法，其中确定第一滚动角或确定第二滚动角包括执行方面1-9中任一方面的方法。

在第二十八方面，公开了一种设备。该设备包括被配置为拍摄眼睛图像的相机；以及处理系统，其被编程为分析眼睛的图像以估计眼睛的眼睛姿态。

在第二十九方面，如方面28的设备，其中相机是数码相机。

在第三十方面，如方面28-29中任一方面的设备，其中为了分析眼睛的图像以估计眼睛的眼睛姿态，处理系统被编程为确定当前眼睛姿态和参考眼睛姿态之间的相对变换。

在第三十一方面，如方面30的设备，其中为了确定当前眼睛姿态和参考眼睛姿态之间的相对变换，处理系统被编程为分析眼睛中的眼睛特征。

在第三十二方面，如方面31的设备，其中为了分析眼睛中的眼睛特征，处理系统被编程以分析眼睛中的虹膜特征或巩膜特征。

在第三十三方面，如方面32的设备，其中为了分析眼睛中的眼睛特征，处理系统被编程为分析眼睛虹膜的角膜缘的环。

在第三十四方面，如方面33的设备，其中为了分析眼睛虹膜的角膜缘的环，处理系统被编程为确定将角膜缘边界与相机的坐标系相关联的角度变换的三个维度中的两个维度。

在第三十五方面，如方面34的设备，其中处理系统被进一步编程为执行角窗口的搜索以确定虹膜代码的最优匹配的偏移。

在第三十六方面，如方面35的设备，其中处理系统被进一步编程为使用该偏移来测量与角度变换的第三“滚动”自由度对应的滚动角。

在第三十七方面，如方面33-36中任一方面的设备，其中处理系统被编程为分析眼睛中的虹膜特征或巩膜特征，并顺序地分析眼睛虹膜的角膜缘的环或作为同步优化的一部分。

在第三十八方面，如方面31-37中任一方面的设备，其中处理系统被进一步编程以提取眼睛特征。

在第三十九方面，如方面38的设备，其中处理系统被进一步编程为：在提取眼特征之前将虹膜图像转换为极坐标形式；并将眼睛特征反向映射回图像坐标。

在第四十方面，如方面28-39中任一方面的设备，其中该设备是头戴式显示器。

在第四十一方面，如方面40的设备，其中眼睛是头戴式显示器的佩戴者的一只眼睛，其中滚动角包括头戴式显示器的佩戴者的一只眼睛的滚动角并且其中处理系统被进一步编程为：测量与头戴式显示器的佩戴者的另一只眼睛的第三“滚动”自由度对应的滚动角；并在两个滚动角不匹配时生成错误信号。

在第四十二方面，如方面41的设备，其中处理系统被编程为：将两个滚动角的平均值确定为角度测量的滚动维度的单个估计。

在第四十三方面，如方面36-42中任一方面的设备，其中测量眼睛的滚动角(扭转)以校正眼睛的视轴。

结论

在此描述的和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用程序特定的电路和/或被配置为执行具体和特定计算机指令的电子硬件来执行的代码模块中并且完全或部分自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由特定于给定功能的电路来执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算装置(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或实质上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体编程的计算机硬件对于处理视频数据以在商业上合理的时间量内提供期望的图像处理任务或应用是必需的。

代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、相同或相似的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，该传输介质包括基于无线的和基于有线/电缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其它方式存储在任何类型的非暂态有形计算机存储器中，或者可以经由计算机可读传输介质来传达。

在此描述的和/或附图中描述的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地代表包括用于实现特定功能(例如逻辑或算术)或过程中的步骤的一个或多个可执行指令的代码模块、代码段或代码部分。各种过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其它方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。在此描述的方法和过程也不限于任何特定的序列，并且与其相关的框、步骤或状态可以以适当的其它序列(例如串行、并行或以一些其它方式)来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，在此描述的实施方式中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。

过程、方法和系统可以在网络(或分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、互联网和万维网。网络可以是有线或无线网络或任何其它类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，其中没有单独的一个对于在此公开的期望的属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将在此定义的一般原理应用于其它实施方式。因此，权利要求不旨在限于在此所示的实施方式，而是应被赋予与本公开、在此公开的原理和新颖特征一致的最宽范围。

本说明书中在分开的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。相反地，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中或以任何合适的子组合来实现。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。每个和所有实施例都不需要或不可缺少任何单个特征或特征组合。

除非另有明确说明，或者在所使用的上下文中以其它方式理解，否则在此使用的条件语言，诸如“能够”、“可”、“可能”、“可以”、“例如”等是通常旨在表达某些实施例包括，而其它实施例不包括某些特征、元件和/或步骤。因此，这种条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在或将在任何特定实施例中执行。术语“包含”、“包括”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、列表中的一些或全部元素。另外，除非另有说明，否则本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如在此所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A，B，C，A和B，A和C，B和C以及A、B和C。除非另有特别说明，否则诸如短语“X、Y和Z中的至少一个”的连接语言通常用于表达项目、术语等可以是X、Y或Z中的至少一个。因此，这种连接语言通常并不意味着某些实施例需要X中的至少一个，Y中的至少一个和Z中的至少一个各自存在。

类似地，虽然操作可以以特定顺序在附图中描绘，但是应该认识到，这种操作不需要以所示出的特定顺序或按顺序执行，或者执行所有示出的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其它操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其它实施方式中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (20)

1.一种用于处理眼睛图像的方法，所述方法包括：

在硬件计算机处理器的控制下：

在眼睛图像中分割眼睛的虹膜以获得所述眼睛的瞳孔和角膜缘边界；

使用所述眼睛的所述瞳孔和所述角膜缘边界确定第一眼睛姿态测量的两个角坐标；

识别所述眼睛的虹膜特征；

使用所述识别的虹膜特征来确定所述第一眼睛姿态测量的第三角坐标；以及

利用所述第一眼睛姿态测量用于图像的显示或生物测定应用。

2.根据权利要求1所述的方法，其中，识别所述眼睛的所述虹膜特征包括：

确定所述虹膜特征的描述符，所述描述符包括所述虹膜特征的数字表示。

3.根据权利要求1所述的方法，其中，确定所述第三角坐标包括使用基于特征的跟踪技术、基于代码的跟踪技术或其组合来确定所述第三角坐标。

4.根据权利要求1所述的方法，其中，确定所述第三角坐标包括至少部分地基于所述虹膜特征来确定所述眼睛图像与参考眼睛图像之间的单应性。

5.根据权利要求1至4中任一项所述的方法，其中，确定所述第三角坐标包括至少部分地基于所述虹膜特征来确定从所述眼睛图像生成的虹膜代码与从参考眼睛图像生成的虹膜代码之间的偏移。

6.根据权利要求1所述的方法，其中，所述虹膜特征包括具有不同纹理的所述虹膜的区域、所述虹膜中的图案或所述虹膜的关键点。

7.根据权利要求1所述的方法，其中，针对用户的第一眼睛确定所述第一眼睛姿态测量，并且针对所述用户的第二眼睛确定第二眼睛姿态测量，并且其中所述第一眼睛姿态测量和所述第二眼睛姿态测量的平均被用作所述用户的眼睛姿态的单个估计。

8.一种头戴式显示系统，包括：

图像捕获装置，其被配置为捕获眼睛图像；

硬件处理器，其被编程为：

从所述图像捕获装置接收所述眼睛图像；

至少部分地基于所述眼睛图像来确定眼睛的俯仰和偏航；

至少部分地基于所述眼睛图像中的眼睛特征来确定所述眼睛的滚动；以及

至少部分地基于所述俯仰、所述偏航和所述滚动来确定所述眼睛图像的眼睛姿态。

9.根据权利要求8所述的头戴式显示系统，其中，为了确定所述眼睛的所述滚动，所述硬件处理器被编程为确定所述眼睛图像与参考眼睛图像之间的单应性。

10.根据权利要求8所述的头戴式显示系统，其中，为了确定所述眼睛的所述滚动，所述硬件处理器被编程为利用所述眼睛图像的极坐标表示。

11.根据权利要求8所述的头戴式显示系统，其中，为了确定所述眼睛的所述滚动，所述硬件处理器被编程为将所述眼睛图像的虹膜代码与来自参考眼睛图像的虹膜代码进行比较。

12.根据权利要求8所述的头戴式显示系统，其中，所述硬件处理器被进一步编程为：

使用所述眼睛图像的所述眼睛姿态来确定所述眼睛的生物测定数据。

13.根据权利要求8所述的头戴式显示系统，其中，所述眼睛特征包括虹膜特征，其中，所述虹膜特征包括所述虹膜中的纹理、图案或关键点。

14.根据权利要求8至13中任一项所述的头戴式显示系统，其中，所述眼睛特征包括巩膜特征，其中，所述巩膜特征包括血管。

15.根据权利要求8所述的头戴式显示系统，其中，所述处理器进一步被编程为在所述眼睛图像中分割所述眼睛的虹膜。

16.一种用于检测头戴式显示器(HMD)的操作中的错误的方法，所述方法包括：

在硬件计算机处理器的控制下：

确定所述HMD的佩戴者的第一眼睛的第一滚动角；

确定所述HMD的所述佩戴者的第二眼睛的第二滚动角；以及

至少部分地基于所述第一滚动角和所述第二滚动角的比较来检测头戴式显示器操作的操作中的错误。

17.根据权利要求16所述的方法，其中，检测所述头戴式显示器的所述操作中的所述错误包括：

确定所述第一滚动角与所述第二滚动角之间的差超过错误阈值。

18.根据权利要求16所述的方法，进一步包括：

基于所述检测到的错误生成错误信号。

19.根据权利要求16所述的方法，其中，检测所述头戴式显示器操作的所述操作中的所述错误包括跟踪多个眼睛图像中的滚动角的平均值。

20.根据权利要求16至19中任一项所述的方法，其中，确定所述第一滚动角或确定所述第二滚动角包括使用基于特征的跟踪技术、基于代码的跟踪技术或其组合确定所述第一滚动角或确定所述第二滚动角。