CN111033442A - 用于稳健的生物特征应用的详细的眼睛形状模型 - Google Patents

Abstract

描述了用于使用详细的眼睛形状模型的稳健生物特征应用的系统和方法。一方面，在接收到眼睛的眼睛图像(例如，来自增强现实显示装置上的眼睛跟踪相机)之后，使用级联形状回归方法计算眼睛图像中的眼睛的眼睛形状(例如，上眼睑或下眼睑、虹膜或瞳孔)。然后可以确定与估计的眼睛形状相关的眼睛特征，并将其用于生物特征应用，例如注视估计或生物识别或认证。

Description

用于稳健的生物特征应用的详细的眼睛形状模型

技术领域

本公开一般地涉及用于处理眼睛图像的系统和方法，更具体地涉及用于使用级联形状回归估计包括瞳孔、虹膜或眼睑的详细的眼睛形状模型的系统和方法。

背景技术

人类眼睛的虹膜可以被用作生物特征(biometric)信息的来源。生物特征信息可以提供个人的认证或识别。生物特征信息可以附加地或替代地用于确定眼睛的注视方向。

发明内容

描述了用于使用详细的眼睛形状模型的稳健生物特征应用的系统和方法。一方面，在接收到眼睛的眼睛图像(例如，来自增强现实显示装置上的眼睛跟踪相机)之后，使用级联形状回归方法计算眼睛图像中的眼睛的眼睛形状(例如，上眼睑或下眼睑、虹膜或瞳孔的形状)。然后可以确定与估计的眼睛形状相关的眼睛特征，并将其用于生物特征应用，例如注视估计或生物识别或认证(例如，虹膜码)。可以在标记例如眼睑、瞳孔和虹膜的形状的注释的眼睛图像组上训练级联形状回归方法。

此说明书中所描述的主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中，其他特征、方面以及优势将变得显而易见。本发明内容和之后的具体实施方式都不旨在限定或限制本发明主题的范围。

附图说明

图1A示意性地示出了显示眼睛特征的眼睛的示例。

图1B示出了可用于测量相对于眼睛的自然静止状态的眼睛姿态方向的三个角度(例如，偏航角、俯仰角和滚动角)的示例。

图2A示意性地示出了可穿戴显示系统的示例。

图2B示意性地示出了可穿戴显示系统的示例的俯视图。

图3是用于从眼睛图像提取的要在生物特征应用中使用的生物特征信息的示例例程的流程图。

图4A示意性地示出了详细的眼睛形状模型估计的示例过程。

图4B示意性地示出了详细的眼睛形状模型的示例，其中已识别出瞳孔、虹膜和眼睑的边界。

图4C是示出两对形状索引特征的示例的图像。

图5示出了用于学习回归函数的注释的训练图像组的示例。

图6是用于学习级联形状回归的眼睛形状训练例程的示例的流程图。

图7A示意性地示出了假边界点的示例。

图7B示意性地示出了选择性特征检测的示例。

贯穿附图，参考编号可被重复使用以指示参考元素之间的对应关系。提供附图以图示本文所描述的示例实施例，并且并非旨在限制本公开的范围。

具体实施方式

概述

从眼睛提取生物特征信息一般包括用于在眼睛图像内分割虹膜的程序。虹膜分割可涉及包括定位虹膜边界的操作，包括找到虹膜的瞳孔边界和边缘边界、如果上眼睑或下眼睑遮挡虹膜则定位上眼睑或下眼睑、检测并排除睫毛的遮挡、阴影或反射等。例如，眼睛图像可以被包括在脸部的图像中或者可以是眼周区域的图像。为了执行虹膜分割，瞳孔的边界(虹膜的内边界)和边缘(虹膜的外边界)都可被识别为图像数据的独立片段。除了虹膜的该分割之外，还可估计虹膜的被眼睑(上眼睑或下眼睑)遮挡的部分。因为在正常人类活动期间，人的完整虹膜很少是可见的，所以执行此估计。换句话说，完整虹膜一般不会免于眼睑的遮挡(例如，在眨眼期间)。

眼睛可以使用眼睑来保持眼睛湿润，例如通过将眼泪和其他分泌物散布在眼睛表面上。眼睑也可用来保护眼睛免受外界碎片的伤害。作为示例，眨眼反射保护眼睛免受急性创伤。作为另一示例，即使当眼睛正在主动观看世界时，眼睑也可例如通过响应于眼睛的指向方向的变化而自动移动来保护眼睛。眼睑的这种移动可在避免遮挡瞳孔的同时使眼睛表面的保护最大化。然而，当用诸如虹膜分割的基于虹膜的生物测量来提取生物特征信息时，该移动出现了进一步的挑战。例如，为了使用虹膜分割，可以从身份验证计算中估计和掩蔽被眼睑遮挡的虹膜区域，或者在分析期间可以丢弃眼睑眨眼期间拍摄的图像或给予其较低的权重。

提取生物特征信息已出现了挑战，例如估计虹膜的被眼睑遮挡的部分。然而，使用本文所述的技术，可以通过首先估计眼睛形状来缓解在提取生物特征信息中出现的挑战。如本文所使用的，眼睛形状包括瞳孔、虹膜、上眼睑或下眼睑的形状(例如，边界)中的一种或多种。眼睛形状的这种估计可以用作虹膜分割的起始点。一旦估计了眼睛形状，就可以更有效且更稳健地执行生物特征应用。例如，在眼睛的某些区域(例如，虹膜)中查找的角膜反射(例如，闪烁(glint))可以用于注视估计。眼睛其他区域(例如，巩膜)中的闪烁通常不用于眼睛注视估计。通过使用本文描述的技术计算详细的眼睛形状模型，可以通过消除搜索整个眼睛(例如，虹膜和巩膜)的需要，来更快且更有效地定位所需区域(例如，虹膜)中的闪烁，由此产生更有效且更稳健的注视估计。

为了获得生物特征信息，存在用于跟踪计算机的用户的眼睛运动的算法。例如，耦接到计算机的监视器的相机可以提供用于识别眼睛运动的图像。但是，用于眼睛跟踪的相机距离用户的眼睛有些距离。例如，相机可以放置在耦接到计算机的用户监视器的顶部。结果，由相机产生的眼睛的图像通常以差的分辨率和不同的角度产生。因此，从捕获的眼睛图像提取生物特征信息可能出现挑战。

在可穿戴式头戴显示器(HMD)的背景下，与耦接到用户监视器的相机相比，相机可以更靠近用户的眼睛。例如，可以将相机安装在可穿戴式HMD上，该可穿戴式HMD本身放置在用户的头部上。眼睛与这样的相机的接近度可以导致高分辨率眼睛图像。因此，计算机视觉技术有可能从用户的眼睛提取视觉特征，特别是在虹膜处(例如，虹膜特征)或虹膜周围的巩膜中(例如，巩膜特征)。例如，当由靠近眼睛的相机观看时，眼睛的虹膜将显示出详细的结构。当在红外(IR)照射下观察时，这样的虹膜特征特别明显，并可用于生物特征应用，例如注视估计或生物识别。这些虹膜特征在用户之间是唯一的，并且可以以指纹的方式用于唯一地识别用户。眼睛特征可以包括眼睛的巩膜中(虹膜外部)的血管，其在红色或红外光下观看时也可能看起来特别明显。眼睛特征可以进一步包括闪烁和瞳孔的中心。

通过本文公开的技术，详细的眼睛形状估计被用于产生检测在生物特征应用(例如，注视估计和生物识别)中使用的眼睛特征的更稳健的方法。注视估计的使用对计算机界面的未来具有重大影响。当前在主动界面(例如，通过眼睛运动接收指令的界面)和被动界面(例如，基于注视位置修改显示的虚拟现实装置)中采用注视估计。由于图像噪声、环境光以及当眼睛半闭或眨眼时外观变化很大，因此使用常规的眼睛形状估计技术检测眼睛特征具有挑战性。因此，产生用于确定在生物特征应用(诸如注视估计或生物识别)中使用的眼睛特征的更稳健算法的方法将是有利的。以下公开描述了这样的方法。

本公开将描述使用级联形状回归技术计算的详细的眼睛形状模型，以及该详细的眼睛形状模型可以用于稳健的生物特征应用的方式。最近，形状回归已成为用于准确且有效的形状对准的先进方法。它已成功用于面部、手部和耳朵形状估计。回归技术是有利的，因为例如它们能够捕获外观上的大差异、它们在界标之间(例如，眼睑之间的虹膜、虹膜内部的瞳孔)施加形状约束、以及它们在计算上是有效率的。

如本文所使用的，视频以其一般含义被使用且包括但不限于视觉图像序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可包括具有或不具有音频通道的多个连续帧或非连续帧。视频可包括按时间排序或不按时间排序的多个帧。因此，视频中的图像可被称为眼睛图像帧或眼睛图像。

眼睛图像的示例

图1A示出了具有眼睑110、虹膜112和瞳孔114的眼睛100的图像。曲线114a示出了瞳孔114与虹膜112之间的瞳孔边界，曲线112a示出了虹膜112与巩膜113(眼睛中的“白色”)之间的边缘边界。眼睑110包括上眼睑110a和下眼睑110b以及眼睫毛117。眼睛100以自然静止姿态示出(例如，其中，用户的脸部和注视都被定向为他们将朝着用户正前方的遥远对象)。眼睛100的自然静止姿态可由自然静止方向180指示，自然静止方向180可以是处于自然静止姿态时与眼睛100的表面正交的方向(例如，从图1A示出的眼睛100的平面直接向外)，并且在该示例中，该自然静止方向180在瞳孔114内居中。

眼睛100可以包括虹膜或巩膜(或两者)中的眼睛特征115，其可以用于诸如眼睛跟踪的生物特征应用。图1A示出了包括虹膜特征115a和巩膜特征115b的眼睛特征115的示例。眼睛特征115可以被称为独立关键点。这样的眼睛特征115对于个人的眼睛可能是唯一的，并且对于该个人的每只眼睛可能不同。虹膜特征115a可以是特定颜色密度的点，其是与虹膜颜色的其余部分相比较的或者是与在该点周围的某个区域相比较的。作为另一示例，可以将虹膜的纹理(例如，与该特征附近的虹膜的纹理不同的纹理)或图案识别为虹膜特征115a。作为又一示例，虹膜特征115a可以是在外观上与虹膜112不同的疤痕。眼睛特征115也可以与眼睛的血管相关联。例如，血管可存在于虹膜112的外部但在巩膜113之内。在红色或红外光照射下，这样的血管可能更明显可见。巩膜特征115b可以是眼睛巩膜中的血管。附加地或替代地，眼睛特征115可包括闪烁，该闪烁包括光源(例如，用于注视跟踪或生物识别的指向眼睛的IR光源)的角膜反射。在一些情况下，术语眼睛特征可用于指眼睛中或眼睛上的任何类型的识别特征，无论该特征是在虹膜112、巩膜113中还是通过瞳孔114看到的特征(例如，视网膜上)。

每个眼睛特征115可以与描述符相关联，该描述符是眼睛特征115周围的区域的数字表示。描述符也可以称为虹膜特征表示。作为又一示例，这样的眼睛特征可以根据尺度不变特征变换(SIFT)、加速稳健特征(SURF)、加快的分段测试特征(FAST)、定向FAST和旋转BRIEF(ORB)、KAZE、加快的KAZE(AKAZE)等得出。因此，眼睛特征115可以根据已知计算机视觉领域的算法和技术得出。这样的眼睛特征115可以被称为关键点。在下面描述的示例实施例的一些中，将就虹膜特征而言来描述眼睛特征。这不是限制，并且在其他实施方式中，可以附加地或替代地使用任何类型的眼睛特征(例如，巩膜特征)。

当眼睛100移动以看向不同的对象时，眼睛注视(有时也称为眼睛姿态)将相对于自然静止方向180改变。当前的眼睛注视可以参考自然静止眼睛注视方向180来测量。眼睛100的当前注视可以被表示为指示相对于眼睛的自然静止方向180的当前眼睛姿态方向。为了说明的目的，并且参考图1B中所示的示例坐标系，这些角度参数可以被表示为α(可以称为偏航角)、β(可以称为俯仰角)和γ(可以称为滚动角)。在其他实施方式中，可以使用用于测量眼睛姿态的其他技术或角度表示，例如，任何其他类型的欧拉角系统。

可以使用任何适当的过程从视频获得眼睛图像，例如使用可以从一个或多个序列帧提取图像的视频处理算法。可以使用各种眼睛跟踪技术从眼睛图像确定眼睛的姿态。例如，可以通过考虑角膜对所提供的光源的透镜效应或通过计算瞳孔或虹膜的形状(相对于代表前视眼睛的圆形)来确定眼睛姿态。

使用眼睛形状估计的可穿戴显示系统的示例

在一些实施例中，显示系统可以是可穿戴的，这可以有利地提供更沉浸式的虚拟现实(VR)、增强现实(AR)或混合现实(MR)体验，其中，数字再现的图像或其部分以看起来真实或可感知为真实的方式被呈现给穿戴者。

不受理论限制，据信人眼一般可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可实现高度可信的感知深度的模拟。例如，包含波导堆叠的显示器可被配置为穿戴定位于用户或观看者的眼前。通过使用多个波导将来自图像注入装置(例如，独立显示器或经由一个或多个光纤传送图像信息的多路复用显示器的输出端)的光以与特定波导所相关联的深度平面对应的特定角度(和发散量)导向观看者的眼睛，波导堆叠可用于向眼睛/大脑提供三维感知。

在一些实施例中，可利用两个波导堆叠(观看者每只眼睛一个)向每只眼睛提供不同的图像。作为一个示例，增强现实场景可以使得AR技术的穿戴者看见以在背景中的人物、树木、建筑物以及实体平台为特征的真实世界的公园状设置。除了这些项以外，AR技术的穿戴者也可感知他“看见”站在真实世界平台上的机器人雕像以及看起是大黄蜂的拟人化的正在飞行的卡通式的化身角色，尽管机器人雕像和大黄蜂在真实世界中不存在。(多个)波导堆叠可被用于生成与输入图像对应的光场，且在一些实施方式中，可穿戴显示器包括可穿戴光场显示器。在美国专利公开No.2015/0016777中描述了用于提供光场图像的可穿戴显示装置和波导堆叠的示例，其以包含的全部内容在此通过引用并入本文。

图2A和2B示出了可用于向穿戴者204呈现VR、AR或MR体验的可穿戴显示系统200的示例。可穿戴显示系统200可被编程为捕获眼睛的图像并执行眼睛形状估计以提供本文所述的任何应用或实施例。显示系统200包括显示器208(可定位在用户的一只或两只眼睛的前方)以及支持该显示器208的运行的各种机械及电子模块和系统。显示器208可耦接到框架212，该框架212由显示系统穿戴者或观看者204穿戴并被配置为将显示器208定位在穿戴者204的眼睛的前方。显示器208可以是光场显示器，其被配置为在距用户的多个深度平面处显示虚拟图像。在一些实施例中，扬声器216耦接到框架212且在一些实施例中定位在用户的耳道附近，另一扬声器(未示出)定位在用户的另一个耳道附近以提供立体声/可成形声音控制。显示器208诸如通过有线导线或无线连接而可操作地耦接220到本地数据处理模块224，该本地数据处理模块224可以以各种配置安装，诸如固定地附接到框架212、固定地附接到用户穿戴的头盔或帽子、嵌入到耳机中或以其他方式可移除地附接到用户204(例如，以背包式配置、以腰带耦接式配置)。

如图2B所示，可穿戴显示系统200可进一步包括设置在可穿戴显示系统200内并被配置为捕获眼睛100a的图像的眼睛跟踪相机252a。显示系统200可进一步包括光源248a，该光源248a被配置为提供足够的照射以通过眼睛跟踪相机252a捕获眼睛100a的眼睛特征115。在一些实施例中，光源248a使用对用户不可见的红外光照射眼睛100a，使得用户不会被光源分散注意力。眼睛跟踪相机252a和光源248a可以是独立地附接到可穿戴显示系统200(例如，框架212)的分开的组件。在其他实施例中，眼睛跟踪相机252a和光源248a可以是附接到框架212的单个壳体244a的组件。在一些实施例中，可穿戴显示系统200可进一步包括被配置为照射眼睛100b和捕获眼睛100b的图像的第二眼睛跟踪相机252b和第二光源248b。眼睛跟踪相机252a、252b可用于在眼睛形状计算、注视确定和生物识别中捕获眼睛图像。

再次参考图2A，本地处理和数据模块224可包括硬件处理器和诸如非易失性存储器(例如，闪存)的非暂时性数字存储器，两者都可用于辅助数据的处理、缓存以及存储。数据包括：(a)从传感器(其可以例如可操作地耦接到框架212或以其他方式附接到穿戴者204)捕获的数据，该传感器诸如图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪；和/或(b)使用远程处理模块228和/或远程数据储存库232获取和/或处理的数据，该数据在这样的处理或取回之后可能传送到显示器208。本地处理和数据模块224可通过通信链路236、240(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块228和远程数据储存库232，使得这些远程模块228、232可操作地彼此耦接并可用于作为本地处理和数据模块224的资源。

在一些实施例中，远程处理模块228可包括一个或多个处理器，该一个或多个处理器被配置为分析并处理数据和/或图像信息，诸如由图像捕获装置捕获的视频信息。视频数据可被本地存储在本地处理和数据模块224中和/或远程数据储存库232中。在一些实施例中，远程数据储存库232可包括数字数据存储设施，该数字数据存储设施可通过因特网或在“云”资源配置中的其他网络配置可得。在一些实施例中，在本地处理和数据模块224中存储全部数据并执行全部计算，这允许来自远程模块的完全自主的使用。在一些实施方式中，本地处理和数据模块224和/或远程处理模块228被编程为执行如本文所述的估计详细的眼睛形状模型的实施例。例如，本地处理和数据模块224或远程处理模块228可被编程为执行参考下面图3描述的例程300的实施例。本地处理和数据模块224或远程处理模块228可被编程为使用本文公开的眼睛形状估计技术来执行生物特征应用，例如以识别或认证穿戴者204的身份。附加地或替代地，在注视估计或姿态确定中，例如以确定每只眼睛看向的方向。

图像捕获装置可以捕获用于特定应用的视频(例如，用于眼睛跟踪应用的穿戴者的眼睛的视频或用于手势识别应用的穿戴者的手部或手指的视频)。该视频可由处理模块224、228中的一者或两者使用眼睛形状估计技术分析。借助此分析，处理模块224、228可执行用于稳健生物特征应用的眼睛形状估计。作为示例，本地处理和数据模块224和/或远程处理模块228可被编程为存储从附接到框架212的眼睛跟踪相机252a、252b获得的眼睛图像。另外，本地处理和数据模块224和/或远程处理模块228可被编程为使用本文描述的眼睛形状估计技术(例如，例程300)来处理眼睛图像，以提取可穿戴显示系统200的穿戴者204的生物特征信息。在一些情况下，将生物特征信息中的至少一些卸载到(例如，在“云”中的)远程处理模块可提高计算的效率或速度。用于眼睛注视识别的各种参数(例如，滤波器(例如索贝尔(Sobel)导数运算符)的权重、偏置项、随机子集采样因子、数量、尺寸等)可被存储在数据模块224或228中。

视频分析的结果(例如，详细的眼睛形状模型)可由处理模块224、228中的一者或两者用于另外的操作或处理。例如，在各种应用中，可穿戴显示系统200可使用生物识别、眼睛跟踪、对象的辨别或分类、姿态等。例如，穿戴者的一只(两只)眼睛的视频可用于眼睛形状估计，进而，其又可由处理模块224、228使用以确定穿戴者204通过显示器208的注视方向。可穿戴显示系统200的处理模块224、228可通过眼睛形状估计的一个或多个实施例被编程以执行本文描述的任何视频或图像处理应用。

示例的眼睛形状估计例程

图3是示例的眼睛形状估计例程300的流程图。眼睛形状估计例程300可以由参考图2描述的本地处理和数据模块224或远程处理模块228和数据储存库232来实现。眼睛形状估计也可以称为眼睛形状检测或详细的眼睛形状建模。当接收到眼睛图像324时，例程300在框308处开始。眼睛图像324可以从各种源中接收，包括例如图像捕获装置、头戴式显示系统、服务器、非暂时性计算机可读介质或客户端计算装置(例如，智能电话)。可以从眼睛跟踪相机252a接收眼睛图像324。在一些实施方式中，可以从视频中提取眼睛图像324。

在框312处，可以从眼睛图像324估计详细的眼睛形状模型400b。在一些实施例中，可以使用如下进一步描述的级联形状回归来估计详细的眼睛形状模型400b。在框316处，至少部分地基于在框312中估计的详细的眼睛形状模型400b来确定眼睛特征115。在一些实施例中，眼睛特征115(其中一些在图像332中示出)包括瞳孔边界或边缘边界、眼睑边界、闪烁、眼睛关键点或瞳孔114的中心。眼睛特征115可以进一步包括可以在生物特征应用中使用的任何特征。在框312中估计的详细的眼睛形状模型400b可以用作先验知识，以提高在框316处的特征检测的稳健性。在框320处，至少部分地基于在框312和316处获得的生物特征信息来执行生物特征应用(例如，注视估计或生物识别/认证)。在一些实施例中，在框320a处，可以至少部分地基于在框316处确定的眼睛特征115来估计注视方向。附加地或替代地，在一些实施例中，在框320b处，可以至少部分地基于在框316处确定的眼睛特征来执行生物识别/认证。生物识别或认证可以包括至少部分地基于眼睛图像和所确定的瞳孔边界和边缘边界来确定虹膜码(例如，基于Daugman算法的虹膜码)。

示例的眼睛形状估计

给定具有初始眼睛形状S₀的输入图像I，级联形状回归通过分阶段地估计形状增量ΔS来逐渐细化形状S。初始形状S₀可以代表对眼睛形状(例如，瞳孔边界、边缘边界和眼睑边界)或默认形状(例如，以眼睛图像I的中心为中心的圆形瞳孔和虹膜边界)的最佳猜测。以通用形式，将阶段t处的形状增量ΔS_t回归为：

ΔS_t＝f_t(Φ_t(I,S_t-1)) 式(1)

其中f_t是阶段t处的回归函数，Φ_t是形状索引提取函数。注意，Φ_t可以取决于输入图像I和前一阶段S_t-1中的形状。与“非形状索引”特征相比，形状索引提取函数Φ_t可以处理更大的形状变化。可以使用成对的像素比较特征，其可以不随全局照射变化而变化。通过将形状增量ΔS_t与前一阶段S_t-1中的形状相加，回归进行到下一阶段t+1，从而得出S_t＝S_t-1+ΔS_t。

可用于估计眼睛形状的级联形状回归模型的一些示例可包括：显式形状回归(ESR)、级联姿态回归(CPR)、回归树集合(ERT)、监督的下降法(SDM)、局部二进制特征(LBF)、概率随机森林(PRF)、级联高斯过程回归树(cGPRT)、粗略到精细形状搜索(CFSS)、随机级联回归Copse(R-CR-C)、级联协作回归方法(CCR)、时空级联形状回归(STCSR)或其他级联形状回归方法。

图4A示意性地示出了详细的眼睛形状模型的示例进程。为了简单起见，图4A仅描绘了上眼睑110a和下眼睑110b的形状，而未示出虹膜112或瞳孔114的估计形状。然而，虹膜112和瞳孔114的形状可以附加地或替代地在此阶段建模(例如，参见图4B中的示例结果)。在一些实施例中，初始估计的眼睛形状404可以是与目标形状412相似的任何眼睛形状。例如，可以将初始估计的眼睛形状设置为图像中心的平均形状。图4A描绘了在十一个阶段执行的从初始估计的眼睛形状404到目标形状412的眼睛形状回归。图4A示出了初始(零级)阶段S₀、第一阶段S₁和第十阶段S₁₀。为了简单起见，在图4A中仅描绘了中间眼睑形状408。在一些实施例中，可以将回归模型编程为在预定次数的迭代(例如5、10、20、50、100或更多)之后停止。在其他实施例中，回归模型可以继续迭代直到阶段t处的形状增量ΔS_t小于阈值。例如，如果相对眼睛形状变化|ΔS_t/S_t|小于阈值(例如，10^-2、10^-3或更小)，则回归模型可终止。在其他实施例中，回归模型可以继续迭代直到阶段t处的形状S_t与前一阶段S_t-1处的形状之间的差小于阈值。

在一些实施例中，详细的眼睛形状模型400b可以包括用于瞳孔边界、边缘边界或眼睑边界的多个边界点424。边界点424可以分别对应于估计的眼睑形状412、估计的虹膜形状416和估计的瞳孔形状420。边界点424的数量可以在6-100或更大的范围内。在一些实施方式中，详细的眼睛形状模型400b可用于确定所接收的眼睛图像是否满足某些标准，例如，图像质量。

图4B示出了使用在图3的框312处描述的眼睛形状估计例程300的完整的眼睛形状模型的示例。图4B示出了在基于已确定了瞳孔边界、边缘边界和眼睑边界的级联形状回归对眼睛形状建模之后的框312的结果。这些边界覆盖在眼睛的眼周区域的图像上，以示出计算出的边界与下方眼睛图像之间的匹配。如上所述，与“非形状索引”特征相比，形状索引提取函数Φ_t可以处理更大的形状变化。可以使用成对的像素比较特征，其可以不随全局照射变化而变化。图4C是示出两对形状索引特征的示例的图像。局部坐标系(示出为x和y轴450)通过当前的眼睛形状(例如，眼睑形状462)确定。可以比较来自一对像素位置460a、460b(由箭头线连接的正方形；示出了两对这样的像素位置460a、460b)的强度值以提供二进制特征(例如，诸如表示匹配或不匹配的0或1的布尔值)。例如，位于瞳孔内的像素(例如，对460b中的瞳孔像素)在颜色或对比度方面可能比位于瞳孔外部(例如，在用户的虹膜、巩膜或皮肤中)的像素暗(如图4C所示)。在一些实施方式中，像素位置被固定在局部坐标系450中，该局部坐标系450随眼睛形状462在回归阶段期间被更新而变化。在一个示例系统中，从400个像素位置构造2500个特征，这些特征的全部都是从训练数据500(下面参考图5描述)中学习到的。

用于学习级联形状回归的训练图像的示例

在一些实施例中，可以从注释的(例如，标记的)训练数据组中学习回归函数f_t和形状索引提取函数Φ_t。图5示出了训练数据500的示例，该训练数据500包括来自具有较大形状和外观变化的不同对象的八个示例眼睛图像(索引为(a)至(h))。标记的眼睛图像有利地应该示出来自宽范围的对象(不同性别、种族等)的宽范围的眼睛变化(例如，正常睁开的眼睛、眨眼的眼睛、相对于自然静止方向指向宽范围的方向(上、下、左、右)的眼睛等)。

对训练数据500进行注释以示出要学习的特征，在此示例中，这些特征包括在每个图像上标示的瞳孔边界、边缘边界和眼睑边界。可以使用任何适当的瞳孔边界、边缘边界或眼睑边界技术或用手来确定训练数据500中的每个图像中的这些标记的边界。可以使用各种机器学习算法从注释的训练数据500中学习回归函数f_t和形状索引提取函数Φ_t。受监督的机器学习算法(例如，基于回归的算法)可以用于从注释的数据500中学习回归函数和形状索引提取函数。可用于生成这样的模型的机器学习算法的一些示例可包括回归算法(诸如例如，普通最小二乘回归)、基于实例的算法(诸如例如，学习向量量化)、决策树算法(诸如例如，分类和回归树)、贝叶斯算法(诸如例如，朴素贝叶斯)、聚类算法(诸如例如，k均值聚类)、关联规则学习算法(诸如例如，先验算法)、人工神经网络算法(诸如例如，感知器)、深度学习算法(诸如例如，深度玻尔茨曼机或深度神经网络)、降维算法(诸如例如，主成分分析)、集合算法(诸如例如，堆栈泛化)或其它机器学习算法。

在一些实施例中，训练图像组可以被存储在远程数据储存库232中。远程处理模块228可以访问训练图像以学习回归函数f_t和形状索引提取函数Φ_t。然后，本地处理和数据模块224可以将回归函数f_t和形状索引提取函数Φ_t存储在可穿戴装置200上。这减少了本地处理和数据模块224执行学习回归函数f_t和形状索引提取函数Φ_t的计算强度大的过程的需要。在一些实施例中，可以从用户204获取生物特征信息，并将其存储在本地处理和数据模块224上。然后，本地处理和数据模块224(或远程处理模块228)可以使用生物特征信息通过例如无监督学习来基于用户个性化的眼睛形状和特征进一步训练回归函数和形状索引提取函数。这样的训练使回归模型个性化，从而使其更特别地匹配用户的眼睛和眼周区域的特征，从而可以提高准确性和效率。

示例的眼睛形状训练例程

图6是示例的眼睛形状训练例程600的流程图，该例程用于从训练图像组(例如，图5所示的图像500)中学习回归函数f_t和形状索引提取函数Φ_t。眼睛形状训练例程600可以由处理模块224、228、232来实现。当访问包括注释的眼睛图像的训练数据(例如，数据500)时，例程600在框608处开始。可以从存储注释的眼睛图像的非暂时性数据存储访问训练眼睛图像。处理模块可以经由有线或无线技术访问非暂时性数据存储。在框612处，应用机器学习技术(例如，针对注释或标记的图像的监督学习)以学习回归函数f_t和形状索引提取函数Φ_t。然后，可以在框616处生成级联形状回归模型。该回归模型使例程300能够在框312处估计详细的眼睛形状模型。如上所述，可以通过对在使用期间由可穿戴显示系统200获得的用户的眼睛图像进一步训练回归函数和形状索引提取函数来对特定用户个性化级联形状回归模型。

稳健特征检测的示例

瞳孔或虹膜的眼睑遮挡

图7A示出了被眼睑部分地遮挡的瞳孔的边界点424。在使用详细的眼睛形状模型的稳健特征检测的一个实施例中，可以通过去除假瞳孔边界点704(示出为沿着上眼睑110a并且位于瞳孔边界420内的边界点的弧)来改善瞳孔检测。当如图7A所示眼睑部分地遮挡瞳孔(其中上眼睑110a部分地遮挡瞳孔114)时，可能会产生假瞳孔边界点704。因此，点704反映了眼睑的位置而不是瞳孔的真实边界(其被眼睑遮挡)。代替包括可能导致生成不准确的瞳孔模型的假边界点704，可以在执行瞳孔边界查找方法之前识别并去除假边界点704。在一些实施例中，假瞳孔边界点704可以是位于上眼睑或下眼睑的一定距离内的任何瞳孔边界点。在一些实施例中，假瞳孔边界点704可以是与上眼睑或下眼睑交界的任何瞳孔边界点。在一些实施例中，一旦识别并去除了假瞳孔边界点704，就可以使用其余的瞳孔边界点将椭圆拟合到瞳孔。可以被实现用于这种椭圆拟合的算法包括：积分微分算子、最小二乘法、随机样本一致性(RANSAC)或椭圆或曲线拟合算法。

注意，尽管上面的实施例具体参考了假瞳孔边界点，但是上述技术也可以应用于识别并去除假边缘边界点。

在一些实施例中，可以将详细的眼睛形状模型与瞳孔边界查找算法(例如，星爆算法)结合使用，该算法可以用于检测许多瞳孔边界点。使用详细的眼睛形状模型的眼睑形状412，去除了使用星爆算法确定的与上眼睑或下眼睑110a、110b交界的边界点，其余边界点用于拟合瞳孔边界420。在一些实施例中，还可以使用详细的眼睛形状模型来识别与巩膜113交界的边缘边界点。之后，仅使用被确定为与巩膜113交界的边缘边界点拟合虹膜椭圆416。类似地，可以仅使用被确定为与虹膜112交界的瞳孔边界点拟合瞳孔边界420。在一些实施例中，详细的眼睛形状模型可以通过基于详细的眼睛形状模型提供瞳孔中心的更好的初始“最佳猜测”来提高瞳孔边界查找算法的稳健性。

闪烁检测

在常规的注视估计中，通过搜索整个眼睛图像来检测瞳孔边界(例如，在某些技术中为椭圆形)和闪烁。在本文所述的详细的眼睛形状模型的情况下，通过消除为了特征而搜索整个眼睛的需要，特征检测可以更快且更有效。在一些实施例中，通过首先识别眼睛的不同区域(例如，巩膜、瞳孔或虹膜)，详细的眼睛形状模型可以允许在眼睛的特定区域中的特征检测(例如，选择性特征检测)。图7B示出了选择性特征检测的示例。闪烁115a、115b可出现在巩膜113、虹膜112或瞳孔114中。在某些生物特征应用中，可能有必要或希望识别眼睛的某些区域(例如，虹膜，其代表角膜反射)中的闪烁115a、115b，而忽略那些区域之外(例如，巩膜)的闪烁115a、115b。例如，当以某些技术确定注视时，位于巩膜113中的巩膜闪烁115b不代表来自角膜的光源的反射，并且将它们包含在注视技术中导致估计的注视不准确。因此，使用详细的眼睛形状模型来搜索并识别位于虹膜112内或边缘边界416内的虹膜闪烁115a可能有利。如图7B所示，虹膜闪烁115a位于虹膜112内，因此对于注视估计其可能是优选的。另一方面，巩膜闪烁115b出现在巩膜113中，因此对于注视估计其可能不是优选的。因此，本文公开的技术的实施例可以用于识别可能出现闪烁的眼睛区域，而不需要搜索在这些区域之外的眼睛区域，这提高了技术的准确性、速度和效率。

眨眼检测

在一些实施例中，通过使用详细的眼睛形状模型来确定接收到的眼睛图像是否满足某些质量阈值，特征检测可以更稳健且有效。例如，详细的眼睛形状模型可用于确定眼睛是否足够张开以估计可靠的眼睛形状、提取特征并执行生物特征应用(例如，注视查找或生物认证/识别)。在一些实施例中，如果上眼睑110a与下眼睑110b之间的距离小于阈值，则眼睛图像被认为是不可用的且被丢弃，并且因此没有提取特征用于生物特征应用。在一些实施例中，如果上眼睑110a和下眼睑110b分开不超过5mm，则可以拒绝该眼睛图像。在另一个实施例中，如果大于瞳孔114或虹膜112被眼睑110a、110b中一个或多个遮挡的某个百分比(例如，大于40％、50％、60％、75％或更多)，则可以拒绝该眼睛图像。在另一个实施例中，如果多个瞳孔边界点704与上眼睑110a或下眼睑110b交界，则可以拒绝该眼睛图像。例如，如果大约一半的瞳孔边界点704与眼睑110a、110b交界，则可得出的结论是，大约一半的瞳孔114被眼睑遮挡，因此，眼睛图像不适用于生物特征应用。在其他实施例中，代替拒绝和丢弃该眼睛图像，在生物特征应用中给该眼睛图像分配的权重比眼睛被遮挡的较少的眼睛图像(例如，上眼睑110a与下眼睑110b之间的距离大于阈值)低。

其他方面

在第1方面中，一种可穿戴显示系统包括：光源，其被配置为照射用户的眼睛；图像捕获装置，其被配置为捕获眼睛的眼睛图像；非暂时性存储器，其被配置为存储眼睛图像；以及与非暂时性存储器通信的硬件处理器，该硬件处理器被编程为：从非暂时性存储器接收眼睛图像；使用级联形状回归从眼睛图像估计眼睛形状，该眼睛形状包括瞳孔形状、虹膜形状或眼睑形状；以及至少部分地基于眼睛形状执行生物特征应用。

在第2方面中，根据方面1所述的可穿戴显示系统，其中，光源包括红外光源。

在第3方面中，根据方面1或方面2所述的可穿戴显示系统，其中，硬件处理器进一步被编程为至少部分地基于眼睛形状来确定眼睛特征。

在第4方面中，根据方面3所述的可穿戴显示系统，其中，眼睛特征包括闪烁(例如，来自光源)、血管、虹膜特征或瞳孔的中心中的至少一者。

在第5方面中，根据方面1至4中任一项所述的可穿戴显示系统，其中，生物特征应用包括眼睛注视的确定。

在第6方面中，根据方面5所述的可穿戴显示系统，其中，眼睛形状包括虹膜形状，并且硬件处理器被编程为搜索位于虹膜形状内的闪烁(例如，来自光源)。

在第7方面中，根据方面1至6中任一项所述的可穿戴显示系统，其中，眼睛形状包括瞳孔形状和眼睑形状，并且硬件处理器被编程为识别瞳孔的被眼睑遮挡的部分。

在第8方面中，根据方面7所述的可穿戴显示系统，其中，硬件处理器被编程为基于不具有瞳孔的被眼睑遮挡的部分的瞳孔形状确定瞳孔边界。

在第9方面中，根据方面1至8中任一项所述的可穿戴显示系统，其中，眼睛形状包括虹膜形状和眼睑形状，并且硬件处理器被编程为识别虹膜的被眼睑遮挡的部分。

在第10方面中，根据方面9所述的可穿戴显示系统，其中，硬件处理器被编程为基于虹膜形状确定边缘边界，该虹膜形状不具有虹膜的被眼睑遮挡的部分。

在第11方面中，根据方面1至10中任一项所述的可穿戴显示系统，其中，眼睛形状包括眼睑形状，并且生物特征应用包括眼睛眨眼的确定。

在第12方面中，根据方面11所述的可穿戴显示系统，其中，硬件处理器被编程为：如果上眼睑与下眼睑之间的距离小于阈值，则拒绝眼睛图像或向眼睛图像分配较低的权重。

在第13方面中，根据方面1至12中任一项所述的可穿戴显示系统，其中，眼睛形状包括到瞳孔、虹膜或眼睑的边界。

在第14方面中，根据方面13所述的可穿戴显示系统，其中，边界包括多个边界点。

在第15方面中，根据方面1至14中任一项所述的可穿戴显示系统，其中，生物特征应用包括生物识别或生物认证。

在第16方面中，根据方面1至15中任一项所述的可穿戴显示系统，其中，硬件处理器被编程为将曲线拟合到瞳孔、虹膜或眼睑的边界。

在第17方面中，根据方面1至16中任一项所述的可穿戴显示系统，其中，为了使用级联形状回归从眼睛图像估计眼睛形状，硬件处理器被编程为：迭代用于确定多个阶段上的形状增量的回归函数，该回归函数包括形状索引提取函数。

在第18方面中，根据方面17所述的可穿戴显示系统，其中，为了迭代回归函数，硬件处理器被编程为估计针对迭代的阶段t处的形状增量ΔS_t

ΔS_t＝f_t(Φ_t(I,S_t-1))

其中f_t是阶段t处的回归函数，Φ_t是阶段t处的形状索引提取函数，I是眼睛图像，以及S_t-1是迭代的阶段t-1处的眼睛形状。

在第19方面中，根据方面17或方面18所述的可穿戴显示系统，其中，形状索引提取函数提供一对像素位置之间的眼睛图像值的比较。

在第20方面中，一种用于处理眼睛图像的方法，该方法包括：在硬件处理器的控制下：接收眼睛图像；使用级联形状回归估计眼睛形状；使用该眼睛形状确定眼睛特征；以及使用眼睛特征执行生物特征应用。

在第21方面中，根据方面20所述的方法，其中，执行生物特征应用包括执行生物识别。

在第22方面中，根据方面20或方面21所述的方法，其中，执行生物特征应用包括眼睛注视确定。

在第23方面中，根据方面20至22中任一项所述的方法，其中，估计眼睛形状包括估计眼睑形状、虹膜形状或瞳孔形状中的至少一者。

在第24方面中，根据方面20至23中任一项所述的方法，其中，在估计眼睛形状之后，硬件处理器被配置为拒绝不合适的眼睛图像。

在第25方面中，根据方面20至24中的任一项所述的方法，其中，使用级联形状回归估计眼睛形状包括迭代包括形状索引提取函数的回归函数。

在第26方面中，一种用于训练眼睛形状计算引擎的方法，该方法包括：在硬件处理器的控制下：接收注释的训练眼睛图像的组，其中该组中的每个图像都标记有眼睛形状；以及使用应用于注释的训练眼睛图像的组的机器学习技术来学习回归函数和形状索引提取函数，其中回归函数和形状索引提取函数学习以识别眼睛形状。

在第27方面中，根据方面26所述的方法，其中，眼睛形状包括瞳孔的形状、虹膜的形状或眼睑的形状。

在第28方面中，根据方面26或方面27所述的方法，其中，回归函数和形状索引提取函数被学习以根据针对迭代的阶段t处的形状增量ΔS_t

ΔS_t＝f_t(Φ_t(I,S_t-1))的迭代来识别眼睛形状，其中f_t是阶段t处的回归函数，Φ_t是阶段t处的形状索引提取函数，I是未标记的眼睛图像，以及S_t-1是迭代的阶段t-1处的眼睛形状。

在第29方面中，根据方面28所述的方法，其中，形状索引提取函数提供一对像素位置之间的眼睛图像值的比较。

在第30方面中，根据方面29所述的方法，其中，该比较包括二进制或布尔值。

其他考虑

本文描述和/或附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上足够复杂，使得专用硬件或一个或多个物理计算装置(利用适当的专用可执行指令)对于执行该功能可能是必需的，例如由于所涉及的计算量或计算复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务、眼睛形状模型或生物特征应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如包括硬盘驱动器的物理计算机存储器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质(包括基于无线的和有线/基于线缆的介质)上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，并且可以采取各种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字包或帧)。所公开的过程或过程步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。

在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，其包括一个或多个可执行指令以实现方法中的特定功能(例如，逻辑或算术)或步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合、从本文提供的说明性示例重排、添加至本文提供的说明性示例、从本文提供的说明性示例删除、从本文提供的说明性示例修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。本文描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，本文描述的实施方式中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都要求这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。

过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中定义的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开一致的最宽范围、本文公开的原理和新颖特征。

在本说明书中在分开的实施方式的情境中描述的某些特征也可以在单个实施方式中组合实施。相反，在单个实施方式的情境中描述的各种特征也可以分开或者以任何合适的子组合在多个实施方式中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以被导向子组合或子组合的变体。没有单个特征或特征组对于每个实施例是必要或必不可少的。

除非另有明确说明，或者在所使用的情境中以其他方式理解，否则本文中使用的条件语言，诸如，除其他之外，“能”、“可能”“可”、“可以”、“例如”等等，一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例所要求的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，使得当用于例如连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如本文所使用的，涉及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。除非另有特别说明，否则连接语言诸如短语“X、Y和Z中的至少一个”，以通常使用的情景来理解，以表达项目，术语等可以是X、Y或Z中的至少一个。因此，这样的连接语言通常并不旨在暗指某些实施方式需要X中的至少一个，Y中的至少一个和Z中的至少一个中的每一个存在。

类似地，尽管操作可以在附图中以特定顺序描绘，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施方式中，操作可以重排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其他实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (20)

1.一种可穿戴显示系统，包括：

红外光源，其被配置为照射用户的眼睛；

图像捕获装置，其被配置为捕获所述眼睛的眼睛图像；

非暂时性存储器，其被配置为存储所述眼睛图像；以及

与所述非暂时性存储器通信的硬件处理器，所述硬件处理器被编程为：

从所述非暂时性存储器接收所述眼睛图像；

使用级联形状回归从所述眼睛图像估计眼睛形状，所述眼睛形状包括瞳孔形状、虹膜形状或眼睑形状；以及

至少部分地基于所述眼睛形状执行生物特征应用。

2.根据权利要求1所述的可穿戴显示系统，其中，所述硬件处理器进一步被编程为至少部分地基于所述眼睛形状来确定眼睛特征，其中，所述眼睛特征包括来自所述红外光源的闪烁、血管、虹膜特征或瞳孔的中心中的至少一者。

3.根据权利要求1所述的可穿戴显示系统，其中，所述生物特征应用包括眼睛注视的确定。

4.根据权利要求3所述的可穿戴显示系统，其中，所述眼睛形状包括所述虹膜形状，并且所述硬件处理器被编程为搜索位于所述虹膜形状内的来自所述红外光源的闪烁。

5.根据权利要求1所述的可穿戴显示系统，其中，所述眼睛形状包括所述瞳孔形状和所述眼睑形状，并且所述硬件处理器被编程为识别所述瞳孔的被所述眼睑遮挡的部分。

6.根据权利要求5所述的可穿戴显示系统，其中，所述硬件处理器被编程为基于不具有所述瞳孔的被所述眼睑遮挡的所述部分的所述瞳孔形状确定瞳孔边界。

7.根据权利要求1所述的可穿戴显示系统，其中，所述眼睛形状包括所述虹膜形状和所述眼睑形状，并且所述硬件处理器被编程为识别所述虹膜的被所述眼睑遮挡的部分。

8.根据权利要求7所述的可穿戴显示系统，其中，所述硬件处理器被编程为基于不具有所述虹膜的被所述眼睑遮挡的所述部分的所述虹膜形状确定边缘边界。

9.根据权利要求1所述的可穿戴显示系统，其中，眼睛形状包括所述眼睑形状，并且所述生物特征应用包括眼睛眨眼的确定。

10.根据权利要求9所述的可穿戴显示系统，其中，所述硬件处理器被编程为：如果上眼睑与下眼睑之间的距离小于阈值，则拒绝所述眼睛图像或向所述眼睛图像分配较低的权重。

11.根据权利要求1所述的可穿戴显示系统，其中，所述眼睛形状包括到瞳孔、虹膜或眼睑的边界。

12.根据权利要求1所述的可穿戴显示系统，其中，所述生物特征应用包括生物识别或生物认证。

13.根据权利要求1至12中任一项所述的可穿戴显示系统，其中，为了使用级联形状回归从所述眼睛图像估计所述眼睛形状，所述硬件处理器被编程为：

迭代用于确定多个阶段上的形状增量的回归函数，所述回归函数包括形状索引提取函数。

14.根据权利要求13所述的可穿戴显示系统，其中，为了迭代所述回归函数，所述硬件处理器被编程为估计针对迭代的阶段t处的形状增量ΔS_t

ΔS_t＝f_t(Φ_t(I，S_t-1))

其中f_t是阶段t处的所述回归函数，Φ_t是阶段t处的所述形状索引提取函数，I是所述眼睛图像，以及S_t-1是所述迭代的阶段t-1处的所述眼睛形状。

15.根据权利要求13所述的可穿戴显示系统，其中，所述形状索引提取函数提供一对像素位置之间的眼睛图像值的比较。

16.一种用于训练眼睛形状计算引擎的方法，所述方法包括：

在硬件处理器的控制下：

接收注释的训练眼睛图像的组，其中所述组中的每个图像都标记有眼晴形状；以及

使用应用于所述注释的训练眼睛图像的组的机器学习技术来学习回归函数和形状索引提取函数，其中所述回归函数和所述形状索引提取函数学习以识别所述眼睛形状。

17.根据权利要求16所述的方法，其中，所述眼睛形状包括瞳孔形状、虹膜形状或眼睑形状。

18.根据权利要求16或17所述的方法，其中，学习所述回归函数和所述形状索引提取函数以根据针对迭代的阶段t处的形状增量ΔS_t

ΔS_t＝f_t(Φ_t(I，S_t-1))的所述迭代来识别眼睛形状，其中f_t是阶段t处的所述回归函数，Φ_t是阶段t处的所述形状索引提取函数，I是未标记的眼睛图像，以及S_t-1是所述迭代的阶段t-1处的所述眼睛形状。

19.根据权利要求18所述的方法，其中，所述形状索引提取函数提供一对像素位置之间的眼睛图像值的比较。

20.根据权利要求19所述的方法，其中，所述比较包括二进制或布尔值。

Images