CN108135469A - 使用眼睛姿态测量的眼睑形状估计 - Google Patents

使用眼睛姿态测量的眼睑形状估计 Download PDF

Info

Publication number
CN108135469A
CN108135469A CN201680061490.3A CN201680061490A CN108135469A CN 108135469 A CN108135469 A CN 108135469A CN 201680061490 A CN201680061490 A CN 201680061490A CN 108135469 A CN108135469 A CN 108135469A
Authority
CN
China
Prior art keywords
eyes
eyelid
eyelid shape
posture
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680061490.3A
Other languages
English (en)
Other versions
CN108135469B (zh
Inventor
A·克勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202110187766.5A priority Critical patent/CN112836664A/zh
Publication of CN108135469A publication Critical patent/CN108135469A/zh
Application granted granted Critical
Publication of CN108135469B publication Critical patent/CN108135469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

公开了用于眼睑形状估计的系统和方法。一方面，在接收(例如，从图像捕获设备)眼睛的眼睛图像之后，确定所述眼睛图像中的眼睛的眼睛姿态。从所述眼睛姿态，能够使用眼睑形状映射模型来估计(上眼睑或下眼睑的)眼睑形状。所述眼睑形状映射模型将所述眼睛姿态与所述眼睑形状相关。另一方面，学习(例如，使用神经网络)所述眼睑形状映射模型。

Description

使用眼睛姿态测量的眼睑形状估计
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求2015年8月21日提交的序列号为62/208,159的美国临时申请“EYELID SHAPE ESTIMATION USING EYE POSE MEASUREMENT(使用眼睛姿态测量的眼睑形状估计)”的优先权，此临时申请的全部内容通过引用并入此文。
技术领域
本公开一般地涉及用于处理眼睛图像的系统和方法，更具体地涉及使用眼睛姿态测量估计眼睑形状的系统和方法。
背景技术
人类虹膜能够被用作生物特征信息的来源。生物特征信息能够提供个人的认证或识别。提取生物特征信息的过程(泛称为生物特征模板)一般存在许多挑战。
发明内容
在一方面，公开了一种用于眼睑形状估计的方法。所述方法在硬件处理器的控制下执行，且包括：使用边缘检测器检测眼睛的瞳孔边界；使用所述瞳孔边界确定所述眼睛的眼睛姿态，其中，所述眼睛姿态的眼睛姿态坐标系包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角，其中，所述眼睛姿态坐标系和眼睑形状坐标系之间的函数关系包括映射矩阵，并且其中，所述眼睑形状坐标系包括所述眼睛的水平位移、垂直位移和曲率；至少部分地基于所述眼睛姿态和所述函数关系来估计所述眼睛的眼睑形状；以及基于所述眼睑形状拟合所述眼睛的眼睑形状的抛物曲线。备选地，在另一方面，此分析可以以倒序应用，从确定眼睑位置开始，并估计虹膜位置、瞳孔位置或眼睛姿态。在另一方面，用于眼睑形状估计的方法能由头戴式显示系统执行。
在另一方面，公开了一种头戴式显示系统。所述头戴式显示系统包括：图像捕获设备，其被配置为捕获眼睛图像；非暂时性存储器，其被配置为存储眼睑形状映射模型；以及硬件处理器，其与所述非暂时性存储器进行通信，所述硬件处理器被配置为：接收来自所述图像捕获设备的所述眼睛图像；确定所述眼睛图像中的眼睛的眼睛姿态；以及至少部分地基于所述眼睛姿态与眼睑形状映射模型来估计所述眼睛的眼睑形状，其中，所述眼睑形状映射模型将所述眼睑形状与所述眼睛姿态相关。
在又一方面，公开了一种用于从眼睛图像估计眼睑形状的方法。所述方法在硬件处理器的控制下执行，且包括：确定眼睛图像中的眼睛的眼睛姿态；以及基于所述眼睛姿态估计眼睑形状。
在再一方面，公开了一种训练用于眼睑形状估计的眼睑形状映射模型的方法。所述方法在硬件处理器的控制下，且包括：访问将眼睑形状与眼睛姿态相关的训练数据；基于所述训练数据训练眼睑形状映射模型；以及输出所训练的眼睑形状映射模型。
在另一方面，公开了一种用于处理眼睛图像的方法。所述方法在硬件处理器的控制下执行，且包括：使用边缘检测器来检测眼睛的眼睑与所述眼睛的虹膜之间的边界；使用所述眼睛的眼睑与所述眼睛的虹膜之间的边界来确定所述眼睛的眼睑形状，其中，所述眼睑形状的眼睑形状坐标系包括所述眼睛的水平位移、垂直位移以及曲率，其中，所述眼睑形状坐标系与眼睛姿态坐标系之间的函数关系包括映射矩阵，并且其中，所述眼睛姿态坐标系包括所述眼睛相对于所述眼睛的放松朝向的方位偏转角和天顶偏转角；至少部分地基于所述眼睑形状和所述函数关系估计所述眼睛的眼睛姿态。
在又一方面，公开了一种头戴式显示系统。所述头戴式显示系统包括：图像捕获设备，其被配置为捕获眼睛图像；非暂时性存储器，其被配置为存储眼睛姿态映射模型；以及硬件处理器，其与所述非暂时性存储器进行通信，所述硬件处理器被编程为：接收来自所述图像捕获设备的所述眼睛图像；确定所述眼睛图像中的眼睛的眼睑形状；以及至少部分地基于所述眼睑形状与所述眼睛姿态映射模型来估计所述眼睛的眼睛姿态，其中，所述眼睑形状映射模型将所述眼睑形状与所述眼睛姿态相关。
在再一方面，公开了一种用于从眼睑形状估计眼睛姿态的方法。所述方法在硬件处理器的控制下执行，且包括：确定眼睛图像中的眼睛的眼睑形状；以及至少部分地基于所述眼睑形状估计眼睛姿态。
在另一方面，公开了一种训练用于从眼睑形状估计眼睛姿态的眼睛姿态映射模型的方法。所述方法在硬件处理器的控制下，且包括：访问将眼睑形状与眼睛姿态相关的训练数据；基于所述训练数据训练眼睛姿态映射模型；以及输出所训练的眼睛姿态映射模型。
此说明书所述主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中，其他特征、方面以及优势将变得显而易见。本发明内容和之后的具体实施方式都不旨在限定或限制本发明主题的范围。
附图说明
图1示意性示出了眼睛的一个示例；
图1A示意性示出了一种用于确定眼睛的眼睛姿态的示例坐标系；
图2是一个示例眼睑形状估计例程的流程图；
图3示意性示出了眼睑形状估计的一个示例；
图4是一个示例眼睛姿态估计例程的流程图；
图5示意性示出了眼睛姿态估计的一个示例；
图6示意性示出了可穿戴显示系统的一个示例。
贯穿附图始终，参考编号可被重复使用以指示参考元素之间的对应关系。提供附图以例示本文所描述的示例实施例，并且并非旨在限制本公开的范围。
具体实施方式
概述
从眼睛提取生物特征信息一般包括用于在眼睛图像内分割虹膜的程序。虹膜分割可涉及包括定位虹膜边界的操作，包括找到瞳孔和虹膜的边缘边界，如果上眼睑或下眼睑遮挡虹膜，则定位上眼睑或下眼睑，检测并排除睫毛的遮挡、阴影或反射等。例如，眼睛图像能被包括在脸部的图像中，或可以是眼周区域的图像。为了执行虹膜分割，瞳孔的边界(虹膜的内边界)和边缘(虹膜的外边界)都能被识别为图像数据的独立片段。除了虹膜的此分割之外，还能估计被眼睑(上眼睑或下眼睑)遮挡的虹膜部分。因为在正常人类活动期间，很少可见人的整个虹膜，所以执行此估计。换句话说，完整虹膜一般不会免于眼睑的遮挡。
估计被眼睑遮挡的虹膜部分已经提出了挑战。然而，使用本文描述的技术，能通过首先估计眼睑的形状来缓解在虹膜估计中存在的挑战。此眼睑形状的估计能被用作虹膜分割的起点。类似地，眼睛的指向方向的现有估计能被用作眼睑位置估计和随后提取关于眼睛的详细信息(一般具体指虹膜)的起点。
例如，眼睛可用眼睑通过将眼泪和其他分泌物散布在整个眼睛表面上来保持眼睛湿润。眼睑也可用来保护眼睛免受外界碎屑的伤害。作为一个示例，眨眼反射保护眼睛免受急性创伤。作为另一个示例，例如，即使当眼睛正在主动观看世界时，眼睑也可通过响应于眼睛指向方向的变化而自动移动来保护眼睛。眼睑的这种移动可在避免遮挡瞳孔的同时最大限度地保护眼睛表面。然而，当用基于虹膜的诸如虹膜分割的生物特征测量来提取生物特征信息时，此移动提出了进一步的挑战。例如，要使用虹膜分割，必须从身份验证计算中估计和掩蔽被眼睑遮挡的虹膜区域。
借助本文公开的技术，使用瞳孔的姿态，眼睑形状估计能被用于大致预测虹膜上被眼睑遮挡的区域。本文描述的眼睑形状估计的实施例能有利地用于估计被眼睑遮挡的虹膜部分。另外，在一些实施方式中，能使用此眼睑形状估计来生成眼睑位置的模型，该模型可用于代替诸如眼睑分割算法之类的分割算法或作为所述分割算法的起始点。
本公开将描述使用眼睛姿态测定的眼睑形状估计的示例和从眼睑形状估计眼睛指向方向的替代过程。能从眼睛图像确定眼睛姿态测定。眼睛姿态是眼睛正在看向的方向的测定(经常相对于眼睛的自然放松方向来确定)。在一些实施方式中，使用眼睛姿态测定，能拟合曲线以模拟眼睑的形状。曲线能使用映射矩阵来拟合，该映射矩阵使用回归来将值从眼睛姿态测定的参数形式映射到表示眼睑形状的参数曲线。例如，此参数形式可以是抛物曲线。这种映射矩阵能建立眼睛姿态坐标系到眼睑形状坐标系的关联关系。因此，能从眼睛图像估计眼睑的位置，反之亦然。此外，如本文所述，所公开的眼睑形状估计技术能用于基于眼睛姿态测定的眼睑检测算法(例如眼睑分割)。
如本文所使用的，视频以其一般含义使用，且包括但不限于视觉图像序列的记录。有时，视频中的每个图像被称为图像帧或简称为帧。视频能包括多个具有或不具有音频通道的连续帧或非连续帧。视频能包括多个按时间排序或不按时间排序的帧。因此，视频中的图像能被称为眼睛图像帧或眼睛图像。
眼睛图像的示例
图1示出了具有眼睑104、巩膜108(眼白)、虹膜112以及瞳孔116的眼睛100的图像。曲线116a示出了瞳孔116与虹膜112之间的瞳孔边界，且曲线112a示出了虹膜112与巩膜108之间的边缘边界。眼睑104包括上眼睑104a和下眼睑104b。眼睛100以自然放松姿态示出(例如，其中用户的脸部和注视都被定向为如同他们将对着用户正前方的遥远对象)。眼睛100的自然放松姿态能由自然放松方向120指示，自然放松方向120是处于自然放松姿态时与眼睛100的表面正交的方向(例如，从图1示出的眼睛100的平面径直向外)且在此示例中，在瞳孔116内居中。
当眼睛100移动以看向不同的对象时，眼睛姿态将相对于自然放松方向120改变。当前眼睛姿态能参考眼睛姿态方向122确定，所述眼睛姿态方向122是与眼睛的表面正交的方向(且在瞳孔116内居中)但面向眼睛当前指向的对象。参考图1A所示的示例坐标系，眼睛100的姿态能被表示为指示眼睛的眼睛姿态方向124的方位角偏转和天顶角偏转的两个角度参数，两者都相对于眼睛的自然放松方向120。为了说明的目的，这些角度参数能被表示为θ(方位角偏转，从基准方位确定)和φ(天顶角偏转，有时也称为极偏转)。在一些实施方式中，在眼睛姿态的测定中能包括眼睛围绕眼睛姿态方向124的角度转动，且以下分析能包括角度转动。在其他实施方式中，能使用用于确定眼睛姿态的其他技术，例如俯仰、偏转(yaw)以及可选的转动系统。
能使用任何适当的过程从视频获得眼睛图像，例如使用能从一个或多个连续帧提取图像的视频处理算法。能使用各种眼睛跟踪技术从眼睛图像确定眼睛的姿态。例如，能通过考虑角膜对所提供的光源的透镜效应来确定眼睛姿态。在本文所述的眼睑形状估计技术中能使用任何合适的眼睛跟踪技术来确定眼睛姿态。
示例眼睑形状估计例程
图2是示例眼睑形状估计例程200的流程图。眼睑形状估计例程200能由处理器(诸如硬件处理器)来实施。眼睑形状估计也能被称为眼睑形状检测。例程200在框204处开始。在框208处，接收眼睛图像。眼睛图像能从包括例如图像捕获设备、头戴式显示系统、服务器、非暂时性计算机可读介质或客户端计算设备(例如智能手机)的各种来源接收。在一些实施方式中，能从视频中提取眼睛图像。
在框212处，确定眼睛图像的眼睛姿态。例如，能对眼睛图像应用边缘检测以确定眼睛姿态。边缘检测能由各种边缘检测器、边缘检测算法或滤波器来应用。例如，能对图像应用凯尼(Canny)边缘检测器以检测图像线条中的边缘。边缘是沿着与局部最大导数相对应的线定位的点。例如，能使用凯尼边缘检测器来定位瞳孔边界116a。借助所确定的瞳孔的位置，各种图像处理技术能被用于检测瞳孔116的“姿态”。确定眼睛图像的眼睛姿态也能被称为检测眼睛图像的眼睛姿态。姿态也能被称为眼睛的注视、指向或朝向。例如，瞳孔116可向左看向对象，且瞳孔116的姿态能被分类为左向姿态。
能使用其他方法能来检测瞳孔的位置。例如，使用凯尼边缘检测器能在眼睛图像中定位同心环。作为另一个示例，微积分算子能被用于找到瞳孔或虹膜的边缘边界。例如，Daugman微积分算子、霍夫变换或其他虹膜分割技术能被用于返回估计瞳孔或虹膜边界的曲线。
在一些实施方式中，眼睛图像能可选地用滤波器进行预处理以从图像中去除高频噪声。滤波器能是低通滤波器或诸如开滤波器(open filter)之类的形态滤波器。滤波器能从瞳孔边界116a去除高频噪声，从而去除能妨碍眼睛姿态测定的噪声。
尽管已经在眼睛图像中定位瞳孔以确定姿态的上下文中描述了上述示例，但这仅用于说明而不旨在限制。在其他实施方式中，任何合适的图像处理技术或检测技术能被用于确定眼睛的姿态。作为示例，虹膜112的边缘边界112a和位置能被分别用于检测虹膜的位置和确定虹膜的姿态。虹膜112的函数形式可以但不必与瞳孔116的函数形式不同。一旦已确定，眼睛的姿态就能用各种函数形式(例如，具有诸如图1所示的方位角和天顶角的两个角偏转的函数形式)表示。
继续参考图2，在框216处，能使用在框212处确定的眼睛姿态来估计眼睑的函数形式。在各种实施方式中，能使用眼睛姿态测定到眼睑形状的映射来估计眼睑的此函数形式。所述映射能针对个体、不同人群(例如男性、女性、种族或任何群体)、非人类动物等执行。
曲线能被用于近似眼睑形状。在非限制性的示例实施方式中，眼睑能由诸如抛物线(二次形式)的多项式形式表示。其他实施方式也是可行的。在其他实施方式中，眼睑能用任何合适的数学公式或曲线表示。也就是说，眼睑曲线的表示不必是任何次方的多项式形式。例如，曲线能是另一个非线性数学表达式。每个眼睑都可能有不同的公式或曲线。如下所述，能使用眼睑形状的非参数表示(例如神经网络分类器)。尽管后续示例将在拟合抛物曲线的三个参数的上下文中描述，但这用于说明而不旨在限制。在其他实施方式中，任何合适数量的参数能被用于拟合所选择的曲线。另外，能使用不同于抛物线形式的任何函数形式。
在框212处确定的眼睛姿态测定能在例如由坐标x和y表示的坐标系中表示，其中，当瞳孔处于自然放松朝向时坐标系以瞳孔中心为中心，其中，x表示水平方向，y表示正交垂直方向。在拟合眼睑形状的抛物曲线的一个示例中，能由三个参数来对抛物曲线进行参数化。说明性地，这三个参数能被称为眼睑的水平位移u、垂直位移v以及曲率k。
因此，在此实施例中，用于眼睑形状的抛物线的等式是：
眼睛姿态测定(例如(θ,φ))能被用于确定对应的眼睑形状参数(例如(u,v,k))。从一方面，这能看作是从两参数空间(θ,φ)到三参数空间(u,v,k)的映射。在各种实施方式中，此映射能被用于分割眼睑，或用于生成眼睑形状参数的初始近似值，所述眼睑形状参数的初始近视值可被用于改善其他眼睑分割算法的性能。如下所述，其他实施方式是可行的。映射也能被称为映射函数。尽管后续示例将在使用眼睛姿态映射来拟合眼睑形状的上下文中进行描述，但这用于说明而不旨在限制。在其他实施方式中，任何基于眼睛姿态测定的映射函数(参数化或非参数化)能被用于拟合眼睑形状。另外，改变函数形式以执行此映射是可行的。一般而言，映射函数建立眼睛姿态坐标系与眼睑形状坐标系的关联关系。说明性地，眼睛姿态测定能被表示为P参数并被映射以拟合由Q参数表示的眼睑函数形式。例如，眼睑函数形式能由Q参数表示，其中，Q能是显示器(例如下面图6中的显示器608)中像素的宽度。非线性测定到函数形式的映射也是可行的，反之亦然。
在框220处，基于眼睛姿态映射，能将眼睑形状拟合到被确定为是眼睑形状的曲线。继续以三参数空间为例，能将映射分解为三个单独的映射：u(θ,φ)、v(θ,φ)和k(θ,φ)。例如，这种分解能被建模为特定次方的多项式。这些函数的一种可能的参数化形式能是其中，的各个元素具有以下定义：
在等式(2)中，是将从眼睛姿态测定(θ,φ)确定的眼睑形状参数的列向量[u,v,k]。等式(2)中的映射A将眼睑形状参数与角度眼姿态测定的多项式(在此示例中为二次多项式)函数相关。在三参数空间的示例中，映射u(θ,φ)、v(θ,φ)以及k(θ,φ)具有以下定义：
以及
在其他实施例中，函数能是次方不同于2(例如1、3、4、5或更多)的多项式、非多项式函数、有理函数或任何其他适当的函数形式。在其他实施例中，眼睛姿态测定能包括眼睛围绕眼睛姿态方向的转动，且列向量能包括转动角度的函数形式(例如诸如二次多项式)。此外，尽管与之间的关系在等式(2)中是线性的，但在其他实施方式中，能利用非线性关系。
因此，给出从眼睛姿态角度测定确定的眼睛姿态函数能由映射矩阵A来估计眼睑形状参数在各种实施方式中，映射矩阵A能根据包括个体或个体组的眼睛姿态和眼睑形状测定的训练数据来确定。例如，训练数据能通过个体的眼睛在不同的注视方向上移动时在一段时间内观察并确定个体(或个体组)的眼睛姿态和眼睑形状来获取。在这些观察期间，记录眼睛的姿态和眼睑的位置。这样的数据点能被用于确定映射u(θ,φ)、v(θ,φ)以及k(θ,φ)，例如，通过表征这些函数的参数的回归。在此示例中，值aij是将要通过拟合可用训练数据(例如通过回归或任何其他统计拟合或优化技术)来发现的系数。
眼睑形状的其他模型也是可行的，包括非参数模型。而且，眼睑形状与眼睛姿态之间的关系能由诸如神经网络的隐式学习映射来确定。
在一些实施方式中，由于面部关于两只眼睛之间的中线对称，所以不使用左眼和右眼的独立模型。相反，一只眼睛(例如右眼)的图像被变换成水平反射的镜像，使得所述镜像与另一只眼睛(例如左眼)的图像相似或不可区分。也就是说，一只眼睛(例如右眼)的镜像与另一只眼睛(例如左眼)的图像可相似或不可区分。然后，能针对单个眼睛形状(例如，左眼形状)执行拟合程序，这有效地使能在拟合程序中使用的眼睛或眼睛图像的数量翻倍。实际上，这样的实施方式确定了能用于左眼或右眼的一般眼睑形状模型。例如，给出用于左眼的眼睑形状模型，能反映右眼数据(例如眼睛图像和眼睛姿态测定)，然后应用左眼模型，然后再次反映相应的眼睑形状测定。
在一些实施方式中，至少部分地基于在框220处估计的眼睑形状来重新确定在框212处根据眼睛图像确定的眼睛姿态。能将重新确定的眼睑形状与初始眼睑形状(来自框212)进行比较，且如果大致相似(例如参数表示的差小于阈值)，则例程200能确定所确定的眼睛姿态足够精确。因此，例程200能(可选地)验证眼睛姿态测定的一致性。
因此，从此示例能看出，眼睑形状能根据眼睛姿态测定到眼睑形状的映射来拟合。换言之，例程200能使用眼睛姿态测定来拟合是眼睑的形状的曲线。之后，例程200在框224处结束。
在各种实施例中，例程200可由例如如下面参考图6所述的头戴式显示系统的硬件处理器来执行。在其他实施例中，具有计算机可执行指令的远程计算设备能使头戴式显示系统执行例程200。在例程200的一些实施例中，元素可以以不同于上述的顺序出现。
眼睑形状估计的示例
图3示意性示出了使用上面图2描述的眼睑形状估计例程的眼睑形状估计的一个示例。例如，图3示出了当眼睑形状被拟合到基于眼睛姿态映射被确定为眼睑形状的曲线时框220处的结果。如图3所描绘的，抛物线拟合线128a能拟合上眼睑104a，且抛物线拟合线128c能拟合下眼睑104b。在一些情况下，由例程200映射多个抛物线拟合线。例如，不同的回归或统计测定能被用于确定映射矩阵A。因此，如图所示，抛物线拟合线128b示出了上眼睑104a的另一拟合，且抛物线拟合线128d示出了下眼睑104b的另一拟合。
在本文所述的拟合过程期间，对眼睑的拟合可导致在特定眼睑的错误方向上弯曲的线。例如，上眼睑一般向下弯曲且下眼睑一般向上弯曲。如果拟合线具有特定眼睑的错误曲率(例如上眼睑的向上曲率或下眼睑的向下曲率)，则能从例程200中排除所述拟合线(例如在框220处)，从而，节省处理资源并提高处理效率。
因此，在一些实施例中，能基于所述拟合线的曲率的符号排除拟合线；对于上眼睑排除具有正曲率的拟合线，且对于下眼睑排除具有负曲率的拟合线。在各种实施方式中，拟合线的曲率作为拟合过程的一部分被确定(例如特定拟合系数可代表曲率)，或拟合线的曲率可通过取表示拟合线的函数的二阶导数来确定。
尽管上述示例已经在对眼睑拟合抛物线的上下文中进行了描述，但这用于说明而不旨在限制。在其他实施方式中，任何合适的眼睑函数形式能在拟合程序期间被使用。上眼睑的函数形式可以但不必与下眼睑的函数形式不同。眼睑的函数形式能是二次曲线形式(其包括作为特例的抛物线)、多项式(例如具有高于代表二次曲线形式的二次方的次方)、样条、有理函数或任何其他适当的函数。
示例眼睑形状估计算法
下面的伪代码提供了眼睑形状估计过程的另一个示例。所述过程始于眼睛图像。
映射矩阵A能用以下步骤确定：
(1)收集眼睛图像的数据集D；
(2)对于每个图像：
(2a)计算用户头部框架中眼睛的眼睛姿态测定
(2b)计算对眼睑的最佳拟合，并为此拟合提取眼睑函数参数(用于所计算的眼睛姿态测定的所计算的拟合是训练数据的一个示例)；
(3)给出具有参数{aij}的映射矩阵A，确定用于将训练数据拟合到模型的参数{aij}的最优值；
能为与映射矩阵A对应的眼睑估计眼睑形状：
(4)对于眼睛图像，计算头部坐标中眼睛的眼睛姿态测定
(5)借助矩阵A，使用模型来估计眼睑函数参数
(6)执行以下一者或两者：
(6a)使用针对相应的眼睑计算图像掩码，并使用此掩码提取虹膜像素；或者
(6b)使用眼睑函数参数初始化能用以进一步改善所确定的眼睑边界的后续算法。
能对其他眼睑重复此估计过程。
如本文所讨论的，某些实施方式能通过确定眼睑形状，然后根据所估计的眼睑形状来估计眼睛姿态，执行前述过程的逆向过程。
用于视频处理的眼睑形状估计的示例应用
当在视频图像的上下文中处理时，使用眼睑形状估计的系统和方法允许改善图像处理中的许多传统问题。另外，其他问题能被解决。例如，眼睑形状估计能被用于来自视频的图像分类(例如，识别眼睛的虹膜)，以及用于视频的一个或多个帧内的特定对象类型的定位(例如上眼睑的位置)。作为另一示例，眼睑形状估计能施加于视频以便应用眼睛跟踪(例如，确定眼睛的朝向或方向)。
在一些这样的应用中，如下面将进一步讨论的，一种可穿戴显示系统能包括处理器，所述处理器对由可操作地耦合到(例如，附接到或包含于)所述可穿戴显示系统的图像捕获设备获取的视频数据执行眼睑形状估计。图像捕获设备可获取穿戴者的眼睛或穿戴者身体的其他部位(例如手部或手指)的视频以用于估计眼睑形状，
眼睑形状估计的使用有利地允许识别视频(例如，从可穿戴显示系统中的图像捕获设备获取的视频)中的眼睑，这能允许改进对视频中的对象(诸如生物特征信息)的识别或分类。例如，常规生物特征模板可能难以确定眼睛的分割。然而，本文描述的眼睑形状估计方法能更好地区分瞳孔边界与虹膜边界，因为(一般)部分虹膜将被眼睑遮挡，而瞳孔(一般)不会被遮挡。因此，如图2所描述的及图3所例示的，通过提供提取生物特征信息的能力，眼睑形状估计能更好地识别眼睛未被眼睑遮挡的部分，且能提供用于生物特征提取的更精确的虹膜分割。本文公开的眼睑形状估计技术能由头戴式显示器(例如图6中的头戴式显示器)用于生物特征提取或识别(例如虹膜识别)。
示例眼睛姿态估计例程
在各种实施例中，基于眼睑形状的眼睛姿态估计的例程能与例程200类似地被执行(其中，根据眼睛姿态估计眼睑形状)。例如，不是在框212处确定眼睛图像的眼睛姿态，而是能在框212处使用眼睛图像确定眼睑形状。眼睑形状能被参数化地表示(例如抛物线参数化(u,v,k))。眼睛姿态(例如角度(θ,φ))能被确定为眼睑的参数表示的函数。例如，能将眼睛姿态角度估计为眼睑形状参数的函数形式(例如线性、二次、多项式或其他函数)。实际上，参考等式(2)描述的技术的逆向操作能被用于从眼睑形状测定估计眼睛姿态。在一些实施方式中，能使用所估计的眼睛姿态方向来重新确定眼睑形状，且能执行初始眼睑形状与重新确定的眼睑形状之间的比较以验证眼睛姿态估计的一致性。例如，如果重新确定的眼睑形状与初始眼睑形状测定大致相同(例如，小于阈值差)，则眼睛姿态估计很可能是精确的。
图4是示例眼睛姿态估计例程400的流程图。眼睛姿态估计例程400能由诸如硬件处理器的处理器来实施。眼睛姿态估计也能被称为眼睛姿态检测。例程400在框404处开始。在框408处，眼睛图像被接收。眼睛图像能从各种来源接收，所述来源包括例如图像捕获设备、头戴式显示系统、服务器、非暂时性计算机可读介质或客户端计算设备(例如智能手机)。在一些实施方式中，眼睛图像能从视频中提取。
在框412处，确定眼睛图像的眼睑。例如，能对眼睛图像应用边缘检测以确定眼睑。边缘检测能由各种边缘检测器、边缘检测算法或滤波器来应用。例如，能对图像应用凯尼边缘检测器以检测图像的线条中的边缘。边缘是沿着与局部最大导数相对应的线定位的点。例如，能使用凯尼边缘检测器来定位上眼睑104a或下眼睑104b。
在一些实施方式中，眼睛图像能可选地用滤波器进行预处理以从图像中去除高频噪声。滤波器能是低通滤波器或诸如开滤波器的形态滤波器。滤波器能从虹膜112与眼睑之间的边界去除高频噪声，从而去除能妨碍眼睑形状测定的噪声。
在框416处，能使用在框412处确定的眼睑来确定眼睑的函数形式。在各种实施方式中，眼睑的此函数形式能使用曲线来表示。在非限制性的示例实施方式中，眼睑能由诸如抛物线(二次形式)的多项式来表示。其他实施方式也是可行的。在其他实施方式中，眼睑能用任何合适的数学公式或曲线表示。也就是说，眼睑曲线的表示不必是任何次方的多项式形式。例如，曲线能是另一个非线性数学表达式。每个眼睑都可能有不同的公式或曲线。如下所述，能使用眼睑形状的非参数表示(例如神经网络分类器)。尽管后续示例将在拟合抛物曲线的三个参数的上下文中描述，但这用于说明而不旨在限制。在其他实施方式中，任何合适数量的参数能被用于拟合所选择的曲线。另外，能使用不同于抛物线形式的任何函数形式。
在框412处确定的眼睑能在例如由坐标x和y表示的坐标系中表示，其中，当瞳孔处于自然放松朝向时坐标系以瞳孔中心为中心，其中，x表示水平方向，y表示正交垂直方向。在拟合眼睑形状的抛物曲线的示例中，能由三个参数来对抛物曲线进行参数化。说明性地，这三个参数能被称为眼睑的水平位移u、垂直位移v以及曲率k。上面的等式(1)示出了用于眼睑形状的抛物线的等式。
眼睑形状参数(例如(u,v,k))能被用于确定对应的眼睛姿态参数(例如(θ,φ))。从一方面，这能看作是从三参数空间(u,v,k)到两参数空间(θ,φ)的映射。在各种实施方式中，此映射能被用于确定眼睛姿态，或用于生成眼睛姿态参数的初始近似值，所述姿态参数的初始近似值可被用于改善其他眼睛姿态测定算法的性能。如下所述，其他实施方式是可行的。映射也能被称为映射函数。尽管后续示例将在使用眼睑映射确定眼睛姿态的上下文中进行描述，但这用于说明而不是旨在限制。在其他实施方式中，任何基于眼睑形状参数的映射函数(参数化或非参数化)能被用于确定眼睛姿态。另外，改变函数形式以执行此映射是可行的。一般而言，映射函数建立眼睑形状坐标系与眼睛姿态坐标系的关联关系。说明性地，眼睑函数形式由Q参数表示，且能被映射到表示为P参数的眼睛姿态测定。例如，眼睑函数形式能由Q参数表示，其中，Q能是显示器(例如下面图6中的显示器608)中像素的宽度。
在框420处，基于眼睑映射能确定眼睛姿态。继续以两参数空间为例，能将映射分解为两个单独的映射：θ(u,v,k)和φ(u,v,k)。这种分解能被建模为特定次方的多项式。这些函数的一种可能的参数化形式能是其中，的各个元素具有以下定义：
在等式(6)中，是将从眼睑形状测定(u,v,k)确定的眼睛姿态参数的列向量[θ，φ]。等式(6)中的映射B将角度眼睛姿态参数与眼睑形状参数的多项式(在此示例中是线性多项式)函数相关。在其它实施例中，函数能是次方不同于1(例如2、3、4、5或更多次方)的多项式、非多项式函数、有理函数或任何其他适当的函数形式。尽管与之间的关系在等式(6)中是线性的，但在其他实施方式中，能利用非线性关系。
在两参数空间的示例中，映射θ(u,v,k)和φ(u,v,k)具有以下定义：
以及
因此，给出从眼睑形状测定确定的眼睑形状函数能由映射矩阵B来估计眼睛姿态参数在各种实施方式中，映射矩阵B能根据包括个体或个体组的眼睛姿态和眼睑形状测定的训练数据来确定。例如，训练数据能通过个体的眼睛在不同的注视方向上移动时在一段时间内观察和确定个体(或个体组)的眼睛姿态和眼睑形状来获取。在这些观察期间，记录眼睛的姿态和眼睑的位置。这样的数据点能被用于确定映射θ(u,v,k)和φ(u,v,k)。例如，通过表征这些函数的参数的回归。在此示例中，值bij是将要通过拟合可用训练数据(例如，通过回归或任何其他统计拟合或优化技术)来发现的系数。在一些实施方式中，眼睑形状和眼睛姿态之间的关系能由神经网络学习的映射确定。
在一些实施方式中，由于面部关于两只眼睛之间的中线对称，所以不使用左眼和右眼的独立模型。相反，一只眼睛(例如右眼)的图像被变换成镜像，使得所述镜像与另一只眼睛(例如左眼)的图像相似或不可区分。也就是说，一只眼睛(例如右眼)的镜像与另一只眼睛(例如左眼)的图像可相似或不可区分。函数眼睑形式能针对单个眼睛形状(例如左眼形状)执行，这有效地使能在确定映射B中使用的眼睛或眼睛图像的数量翻倍。实际上，这样的实施方式确定了能用于左眼或右眼的一般眼睑形状模型。例如，给出用于左眼的眼睑形状模型，能反映右眼数据(例如眼睛图像和眼睑形状测定)，然后应用左眼模型，然后再次反映相应的眼睑形状测定。
在一些实施方式中，至少部分地基于在框420处确定的眼睛姿态来重新确定在框416处根据眼睛图像确定的函数眼睑形式。能将重新确定的眼睑函数形式与初始眼睑函数(来自框416)比较，且如果大致相似(例如参数表示的差小于阈值)，则例程400能确定眼睑函数测定足够精确。因此，例程400能(可选地)验证眼睑形状测定的一致性。之后，例程400在框424处结束。
在各种实施例中，例程400可由例如如下面参考图6所述的头戴式显示系统的硬件处理器来执行。在其他实施例中，具有计算机可执行指令的远程计算设备能使头戴式显示器系统执行例程400。在例程400的一些实施例中，元素可以以不同于上述的顺序出现。
眼睛姿态估计的示例
图5示意性示出了使用上面图4中描述的眼睛姿态估计例程的眼睛姿态估计的一个示例。例如，图4示出了当基于眼睑映射估计眼睛姿态时框420处的结果。如图5所描绘的，抛物线拟合线128a能拟合上眼睑104a，且抛物线拟合线128c能拟合下眼睑104b。抛物线拟合线128a和抛物线拟合线128b中的一者或两者能被用于估计眼睛姿态。例如，抛物线拟合线128a能被用于估计眼睛姿态124a，且抛物线拟合线128b能被用于估计眼睛姿态124b。作为另一个示例，抛物线拟合线128a和抛物线拟合线128b能被用于估计眼睛姿态124a。例程400能从一个眼睑形状估计多个眼睛姿态。例如，两种不同的回归或统计测定能被用于确定映射矩阵B和映射矩阵B'。映射矩阵B能被用于估计眼睛姿态124a，且映射矩阵B'能被用于估计眼睛姿态124b。
用于视频处理的眼睛姿态估计的示例应用
当在视频图像的上下文中处理时，使用眼睛姿态估计的系统和方法允许改善图像处理中的许多传统问题。另外，其他问题能被解决。例如，眼睛姿态估计能被用于来自视频的图像分类(例如识别眼睛的虹膜)，以及用于视频的一个或多个帧内的特定对象类型的定位(例如虹膜的位置)。作为另一示例，眼睛姿态估计能施加于视频以便应用眼睛跟踪(例如，确定眼睛的朝向或方向)。
在一些这样的应用中，如下面将进一步讨论的，一种可穿戴显示系统能包括处理器，所述处理器对由可操作地耦合到(例如，附接到或包含于)所述可穿戴显示系统的图像捕获设备获取的视频数据执行眼睛姿态估计。图像捕获设备可获取穿戴者的眼睛或穿戴者身体的其他部位(例如手部或手指)的视频以用于估计眼睛姿态。
使用眼睛姿态估计有利地允许识别视频中的眼睛姿态(例如，从可穿戴显示系统中的图像捕获设备获取)，这能允许改进对视频中的对象(诸如生物特征信息)的识别或分类。例如，常规生物特征模板可能难以确定眼睛的分割。然而，因为眼睛姿态与虹膜的位置和方向有关，所以本文描述的眼睛姿态估计方法能更好地实现虹膜分割。因此，如图4和图5所述，通过提供提取生物特征信息的能力，眼睛姿态估计能更好地确定眼睛姿态，并能为生物特征提取提供更精确的虹膜分割。本文公开的眼睛姿态估计技术能由头戴式显示器(诸如图6)用于生物特征提取或识别(例如虹膜识别)。
使用眼睑形状估计的示例可穿戴显示系统
在一些实施例中，显示系统能是可穿戴的，这可以有利地提供更沉浸式的虚拟现实(VR)、增强现实(AR)或混合现实(MR)体验，其中，数字再现的图像或其多个部分以看起来真实或可感知为真实的方式向穿戴者呈现。
不考虑理论限制，据信人眼一般能解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个对应的图像的不同呈现，可实现高度可信的感知深度的模拟。例如，包含波导堆叠(stack)的显示器可被配置为置于用户或观看者的眼前穿戴。通过使用多个波导将来自图像注入设备(例如，独立显示器或经由一个或多个光纤传送图像信息的多路显示器的输出端)的光以与特定波导所关联的深度平面相对应的特定角度(和发散量)导向观看者的眼睛，波导堆叠可被用于向眼睛/大脑提供三维感知。
在一些实施例中，可利用两个波导堆叠(观看者每只眼睛一个)向每只眼睛提供不同的图像。作为一个示例，增强现实场景可以使得AR技术的穿戴者看见以在背景中的人物、树木、建筑物以及实体平台为特征的真实世界的公园状设置。除了这些项以外，AR技术的穿戴者也可感知他“看见”站在真实世界平台上的机器人雕像，以及看起是大黄蜂的化身的正在飞行的卡通式的化身角色，尽管机器人雕像和大黄蜂在真实世界中不存在。一个或多个波导堆叠可被用于生成与输入图像对应的光场，且在一些实施方式中，可穿戴显示器包括可穿戴光场显示器。在序列号为2015/0016777的美国专利公开中描述了用于提供光场图像的可穿戴显示设备和波导堆叠的示例，在此，其包含的全部内容通过引用并入此文。
图6示出了能被用于向穿戴者604呈现VR、AR或MR体验的可穿戴显示系统600的一个示例。可穿戴显示系统600可被编程为执行眼睛姿态测定、眼睑形状估计、眼睑形状测定或眼睛姿态估计以提供本文所述的任何应用或实施例。显示系统600包括显示器608以及支持显示器608的运行的各种机械及电子模块和系统。显示器608可被耦接到框架612，所述框架由显示器系统穿戴者或观看者604穿戴并被配置为将显示器608置于穿戴者604的眼睛的前方。显示器608可以是光场显示器。在一些实施例中，扬声器616被耦接到框架612且在一些实施例中被置于用户的耳道附近，另一扬声器(未示出)被置于用户的另一个耳道附近以提供立体声/可成形声音控制。显示器608诸如通过导线或无线连接可操作地耦接620到本地数据处理模块624，本地数据处理模块624可以以各种配置安装，诸如固定地附接到框架612、固定地附接到用户佩戴的头盔或帽子上、嵌入耳机或以其他方式可移除地附接到用户604(例如，以背包式配置、以腰带耦接式配置)。
本地处理和数据模块624可包括硬件处理器和诸如非易失性存储器(例如闪存)的非暂时性数字存储器，两者都可被用于辅助处理、缓存以及存储数据。数据包括从传感器(例如，传感器可以可操作地耦接到框架612或以其他方式附接到穿戴者604)，诸如图像捕获设备(诸如照相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪捕获的数据(a)；和/或使用远程处理模块628和/或远程数据库632获取的和/或处理的数据(b)，数据(b)在这样的处理或取回之后能向显示器608传送。本地处理和数据模块624可通过通信链路636、640(诸如经由有线或无线通信链路)可操作地耦合到远程处理模块628和远程数据库632，使得这些远程模块628、632可操作地彼此耦接并作为本地处理和数据模块624的可用资源。一个或多个图像捕获设备能被用于捕获在眼睑形状估计程序中使用的眼睛图像。
在一些实施例中，远程处理模块628可包括一个或多个处理器，所述处理器被配置为分析并处理数据和/或诸如由图像捕获设备捕获的视频信息的图像信息。视频数据可被本地存储在本地处理和数据模块624中和/或远程数据库632中。在一些实施例中，远程数据库632可包括数字数据存储设施，所述数字数据存储设施可通过因特网或在“云”资源配置中的其他网络配置获得。在一些实施例中，在本地处理和数据模块624中存储全部数据并执行全部计算，这允许来自远程模块的完全自主的使用。
在一些实施方式中，本地处理和数据模块624和/或远程处理模块628被编程为执行如本文所述的确定眼睛姿态和估计眼睑形状的实施例。例如，本地处理和数据模块624和/或远程处理模块628能被编程为执行参考图2描述的过程200的实施例。本地处理和数据模块624和/或远程处理模块628能被编程为在生物特征提取中使用本文公开的眼睑形状估计技术以便例如识别或认证穿戴者604的身份，或者在眼睛注视或姿态测定或眼睑形状估计中使用本文公开的眼睑形状估计技术以便例如确定每只眼睛看向的方向。图像捕获设备能捕获特定应用的视频(例如，用于眼睛追踪应用的穿戴者的眼睛的视频或用于手势识别应用的穿戴者的手部或手指的视频)。所述视频能由处理模块624、628中的一者或两者使用所述眼睑形状估计技术来分析。借助此分析，处理模块624、628能执行眼睑形状估计或检测和/或生物特征提取、眼睛姿态测定等。作为示例，本地处理和数据模块624和/或远程处理模块628能被编程为将映射矩阵A作为查找表存储在远程数据库632中。在一些情况下，将至少一些眼睑形状估计卸载到(例如，在“云”中的)远程处理模块可提高计算的效率或速度。能在数据模块624和/或632中存储用于眼睑形状估计的各种参数(例如滤波器(例如索贝尔(Sobel)导数运算符)的权重、偏置项、随机子集采样因子、数量、大小等)。
作为图像处理的一个说明性示例，处理模块624能从图像捕获设备接收的眼睛图像中将生物特征信息提取并制定成数值表示。处理模块624还能执行数值计算以将图2描述的映射矩阵表示为将从眼睛图像提取的生物特征信息变换成图像处理结果的传输函数。进而，图像处理结果能例如以本文描述的眼睑形状估计方法来进一步处理。图像处理结果和传输函数都能被存储在远程数据库632中。虽然此图像处理的说明性示例是用处理模块624处理的，但在各种实施方式中，处理模块628能执行眼睛图像的这种图像处理。另外，处理模块624、628能一起执行眼睛图像的这种图像处理。
视频分析的结果(例如估计的眼睑形状)能由处理模块624、628中的一者或两者用于另外的操作或处理。例如，在各种应用中，可穿戴显示系统600可使用生物特征标识，眼睛跟踪，对象、姿态的识别、分类等。例如，穿戴者的一只或两只眼睛的视频能被用于眼睑形状估计，进而，所述视频又能被处理模块624、628用于确定穿戴者604穿过显示器608的注视方向。可穿戴显示系统600的处理模块624、628能借助一个或多个眼睛姿态测定或眼睑形状估计的实施例被编程以执行本文描述的任何视频或图像处理应用。
其他方面
本文描述的眼睑形状估计技术能被应用于眼睛的图像(例如来自视频的图像)以处理所述眼睛的图像。
第1方面，公开了一种用于眼睑形状估计的方法。所述方法在硬件处理器的控制下被执行，且包括：使用边缘检测器检测眼睛的瞳孔边界；使用所述瞳孔边界确定所述眼睛的眼睛姿态，其中，所述眼睛姿态的眼睛姿态坐标系包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角，其中，所述眼睛姿态坐标系与眼睑形状坐标系之间的函数关系包括映射矩阵，并且其中，所述眼睑形状坐标系包括所述眼睛的水平位移、垂直位移以及曲率；至少部分地基于所述眼睛姿态和所述函数关系，估计所述眼睛的眼睑形状；以及基于所述眼睑形状，拟合眼睛的眼睑形状的抛物曲线。
第2方面，根据方面1所述的方法，其中，所述拟合抛物曲线包括：如果所述抛物曲线的曲率为正且所述眼睑是所述眼睛的上眼睑，或如果抛物曲线的曲率为负且所述眼睑是下眼睑，则基于所述眼睑形状拟合所述眼睛的眼睑的新抛物曲线。
第3方面，根据方面1至2中任一项所述的方法，进一步包括：在使用所述边缘检测器检测所述眼睛的瞳孔边界之前，对眼睛图像应用形态滤波器。
第4方面，根据方面1至3中任一项所述的方法，其中，所述边缘检测器包括凯尼边缘检测器。
第5方面，根据方面1至4中任一项所述的方法，其中，所述映射矩阵通过对眼睑形状和眼睛姿态的回归分析来确定。
第6方面，公开了一种硬件处理器，所述硬件处理器被编程为执行根据方面1至5中任一项所述的方法。
第7方面，公开了一种用于眼睑形状估计的可穿戴显示系统。所述可穿戴显示系统包括：根据权利要求6所述的硬件处理器；以及图像捕获设备，其被配置为捕获眼睛图像并向所述硬件处理器传输所述眼睛图像。
第8方面，根据方面7所述的可穿戴显示系统，其中，所述硬件处理器被进一步编程为：确定眼睛的生物特征信息。
第9方面，公开了一种头戴式显示系统。所述头戴式显示系统包括：图像捕获设备，其被配置为捕获眼睛图像；非暂时性存储器，其被配置为存储眼睑形状映射模型；以及硬件处理器，其与所述非暂时性存储器进行通信，所述硬件处理器被编程为：接收来自所述图像捕获设备的所述眼睛图像；确定所述眼睛图像中的眼睛的眼睛姿态；以及至少部分地基于所述眼睛姿态和所述眼睑形状映射模型，估计所述眼睛的眼睑形状，其中，所述眼睑形状映射模型将所述眼睑形状与所述眼睛姿态相关。
第10方面，根据方面9所述的头戴式显示系统，其中，所述眼睛姿态包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角的测量。
第11方面，根据方面9至10中任一项所述的头戴式显示系统，其中，所述眼睑形状包括所述眼睛的水平位移、垂直位移以及曲率的确定。
第12方面，根据方面9至11中任一项所述的头戴式显示系统，其中，所述眼睑形状映射模型包括所述眼睛姿态与所述眼睑形状之间的参数关系。
第13方面，根据方面9至12中任一项所述的头戴式显示系统，其中，所述参数关系包括抛物线或多项式。
第14方面，根据方面9至13中任一项所述的头戴式显示系统，其中，所述眼睑形状映射模型包括神经网络。
第15方面，根据方面9至14中任一项所述的头戴式显示系统，其中，所述硬件处理器被进一步编程为：使用所述眼睑形状确定所述眼睛的生物特征数据。
第16方面，根据方面15所述的头戴式显示系统，其中，所述生物特征数据包括所述眼睛的虹膜代码。
第17方面，公开了一种用于从眼睛图像估计眼睑形状的方法。所述方法在硬件处理器的控制下执行，且包括：确定所眼睛图像中的眼睛的眼睛姿态；以及基于所述眼睛姿态估计眼睑形状。
第18方面，根据方面17所述的方法，其中，所述眼睛姿态包括所述眼睛自所述眼睛的放松朝向的至少两个角度偏转。
第19方面，根据方面17至18中任一项所述的方法，其中，估计所述眼睑形状包括对所述眼睛姿态应用眼睑形状映射模型。
第20方面，根据方面19所述的方法，其中，所述眼睑形状映射模型包括所述眼睛姿态与所述眼睑形状之间的参数关系。
第21方面，根据方面20所述的方法，其中，所述眼睑形状由多项式表示。
第22方面，根据方面21所述的方法，其中，所述眼睑形状映射模型包括神经网络。
第23方面，根据方面17至22中任一项所述的方法，进一步包括：基于所述眼睑形状重新确定所述眼睛姿态；以及验证所确定的眼睛姿态与重新确定的眼睛姿态的一致性。
第24方面，公开了一种硬件处理器。所述硬件处理器被编程为执行根据方面17至23中任一项所述的方法。
第25方面，公开了一种用于眼睑形状估计的可穿戴显示系统。所述可穿戴显示系统包括：根据权利要求24所述的硬件处理器；以及图像设备，其被配置为捕获眼睛图像并向所述硬件处理器传输所述眼睛图像。
第26方面，公开了一种训练用于眼睑形状估计的眼睑形状映射模型的方法。所述方法在硬件处理器的控制下，且包括：访问将眼睑形状与眼睛姿态相关的训练数据；基于所述训练数据训练眼睑形状映射模型；以及输出所训练的眼睑形状映射模型。
第27方面，根据方面26所述的方法，进一步包括：获取眼睛图像数据，所述眼睛图像数据包括指向多个方向的眼睛的多个图像；以及分析所述眼睛图像数据以确定所述训练数据。
第28方面，根据方面27所述的方法，其中，分析所述眼睛图像数据包括：生成包括右眼的水平反射镜像和左眼的图像或包括左眼的水平反射镜像和右眼的图像的眼睛图像数据。
第29方面，根据方面26至28中任一项所述的方法，其中，基于所述训练数据训练所述眼睑形状映射模型包括对所述训练数据应用统计模型或神经网络。
第30方面，公开了一种用于处理眼睛图像的方法。所述方法在硬件处理器的控制下执行，且包括：使用边缘检测器来检测眼睛的眼睑与所述眼睛的虹膜之间的边界；使用所述眼睛的眼睑与所述眼睛的虹膜之间的边界来确定所述眼睛的眼睑形状，其中，所述眼睑形状的眼睑形状坐标系包括所述眼睛的水平位移、垂直位移以及曲率，其中，所述眼睑形状坐标系与眼睛姿态坐标系之间的函数关系包括映射矩阵，并且其中，所述眼睛姿态坐标系包括所述眼睛相对于所述眼睛的放松朝向的方位偏转角和天顶偏转角；以及至少部分地基于所述眼睑形状和所述函数关系估计所述眼睛的眼睛姿态。
第31方面，根据方面30所述的方法，其中，确定所述眼睛的眼睑形状包括将抛物曲线拟合到所述眼睛的眼睑与所述眼睛的虹膜之间的边界。
第32方面，根据方面30至31中任一项所述的方法，进一步包括：在使用所述边缘检测器检测所述眼睛的眼睑与所述眼睛的虹膜之间的边界之前，对眼睛图像应用形态滤波器。
第33方面，根据方面30至32中任一项所述的方法，其中，所述边缘检测器包括凯尼边缘检测器。
第34方面，根据方面30至33中任一项所述的方法，其中，所述映射矩阵通过对眼睛姿态和眼睑形状的回归分析来确定。
第35方面，公开了一种硬件处理器。所述硬件处理器被编程为执行根据方面30至34中任一项所述的方法。
第36方面，公开了一种用于眼睛姿态估计的可穿戴显示系统。所述可穿戴显示系统包括：根据权利要求35所述的硬件处理器；以及图像设备，其被配置为捕获眼睛图像并向所述硬件处理器传输所述眼睛图像。
第37方面，根据方面36所述的可穿戴显示系统，其中，所述硬件处理器被进一步编程为：确定眼睛的生物特征信息。
第38方面，根据方面37所述的可穿戴显示系统，其中，所述生物特征信息包括所述眼睛的虹膜代码。
第39方面，公开了一种头戴式显示系统。所述头戴式显示系统包括：图像捕获设备，其被配置为捕获眼睛图像；非暂时性存储器，其被配置为存储眼睛姿态映射模型；以及硬件处理器，其与所述非暂时性存储器进行通信，所述硬件处理器被编程为：接收来自所述图像捕获设备的所述眼睛图像；确定所述眼睛图像中的眼睛的眼睑形状；以及至少部分地基于所述眼睑形状和所述眼睛姿态映射模型来估计所述眼睛的眼睛姿态，其中，所述眼睑形状映射模型将所述眼睑形状与所述眼睛姿态相关。
第40方面，根据方面39所述的头戴式显示系统，其中，所述眼睛姿态包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角的测量。
第41方面，根据方面39至40中任一项所述的头戴式显示系统，其中，所述眼睑形状包括所述眼睛的水平位移、垂直位移以及曲率的确定。
第42方面，根据方面39至41中任一项所述的头戴式显示系统，其中，所述眼睛姿态映射模型包括所述眼睑形状与所述眼睛姿态之间的参数关系。
第43方面，根据方面39至42中任一项所述的头戴式显示系统，其中，所述参数关系包括抛物线。
第44方面，根据方面39至43中任一项所述的头戴式显示系统，其中，所述眼睛姿态映射模型包括神经网络。
第45方面，根据方面39至44中任一项所述的头戴式显示系统，此处，所述硬件处理器被进一步编程为：使用所述眼睛姿态确定所述眼睛的生物特征数据。
第46方面，公开了一种用于从眼睑形状估计眼睛姿态的方法。所述方法在硬件处理器的控制下执行，且包括：确定眼睛图像中的眼睛的眼睑形状；以及至少部分地基于所述眼睑形状估计眼睛姿态。
第47方面，根据方面46所述的方法，其中，估计所述眼睛姿态包括对所述眼睑形状应用眼睛姿态映射模型。
第48方面，根据方面46至47中任一项所述的方法，其中，估计所述眼睛姿态包括对所述眼睑形状应用眼睛姿态映射模型。
第49方面，根据方面48所述的方法，其中，所述眼睛姿态映射模型包括所述眼睑形状与所述眼睛姿态之间的参数关系。
第50方面，根据方面49所述的方法，其中，所述眼睑形状由多项式表示。
第51方面，根据方面50所述的方法，其中，所述眼睑形状映射模型包括神经网络。
第52方面，根据方面46至51中任一项所述的方法，进一步包括：基于所述眼睛姿态重新确定所述眼睑形状；以及验证所确定的眼睑形状与重新确定的眼睑形状的一致性。
第53方面，公开了一种硬件处理器。所述硬件处理器被编程为执行根据方面46至52中任一项所述的方法。
第54方面，公开了一种用于检测眼睛姿态的可穿戴显示系统。所述可穿戴显示系统包括：根据方面53所述的硬件处理器；以及图像设备，其被配置为捕获眼睛图像并向所述硬件处理器传输所述眼睛图像。
第55方面，公开了一种训练用于从眼睑形状估计眼睛姿态的眼睛姿态映射模型的方法。所述方法处于硬件处理器的控制下，且包括：访问将眼睑形状与眼睛姿态相关的训练数据；基于所述训练数据训练眼睛姿态映射模型；以及输出所训练的眼睛姿态映射模型。
第56方面，根据方面55所述的方法，进一步包括：获取眼睛图像数据，所述眼睛图像数据包括指向多个方向的眼睛的多个图像；以及分析所述眼睛图像数据以确定所述训练数据。
第57方面，根据方面56所述的方法，其中，分析所述眼睛图像数据包括：生成包括右眼的水平反射镜像和左眼的图像或包括左眼的水平反射镜像和右眼的图像的眼睛图像数据。
第58方面，根据方面55至57中任一项所述的方法，其中，基于所述训练数据训练所述眼睛姿态映射模型，对所述训练数据应用统计模型或神经网络。
第59方面，公开了一种用于估计从眼睛图像中眼睛的眼睛姿态到参数集合的眼睑形状映射模型的方法。所述方法包括：使用眼睛图像的集合D来确定从眼睛的眼睛姿态到所述眼睛的参数集合的眼睑形状映射模型，其中，所述参数集合指定用于所述眼睛的上眼睑或所述眼睛的下眼睑处的眼睑边界的函数形式。
第60方面，根据方面59的方法，进一步包括：使用所述函数形式来提取虹膜像素以用于身份确认或验证。
第61方面，根据方面59至60中任一项所述的方法，其中，所述函数形式包括像素掩码。
第62方面，根据方面59至61中任一项所述的方法，进一步包括：使用所述函数形式来初始化眼睑搜索算法。
第63方面，根据方面59至62中任一项所述的方法，进一步包括：使用所述函数形式将作为精确眼睑边界测定的最终曲线中的成员候选者的随机猜测排除。
第64方面，根据方面63所述的方法，其中，使用所述函数形式将作为精确眼睑边界测定的最终曲线中的成员候选者的随机猜测排除包括：使用所述函数形式来排除随机抽样一致性(RANSAC)算法或基于随机子集的拟合算法中的候选者。
第65方面，根据方面59至64中任一项所述的方法，其中，所述眼睑形状映射模型包括具有三个参数的抛物曲线。
第66方面，根据方面59至65中任一项所述的方法，其中，所述眼睑形状映射模型包括三个二次多项式，其中，所述三个二次多项式的输入包括所述眼睛姿态的两个角参数。
第67方面，根据方面66所述的方法，其中，所述两个角参数由五个参数表示。
第68方面，根据方面59至67中任一项所述的方法，其中，所述眼睑形状映射模型由包括一个或多个隐藏层的神经网络来学习。
第69方面，根据方面68所述的方法，其中，所述一个或多个隐藏层包括输出逻辑层。
第70方面，根据方面59至69中任一项所述的方法，其中，眼睛图像集合D包括左眼和右眼的眼睛图像。
第71方面，根据方面70所述的方法，其中，所述眼睛是右眼，并且其中，所述眼睑形状映射模型使用所述眼睛图像的水平镜像来确定。
结论
本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施方式中，特定操作和方法可由特定于给定功能的电路来执行。
此外，本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施方式中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施方式中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。
过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的，且在不脱离此公开的精神或范围的情况下，可将本文中限定的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些情况下，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。
如本文所使用的，涉及项目列表的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解，以表达项目、术语等可以是X、Y或Z中的至少一个。因此，这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。
类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下权利要求的范围内。在一些情况下，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。

Claims (58)

1.一种用于眼睑形状估计的方法，包括：
在硬件处理器的控制下：
使用边缘检测器检测眼睛的瞳孔边界；
使用所述瞳孔边界确定所述眼睛的眼睛姿态，
其中，所述眼睛姿态的眼睛姿态坐标系包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角，
其中，所述眼睛姿态坐标系与眼睑形状坐标系之间的函数关系包括映射矩阵，并且
其中，所述眼睑形状坐标系包括所述眼睛的水平位移、垂直位移以及曲率；
至少部分地基于所述眼睛姿态和所述函数关系，估计所述眼睛的眼睑形状；以及
基于所述眼睑形状，拟合所述眼睛的眼睑形状的抛物曲线。
2.根据权利要求1所述的方法，其中，拟合所述抛物曲线包括：
如果所述抛物曲线的曲率为正且所述眼睑是所述眼睛的上眼睑，或如果所述抛物曲线的曲率为负且所述眼睑是下眼睑，则基于所述眼睑形状拟合所述眼睛的眼睑的新抛物曲线。
3.根据权利要求1所述的方法，进一步包括：
在使用所述边缘检测器检测所述眼睛的所述瞳孔边界之前，对眼睛图像应用形态滤波器。
4.根据权利要求1所述的方法，其中，所述边缘检测器包括凯尼边缘检测器。
5.根据权利要求1所述的方法，其中，所述映射矩阵通过对眼睑形状和眼睛姿态的回归分析来确定。
6.一种硬件处理器，被编程为执行根据权利要求1至5中任一项所述的方法。
7.一种用于眼睑形状估计的可穿戴显示系统，包括：
根据权利要求6所述的硬件处理器；以及
图像捕获设备，其被配置为捕获所述眼睛图像并向所述硬件处理器传输所述眼睛图像。
8.根据权利要求7所述的可穿戴显示系统，其中，所述硬件处理器被进一步编程为：确定眼睛的生物特征信息。
9.一种头戴式显示系统，包括：
图像捕获设备，其被配置为捕获眼睛图像；
非暂时性存储器，其被配置为存储眼睑形状映射模型；以及
硬件处理器，其与所述非暂时性存储器进行通信，所述硬件处理器被编程为：
接收来自所述图像捕获设备的所述眼睛图像；
确定所述眼睛图像中的眼睛的眼睛姿态；以及
至少部分地基于所述眼睛姿态和所述眼睑形状映射模型，估计所述眼睛的眼睑形状，其中，所述眼睑形状映射模型将所述眼睑形状与所述眼睛姿态相关。
10.根据权利要求9所述的头戴式显示系统，其中，所述眼睛姿态包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角的测量。
11.根据权利要求9至10中任一项所述的头戴式显示系统，其中，所述眼睑形状包括所述眼睛的水平位移、垂直位移以及曲率的确定。
12.根据权利要求9至11中任一项所述的头戴式显示系统，其中，所述眼睑形状映射模型包括所述眼睛姿态与所述眼睑形状之间的参数关系。
13.根据权利要求12所述的头戴式显示系统，其中，所述参数关系包括抛物线或多项式。
14.根据权利要求9至11中任一项所述的头戴式显示系统，其中，所述眼睑形状映射模型包括神经网络。
15.根据权利要求9至14中任一项所述的头戴式显示系统，其中，所述硬件处理器被进一步编程为：
使用所述眼睑形状确定所述眼睛的生物特征数据。
16.一种用于眼睑形状估计的方法，包括：
在硬件处理器的控制下：
确定眼睛图像中的眼睛的眼睛姿态；以及
基于所述眼睛姿态估计眼睑形状。
17.根据权利要求16所述的方法，其中，所述眼睛姿态包括所述眼睛自所述眼睛的放松朝向的至少两个角度偏转。
18.根据权利要求16所述的方法，其中，估计所述眼睑形状包括对所述眼睛姿态应用眼睑形状映射模型。
19.根据权利要求18所述的方法，其中，所述眼睑形状映射模型包括所述眼睛姿态与所述眼睑形状之间的参数关系。
20.根据权利要求19所述的方法，其中，所述眼睑形状由多项式表示。
21.根据权利要求20所述的方法，其中，所述眼睑形状映射模型包括神经网络。
22.根据权利要求16所述的方法，进一步包括：
基于所述眼睑形状重新确定所述眼睛姿态；以及
验证所确定的眼睛姿态与重新确定的眼睛姿态的一致性。
23.一种硬件处理器，被编程为执行根据权利要求16至22中任一项所述的方法。
24.一种用于眼睑形状估计的可穿戴显示系统，所述可穿戴显示系统包括：
根据权利要求23所述的硬件处理器；以及
图像设备，其被配置为捕获所述眼睛图像并向所述硬件处理器传输所述眼睛图像。
25.一种训练用于眼睑形状估计的眼睑形状映射模型的方法，包括：
在硬件处理器的控制下：
访问将眼睑形状与眼睛姿态相关的训练数据；
基于所述训练数据训练眼睑形状映射模型；以及
输出所训练的眼睑形状映射模型。
26.根据权利要求25所述的方法，进一步包括：
获取眼睛图像数据，所述眼睛图像数据包括指向多个方向的眼睛的多个图像；以及
分析所述眼睛图像数据以确定所述训练数据。
27.根据权利要求26所述的方法，其中，分析所述眼睛图像数据包括：
生成包括右眼的水平反射镜像和左眼的图像或包括左眼的水平反射镜像和右眼的图像的眼睛图像数据。
28.根据权利要求26所述的方法，其中，基于所述训练数据训练所述眼睑形状映射模型包括对所述训练数据应用统计模型或神经网络。
29.一种用于眼睛姿态估计的方法，包括：
在硬件处理器的控制下：
使用边缘检测器来检测眼睛的眼睑与所述眼睛的虹膜之间的边界；
使用所述眼睛的眼睑与所述眼睛的虹膜之间的边界来确定所述眼睛的眼睑形状，
其中，所述眼睑形状的眼睑形状坐标系包括所述眼睛的水平位移、垂直位移以及曲率，
其中，所述眼睑形状坐标系与眼睛姿态坐标系之间的函数关系包括映射矩阵，以及
其中，所述眼睛姿态坐标系包括所述眼睛相对于所述眼睛的放松朝向的方位偏转角和天顶偏转角；以及
至少部分地基于所述眼睑形状和所述函数关系，估计所述眼睛的眼睛姿态。
30.根据权利要求29所述的方法，其中，确定所述眼睛的眼睑形状包括将抛物曲线拟合到所述眼睛的眼睑与所述眼睛的虹膜之间的边界。
31.根据权利要求29所述的方法，进一步包括：
在使用所述边缘检测器检测所述眼睛的眼睑与所述眼睛的虹膜之间的边界之前，对眼睛图像应用形态滤波器。
32.根据权利要求29所述的方法，其中，所述边缘检测器包括凯尼边缘检测器。
33.根据权利要求29所述的方法，其中，所述映射矩阵通过对眼睛姿态和眼睑形状的回归分析来确定。
34.一种硬件处理器，被编程为执行根据权利要求29至33中任一项所述的方法。
35.一种用于眼睛姿态估计的可穿戴显示系统，包括：
根据权利要求34所述的硬件处理器；以及
图像设备，其被配置为捕获所述眼睛图像并向所述硬件处理器传输所述眼睛图像。
36.根据权利要求35所述的可穿戴显示系统，其中，所述硬件处理器被进一步编程为：
确定所述眼睛的生物特征信息。
37.根据权利要求36所述的可穿戴显示系统，其中，所述生物特征信息包括所述眼睛的虹膜代码。
38.一种头戴式显示系统，包括：
图像捕获设备，其被配置为捕获眼睛图像；
非暂时性存储器，其被配置为存储眼睛姿态映射模型；以及
硬件处理器，其与所述非暂时性存储器进行通信，所述硬件处理器被编程为：
接收来自所述图像捕获设备的所述眼睛图像；
确定所述眼睛图像中的眼睛的眼睑形状；以及
至少部分地基于所述眼睑形状和所述眼睛姿态映射模型来估计所述眼睛的眼睛姿态，其中，所述眼睛姿态形状映射模型将所述眼睑形状与所述眼睛姿态相关。
39.根据权利要求38所述的头戴式显示系统，其中，所述眼睛姿态包括所述眼睛相对于所述眼睛的放松朝向的方位角和天顶角的测量。
40.根据权利要求38所述的头戴式显示系统，其中，所述眼睑形状包括所述眼睛的水平位移、垂直位移以及曲率的确定。
41.根据权利要求38所述的头戴式显示系统，其中，所述眼睛姿态映射模型包括所述眼睑形状与所述眼睛姿态之间的参数关系。
42.根据权利要求38所述的头戴式显示系统，其中，所述参数关系包括抛物线。
43.根据权利要求38所述的头戴式显示系统，其中，所述眼睛姿态映射模型包括神经网络。
44.根据权利要求38所述的头戴式显示系统，其中，所述硬件处理器被进一步编程为：
使用所述眼睛姿态确定所述眼睛的生物特征数据。
45.根据权利要求44所述的头戴式显示系统，其中，所述生物特征数据包括所述眼睛的虹膜代码。
46.一种用于眼睛姿态估计的方法，包括：
在硬件处理器的控制下：
确定眼睛图像中的眼睛的眼睑形状；以及
至少部分地基于所述眼睑形状估计眼睛姿态。
47.根据权利要求46所述的方法，其中，所述眼睛姿态包括所述眼睛自所述眼睛的放松朝向的至少两个角度偏转。
48.根据权利要求46所述的方法，其中，估计所述眼睛姿态包括对所述眼睑形状应用眼睛姿态映射模型。
49.根据权利要求48所述的方法，其中，所述眼睛姿态映射模型包括所述眼睑形状与所述眼睛姿态之间的参数关系。
50.根据权利要求49所述的方法，其中，所述眼睑形状由多项式表示。
51.根据权利要求50所述的方法，其中，所述眼睑形状映射模型包括神经网络。
52.根据权利要求46所述的方法，进一步包括：
基于所述眼睛姿态重新确定所述眼睑形状；以及
验证所确定的眼睑形状与重新确定的眼睑形状的一致性。
53.一种硬件处理器，被编程为执行根据权利要求46至52中任一项所述的方法。
54.一种用于眼睛姿态估计的可穿戴显示系统，包括：
根据权利要求53所述的硬件处理器；以及
图像设备，其被配置为捕获所述眼睛图像并向所述硬件处理器传输所述眼睛图像。
55.一种训练用于眼睛姿态估计的眼睛姿态映射模型的方法，所述方法包括：
在硬件处理器的控制下：
访问将眼睑形状与眼睛姿态相关的训练数据；
基于所述训练数据训练眼睛姿态映射模型；以及
输出所训练的眼睛姿态映射模型。
56.根据权利要求55所述的方法，进一步包括：
获取眼睛图像数据，所述眼睛图像数据包括指向多个方向的眼睛的多个图像；以及
分析所述眼睛图像数据以确定所述训练数据。
57.根据权利要求56所述的方法，其中，分析所述眼睛图像数据包括：
生成包括右眼的水平反射镜像和左眼的图像或包括左眼的水平反射镜像和右眼的图像的眼睛图像数据。
58.根据权利要求56至57中任一项所述的方法，其中，基于所述训练数据训练所述眼睛姿态映射模型，对所述训练数据应用统计模型或神经网络。
CN201680061490.3A 2015-08-21 2016-08-16 使用眼睛姿态测量的眼睑形状估计 Active CN108135469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110187766.5A CN112836664A (zh) 2015-08-21 2016-08-16 使用眼睛姿态测量的眼睑形状估计

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562208519P 2015-08-21 2015-08-21
US62/208,519 2015-08-21
PCT/US2016/047177 WO2017034860A1 (en) 2015-08-21 2016-08-16 Eyelid shape estimation using eye pose measurement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110187766.5A Division CN112836664A (zh) 2015-08-21 2016-08-16 使用眼睛姿态测量的眼睑形状估计

Publications (2)

Publication Number Publication Date
CN108135469A true CN108135469A (zh) 2018-06-08
CN108135469B CN108135469B (zh) 2021-03-09

Family

ID=58101125

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680061490.3A Active CN108135469B (zh) 2015-08-21 2016-08-16 使用眼睛姿态测量的眼睑形状估计
CN202110187766.5A Pending CN112836664A (zh) 2015-08-21 2016-08-16 使用眼睛姿态测量的眼睑形状估计

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110187766.5A Pending CN112836664A (zh) 2015-08-21 2016-08-16 使用眼睛姿态测量的眼睑形状估计

Country Status (10)

Country Link
US (3) US10146997B2 (zh)
EP (1) EP3337385A4 (zh)
JP (2) JP6918781B2 (zh)
KR (2) KR102591552B1 (zh)
CN (2) CN108135469B (zh)
AU (2) AU2016310451B2 (zh)
CA (1) CA2996039A1 (zh)
IL (1) IL257485B (zh)
NZ (1) NZ740299A (zh)
WO (1) WO2017034860A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109717830A (zh) * 2019-01-22 2019-05-07 中国科学院苏州生物医学工程技术研究所 基于眼动及头动参数监测的疲劳检测及促醒系统
CN110807364A (zh) * 2019-09-27 2020-02-18 中国科学院计算技术研究所 三维人脸与眼球运动的建模与捕获方法及系统
CN110956068A (zh) * 2019-05-29 2020-04-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016310452B2 (en) * 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
CN114140867A (zh) 2015-10-16 2022-03-04 奇跃公司 使用眼睛特征的眼睛姿态识别
JP7001672B2 (ja) 2016-07-14 2022-01-19 マジック リープ， インコーポレイテッド 虹彩識別のためのディープニューラルネットワーク
JP6917444B2 (ja) 2016-07-14 2021-08-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 角膜曲率を用いた虹彩境界推定
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
IL293688B2 (en) 2016-10-04 2024-02-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
KR102610030B1 (ko) 2016-11-15 2023-12-04 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
CN116626899A (zh) 2016-11-16 2023-08-22 奇跃公司 用于可穿戴组件的热管理系统
JP7112399B2 (ja) 2016-12-05 2022-08-03 マジック リープ， インコーポレイテッド 複合現実環境における仮想ユーザ入力制御
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
JP6929953B2 (ja) 2017-03-17 2021-09-01 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 部屋レイアウト推定方法および技法
CN114125661A (zh) * 2017-03-30 2022-03-01 奇跃公司 声音再现系统和头戴式设备
KR20220030315A (ko) 2017-07-26 2022-03-10 매직 립, 인코포레이티드 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝
CN107633206B (zh) * 2017-08-17 2018-09-11 平安科技（深圳）有限公司 眼球动作捕捉方法、装置及存储介质
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
JP7178403B2 (ja) * 2017-09-01 2022-11-25 マジック リープ， インコーポレイテッド ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
IL272289B (en) 2017-09-20 2022-08-01 Magic Leap Inc A personal neural network for eye tracking
EP3704592A4 (en) 2017-10-26 2022-03-16 Magic Leap, Inc. GRADIENT NORMALIZATION SYSTEMS AND METHODS FOR ADAPTIVE LOSS COMPENSATION IN DEEP MULTITASK NETWORKS
KR102384748B1 (ko) * 2017-11-24 2022-04-08 한국전자통신연구원 생체정보 기반의 인증방법 및 장치
US11036843B2 (en) * 2017-11-24 2021-06-15 Electronics And Telecommunications Research Institute Biometric information-based authentication method and apparatus
IL275071B1 (en) * 2017-12-07 2024-02-01 Eyefree Assisting Communication Ltd Communication system and method
US10917634B2 (en) 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
CN111869200A (zh) 2018-01-17 2020-10-30 奇跃公司 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位
JP7316282B2 (ja) 2018-02-06 2023-07-27 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
EP3827300A4 (en) 2018-07-23 2021-09-15 Magic Leap, Inc. METHOD AND SYSTEM FOR RESOLVING A HEMISPHERIC AMBUILITY USING A LOCATION VECTOR
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
CN109145788B (zh) * 2018-08-08 2020-07-07 北京云舶在线科技有限公司 基于视频的姿态数据捕捉方法和系统
CN109190548B (zh) * 2018-08-28 2021-04-20 武汉真元生物数据有限公司 基于gabor滤波的快速眼睑检测方法及系统
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
CN114127610A (zh) 2019-05-20 2022-03-01 奇跃公司 用于估计眼睛姿势的系统和技术
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
KR102294029B1 (ko) * 2019-12-04 2021-08-26 서울대학교산학협력단 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법
EP4073689A4 (en) 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
KR20210073135A (ko) 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
JP7219787B2 (ja) * 2021-04-09 2023-02-08 本田技研工業株式会社 情報処理装置、情報処理方法、学習方法、およびプログラム
KR20230047875A (ko) * 2021-09-29 2023-04-10 주식회사 아이디랩 안검 영역을 검출하는 방법 및 이를 위한 서버

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US20090310829A1 (en) * 2007-04-16 2009-12-17 Fujitsu Limited Image processing method, image processing apparatus, image processing system and computer program
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
US20110280454A1 (en) * 2009-01-22 2011-11-17 Leiming Su Image processing apparatus, biometric authentication apparatus, image processing method and recording medium
CN103164704A (zh) * 2013-04-12 2013-06-19 山东师范大学 一种基于混合高斯模型的虹膜图像分割算法
CN103258343A (zh) * 2013-05-07 2013-08-21 中南大学 一种基于图像编辑的眼部图像处理方法
CN103680064A (zh) * 2012-09-24 2014-03-26 由田新技股份有限公司 瞌睡提醒装置

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3040466B2 (ja) 1990-07-17 2000-05-15 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像処理方法
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5481479A (en) * 1992-12-10 1996-01-02 Loral Fairchild Corp. Nonlinear scanning to optimize sector scan electro-optic reconnaissance system performance
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
WO2001005161A1 (en) 1999-07-13 2001-01-18 Surgivision Ltd. Stereoscopic video observation and image magnification system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6999612B1 (en) 2000-08-31 2006-02-14 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion directly from image intensities
EP1357831A2 (en) 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP3984191B2 (ja) * 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
JP4128837B2 (ja) 2002-09-30 2008-07-30 佐藤 淳 路面走行レーン検出装置
JP4584912B2 (ja) 2003-04-11 2010-11-24 ボシュ・アンド・ロム・インコーポレイテッド 眼のデータ取得ならびに整列および追跡のためのシステムおよび方法
CN100375121C (zh) 2003-07-17 2008-03-12 松下电器产业株式会社 虹彩码生成方法、个人认证方法、虹彩码注册装置、个人认证装置
US20050027386A1 (en) 2003-07-30 2005-02-03 Michele Weigand Decentralized project management system
US7664322B1 (en) * 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
US7756301B2 (en) * 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US7524064B2 (en) * 2004-03-09 2009-04-28 Research Foundation Of The State University Of New York Apparatus and method for assessing retinal damage
JP4506250B2 (ja) 2004-04-12 2010-07-21 日産自動車株式会社 上瞼検出装置
JP2005334402A (ja) 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
JP4529635B2 (ja) * 2004-10-22 2010-08-25 日産自動車株式会社 開閉眼判定装置
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7746235B2 (en) 2005-03-10 2010-06-29 Delphi Technologies, Inc. System and method of detecting eye closure based on line angles
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP5008269B2 (ja) 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
US7327860B2 (en) 2005-05-04 2008-02-05 West Virginia University Conjunctival scans for personal identification
JP2007011667A (ja) 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 虹彩認証装置および虹彩認証方法
US7751598B2 (en) 2005-08-25 2010-07-06 Sarnoff Corporation Methods and systems for biometric identification
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
KR100651753B1 (ko) 2005-11-19 2006-12-01 한국전자통신연구원 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치
US11090190B2 (en) 2013-10-15 2021-08-17 Lensar, Inc. Iris registration method and system
US10709610B2 (en) * 2006-01-20 2020-07-14 Lensar, Inc. Laser methods and systems for addressing conditions of the lens
KR101299074B1 (ko) 2006-03-03 2013-08-30 허니웰 인터내셔널 인코포레이티드 홍채 인코딩 시스템
DE602007007062D1 (de) * 2006-03-03 2010-07-22 Honeywell Int Inc Iriserkennungssystem mit bildqualitätsmetrik
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8077914B1 (en) 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US8170293B2 (en) 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
WO2008033784A2 (en) 2006-09-15 2008-03-20 Retica Systems, Inc. Long distance multimodal biometric system and method
US7970179B2 (en) 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
US8233672B2 (en) 2007-06-11 2012-07-31 Matos Jeffrey A Apparatus and method for verifying the identity of an author
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4309927B2 (ja) 2007-03-14 2009-08-05 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP4309928B2 (ja) 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP4307496B2 (ja) 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
FR2915301A1 (fr) * 2007-04-20 2008-10-24 Groupe Ecoles Telecomm Procede de comparaison d'images d'une biometrie entre au moi ns une image de reference et au moins une image de test dont on cherche a evaluer un degre de correlation avec l'image d e reference
EP2143041A4 (en) 2007-05-01 2011-05-25 Compulink Man Ct Inc PHOTODOCUMENTEGMENTATION METHOD AND METHOD
WO2009041963A1 (en) 2007-09-24 2009-04-02 University Of Notre Dame Du Lac Iris recognition using consistency information
JP5097514B2 (ja) 2007-11-22 2012-12-12 国立大学法人東京工業大学 ワイヤ電極式イオナイザ
US20090252382A1 (en) 2007-12-06 2009-10-08 University Of Notre Dame Du Lac Segmentation of iris images using active contour processing
DE102008003906B4 (de) 2008-01-10 2009-11-26 Rodenstock Gmbh Verwendung eines Fixationstargets und Vorrichtung
JP2009169745A (ja) * 2008-01-17 2009-07-30 Toyota Motor Corp 閉眼検出装置
JP5262243B2 (ja) 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
US7883071B2 (en) 2008-05-21 2011-02-08 Raytheon Company Methods and apparatus for isolation system
DE602008003019D1 (de) 2008-06-25 2010-11-25 Deutsche Telekom Ag System zur Extraktion, Identifizierung und Überprüfung von Irismerkmalen auf der Basis von Directionlets
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8345922B2 (en) 2008-09-03 2013-01-01 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
WO2010129074A1 (en) 2009-01-14 2010-11-11 Indiana University Research & Technology Corporation System and method for identifying a person with reference to a sclera image
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US8693745B2 (en) * 2009-05-04 2014-04-08 Duke University Methods and computer program products for quantitative three-dimensional image correction and clinical parameter computation in optical coherence tomography
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8439265B2 (en) 2009-06-16 2013-05-14 Intel Corporation Camera applications in a handheld device
US8403479B2 (en) * 2009-12-17 2013-03-26 Johnson & Johnson Vision Care, Inc. Contact lens eye model
US8948467B2 (en) 2010-08-06 2015-02-03 Honeywell International Inc. Ocular and iris processing system and method
US9092371B2 (en) 2010-09-02 2015-07-28 The Aerospace Corporation Signal parameter estimator
KR101697181B1 (ko) 2010-09-07 2017-01-17 삼성전자주식회사 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
DE102011054833A1 (de) 2010-10-29 2012-05-03 Hoya Corp. Verfahren zum Messen der binokularen Sehleistung, Programm zum Messen der binokularen Sehleistung, Verfahren zum Entwerfen von Brillengläsern und Verfahren zur Herstellung von Brillengläsern
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
NZ725592A (en) 2010-12-24 2018-05-25 Magic Leap Inc An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP5402964B2 (ja) 2011-03-11 2014-01-29 オムロン株式会社 相互監視システム、管理装置およびシステム
JP4893862B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US9020199B2 (en) 2011-04-19 2015-04-28 Aisin Seiki Kabushiki Kaisha Eyelid detection device, eyelid detection method, and recording medium
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US8755607B2 (en) 2011-04-28 2014-06-17 Sri International Method of normalizing a digital image of an iris of an eye
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8854491B2 (en) 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
JP5790762B2 (ja) * 2011-07-11 2015-10-07 トヨタ自動車株式会社 瞼検出装置
US9298995B2 (en) 2011-07-11 2016-03-29 Toyota Jidosha Kabushiki Kaisha Red-eye determination device
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
CN103033936A (zh) 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
US9254080B2 (en) 2011-09-07 2016-02-09 Improved Vision Systems (I.V.S.) Ltd. Method and system for treatment of visual impairment
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
IL215883A0 (en) 2011-10-24 2012-03-01 Iriss Medical Technologies Ltd System and method for indentifying eye conditions
EP2771877B1 (en) 2011-10-28 2017-10-11 Magic Leap, Inc. System and method for augmented and virtual reality
ITVR20110201A1 (it) 2011-11-02 2013-05-03 Milano Politecnico Dispositivo per il monitoraggio della posizione e deimovimenti dell'occhio, particolarmente adatto per la radioterapia oculare
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示系统
CN102592260B (zh) 2011-12-26 2013-09-25 广州商景网络科技有限公司 证照图像裁剪方法及系统
US9075453B2 (en) 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US8958599B1 (en) 2012-01-06 2015-02-17 Google Inc. Input method and system based on ambient glints
JP2013192196A (ja) 2012-02-16 2013-09-26 Panasonic Corp カーソル合成装置およびカーソル合成方法
CN102629319B (zh) 2012-03-27 2014-02-19 中国科学院自动化研究所 基于特定边界检测子的鲁棒虹膜区域分割方法
NZ725322A (en) 2012-04-05 2017-12-22 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US20130321389A1 (en) 2012-05-29 2013-12-05 General Electric Company System and method for 3d imaging
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
JP6131540B2 (ja) 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US9122926B2 (en) 2012-07-19 2015-09-01 Honeywell International Inc. Iris recognition using localized Zernike moments
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
WO2014046206A1 (ja) 2012-09-19 2014-03-27 株式会社ニコン 視線検出装置、表示方法、視線検出装置較正方法、眼鏡レンズ設計方法、眼鏡レンズ選択方法、眼鏡レンズ製造方法、印刷物、眼鏡レンズ販売方法、光学装置、視線情報検出方法、光学機器設計方法、光学機器、光学機器選択方法、及び、光学機器製造方法
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
CN102901970A (zh) 2012-11-08 2013-01-30 天津理工大学 一种单调制连续波激光测距装置与测距方法
US9152847B2 (en) 2012-11-27 2015-10-06 Adobe Systems Incorporated Facial landmark localization by exemplar-based graph matching
US9224036B2 (en) 2012-12-20 2015-12-29 Google Inc. Generating static scenes
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
JP6318462B2 (ja) * 2013-01-30 2018-05-09 株式会社ニコン 表示装置
WO2014131690A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method and device for calibration-free gaze estimation
AU2014248874B2 (en) 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
US9424467B2 (en) 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
EP2805671B1 (en) 2013-05-23 2019-03-20 Stiftung caesar - center of advanced european studies and research assoziiert mit der Max-Planck-Gesellschaft Ocular videography system
GB201310368D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP2015015563A (ja) 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
KR102341870B1 (ko) 2013-10-16 2021-12-20 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
JP2015090569A (ja) 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
KR101470243B1 (ko) 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
TWI498769B (zh) 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107300769B (zh) 2013-11-27 2019-12-13 奇跃公司 虚拟和增强现实系统与方法
EP2886041A1 (en) 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
US20170046813A1 (en) * 2014-01-08 2017-02-16 Nokia Technologies Oy An apparatus and associated methods for image capture
US9804395B2 (en) 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
JP5956479B2 (ja) 2014-01-29 2016-07-27 株式会社東芝 表示装置及び視線推定装置
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CA2950432C (en) 2014-05-30 2022-01-04 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
JP6550642B2 (ja) * 2014-06-09 2019-07-31 パナソニックＩｐマネジメント株式会社 皺検出装置および皺検出方法
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
ES2883563T3 (es) * 2014-06-16 2021-12-09 Fondation De Linstitut De Rech Idiap Método y aparato de estimación de la mirada
CN104537334B (zh) 2014-07-08 2019-09-10 珠海易胜电子技术有限公司 一种改善在非理想环境下虹膜识别性能的方法
US9563805B2 (en) 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking
US9798383B2 (en) 2014-09-19 2017-10-24 Intel Corporation Facilitating dynamic eye torsion-based eye tracking on computing devices
CN104680016A (zh) 2014-11-05 2015-06-03 河南科技大学 基于几何优化逼近的抛物线轮廓最小区域拟合方法
CN104484649B (zh) 2014-11-27 2018-09-11 北京天诚盛业科技有限公司 虹膜识别的方法和装置
CN104502329B (zh) 2014-12-28 2017-02-22 冶金自动化研究设计院 一种libs成分分析中元素最优工作曲线的建立方法
CN104484694B (zh) 2014-12-31 2018-01-30 立德高科(北京)数码科技有限责任公司 通过扫描任一二维码以对多媒体信息相绑定与查看的方法
US9710707B1 (en) 2014-12-31 2017-07-18 Morphotrust Usa, Llc Detecting iris orientation
CN105812777B (zh) 2015-01-21 2018-02-09 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN104793741A (zh) 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
CN105157563B (zh) 2015-04-28 2016-08-03 湖南大学 一种基于机器视觉的啤酒瓶口定位方法
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
AU2016310452B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
US10082865B1 (en) 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
CN114140867A (zh) 2015-10-16 2022-03-04 奇跃公司 使用眼睛特征的眼睛姿态识别
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US10565433B2 (en) 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances
US10521661B2 (en) * 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US20090310829A1 (en) * 2007-04-16 2009-12-17 Fujitsu Limited Image processing method, image processing apparatus, image processing system and computer program
US20110280454A1 (en) * 2009-01-22 2011-11-17 Leiming Su Image processing apparatus, biometric authentication apparatus, image processing method and recording medium
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
CN103680064A (zh) * 2012-09-24 2014-03-26 由田新技股份有限公司 瞌睡提醒装置
CN103164704A (zh) * 2013-04-12 2013-06-19 山东师范大学 一种基于混合高斯模型的虹膜图像分割算法
CN103258343A (zh) * 2013-05-07 2013-08-21 中南大学 一种基于图像编辑的眼部图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUNXIN WANG等: "a novel eyelid detection method for iris segmentation", 《PROCEEDINGS OF SPIE 6833,ELECTRONIC IMAGING AND MULTIMEDIA TECHNOLOGY V》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN109717830A (zh) * 2019-01-22 2019-05-07 中国科学院苏州生物医学工程技术研究所 基于眼动及头动参数监测的疲劳检测及促醒系统
CN109717830B (zh) * 2019-01-22 2021-09-17 中国科学院苏州生物医学工程技术研究所 基于眼动及头动参数监测的疲劳检测及促醒系统
CN110956068A (zh) * 2019-05-29 2020-04-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
WO2020237940A1 (zh) * 2019-05-29 2020-12-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN110956068B (zh) * 2019-05-29 2022-06-10 魔门塔(苏州)科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN110807364A (zh) * 2019-09-27 2020-02-18 中国科学院计算技术研究所 三维人脸与眼球运动的建模与捕获方法及系统
CN110807364B (zh) * 2019-09-27 2022-09-30 中国科学院计算技术研究所 三维人脸与眼球运动的建模与捕获方法及系统

Also Published As

Publication number Publication date
CN112836664A (zh) 2021-05-25
EP3337385A1 (en) 2018-06-27
KR20180044331A (ko) 2018-05-02
US10671845B2 (en) 2020-06-02
AU2021206778A1 (en) 2021-08-12
IL257485B (en) 2021-01-31
US10146997B2 (en) 2018-12-04
IL257485A (en) 2018-05-31
JP2018523879A (ja) 2018-08-23
AU2016310451B2 (en) 2021-04-22
CA2996039A1 (en) 2017-03-02
US20190087634A1 (en) 2019-03-21
US20200293744A1 (en) 2020-09-17
NZ740299A (en) 2019-08-30
US11538280B2 (en) 2022-12-27
JP2021166107A (ja) 2021-10-14
KR20230150397A (ko) 2023-10-30
JP7231676B2 (ja) 2023-03-01
AU2016310451A1 (en) 2018-03-22
WO2017034860A1 (en) 2017-03-02
JP6918781B2 (ja) 2021-08-11
CN108135469B (zh) 2021-03-09
EP3337385A4 (en) 2019-04-03
US20170053165A1 (en) 2017-02-23
KR102591552B1 (ko) 2023-10-18

Similar Documents

Publication Publication Date Title
CN108135469A (zh) 使用眼睛姿态测量的眼睑形状估计
US11749025B2 (en) Eye pose identification using eye features
KR102442569B1 (ko) 각막 곡률을 이용한 홍채 경계 추정
KR102209595B1 (ko) 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
CN108135467A (zh) 眼睑形状估计
WO2005020030A2 (en) Multi-modal face recognition
CA3143843A1 (en) Systems and methods for face and object tracking and monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant