CN109661194A - 使用角膜曲率的虹膜边界估计 - Google Patents

使用角膜曲率的虹膜边界估计 Download PDF

Info

Publication number
CN109661194A
CN109661194A CN201780054215.3A CN201780054215A CN109661194A CN 109661194 A CN109661194 A CN 109661194A CN 201780054215 A CN201780054215 A CN 201780054215A CN 109661194 A CN109661194 A CN 109661194A
Authority
CN
China
Prior art keywords
eyes
cornea
display system
wearable display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780054215.3A
Other languages
English (en)
Other versions
CN109661194B (zh
Inventor
A·斯皮泽沃伊
G·阿麦耶
A·克勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210131995.XA priority Critical patent/CN114495249A/zh
Publication of CN109661194A publication Critical patent/CN109661194A/zh
Application granted granted Critical
Publication of CN109661194B publication Critical patent/CN109661194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供了用于确定眼睛的虹膜的边缘边界的系统和方法的示例。可以从眼睛的图像计算角膜凸起的特性。可以将角膜凸起与眼睛表面(例如，巩膜)的交叉确定为边缘边界。所确定的边缘边界可用于虹膜分割或生物应用。头戴式显示器可以包括对眼睛成像的相机和分析眼睛图像并确定边缘边界的处理器。

Description

使用角膜曲率的虹膜边界估计
相关申请的交叉引用
本申请要求2016年7月14日提交的题为“使用角膜曲率的虹膜边界估计(IRISBOUNDARY ESTIMATION USING CORNEA CURVATURE)”的申请号为2016128791的俄罗斯专利申请的优先权，其内容通过引用整体并入本文。
技术领域
本公开一般涉及用于处理眼睛图像的系统和方法，并且更特别地，涉及使用眼睛的角膜凸起的测量来识别虹膜边界。
背景技术
人类虹膜可以用作生物信息的源。生物信息可以提供个人的认证或识别。提取生物信息(通常称为生物模板)的过程通常具有许多挑战。
发明内容
在一个方面，公开了一种可穿戴显示系统。该可穿戴显示系统包括：显示器；图像捕捉装置，其被配置为捕捉用户的眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，硬件处理器被可执行指令编程以：获得相机校准；获得在眼睛的三维坐标系中眼睛的生理参数，其中生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔的中心之间的距离；接收眼睛的图像，图像包括眼睛的角膜和眼睛的虹膜中的至少一部分；确定角膜球与眼睛之间的交叉；至少部分地基于相机校准来将交叉从眼睛的坐标系转换到眼睛的图像的坐标系；至少部分地基于交叉确定边缘(limbic)边界；以及在生物应用中利用边缘边界。
在另一方面，公开了一种计算机系统。该计算机系统包括：显示器；图像捕捉装置，其被配置为捕捉用户眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，该硬件处理器被可执行指令编程以：获得在眼睛的三维坐标系中的眼睛的生理参数，其中生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔的中心之间的距离；接收眼睛的图像，该图像包括眼睛的角膜和眼睛的虹膜的至少一部分；确定角膜球与眼睛之间的交叉；以及至少部分地基于该交叉确定边缘边界。
此说明书所述主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中，其他特征、方面以及优势将变得显而易见。本发明内容和之后的具体实施方式都不旨在限定或限制本发明主题的范围。
附图说明
图1A是示意性地示出眼睛和眼睛成像相机观看眼睛的坐标系统的特征的透视图。
图1B是眼睛的横截面图，其示意性地示出了眼睛和可用于描述角膜的几何形状的角膜球的生理参数。
图2是示出用于确定眼睛的边缘边界并在生物应用中使用边缘边界的示例方法的流程图。
图3示意性地示出了可穿戴显示系统的示例。
图4示意性地示出了用于将图像信息输出给用户并且可以用在图3所示的可穿戴显示系统中的波导叠层的示例。
在整个附图中，可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而不是为了限制本公开的范围。
具体实施方式
概述
从眼睛提取生物信息通常包括用于在眼睛图像内分割虹膜的过程。虹膜分割可涉及以下操作：包括定位虹膜边界、包括找到虹膜的(内)瞳孔和(外)边缘边界、定位上眼睑或下眼睑(如果它们遮挡(occlude)虹膜)、检测和排除睫毛、阴影或反射的遮挡等。例如，眼睛图像可以被包括在面部图像中或者可以是眼周区域的图像。
为了执行虹膜分割，可以将瞳孔的边界(虹膜的内部边界)和角膜缘(虹膜的外部边界)都识别为图像数据的单独片段。识别瞳孔边界通常是直接的，因为瞳孔非常有效地吸收光并因此提供可靠的高对比度的边界。然而，角膜缘通常更难以限定，因为到眼睛的白色巩膜的过渡通常更加平滑。当用红外光对眼睛成像时，这种困难甚至可能更加明显，这在生物背景下是典型的。
由于角膜缘处的较不明确限定的边界，因此期望具有更准确且更精确的用于边缘边界识别的方法。在存在软边界的情况下，当使用传统的边缘边界技术时，准确度和精度都会受到影响。由于软边界经常会被算法误认为是眼睛的其他元素(例如，眼睑、睫毛或它们的阴影)，因此可能会出现准确度问题。同时，由于软边界通常不提供分割(对照明和其他环境因素是稳健的)的真正可重复的限定，因此可能会出现精度问题。
使用眼睛的三维(3-D)几何形状而不是其表面着色(如在一些传统技术中使用的)，以识别虹膜的边界，则提供了独特的替代，该独特从某种意义上说，眼睛没有其他几何特征可以被误认，并且这个特征被明确限定，从而提高了可靠性。因此，本公开描述了技术以测量3-D眼睛几何形状并使用所测量的角膜凸起与眼睛表面(例如，巩膜)的交叉，以便识别虹膜的外边界。
在可佩戴的头戴式显示器(HMD)的背景下，面向内的眼睛成像相机可以相对靠近用户的一只或两只眼睛。例如，相机可以安装在可穿戴HMD上，该可穿戴HMD其本身由用户佩戴。眼睛与这种相机的接近可以导致较高分辨率的眼睛图像。因此，计算机视觉技术可以对眼睛成像并从用户的眼睛中提取例如角膜凸起的形状的视觉特征。角膜凸起与眼睛表面(例如，巩膜)的交叉点可用于识别边缘边界。此外，当由靠近眼睛的相机观察时，眼睛的虹膜将显示详细的结构。当在红外照射下观察时，这种虹膜结构可以特别明显，并且可以用于生物识别。这些虹膜特征在用户与用户之间可以是唯一的，并且以指纹的方式可以用于唯一地识别用户。用于识别虹膜边界的本技术可用于分割虹膜并确定生物识别模板(通常称为虹膜代码)，这可用于例如认证HMD的用户的生物应用。
眼睛的结构
图1A示意性地示出了具有虹膜104、巩膜108和瞳孔112的眼睛100的几何形状。图1A示出了瞳孔112与虹膜104之间的瞳孔边界112a，以及虹膜104与巩膜108(眼睛的“白色”)之间的边缘边界104a。下面将描述边缘边界104a(也称为边缘-虹膜外形(contour))上的点116的确定。覆盖虹膜104和瞳孔112的透明角膜未在图1A中示出。
图1B是角膜球120的示意性横截面图，其示出了角膜124和巩膜108在边缘边界104a处的交叉。图1B中所示的角膜球120的位于虹膜104和瞳孔112下方(或后方)的部分不是物理的并且是用于描述角膜124的近似球形的几何结构。图1B示出了眼睛100的一些几何参数。角膜球120具有半径Rc。角膜球120的中心和瞳孔112的中心分开距离dp。横向于从角膜球120的中心延伸穿过瞳孔112的中心的线测量的虹膜104的半径是Ri。
图1A还示出了可用于分析由眼睛成像相机拍摄的图像的坐标系统128。在该坐标系统128中，角膜球120的中心120a可以位于矢量位置cc，并且瞳孔112的中心可以位于矢量位置pc。在坐标系统128中，从角膜球120的中心120a到瞳孔112的中心112b的矢量可以由pc-cc给出。
用于确定虹膜边缘边界的示例方法
用于从由图像捕捉装置(例如，眼睛成像相机)拍摄的眼睛图像确定边缘边界104a的示例性方法可以由HMD执行。例如，HMD可以包括对HMD用户的眼睛中的一只或两只眼睛成像的眼睛成像相机。在一些HMD中，单独的眼睛成像相机用于用户的每个眼睛。
可以校准眼睛成像相机。例如，可以确定相机校准矩阵K。校准矩阵K依赖于固有的相机参数，例如焦距(在正交方向上)和光学中心(在像素中，通常在相机图像的中心)。相机的校准可以将相机的自然单位(例如，像素)与真实世界单位之间的关系映射到眼睛(例如，毫米)。可以在针对特定用户的眼睛成像之前执行校准并且针对特定相机存储校准。在一些实施方式中，可在HMD制造过程期间执行相机校准。
参考图1A和1B，可以确定用户的生理眼睛参数Rc、Ri和dp。Rc、Ri和dp的值在人群中可以相对稳定，平均值分别为约8毫米、6毫米和5.3毫米。在一些实施方式中，HMD可以使用人群典型的估计值。在其他实施方式中，可以针对特定用户的眼睛确定这些参数中的一个或多个。这些参数可以为每个用户确定一次或者为用户定期重新确定。可以使用立体视觉或多视点(multiscopic)成像并且将角膜和巩膜区域拟合到球形模型来执行参数Rc、Ri和dp的确定。其他眼睛成像技术也可用于确定这些参数。
可以在三个维度上估计瞳孔中心和角膜球120的中心。例如，可以在由眼睛成像相机拍摄的眼睛图像中定位瞳孔中心，然后使用相机校准信息或矩阵K将瞳孔中心变换为眼睛的坐标系统(也称为眼睛坐标系)中的三维表示。角膜球的中心和到瞳孔的距离可以定位在眼睛的坐标系统中。
可以通过找到角膜球120与眼睛表面(例如，巩膜108)之间的交叉外形来确定边缘边界104a上的点116的数量。关于角膜球120的几何信息(例如，Rc、Ri、dp)可用于计算角膜球与眼睛表面的交叉，以找到位于边缘边界104a上的点116的数量。可以首先在眼睛坐标系中确定边界104a上的点116，然后将点116重新映射到图像坐标平面、系或系统(或相机图像平面)。在一些实施方式中，在眼睛的坐标系中，总共N个点116产生围绕虹膜的规则采样。可以使用相机校准常数将点116投射到相机的图像坐标系统中的图像坐标系中。
点116可用于确定边缘边界104a。例如，椭圆、圆形或其他形状可以被拟合到图像坐标系中的产生的点116。椭圆限定了边缘边界，该椭圆然后可以用来提取虹膜信息。在其他实施方式中，其他类型的曲线可以被拟合到点116，例如，样条曲线、卵形(oval)、不规则曲线(如果虹膜边界是不规则的)。在其他实施方式中，可以使用点116(没有曲线拟合)来限定边缘边界104a。
因此，在一个示例实施方式中，执行以下动作。计算或估计眼睛的生理常数，例如角膜球半径、虹膜半径以及角膜中心与瞳孔中心之间的距离。瞳孔中心和角膜球的中心位于三维中。首先在眼睛坐标系中确定角膜球与眼睛表面之间的交叉外形中的点，然后将这些点重新映射到相机图像平面或图像坐标平面、系或系统。在图像坐标平面中将曲线(例如，椭圆、圆形、样条、多边形或其他形状)拟合到重新映射的点以限定边缘边界。可选地，可以确定或估计相机校准常数，以便可以确定眼睛坐标系与相机图像平面之间的变换。
用于在图像坐标系中确定虹膜的边缘边界的示例伪代码
以下伪代码描述了用于在眼睛图像的坐标系(也称为图像坐标系)中确定边缘边界的示例性方法。如上面参考图1A和1B所讨论的，在坐标系统128中，从角膜球120的中心到瞳孔112的中心的矢量可以用pc-cc表示。
(1)确定从(1,0,0)到pc-cc的旋转矩阵Rmat(参见图1A)
(2)for i＝0 to num_points-1,do
(2a)θi＝i*2*pi/N
(2b)获得从角膜球中心到3-D虹膜外形上的点的矢量vi(在标准(canonical)坐标球中，具有对准的视轴)：
vi＝dp*(1,0,0)+Ri*(cos(θi)*(0,1,0)+sin(θi)*(0,0,1))
(2c)将矢量vi转换为相机坐标系：vi’＝Rmat*vi
(2d)使用相机校准矩阵K将vi’投射到图像，并获得图像中的虹膜外形点Pi
(3)将曲线(例如，椭圆、圆形、样条、多边形或其他形状)拟合到所有{Pi}点
在前述示例方法中，确定旋转矩阵Rmat，该旋转矩阵Rmat描述坐标系统128的视轴与矢量pc-cc之间的旋转，该矢量pc-cc描述从角膜球120的中心到瞳孔112的中心的方向。边缘虹膜外形104a上的点116的数量是N，并且点116可以以角度θ均匀地分布。边缘边界上的点(由i索引)可以由眼睛坐标系中的矢量vi来描述，并且这些矢量被使用相机校准矩阵K投射到图像坐标系中的矢量vi’(例如，边缘边界上的点116)(例如，图1中的边缘边界104a上的点116)。在图像坐标系中，边缘外形点Pi限定边缘边界，并且曲线(例如，椭圆)可以被拟合到这些外形点。
椭圆的取向可用于估计眼睛姿态(例如，如果眼睛直视相机，则椭圆将减小为圆形，以及当眼睛以远离相机的较大的角度观看时，椭圆变得更平)。如上所述，点Pi可以被拟合具有其他类型的曲线以描述边缘边界的可能的不规则形状，或者点Pi可以直接用于限定边缘边界，而不拟合曲线。例如，眼睛图像(在图像坐标系中)可以通过透视变换被变换到眼睛的坐标系中，使得可以不使用边缘边界点的曲线拟合(例如，到椭圆、圆形、样条、多边形、另一种形状或一条或多条曲线)。
用于使用角膜凸起的虹膜分割的示例方法
图2是示出用于确定眼睛的边缘边界并在生物应用中使用边缘边界的示例性例程200的流程图。例程200开始于框204。在框208处，例程200获得相机校准信息并估计眼睛的生理参数。在框208处，眼睛成像相机可以(可选地)拍摄校准图像并执行相机校准(例如，获得相机校准矩阵K)。在其他实施方式中，可以在制造期间执行相机校准，并且将校准信息存储在装置中。可以从一般人群估计眼睛生理参数(例如，Rc、Ri、dp)，或者可以从特定个体的眼睛的图像确定特定个体的眼睛生理参数(例如，Rc、Ri、dp)。
在框212处，例程200接收由眼睛成像相机拍摄的眼睛图像。在框216处，确定角膜球的三维坐标。例如，可以在三维中估计图1A-1B中的角膜球120的中心处的瞳孔中心。可以在由眼睛成像相机拍摄的眼睛图像中定位瞳孔中心，然后使用相机校准信息将瞳孔中心变换为眼睛的坐标系中的三维表示。可以在眼睛的坐标系中定位角膜球的中心和到瞳孔的距离。
在框220处，确定角膜球120与眼睛表面(例如，巩膜表面108)的交叉。例如，交叉可包括位于边缘边界104a上的多个点。可选地，在框224处，曲线可以被拟合到被确定位于边缘边界上的点。曲线可以是椭圆、圆形、样条、多边形或其他形状。在一些实施方式中，可以在框224处拟合多条曲线，使得边缘边界104a由拟合的多条曲线表示。多条曲线中的一条或多条可以由任何顺序的多项式形式(例如2、3、4、5或更多)表示，例如抛物线(二次形式)或样条(三次形式)。多条曲线中的一条或多条不必是任何顺序的多项式形式。例如，曲线可以是另一种非线性数学表达式。因此，可以从这些交叉或拟合曲线确定边缘边界的估计。在一些实施例中，实现框216、220或224的硬件处理器(例如，图3中的本地处理模块324的硬件处理器)可以利用上述伪代码来确定眼睛图像中的边缘边界。
在框228处，所确定的边缘边界可以用在一个或多个生物应用中。例如，所确定的边缘边界104a或瞳孔边界112a(例如，通过常规技术或本文公开的方法确定)可用于分割虹膜。例如，虹膜分割技术包括基于积分微分算子(例如，Daugman方法)、Hough变换、几何活动外形(geodesic active contour)、无边缘的活动外形、定向射线检测方法、Wilde方法、Camus和Wildes方法、Martin-Roche方法或其任何组合的技术。
分割的虹膜可用于确定用户虹膜的生物模板。例如，生物模板可以是使用小波技术确定的虹膜代码。虹膜代码可以以各种方式计算。例如，在一些实施例中，虹膜代码可以根据由John Daugman针对虹膜生物学开发的算法来计算(参见例如美国专利No.5,291,560)。例如，虹膜代码可以基于2-D带通滤波器(例如，Gabor滤波器)的虹膜图像(在极坐标中)的卷积，以及虹膜代码可以表示为两比特数(two bit number)(例如，对特定Gabor滤波器的响应是正的还是负的)。
可以将从眼睛图像确定的虹膜代码与已知虹膜代码的数据库进行比较，以便认证用户。在另一种生物应用中，虹膜的边缘边界的形状可用于估计眼睛的眼睛姿态。例如，可以至少部分地基于眼睛成像相机的坐标系统128和边缘边界104a的估计形状来估计眼睛姿态。在一些实施例中，眼睛姿态由边缘边界104a界定的盘的法线表示(法线可以沿着图1A中所示的方向pc-cc放置)。
例程200的实施例可以由下面参考图3和4描述的可穿戴显示系统300来执行。例如，眼睛成像相机452可以获得眼睛图像，以及本地或远程处理模块324、328可以分析眼睛图像以确定边缘边界。
在一些实施方式中，计算机视觉技术可用于本文公开的方法的一个或多个方面(例如，以执行虹膜分割、或对眼睛成像并从用户的眼睛提取例如角膜凸出的形状的视觉特征)。计算机视觉模块可以实现一种或多种计算机视觉技术。计算机视觉技术的非限制性示例包括：标度(scale)不变特征变换(SIFT)、加速稳健(robust)特征(SURF)、定向(orient)FAST和旋转(rotate)BRIEF(ORB)、二进制稳健不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、Mean-shift算法、视觉同步定位和映射(vSLAM)技术、序贯(sequential)贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如，支持向量机、k-最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)等等。
示例可穿戴显示系统
在一些实施例中，显示系统可以是可穿戴的，其可以有利地提供更加沉浸式的虚拟现实(VR)或增强现实(AR)体验，其中数字再现的图像或其部分以它们看起来是或可以被感知为真实的方式呈现给佩戴者。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现高度可信的感知深度模拟。例如，包括波导堆叠的显示器可以被配置为佩戴定位在用户或观看者的眼睛前方。波导堆叠可以被用于通过使用多个波导将来自图像注入装置(例如，通过经由一个或多个光纤用管输送图像信息的离散显示器或多路复用显示器的输出端)的光以与特定波导相关联的深度平面对应的特定角度(和发散量)引导至观看者的眼睛，来向眼睛/大脑提供三维感知。
在一些实施例中，可以利用两个波导堆叠向每只眼睛提供不同的图像，一个波导堆叠用于观察者的每只眼睛。作为一个示例，增强现实场景可以使得AR技术的佩戴者看到以人、树木、背景中的建筑物和混凝土平台为特征的真实世界公园状设置。除了这些项目之外，AR技术的佩戴者同样可以感知到他“看到”站在真实世界平台上的机器人雕像，以及飞过的卡通式化身角色(例如，大黄蜂)，该化身角色看起来是大黄蜂的化身，即使这些机器人雕像和大黄蜂在真实世界中不存在。波导堆叠可用于产生与输入图像对应的光场，并且在一些实施方式中，可穿戴显示器包括光场显示器。
图3示出了可穿戴显示系统300的示例，其可用于向显示系统佩戴者或观看者304呈现VR、AR或MR体验。可穿戴显示系统300可被编程为使用角膜曲率技术执行虹膜边界估计或被编程为提供本文描述的任何应用或实施例(例如，眼睛图像处理)。显示系统300包括显示器308、以及支持该显示器308的功能的各种机械和电子模块和系统。显示器308可以与框架312耦接，该框架可以由显示系统用户、佩戴者或观看者304佩戴并且被配置为将显示器308定位在佩戴者304的眼睛前方。显示器308可以光场显示器。在一些实施例中，扬声器316被耦接到框架312并且位于用户的耳道附近。在一些实施例中，另一扬声器(未示出)位于用户的另一耳道附近以提供立体声/可塑形声音控制。显示器308可以可操作地(诸如通过有线引线或无线连接)被耦接320到本地数据处理和模块324，本地数据处理和模块324可以以各种配置安装，诸如被固定地附到框架312上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其它的可拆卸地附到用户304(例如，以背包式配置、以带耦接式配置)。
框架312可具有附接或安装到框架312的一个或多个相机，以获得佩戴者眼睛的图像。在一个实施例中，相机可以安装到位于佩戴者眼睛前方的框架312，使得眼睛可以被直接成像。在其他实施例中，相机可以沿着框架312的杆(例如，靠近佩戴者的耳朵)安装。在这样的实施例中，显示器308可以涂覆有将来自佩戴者的眼睛的光反射回照相机的材料。光可以是红外光，因为虹膜特征在红外图像中是突出的。
本地处理和数据模块324可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的非暂时性数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据可以包括：(a)从传感器(其例如可以可操作地耦接到框架312或者其它的可操作地附到用户304)捕捉的数据，所述传感器例如为图像捕捉装置(例如，相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪；和/或(b)使用远程处理模块328和/或远程数据储存库332获得和/或处理的数据，这些数据可以在这样的处理或检索之后被传输到显示器308。本地处理和数据模块324可以诸如经由有线或无线通信链路可操作地通过通信链路336和或340耦接到远程处理模块328或远程数据储存库332，使得这些远程模块328、332可用作本地处理和数据模块324的资源。图像捕捉装置可用于捕捉在边缘边界估计过程中使用的眼睛图像。眼睛图像可以包括来自视频的静止图像或帧。如本文所使用的，视频被以其普通含义使用，并且包括但不限于视觉图像序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可以包括多个序列帧或非序列帧，具有或不具有音频通道。视频可以包括多个帧，这些帧按时间排序或者不按时间排序。因此，视频中的图像可以被称为眼睛图像帧或眼睛图像。
在一些实施例中，远程处理模块328可以包括一个或多个处理器，这些处理器被配置为分析和处理数据和/或图像信息，例如由图像捕捉装置捕捉的视频信息。视频数据可以被本地存储在本地处理和数据模块324中和/或远程数据储存库332中。在一些实施例中，远程数据储存库332可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中，在本地处理和数据模块324中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。
在一些实施方式中，本地处理和数据模块324和/或远程处理模块328被编程以执行如本文中所描述的虹膜的边缘边界104a的实施例。例如，本地处理和数据模块324和/或远程处理模块328可以被编程以执行参考图2描述的例程200的实施例或以执行上面的示例伪代码。本地处理和数据模块324和/或远程处理模块328可以被编程以在生物提取中使用本文公开的边缘边界确定技术，例如以识别或认证佩戴者304的身份，或者被编程以在眼睛注视或眼睑形状估计或姿态估计中使用本文公开的边缘边界确定技术，例如以确定每只眼睛正看的方向。图像捕捉装置可以捕捉用于特定应用的视频(例如，用于眼睛跟踪应用的佩戴者眼睛的视频或者用于手势识别应用的佩戴者的手或手指的视频)。可以通过处理模块324、328中的一个或两个使用边缘边界识别技术来分析视频。通过该分析，处理模块324、328可以执行边缘边界估计、虹膜分割和/或生物提取等。作为示例，本地处理和数据模块324和/或远程处理模块328可以被编程以存储从附接到框架312的相机获得的眼睛图像。此外，本地处理和数据模块324和/或远程处理模块328可以被编程以使用本文描述的技术(例如，例程200)处理眼睛图像。在一些实施方式中，将边缘边界估计中的至少一些卸到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。用于边缘边界估计的各种参数(例如，相机校准矩阵K、眼睛参数Rc、Ri、dp、旋转矩阵Rmat等)可以存储在数据模块324和/或328中。
分析的结果(例如，估计的边缘边界)可以由处理模块324、328中的一个或两个用于附加操作或处理。例如，在各种应用中，可穿戴显示系统300可以使用手势、对象、姿态等的生物识别、眼睛跟踪、识别或分类。例如，佩戴者的眼睛的视频可以是用于边缘边界估计，该边缘边界估计进而可以由处理模块324、328用于确定或分割虹膜以用于生物应用，该生物应用例如认证或通过显示器308确定佩戴者304的注视方向。可穿戴显示系统300的处理模块324、328可以被编程以使用边缘边界估计技术中的一个或多个实施例，以执行本文所述的视频或图像处理应用中的任何一者。
在一些实施例中，由可穿戴显示系统300执行的计算可以跨可穿戴显示系统300的组件或与可穿戴显示系统300相关联或通信的组件而分布。在一些实施例中，可穿戴显示系统300可以包括本地处理模块和本地数据储存库(例如，本地处理&数据模块)324。可穿戴显示系统300可以与远程处理模块328和/或远程数据储存库332通信或可以包括远程处理模块328和/或远程数据储存库332。可穿戴显示系统300的本地处理模块324和/或远程处理模块328可用于执行本文公开的任何方法(例如，边缘边界确定)。例如，眼睛图像可以存储在远程数据储存库332中，并且远程处理模块328可以确定眼睛图像中的边缘边界。作为另一示例，眼睛图像(或眼睛图像的一部分)可以存储在本地数据储存库和远程数据储存库332两者中，并且本地处理模块324和远程处理模块328可以一起确定眼睛图像中的边缘边界。本地处理模块324和远程处理模块328均可以执行边缘边界确定过程的一部分。作为又一示例，边缘边界确定过程可以跨本地处理模块324和远程处理模块328分布。边缘边界确定过程的分布可以基于本地处理模块324和/或远程处理模块328的工作量来预确定或确定。或者或另外，边缘边界确定过程的分布可以基于本地处理模块324和/或远程处理模块328可使用的能量(例如，电池量)。
在一些实施例中，可穿戴显示系统(例如，使用本地处理模块324和/或远程处理模块328)和/或另一计算系统(例如，云上的计算系统或可穿戴显示系统300的伴随计算系统)可用于执行边缘边界确定过程。计算系统可以存储和使用眼睛图像的整个(或部分)。例如，可穿戴显示系统300可以将眼睛图像传输到另一计算系统。在确定眼睛图像中的边缘边界之后，计算系统可以将确定的边缘边界传输回可穿戴显示系统300。作为另一示例，边缘边界确定过程可以跨可穿戴显示系统300和计算系统分布。可以基于可穿戴显示系统300和/或计算系统的工作量来确定边缘边界确定过程的分布。或者或另外，边缘边界确定过程的分布可以基于可穿戴显示系统300可使用的能量(例如，电池量)、可穿戴显示系统300和/或计算系统的剩余电池量。
可以对可穿戴显示系统300、本地处理模块324、本地数据储存库、远程处理模块328、远程数据储存库332和/或其他计算系统之间的传输或通信加密或不加密。例如，可以对可穿戴显示系统300与计算系统之间的传输加密。作为另一示例，可以对本地处理模块324与远程处理模块332之间的传输不被加密。
波导堆叠组件
图4示出了用于向用户输出图像信息的波导堆叠的示例，该波导堆叠可以用在图3所示的可穿戴显示系统300中。显示系统400可以包括能够用于采用多个波导420、422、424、426、428向眼睛410或大脑提供(例如，在AR或VR环境中)三维感知的波导堆叠或堆叠波导组件405。在一些实施例中，显示系统400可对应于图3的系统300，其中图4更详细地示意性地示出了该系统300的一些部分。例如，在一些实施例中，波导组件405可以集成到图3的显示器308。
继续参考图4，波导组件405可以还包括位于波导之间的多个特征430、432、434、436。在一些实施例中，特征430、432、434、436可以是透镜。在一些实施例中，特征430、432、434、436可以不是透镜。然而，它们可以是隔离物(例如，用于形成气隙的覆层和/或结构)。
波导420、422、424、426、428和/或多个透镜430、432、434、436可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置440、442、444、446、448可以用于将图像信息注入到波导420、422、424、426、428中，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛410输出。光离开图像注入装置440、442、444、446、448的输出表面并被注入到波导420、422、424、426、428的相应输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛410定向的克隆准直光束的整个视场。
在一些实施例中，图像注入装置440、442、444、446、442是分立的显示器，每个显示器产生用于分别注入到相应波导420、422、424、426、428中的图像信息。在一些其它实施例中，图像注入装置440、442、444、446、442是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置440、442、444、446、442中的每一个图像注入装置用管输送图像信息。关于波导组件178的功能的进一步细节在公开号为No.2015/0016777的美国专利公开中描述，其全部内容通过引用结合于此。
控制器450控制堆叠波导组件405和图像注入装置440、442、444、446、448的操作。在一些实施例中，控制器450包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调整图像信息到波导420、422、424、426、428的定时和提供。在一些实施例中，控制器450可以是单个整体装置，或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器450可以是处理模块324或328(在图3中示出)的部分。在一些实施例中，控制器可以与面向内的成像系统452(例如，数码相机)、面向外的成像系统454(例如，数码相机)和/或用户输入装置456通信。面向内的成像系统452(例如，数码相机)可以观察佩戴者的移动，诸如眼睛移动和(例如，眼周区域的)面部移动。面向内的成像系统452可用于捕捉眼睛410的图像，以便例如确定眼睛100(例如，瞳孔112、虹膜104或角膜124)的尺寸和/或取向、确定佩戴者304正在看的方向(例如，眼睛姿态)、或佩戴者304的生物识别。面向内的成像系统452可以捕捉用在边缘边界估计方法200中的眼睛图像。面向外的成像系统454可用于对佩戴者304正在看到的世界458的一部分成像。用户可以经由用户输入装置456向控制器450输入命令以与显示系统400交互。
在一些实施例中，深度平面和/或景深的数量和分布可以基于观看者的眼睛的瞳孔尺寸或取向动态地改变。在一些实施例中，面向内的成像系统452(例如，数字相机)可用于捕捉眼睛410的图像以确定眼睛410的瞳孔的尺寸和/或取向。在一些实施例中，面向内的成像系统452可以附接到框架312(如图3所示)并且可以与处理模块324和/或328电通信，该处理模块324和/或328可以处理来自面向内的成像系统452的图像信息，以确定例如用户304的瞳孔直径、眼睛的取向、角膜凸起或眼睛姿态。
在一些实施例中，可以为每只眼睛使用一个相机，以单独确定每只眼睛的瞳孔尺寸和/或取向，从而允许向每只眼睛呈现图像信息以动态地为该眼睛定制。在一些实施例中，每只眼睛可以利用至少一个相机，以分别单独地确定每只眼睛的瞳孔尺寸和/或眼睛姿态，从而允许向每只眼睛呈现图像信息以动态地为该眼睛设计。在一些其他实施例中，仅确定单个眼睛410的瞳孔直径和/或取向(例如，每对眼睛仅使用单个相机)并且假设用户的双眼是类似的。
其他方面
在第1方面，公开了一种可穿戴显示系统。该系统包括：显示器；图像捕捉装置，其被配置为捕捉用户眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，该硬件处理器由可执行指令编程以：获得相机校准；获得在眼睛的三维坐标系中眼睛的生理参数，其中，生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔中心之间的距离；接收眼睛的图像，该图像包括眼睛的角膜和眼睛的虹膜的至少一部分；确定角膜球与眼睛之间的交叉；至少部分地基于相机校准将交叉从眼睛的坐标系转换到眼睛图像的坐标系；至少部分地基于该交叉确定边缘边界；以及在生物应用中利用边缘边界。
在第2方面，根据方面1所述的可穿戴显示系统，其中，相机校准包括相机坐标系与眼睛的坐标系之间的关系。
在第3方面，根据方面1-2中任一方面所述的可穿戴显示系统，其中，相机校准包括校准矩阵，其中，校准矩阵包括固有相机参数。
在第4方面，根据方面1-3中任一方面所述的可穿戴显示系统，其中，从受试验的人群估计生理参数。
在第5方面，根据方面1-3中任一方面所述的可穿戴显示系统，其中，为了获得眼睛的生理参数，硬件处理器被可执行指令编程以：从眼睛的图像中确定生理参数。
在第6方面，根据方面5所述的可穿戴显示系统，其中，硬件处理器进一步被可执行指令编程，以周期性地重新确定眼睛的生理参数。
在第7方面，根据方面1-6中任一方面所述的可穿戴显示系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：估计在眼睛的三维坐标系中的角膜球的三维特性。
在第8方面，根据方面7所述的可穿戴显示系统，其中，为了估计角膜球的三维特性，硬件处理器被可执行指令编程以：估计瞳孔的中心和角膜球的中心。
在第9方面，根据方面1-8中任一方面所述的可穿戴显示系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定角膜球和眼睛的多个交叉点。
在第10方面，根据方面9所述的可穿戴显示系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器进一步被可执行指令编程以：将曲线拟合到多个交叉点。
在第11方面，根据方面10所述的可穿戴显示系统，其中，该曲线包括椭圆。
在第12方面，根据方面9-11中任一方面所述的可穿戴显示系统，其中，在眼睛的坐标系中确定多个交叉点。
在第13方面，根据方面12所述的可穿戴显示系统，其中，硬件处理器进一步被可执行指令编程以：将多个交叉点投射到眼睛的图像的坐标系中。
在第14方面，公开了一种计算机系统(例如，可穿戴显示系统，诸如头戴式显示器)。该系统包括：显示器；图像捕捉装置，其被配置为捕捉用户眼睛的图像；非暂时性存储器，其被配置为存储可执行指令；以及硬件处理器，其与显示器、图像捕捉装置和非暂时性存储器通信，该硬件处理器被可执行指令编程以：获得在眼睛的三维坐标系中的眼睛的生理参数，其中，生理参数包括：包括眼睛的角膜的角膜球的半径、眼睛的虹膜的半径、以及眼睛的角膜球的中心与瞳孔的中心之间的距离；接收眼睛的图像，该图像包括眼睛的角膜和眼睛的虹膜的至少一部分；确定角膜球与眼睛之间的交叉；以及至少部分地基于该交叉确定边缘边界。
在第15方面，根据方面14所述的计算机系统，其中，为了获得眼睛的生理参数，硬件处理器被可执行指令编程以：从特定个体的眼睛图像中确定生理参数。
在第16方面，根据方面15所述的计算机系统，其中，特定个体是用户。
在第17方面，根据方面14-16中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程，以周期性地重新确定眼睛的生理参数。
在第18方面，根据方面14-17中任一方面所述的计算机系统，其中，针对受试验的人群估计生理参数。
在第19方面，根据方面14-18中任一方面所述的计算机系统，其中，从图像捕捉装置接收眼睛的图像。
在第20方面，根据方面14-19中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定在眼睛的三维坐标系中角膜球与眼睛之间的交叉。
在第21方面，根据方面14-19中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定在图像的坐标系中角膜球与眼睛之间的交叉。
在第22方面，根据方面14-21中任一方面所述的计算机系统，其中，为了确定边缘边界，硬件处理器被可执行指令编程以：将曲线拟合到交叉。
在第23方面，根据方面22所述的计算机系统，其中，曲线包括椭圆。
在第24方面，根据方面14-19中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：确定角膜球和眼睛的多个交叉点。
在第25方面，根据方面24所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器进一步被可执行指令编程以：将曲线拟合到多个交叉点。
在第26方面，根据方面25所述的计算机系统，其中，曲线包括椭圆。
在第27方面，根据方面24-26中任一方面所述的计算机系统，其中，在眼睛的坐标系中确定多个交叉点。
在第28方面，根据方面27所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：将多个交叉点投射到眼睛图像的坐标系中。
在第29方面，根据方面14-28中任一方面所述的计算机系统，其中，为了确定角膜球与眼睛之间的交叉，硬件处理器被可执行指令编程以：估计在眼睛的三维坐标系中角膜球的三维特性。
在第30方面，根据方面29所述的计算机系统，其中，为了估计角膜球的三维特性，硬件处理器被可执行指令编程以：估计瞳孔的中心和角膜球的中心。
在第31方面，根据方面14-30中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：至少部分地基于边缘边界来执行生物应用。
在第32方面，根据方面31所述的计算机系统，其中，生物应用包括虹膜识别。
在第33方面，根据方面14-32中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：获得相机校准。
在第34方面，根据方面33所述的计算机系统的，相机校准包括相机坐标系与眼睛的坐标系之间的关系。
在第35方面，根据方面33-34中任一方面所述的计算机系统，其中，相机校准包括校准矩阵，其中，校准矩阵包括固有相机参数。
在第36方面，根据方面14-35中任一方面所述的计算机系统，其中，硬件处理器进一步被可执行指令编程以：至少部分地基于相机校准来将交叉从眼睛的坐标系转换到眼睛图像的坐标系。
在第37方面，公开了一种用于边缘边界估计的方法。该方法受硬件处理器的控制。该方法可以应用于眼睛图像(例如，来自视频帧)。
在第38方面，公开了一种系统。该系统包括：被配置为对用户眼睛成像的相机；以及与相机通信的硬件处理器，该硬件处理器被编程以分析由相机捕捉的用户眼睛的眼睛图像。
在第39方面，根据方面38所述的系统，其中，硬件处理器被编程以实现本文描述的任何方法，用于确定眼睛图像中眼睛的边缘边界。
在第40方面，根据方面39所述的系统，其中，硬件处理器被编程以使用所确定的边缘边界来分割来自眼睛图像的虹膜。
在第41方面，根据方面38-40中任一方面所述的系统，其中，硬件处理器被编程以在用户的生物信息的提取、计算或确定中使用边缘边界。
在第42方面，根据方面38-41中任一方面所述的系统，其中，硬件处理器被编程以将眼睛图像变换为眼睛的坐标系。
在第43方面，根据方面42所述的系统，其中，为了将眼睛图像变换为眼睛的坐标系，硬件处理器被编程以通过透视变换将眼睛图像变换为眼睛的坐标系。
在第44方面，根据方面42-43中任一方面所述的系统，其中，不利用边缘边界的曲线拟合(例如，到椭圆或一些其他规则或不规则曲线)(例如，在该坐标系中，角膜缘基本上是圆形的)。
在第45方面，根据方面38-44中任一方面所述的系统，其中，该系统包括头戴式增强现实、混合现实或虚拟现实显示系统。
在第46方面，根据方面45所述的系统，其中，显示系统包括光场显示系统。
结论
本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施方式中，特定操作和方法可由特定于给定功能的电路来执行。
此外，本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传输。
本文所描述和/或附图所描绘的流程图、伪码或方法中的任何过程、框、状态、步骤、动作或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施方式中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施方式中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。
过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的，且在不脱离此公开的精神或范围的情况下，可将本文中限定的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些实施方式中，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素、动作和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素、动作和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素、动作和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包括”、“具有”等是同义词，且以开放式的方式包括性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包括性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。
如本文所使用的，涉及项目列表的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解，以表达项目、术语等可以是X、Y或Z中的至少一个。因此，这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。
类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下权利要求的范围内。在一些实施方式中，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。

Claims (20)

1.一种可穿戴显示系统，包括：
显示器；
图像捕捉装置，其被配置为捕捉用户的眼睛的图像；
非暂时性存储器，其被配置为存储可执行指令；以及
硬件处理器，其与所述显示器、所述图像捕捉装置和所述非暂时性存储器通信，所述硬件处理器被所述可执行指令编程以：
获得相机校准；
获得在所述眼睛的三维坐标系中所述眼睛的生理参数，其中所述生理参数包括：
角膜球的半径，所述角膜球包括所述眼睛的角膜，
所述眼睛的虹膜的半径，以及
所述眼睛的所述角膜球的中心与瞳孔的中心之间的距离；
接收所述眼睛的所述图像，所述图像包括所述眼睛的所述角膜和所述眼睛的所述虹膜中的至少一部分；
确定所述角膜球与所述眼睛之间的交叉；
至少部分地基于所述相机校准来将所述交叉从所述眼睛的所述坐标系转换到所述眼睛的所述图像的坐标系；
至少部分地基于所述交叉确定所述边缘边界；以及
在生物应用中利用所述边缘边界。
2.如权利要求1所述的可穿戴显示系统，其中，所述相机校准包括相机坐标系与所述眼睛的所述坐标系之间的关系。
3.如权利要求1所述的可穿戴显示系统，其中，所述相机校准包括校准矩阵，其中所述校准矩阵包括固有相机参数。
4.如权利要求1所述的可穿戴显示系统，其中，从受试验的人群估计所述生理参数。
5.如权利要求1所述的可穿戴显示系统，其中，为了获得所述眼睛的所述生理参数，所述硬件处理器被所述可执行指令编程以：从所述眼睛的图像确定所述生理参数。
6.如权利要求5所述的可穿戴显示系统，其中，所述硬件处理器进一步被所述可执行指令编程，以周期性地重新确定所述眼睛的所述生理参数。
7.如权利要求1所述的可穿戴显示系统，其中，为了确定所述角膜球与所述眼睛之间的所述交叉，所述硬件处理器被所述可执行指令编程以：估计在所述眼睛的所述三维坐标系中所述角膜球的三维特性。
8.如权利要求7所述的可穿戴显示系统，其中，为了估计所述角膜球的所述三维特性，所述硬件处理器被所述可执行指令编程以：估计所述瞳孔的中心和所述角膜球的中心。
9.如权利要求1-8中任一项所述的可穿戴显示系统，其中，为了确定所述角膜球与所述眼睛之间的所述交叉，所述硬件处理器被所述可执行指令编程以：确定所述角膜球和所述眼睛的多个交叉点。
10.如权利要求9所述的可穿戴显示系统，其中，为了确定所述角膜球与所述眼睛之间的所述交叉，所述硬件处理器进一步被所述可执行指令编程以：将曲线拟合到所述多个交叉点。
11.如权利要求10所述的可穿戴显示系统，其中，所述曲线包括椭圆。
12.如权利要求9所述的可穿戴显示系统，其中，在所述眼睛的所述坐标系中确定所述多个交叉点。
13.如权利要求12所述的可穿戴显示系统，其中，所述硬件处理器进一步被所述可执行指令编程以：将所述多个交叉点投射到所述眼睛的所述图像的所述坐标系中。
14.一种可穿戴显示系统，包括：
显示器；
图像捕捉装置，其被配置为捕捉用户的眼睛的图像；
非暂时性存储器，其被配置为存储可执行指令；以及
硬件处理器，其与所述显示器、所述图像捕捉装置和所述非暂时性存储器通信，所述硬件处理器被所述可执行指令编程以：
获得在所述眼睛的三维坐标系中所述眼睛的生理参数，其中所述生理参数包括：
角膜球的半径，所述角膜球包括所述眼睛的角膜，
所述眼睛的虹膜的半径，以及
所述眼睛的所述角膜球的中心与所述瞳孔的中心之间的距离；
接收所述眼睛的所述图像，所述图像包括所述眼睛的所述角膜和所述眼睛的所述虹膜的至少一部分；
确定所述角膜球与所述眼睛之间的交叉；以及
至少部分地基于所述交叉确定所述边缘边界。
15.如权利要求14所述的可穿戴显示系统，其中，为了获得所述眼睛的所述生理参数，所述硬件处理器被所述可执行指令编程以：从特定个体的眼睛图像确定所述生理参数。
16.如权利要求14所述的可穿戴显示系统，其中，从所述图像捕捉装置接收所述眼睛的所述图像。
17.如权利要求14所述的可穿戴显示系统，其中，为了确定所述角膜球与所述眼睛之间的所述交叉，所述硬件处理器被所述可执行指令编程以：确定在所述眼睛的所述三维坐标系中所述角膜球与所述眼睛之间的所述交叉。
18.如权利要求14所述的可穿戴显示系统，其中，为了确定所述角膜球与所述眼睛之间的所述交叉，所述硬件处理器被所述可执行指令编程以：确定在所述图像的坐标系中所述角膜球与所述眼睛之间的所述交叉。
19.如权利要求14-18中任一项所述的可穿戴显示系统，其中，为了确定所述边缘边界，所述硬件处理器被所述可执行指令编程以：将曲线拟合到所述交叉。
20.如权利要求14所述的可穿戴显示系统，其中，所述硬件处理器进一步被所述可执行指令编程以：至少部分地基于所述边缘边界执行生物应用，以及其中，所述生物应用包括虹膜识别。
CN201780054215.3A 2016-07-14 2017-04-26 使用角膜曲率的虹膜边界估计 Active CN109661194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210131995.XA CN114495249A (zh) 2016-07-14 2017-04-26 使用角膜曲率的虹膜边界估计

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2016128791 2016-07-14
RU2016128791 2016-07-14
PCT/US2017/029679 WO2018013199A1 (en) 2016-07-14 2017-04-26 Iris boundary estimation using cornea curvature

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210131995.XA Division CN114495249A (zh) 2016-07-14 2017-04-26 使用角膜曲率的虹膜边界估计

Publications (2)

Publication Number Publication Date
CN109661194A true CN109661194A (zh) 2019-04-19
CN109661194B CN109661194B (zh) 2022-02-25

Family

ID=60942165

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210131995.XA Pending CN114495249A (zh) 2016-07-14 2017-04-26 使用角膜曲率的虹膜边界估计
CN201780054215.3A Active CN109661194B (zh) 2016-07-14 2017-04-26 使用角膜曲率的虹膜边界估计

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210131995.XA Pending CN114495249A (zh) 2016-07-14 2017-04-26 使用角膜曲率的虹膜边界估计

Country Status (6)

Country Link
US (1) US10296792B2 (zh)
EP (1) EP3484343B1 (zh)
JP (2) JP6917444B2 (zh)
KR (1) KR102442569B1 (zh)
CN (2) CN114495249A (zh)
WO (1) WO2018013199A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
WO2018013200A1 (en) * 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
CN114495249A (zh) 2016-07-14 2022-05-13 奇跃公司 使用角膜曲率的虹膜边界估计
EP3500911B1 (en) 2016-08-22 2023-09-27 Magic Leap, Inc. Augmented reality display device with deep learning sensors
CN106445344A (zh) * 2016-09-27 2017-02-22 乐视控股（北京）有限公司 一种截图处理方法及装置
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
WO2018067603A1 (en) 2016-10-04 2018-04-12 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
IL297846B2 (en) 2016-11-15 2023-12-01 Magic Leap Inc A deep learning system for discovering a cube
KR102413561B1 (ko) 2016-12-05 2022-06-24 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
KR101776944B1 (ko) * 2017-01-09 2017-09-08 주식회사 쓰리이 홍채 패턴 코드화 방법
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
EP3596659A4 (en) 2017-03-17 2021-01-27 Magic Leap, Inc. SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES
KR20220030315A (ko) 2017-07-26 2022-03-10 매직 립, 인코포레이티드 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝
IL294197A (en) 2017-09-20 2022-08-01 Magic Leap Inc A personal neural network for eye tracking
WO2019084189A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. SYSTEMS AND METHODS FOR GRADIENT NORMALIZATION FOR ADAPTIVE LOSS BALANCING IN DEEP MULTITASK NETWORKS
WO2019143864A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
AU2019209930B2 (en) 2018-01-17 2023-08-03 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
ES2662912B2 (es) * 2018-01-24 2019-09-13 Univ Madrid Complutense Método y aparato para el reconocimiento biométrico corneal
DE102018105917A1 (de) 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
JP6840697B2 (ja) * 2018-03-23 2021-03-10 株式会社豊田中央研究所 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11200655B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Wearable visualization system and method
US11334154B2 (en) 2019-01-25 2022-05-17 Magic Leap, Inc. Eye-tracking using images having different exposure times
WO2020236827A1 (en) 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
KR20210079774A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 시선 추적 장치를 포함하는 웨어러블 디바이스 및 그 동작 방법
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US20210365533A1 (en) * 2020-05-20 2021-11-25 Facebook Technologies, Llc Systems and methods for authenticating a user of a head-mounted display
US20220351545A1 (en) * 2021-05-03 2022-11-03 NeuraLight Ltd. Obtaining high-resolution oculometric parameters
US11861805B2 (en) 2021-09-22 2024-01-02 Sony Group Corporation Eyeball positioning for 3D head modeling
WO2023203923A1 (ja) * 2022-04-22 2023-10-26 ソニーグループ株式会社 頭部装着型情報処理装置、情報処理方法、記憶媒体
CN116999017A (zh) * 2023-09-04 2023-11-07 指南星视光(武汉)科技有限公司 基于数据分析的辅助眼部护理智能控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
US8845625B2 (en) * 2010-01-22 2014-09-30 Optimedica Corporation Method and apparatus for automated placement of scanned laser capsulorhexis incisions
US9262680B2 (en) * 2012-07-31 2016-02-16 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950546B2 (ja) * 1988-08-31 1999-09-20 キヤノン株式会社 視線検出装置及び視線検出装置を有するカメラ
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US7856055B2 (en) 2002-03-13 2010-12-21 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US8098901B2 (en) * 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7248720B2 (en) 2004-10-21 2007-07-24 Retica Systems, Inc. Method and system for generating a combined retina/iris pattern biometric
JP4824420B2 (ja) * 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
US8077914B1 (en) 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
US8363783B2 (en) * 2007-06-04 2013-01-29 Oraya Therapeutics, Inc. Method and device for ocular alignment and coupling of ocular structures
US8098891B2 (en) 2007-11-29 2012-01-17 Nec Laboratories America, Inc. Efficient multi-hypothesis multi-human 3D tracking in crowded scenes
WO2010003044A2 (en) 2008-07-03 2010-01-07 Nec Laboratories America, Inc. Epithelial layer detector and related methods
WO2010129074A1 (en) 2009-01-14 2010-11-11 Indiana University Research & Technology Corporation System and method for identifying a person with reference to a sclera image
US8345984B2 (en) 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
KR101997845B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
CN107656615B (zh) 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
EP4036862A1 (en) 2011-11-23 2022-08-03 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
WO2013188464A1 (en) 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9141916B1 (en) 2012-06-29 2015-09-22 Google Inc. Using embedding functions with a deep network
US8369595B1 (en) 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication
KR20150054967A (ko) 2012-09-11 2015-05-20 매직 립, 인코포레이티드 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템
WO2014113506A1 (en) 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US9147154B2 (en) 2013-03-13 2015-09-29 Google Inc. Classifying resources using a deep network
KR102271198B1 (ko) 2013-03-15 2021-06-29 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
WO2014182769A1 (en) 2013-05-07 2014-11-13 The Johns Hopkins University Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
EP4321915A3 (en) 2013-10-16 2024-05-01 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9202144B2 (en) 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
JP6236296B2 (ja) 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107219628B (zh) 2013-11-27 2020-05-01 奇跃公司 虚拟和增强现实系统与方法
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN110376743B (zh) 2014-01-31 2022-03-04 奇跃公司 多焦点显示系统和方法
KR102207799B1 (ko) 2014-01-31 2021-01-26 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
IL231862A (en) 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
WO2015164807A1 (en) 2014-04-25 2015-10-29 Texas State University Detection of brain injury and subject state with eye movement biometrics
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US9536293B2 (en) 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US20160034811A1 (en) 2014-07-31 2016-02-04 Apple Inc. Efficient generation of complementary acoustic models for performing automatic speech recognition system combination
US9659384B2 (en) 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
WO2016054779A1 (en) 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing
US9530071B2 (en) 2014-10-10 2016-12-27 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
KR102276339B1 (ko) 2014-12-09 2021-07-12 삼성전자주식회사 Ｃｎｎ의 근사화를 위한 학습 장치 및 방법
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
CN112836664A (zh) 2015-08-21 2021-05-25 奇跃公司 使用眼睛姿态测量的眼睑形状估计
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
CN114495249A (zh) 2016-07-14 2022-05-13 奇跃公司 使用角膜曲率的虹膜边界估计

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US8845625B2 (en) * 2010-01-22 2014-09-30 Optimedica Corporation Method and apparatus for automated placement of scanned laser capsulorhexis incisions
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
US9262680B2 (en) * 2012-07-31 2016-02-16 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXANDER PLOPSKI ETAL: "Corneal-Imaging Calibration for Optical See-Through", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 *

Also Published As

Publication number Publication date
JP2021166103A (ja) 2021-10-14
EP3484343B1 (en) 2024-01-10
KR102442569B1 (ko) 2022-09-08
CN114495249A (zh) 2022-05-13
CN109661194B (zh) 2022-02-25
US20180018515A1 (en) 2018-01-18
EP3484343A4 (en) 2020-04-15
KR20190028493A (ko) 2019-03-18
JP2019528510A (ja) 2019-10-10
JP6917444B2 (ja) 2021-08-11
EP3484343A1 (en) 2019-05-22
WO2018013199A1 (en) 2018-01-18
US10296792B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109661194A (zh) 使用角膜曲率的虹膜边界估计
US11883104B2 (en) Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
JP7136875B2 (ja) 眼の特徴を用いる眼ポーズ識別
US11468640B2 (en) Depth plane selection for multi-depth plane display systems by user categorization
AU2018385695B2 (en) Enhanced pose determination for display device
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
US20230210365A1 (en) Eye tracking using aspheric cornea model
US11868525B2 (en) Eye center of rotation determination with one or more eye tracking cameras
US11269181B2 (en) Systems and methods for operating a head-mounted display system based on user identity
JP2022538669A (ja) 眼追跡待ち時間向上

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40007006

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant