CN106575357B - 瞳孔检测 - Google Patents

瞳孔检测 Download PDF

Info

Publication number
CN106575357B
CN106575357B CN201580041095.4A CN201580041095A CN106575357B CN 106575357 B CN106575357 B CN 106575357B CN 201580041095 A CN201580041095 A CN 201580041095A CN 106575357 B CN106575357 B CN 106575357B
Authority
CN
China
Prior art keywords
pupil
boundary point
point candidates
pixels
pupil boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580041095.4A
Other languages
English (en)
Other versions
CN106575357A (zh
Inventor
M·武格代利亚
D·尼耶姆切维奇
D·Z·尼斯特
C·M·梅
C·S·伽特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106575357A publication Critical patent/CN106575357A/zh
Application granted granted Critical
Publication of CN106575357B publication Critical patent/CN106575357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Abstract

公开了涉及确定眼睛的估计的瞳孔区域的实施例。在一个实施例中，一种方法包括接收眼睛的图像，该图像包括多个像素。粗略的瞳孔区域可使用多个像素的至少一个子集来生成。多个瞳孔边界点候选被提取自粗略的瞳孔区域，其中候选中的每一个基于至少两个相邻像素的颜色值被加权。参数曲线可被拟合到经加权的瞳孔边界点候选，以确定用户眼睛的估计的瞳孔区域。

Description

瞳孔检测
人眼的图像可被用于从个人标识到人机交互的各种用途。例如，眼或视线跟踪系统可使用人眼的捕获图像来确定人的视线的方向和/或位置。在一些示例中，这样的视线跟踪或其他系统使用眼睛的瞳孔的位置和/或形状。
然而，瞳孔的一个或多个部分可能被眼睑、睫毛、闪光、外部反射或其他光源和/或其他条件遮蔽或遮挡。因此，人的视线的估计的方向、基于眼睛的人员标识或使用瞳孔位置和/或形状的其他判定的准确性可能变差。附加地，在估计瞳孔位置和/或形状时考虑这样的条件可以证明在计算上是昂贵的。
概述
本文公开了涉及用于确定眼镜的估计的瞳孔区域的系统和方法的各种实施例。例如，一个公开的实施例提供了一种用于确定用户眼睛的估计的瞳孔区域的方法，在该方法中眼睛的图像被接受，其中该图像包括多个像素。粗略的瞳孔区域可使用多个像素的至少一个子集来生成。
多个瞳孔边界点候选可从粗略的瞳孔区域被提取。候选中的每一个可基于该候选的至少两个相邻像素的颜色值来进行加权，以生成经加权的瞳孔边界点候选。参数曲线可被拟合到经加权的瞳孔边界点候选，以确定用户眼睛的估计的瞳孔区域。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1是根据本公开的示例的用于确定眼睛的估计的瞳孔区域的系统的示意图。
图2是根据本公开的示例的包括佩戴头戴式显示设备的用户、持有平板计算机的用户和壁挂式显示器的房间的示意性透视图。
图3是包括若干闪光的用户眼睛的图像的示意图。
图4是包括根据本公开的示例生成的粗略的瞳孔区域的图3的图像的示意图。
图5、6和7是图3的图像的示意图，示出了根据本公开的示例所标识的示例最大稳定极值区域。
图8是根据本公开的示例获得的图4的粗略的瞳孔区域的连通分量边界的示意图。
图9是示出根据本公开的示例的从图4的粗略的瞳孔区域提取的瞳孔边界点候选的示意图。
图10是根据本公开的示例的粗略的瞳孔区域和位于从该粗略的瞳孔区域的估计的中心延伸出的射线上的瞳孔边界点候选的示意图。
图11是示出根据本公开的示例的经由k均值聚类算法分布的瞳孔边界点候选的二维色彩空间的示意图。
图12是粗略的瞳孔区域的一部分和位于从该区域的估计的中心延伸出的射线上的瞳孔边界点候选的示意图。
图13是粗略的瞳孔区域的另一部分和位于从该区域的估计的中心延伸出的射线上的另一瞳孔边界点候选的示意图。
图14是根据本公开的示例确定的对应于估计的瞳孔区域的参数曲线的示意图。
图15示意性地示出了根据本公开的示例的示例头戴式显示设备。
图16A和16B是根据本公开的示例的用于确定用户眼睛的估计的瞳孔区域的方法的流程图。
图17是计算系统的示例的简化示意图。
详细描述
图1示出了用于确定用户14的眼睛的估计的瞳孔区域12的系统10的一个实施例的示意图。系统10包括可被储存在计算设备22的大容量存储20中的瞳孔检测模块18。瞳孔检测模块18可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。
在一些示例中，计算设备22可被通信地耦合到一个或多个其他设备和/或组件。例如，计算设备22可被通信地耦合到眼睛跟踪系统34，眼睛跟踪系统34可使用由瞳孔检测模块18所确定的估计的瞳孔区域12。在一些示例中，眼睛跟踪系统34可使用一个或多个光源38。在一些示例中，光源38可包括发射红外光的红外光源，诸如红外LED。在一些示例中，光源38可包括发射红外光的红外光源，诸如红外LED。眼睛跟踪系统34还可包括被配置成捕捉从用户的眼睛反射和散射的光的图像的一个或多个图像捕捉设备40。
在其他示例中，计算设备22可被通信地耦合到标识系统42，标识系统42可使用由瞳孔检测模块18确定的估计的瞳孔区域12来确定用户14的身份。还应当理解的是，计算设备22可以与可使用由瞳孔检测模块18确定和输出的估计的瞳孔区域12的其他(多个)设备或(多个)组件一起使用。
在一些示例中，计算设备22以及眼睛跟踪系统34、(多个)光源38、图像捕捉设备40和标识系统42中的一个或多个可被集成到公共外壳中以形成单个设备。这样的设备可包括但不限于台式计算机、PC、手持智能电话、电子阅读器、膝上型计算机、笔记本和平板计算机、头戴式显示器(HMD)设备、外围显示器、交互式电视、机顶盒、游戏主机等。
例如并参考图2，平板电脑用户202可使用包括系统10的平板电脑210。另一用户214可佩戴并入系统10中的(下面更详细地描述的)HMD设备218。在其他示例中，眼睛跟踪系统34、标识系统42、(多个)光源38和(多个)图像捕捉设备40中的一个或多个可与计算设备22物理地分离并且被通信地耦合到计算设备22。在一个示例中，这些组件中的一个或多个可位于被安装成邻近壁挂式显示器226的输入设备222中，并且可经由有线或无线连接被通信地耦合到显示器或单独的组件中的计算设备22，诸如游戏主机。
将理解，具有各种形状因子的系统10的许多其他类型和配置，无论是与计算设备22分开还是与计算设备22集成，都可被使用并且落在本公开的范围内。关于计算设备22的组件和计算方面的附加细节在下文中参考图17更详细地描述。
再次参考图1，在一些示例中，眼睛跟踪系统34可被配置成使用由瞳孔检测模块18生成的估计的瞳孔区域12(如下面更详细地描述的)以任何合适的方式来确定用户眼睛的视线方向。例如，眼睛跟踪系统34可使用生成由(多个)图像捕捉设备40捕获的角膜闪光的瞳孔和角膜反射的图像，以确定瞳孔的中心以及闪光的位置。角膜闪光可被用来确定角膜的位置。然后，瞳孔图像可被使用以基于闪光来找到角膜的定向，并且眼睛的视线向量可被确定。
在一个示例中，亮瞳技术(bright pupil technique)可被使用，其中来自(多个)光源38的照明光与眼睛的光路同轴，从而导致光由视网膜反射。在另一示例中，暗瞳技术(dark pupil technique)可被使用，其中照明光偏离光路。
根据从收集自(多个)图像捕捉设备40的图像数据确定的角膜闪光和瞳孔的图像可被用来确定眼睛的光轴。使用该信息，眼睛跟踪系统34可确定用户注视的方向和/或用户注视着什么物理对象或虚拟对象。眼睛跟踪系统34可进一步确定用户注视着物理或虚拟对象上的哪点。然后，这样的视线跟踪数据可被提供给计算设备22，并且可根据需要被一个或多个应用或其他程序使用。
在一些示例中并且如上所述，计算设备22可与头戴式显示器(HMD)设备(诸如图2所示的HMD设备218)通信地耦合。HMD设备218可包括被支撑在观察者的一只或两只眼睛前方的透明、半透明或不透明显示器。在一些示例中，HMD设备218可创建经增强的现实环境并将其显示给用户214，经增强的现实环境包括被显示在通过该设备查看的物理环境中的一个或多个现实世界对象间的一个或多个计算机生成的图像。计算机生成的图像可包括三维(3D)全息图像、二维(2D)图像或经由HMD设备218生成并显示的其他形式的虚拟图像。HMD设备218可由此使得用户214能够在围绕观察者的物理环境内查看这样的计算机生成的图像。
如下面更详细地描述的，HMD设备218可包括从物理环境接收物理环境数据的各种传感器和相关的系统。例如，HMD设备218可包括深度传感器系统，该深度传感器系统包括从在周围的物理环境中的现实世界对象生成深度图像数据的一个或多个深度相机。在一些示例中，HMD设备218可包括使用至少一个面朝外的传感器(诸如RGB相机或其他光学传感器)的光学传感器系统。该面朝外的传感器可从物理环境中的现实世界对象捕捉二维图像信息。HMD设备218还可包括位置传感器系统，该位置传感器系统包括一个或多个加速度计、陀螺仪、头部跟踪系统和/或用于确定用户的位置或定向的其他传感器。
在一些示例中，HMD设备218可包括换能器系统，该换能器系统包括将电信号转换成另一形式的能量的一个或多个致动器。换能器系统可包括用于向观察者提供音频反馈的一个或多个扬声器。在其他示例中，换能器系统可包括一个或多个触觉换能器，该触觉换能器用于生成触觉反馈(诸如振动)并将其提供给观察者。HMD设备218还可包括麦克风系统以及一个或多个麦克风，以用于接收来自物理环境的音频输入。
图2中例示的示例HMD设备218可包括被集成进HMD设备中的计算设备22。将理解，在其他示例中，计算设备22可以是与HMD设备218分开的单独组件。具有各种形状因子的许多类型和配置的HMD设备也可被使用并且落在本公开的范围内。以下参考图15提供了示例HMD设备的更详细的描述。
现在还参考图3－14，现在将提供对系统10和瞳孔检测模块18的示例用例的描述。在图3中示意性地示出的一个示例中，用户的眼睛的图像46可由瞳孔检测模块18接收。图像46可包括多个像素，并且可示出眼睛的各种特征，诸如瞳孔304、虹膜308、巩膜312，睫毛316和眼睑318。该图像还可包括当外部光照射在眼睛的前角膜表面上并且被眼睛的前角膜表面反射时产生的一个或多个闪光。这样的反射作为密集区域(闪光)出现在图像46中。图3的示例示出了位于图像46中的各个位置处的闪光320、322、324、326、328和330。
如上所述，在一些情况下，一个或多个睫毛316、眼睑318、闪光和/或其他障碍物可能遮挡或遮蔽瞳孔304的一部分，从而潜在地使得瞳孔位置和形状的可靠标识具有挑战性。如下面更详细地描述的，即使当瞳孔图像中的瞳孔304的部分被遮蔽或以其他方式受损时，本公开的系统10以及瞳孔检测模块18也可以可靠地确定用户眼睛的估计的瞳孔区域。本公开的系统10以及瞳孔检测模块18还可使用比先前系统更少的计算资源来确定这样的区域。
现在参考图4，瞳孔检测模块18可被配置成使用眼睛图像46的像素的至少一个子集来生成提供眼睛的瞳孔304的实际位置和形状的初始近似的粗略瞳孔区域50。在一些示例中，瞳孔检测模块18可通过从眼睛图像46中提取一个或多个稳定的区域54来生成潜在的粗略的瞳孔区域。例如，瞳孔检测模块18可被配置成标识一个或多个最大稳定极值区域(MSER)。在一些示例中，一个或多个MSER可以以线性时间来标识。
MSER可被定义为图像区域内的连通分量，其包含比该分量边界外部的像素显著更亮(或更暗)的像素。局部二值化在遍及大范围的阈值的MSER中是稳定的。因此，在一些示例中，以种子像素和预定的颜色强度阈值开始，表示潜在瞳孔区域的MSER可被确定。当颜色强度阈值在限定范围内变化时，如果区域的空间范围的变化(扩展/收缩)量小于稳定性阈值，则连通分量可被标识为MSER。
可以使用用于从图像46提取MSER的各种方法中的任何一种。在一些示例中，在MSER的计算期间的任何时点处被考虑或访问的像素可由图像中像素的单个连通分量56组成，类似于与灰度级景观(grey-level landscape)相适配的泛洪填充(flood-fill)。该计算可使用候选像素的优先级队列(单个连通分量的边界)、掩蔽所访问的像素的单个位图，以及与图像中存在的灰度级一样多的分量的信息。以这种方式，图像的连通分量的分量树(component tree)可以以真正的线性时间来生成。此外，通过与像素的单个连通分量一起工作，与用于计算MSER的其他算法相比，更少的存储器被使用并且执行变得更快。
图5-8示出了可以以上述方式在眼睛图像46中标识的不同MSER的示例。例如，图5例示了位于瞳孔304内的MSER 504。图6例示了位于睫毛316内的MSER 604。图7例示了覆盖瞳孔304、虹膜308、巩膜312、眼睑318和睫毛316的一部分的较大的MSER 704。
在其他示例中，潜在的粗略的瞳孔区域50可以以不同的方式来标识。例如，Haar型检测方法可被使用，其中输入图像可与瞳孔状模板图像进行卷积。具有高卷积响应的像素可作为潜在的瞳孔中心被分离。可使用简单的模板图像，诸如举例而言，白色背景上的黑色瞳孔大小的圆形或矩形。可使用自适应二值化来分离表示潜在的粗略的瞳孔区域50的连通分量56。
在其他示例中，瞳孔检测模块18可通过使用一个或多个分类器58将像素子集中的每一个像素分类到多个分类区域中的一个来生成潜在的粗略的瞳孔区域。类别或区域可包括但不限于瞳孔、虹膜、巩膜、睫毛、背景和闪光。可在包括人眼图像的经标记的数据集上训练(多个)分类器。在一些示例中，分类可以是随机森林分类器。给定大量的地面真值(ground truth)输入，最优问题在决策树的每个节点处被选择成使得输入样本在叶子的末端被最优地分类。该经训练的数据库可被用来预测输入图像中的每个像素的分类。
在训练期间所学习的问题可针对每个像素进行评估，并且取决于响应(肯定或否定)，决策树的下一个节点被选择并且下一个问题被询问。该问题可包括确定与主体像素的一个或多个相邻像素的像素差异。例如，对于主体像素，相对于相邻像素的x-y颜色偏移可被确定。该偏移可与阈值进行比较，并且基于比较，另一个问题针对主体像素进行评估。那些在类别之间产生最大间隔的问题被选择。该过程被重复，直到到达预测分类的叶节点。分类器输出像素类别的结果，该像素类别的结果随后被分组成一个或多个连通分量56，并且粗略的瞳孔区域50被提取。
在一些示例中，可针对有利于瞳孔特性(诸如瞳孔大小、形状、预期位置、相对颜色和/或暗示瞳孔的其他特性)的多个试探法60对MSER和/或其他连通分量进行评分。这样的试探法60可包括但不限于瞳孔宽高比、连通分量内部的孔的数量、连通分量的边界上的梯度强度、连通分量的连续像素行或像素列的变化率、与连通分量的周围相比的一个或多个连通分量的平均颜色强度、一个或多个连通分量的形心与眼睛图像46的中心之间的距离，相对于连通分量的边界矩形的大小的一个或多个连通分量的大小，以及相对于眼睛图像46的大小的一个或多个连通分量的大小。
参考图10中所示的连通分量1000，现在提供关于连通分量的连续水平像素行或连续垂直像素列的变化率的试探法60的示例。从左到右移动，所例示的分量1000在其第一列1002中具有4个像素，在其第二列1004中具有6个像素，在其第三列1006中具有9个像素，依此类推。因此，当从第一列1002移动到第二列1004时，连续垂直像素列的变化为6-4＝2。当从第二列1004移动到第三列1006时，连续垂直像素列的变化是变化9-6＝3，依此类推。瞳孔检测模块18可计算分量1000的连续列之间的平均变化，并将该平均值与对应于瞳孔图像的连续列之间的平均变化的试探法进行比较。
因此，通过凭借有利于瞳孔特性的多个试探法60对MSER和/或其他连通分量中的每一个进行评分，最高评分分量可被选择作为粗略的瞳孔区域50。在图4中示意性地例示了所选择的粗略的瞳孔区域50的示例。
在确定粗略的瞳孔区域50的上述示例中，已从全分辨率图像被按比例缩小的眼睛图像46可被使用。以这种方式，确定粗略的瞳孔区域50所需的计算资源可被减少。在一个非限制性示例中，针对具有640×480像素大小的全分辨率图像，上述方法可对具有80×60像素大小的图像的经按比例缩小的版本或任何其他合适的较低分辨率图像进行操作。在其他示例中，上述示例可使用全分辨率图像而不按比例缩小该图像。
使用所生成的粗略的瞳孔区域50，瞳孔检测模块18可从该粗略的瞳孔区域提取多个瞳孔边界点候选62。现在参考图8，在一些示例中，自适应二值化可在粗略的瞳孔区域50上被执行以生成瞳孔连通分量804。包括瞳孔边界点候选62的分量边界808可从瞳孔连通分量804被提取。在其他示例中，从粗略的瞳孔区域50获得的颜色信息可被用来计算可被应用以隔离瞳孔掩模的二值化阈值。瞳孔边界点候选62可被提取自这样的掩模。
在一些示例中并且参考图9，以上所检测到的粗略的瞳孔区域50的中心904可被确定，并且多条射线908可从中心被放射状地投射。将理解，沿着在图像中的实际瞳孔与虹膜之间的边界处的这些射线908中的每一条，将存在颜色强度突然变化的区域。因此，瞳孔检测模块18可评估每条射线908以及粗略的瞳孔区域50以标识颜色强度突然变化的区域。然后，瞳孔检测模块18可提取与每个这样的区域相对应的瞳孔边界点候选62。
提取出的区域中的每一个可对应于潜在地位于瞳孔－虹膜边界处的瞳孔边界点候选62。然而，在一些情况下，一个或多个瞳孔边界点候选62可能不位于瞳孔－虹膜边界处，并因此可能构成假肯定。这样的假肯定可能由眼镜图像46中的闪光或其他遮挡所产生。因此，如下面更详细地描述的，瞳孔检测模块18可针对瞳孔边界点候选62中的每一个，基于瞳孔边界点候选的至少两个相邻像素的颜色值来对瞳孔边界点候选进行加权，以生成经加权的瞳孔边界点候选66。
在一些示例中，假肯定瞳孔边界点候选的共同性质是，该候选周围的颜色显著不同于位于瞳孔－虹膜边界处的真正的瞳孔边界点候选周围的颜色。例如并且参照图13，位于闪光1308附近的假肯定瞳孔边界点候选1304可基于与虹膜区域1220的较低的对比度相比的白色闪光的高对比度来标识，虹膜区域1220通常将是与虹膜颜色相对应的灰色阴影。
因此，并且在一些示例中，瞳孔边界点候选62中的每一个可基于至少两个相邻像素的颜色值来进行加权。现在参考图10，提供了包括被示为覆盖瞳孔图像1008的粗略的瞳孔区域的连通分量1000的示意图。粗略的瞳孔区域包括估计的中心像素1010和位于从估计的中心像素1010延伸出的射线1014上的瞳孔边界点候选像素1012。沿着射线1014定位并且在瞳孔边界点候选像素1012的任一侧上的是瞳孔边界点候选像素的相邻像素。
在一个示例中，瞳孔检测模块18可确定沿着射线1014的位于瞳孔边界点候选1012与估计的中心像素1010之间的多个内部像素中的每一个的颜色值。在一些示例中，瞳孔检测模块18可对沿着射线1014的位于瞳孔边界点候选1012与估计的中心像素1010之间的两个、三个、四个或任何合适数目的内部像素的颜色值进行平均。参考图10的示例，在一个示例中，内部像素1016、1018和1020的颜色值可被平均以确定平均颜色值。
类似地，瞳孔检测模块18可对沿着射线1014的位于与内部像素相对的瞳孔边界点候选1012的相对侧上的两个、三个、四个或任何合适数目的外部像素的颜色值进行平均。参考图10的示例，在一个示例中，外部像素1022、1024和1028的颜色值可被平均以确定平均颜色值。
现在参考图11，多个瞳孔边界点候选62可被映射到二维色彩空间1100，其中x轴表示候选的内部颜色(沿着射线1014从候选朝着估计的中心像素1010的颜色)，而y轴表示候选的外部颜色(沿着射线1014从候选远离估计的中心像素的颜色)。大多数瞳孔边界点候选62将集中在最有可能表示瞳孔颜色(沿着内部色轴)和虹膜颜色(沿着外部色轴)的点周围的该色彩空间中。作为假肯定的瞳孔边界点候选62将被分散在颜色空间1100的周围。
在一些示例中，聚类算法可被用来根据瞳孔边界点候选62与占优群集的估计的中心的距离来对它们进行加权。例如并且如图11中示意性地例示的，k＝2的k均值聚类算法可被用来对瞳孔边界点候选中的每一个分配权重。同样在图11中，插图1120示意性地示出了在图像46的一部分中的瞳孔边界点候选62和闪光1124的位置。
如图11所示，将k＝2的k均值聚类应用于多个瞳孔边界点候选62的颜色值产生色彩空间1100中的第一群集1104的点和第二群集1108的点。第一群集1104可具有中心1106，并且第二群集1108可具有中心1110。在图11中，垂直“外部颜色”轴可表示瞳孔边界点候选的多个外部像素的平均颜色值，而水平“内部颜色”轴可表示瞳孔边界点候选的多个内部像素的平均颜色值。
在本发明示例中，第一群集1104可包含比第二群集1108更大数量的瞳孔边界点候选62。因此，第一群集1104可被标识并且被用作占优群集。针对瞳孔边界点候选62中的每一个，可计算与第一、占优群集1104的中心1106的距离。使用这样的距离，该瞳孔边界点候选62的对应权重可被确定并被分配至该候选。以这样的方式，具有与占优群集中心1106更类似的内部颜色和外部颜色的瞳孔边界点候选62将被分配较高的权重。相应地，具有与占优群集中心1106不太相似的内部颜色和外部颜色的瞳孔边界点候选62将被分配较低的权重。因此，以这种方式，瞳孔检测模块18可对瞳孔边界点候选62中的每一个进行加权，以生成经加权的瞳孔边界点候选66。
在一些示例中，并且在本发明的一个潜在优点中，瞳孔检测模块18在确定用户眼睛的估计的瞳孔区域期间可使用每个瞳孔边界点候选62。相应地，瞳孔检测模块18可避免丢弃瞳孔边界点候选62中的任何一个，而不管它们与占优群集中心1106的距离。在其他示例中，具有低于低权重阈值的权重的一个或多个经加权的瞳孔边界点候选66可被丢弃。
使用经加权的瞳孔边界点候选66，瞳孔检测模块18可将参数曲线70拟合到经加权的瞳孔边界点候选以确定用户眼睛的估计的瞳孔区域12。以这种方式，瞳孔检测模块18可找到被表示成参数曲线70的估计的瞳孔区域12的边界。
在一些示例中，参数曲线可由等式F(x,y,P)＝0来定义，其中x和y是瞳孔边界点候选62的二维图像空间坐标，并且P是待确定的参数的集合。例如，参数P可通过随机选择瞳孔边界点候选62的子集并且将参数曲线70拟合经过那些点来确定。重复该方法，固定数量的迭代以及针对所有瞳孔边界点候选对每条曲线进行评分可产生限定估计的瞳孔区域12的瞳孔边界的近似。
在一些示例中，该方法可进行迭代。例如，随机采样一致性(RANSAC)算法可被用来根据包含离群值(outlier)的瞳孔边界点候选62的集合来估计参数P。在一些示例中，具有小误差的附加的瞳孔边界点候选也可被包括，并且最小二乘法可被用来获得更准确的模型。将理解，其他合适的迭代方法和算法同样可被使用。在一些示例中，针对所有瞳孔边界点候选62取得最高得分的参数曲线70可被用作最终结果以确定用户眼睛的估计的瞳孔区域12。
在其他示例中，得分最高的参数曲线70可被用作迭代优化算法(诸如例如Levenberg-Marquardt算法(LMA))的起始点。在这类算法中，参数P的集合可在成本函数74的最快衰减的方向上在每次迭代时被改变。所得到的参数曲线70可被用作最终结果以确定用户眼睛的估计的瞳孔区域12。
在一些示例中，参数曲线拟合过程可包括确定具有最小成本函数74的曲线的优化算法。成本函数74可使用经加权的瞳孔边界点候选66中的每一个来计算。在一些示例中，对成本函数74有贡献的元素可包括经加权的瞳孔边界点候选66与正被优化的瞬时曲线的距离。以这种方式，位于瞬时曲线上或非常靠近瞬时曲线的经加权的瞳孔边界点候选66的数量将与该曲线的成本函数74的大小成反比。
在一些示例中，对成本函数74有贡献的元素可包括经加权的边界点候选66中的每一个的权重。以这种方式，具有较高权重的经加权的瞳孔边界点候选66可更有助于成本函数74的值。作为示例，在经加权的瞳孔边界点候选66与瞬时参数曲线70的距离远的情况下，成本函数74的大小将随着经加权的瞳孔边界点候选66的权重的增加而增加。
在一些示例中，对成本函数74有贡献的元素可包括经加权的瞳孔边界点候选66中的每一个的图像空间梯度(image-space gradient)与参数曲线法线之间的差异的大小。作为示例，随着经加权的瞳孔边界点候选的图像空间梯度与经加权的瞳孔边界点候选处或附近的参数曲线的参数曲线梯度(该梯度将是垂直或接近垂直于瞳孔－虹膜边界线)之间的差异增加，成本函数74的大小将同样地增加。相应地，随着图像空间梯度与参数曲线梯度之间的差异减小，成本函数74的大小将同样地减小。
现在参考图12和13，提供了两个经加权的瞳孔边界点候选的图像空间梯度的示例。将理解，对于位于遵循或紧密逼近瞳孔－虹膜边界线的参数曲线70处或附近的经加权的瞳孔边界点候选66，这样的候选将具有指向垂直或接近垂直于瞳孔－虹膜边界线的方向的图像空间梯度。因此，随着眼睛图像的色彩空间从瞳孔－虹膜边界线处的较暗的粗略的瞳孔区域变为较亮的虹膜区域，这样的图像空间梯度将与在经加权的瞳孔边界点候选66处或附近的这样的参数曲线的梯度(其将是垂直或接近垂直于瞳孔－虹膜边界线)大致共线。
例如并且如图12中示意性所示，经加权的瞳孔边界点候选1204沿着从粗略的瞳孔区域1212的估计的中心延伸出的射线1208定位。经加权的瞳孔边界点候选1204也位于参数曲线1216上，该参数曲线1216紧密地跟踪图像的粗略的瞳孔区域1212与虹膜区域1220之间的瞳孔－虹膜边界。如图12的示例所示，经加权的瞳孔边界点候选1204的图像空间梯度1222具有从垂直于曲线1216的参数曲线梯度1224的方向偏移T度的方向。在一些示例中，这样的偏移可使成本函数增加X倍。
转到图13的示例，经加权的瞳孔边界点候选1304沿着射线1208定位并且与参数曲线1216间隔开，因此表示假肯定。闪光1308同样位于粗略的瞳孔区域1212内。在该示例中，经加权的瞳孔边界点候选1304至少部分地由于其接近闪光1308而被选择。由于近旁的高对比度闪光1308，经加权的瞳孔边界点候选1304的图像空间梯度1312具有指向该闪光的方向。因此，在该示例中，图像空间梯度1312从参数曲线梯度1224的方向被偏移Y度，其中Y显著地大于T。因此，该较大的偏移使成本函数增加Z(Z大于X)倍。
现在参考图14并且在将参数曲线1404拟合到经加权的瞳孔边界点候选66时，瞳孔检测模块18可确定用户眼睛的估计的瞳孔区域1408。
现在参考图15，提供了一副具有透明显示器的可配戴眼镜形式的HMD设备1500的一个示例。将理解，在其他示例中，HMD设备1500可以采用其他合适的形式，其中透明、半透明和/或不透明显示器被支承在观察者的一只或两只眼睛前方。还将理解，图2中所示的HMD设备218可以采用HMD设备1500(如在下文更详细地描述的)或任何其他合适的HMD设备的形式。
HMD设备1500包括显示系统1502和使得诸如全息物体之类的图像能被递送到HMD设备的佩戴者的眼睛的透视或透明显示器1504。透明显示器1504可被配置成向透过该透明显示器查看物理环境的佩戴者在视觉上增强现实世界、物理环境的外观。例如，物理环境的外观可以通过经由透明显示器1504呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建经增强的现实环境。
透明显示器1504还可被配置成使HMD设备的佩戴者能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理、现实世界对象。在一些示例中，透明显示器1504可包括位于透镜1506内的图像生成元件(诸如举例而言，透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器1504可包括在透镜1506边缘上的光调制器。在该示例中，透镜1506可用作用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于佩戴者正在查看的物理环境内的3D全息图像，同时还允许佩戴者查看物理环境中的物理对象，从而创建经增强的现实环境。
HMD设备1500还可包括各种传感器和相关系统。例如，HMD设备1500可包括眼镜跟踪系统1508，眼镜跟踪系统1508包括被配置成从佩戴者的眼睛获取视线跟踪数据形式的图像数据的一个或多个图像传感器。如果佩戴者已同意获取和使用该信息，眼镜跟踪系统1508则可使用该信息来跟踪佩戴者的眼睛的位置和/或移动。
在一个示例中，眼睛跟踪系统1508包括被配置成检测佩戴者的每一只眼睛的视线方向的视线检测子系统。该视线检测子系统可被配置成以任何合适的方式确定佩戴者的每一只眼睛的视线方向。例如，视线检测子系统可包括诸如红外光源1510之类的被配置成使得闪光从佩戴者的每一只眼睛的角膜反射的一个或多个光源。然后，一个或多个图像传感器(诸如面朝内的传感器1512)可被配置成捕捉佩戴者的眼睛的图像。
如根据收集自图像传感器的图像数据所确定的闪光和瞳孔的图像可被用来确定每一只眼睛的光轴。使用该信息，眼镜跟踪系统1508随后可确定佩戴者注视的方向。作为补充或替换，眼镜跟踪系统1508可确定佩戴者注视着哪一物理或虚拟对象。这样的视线跟踪数据随后可被提供给HMD设备1500。还将理解，眼镜跟踪系统1508可具有任意适当数量和布置的光源和图像传感器。
HMD设备1500还可包括从物理环境接收物理环境数据的传感器系统。例如，HMD设备1500还可包括使用一个或多个姿势传感器(诸如HMD设备1500上的姿势传感器1514)来捕捉头部姿势数据并从而允许佩戴者头部的位置跟踪、方向/位置以及朝向感测和/或运动检测的头部跟踪系统1516。因此，并如上所述，头部跟踪系统1514可从姿势传感器1516接收传感器数据，该姿势传感器允许在三个自由度上估计HMD设备1500的朝向或在六个自由度上估计HMD设备的位置和朝向。
在一个示例中，头部跟踪系统1514可包括被配置成三轴或三自由度的位置传感器系统的惯性测量单元(IMU)。该示例位置传感器系统可例如包括用于指示或测量HMD设备1500在3D空间内绕三个正交轴(例如，x、y和z，或翻滚、俯仰和偏航)的朝向的变化的三个陀螺仪。从IMU的传感器信号导出的定向可被用来经由透明显示器1504来显示具有主体锁定位置的一个或多个虚拟对象，其中每个虚拟对象的位置相对于透视显示器的佩戴者而言看上去是固定的，并且每个虚拟对象的位置相对于物理环境中的现实世界对象看上去是可移动的。
在另一示例中，头部跟踪系统1514可包括被配置成六轴或六自由度的位置传感器系统的IMU。该示例位置传感器系统可例如包括用于指示或测量HMD设备1500沿三个正交轴的位置变化和绕该三个正交轴的设备朝向变化的三个加速度计和三个陀螺仪。
头部跟踪系统1514还可支持其他合适的定位技术，诸如GPS或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将理解，任何其他合适的位置传感器系统可被使用。例如，头部姿势和/或移动数据可基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)等。
在一些示例中，HMD设备1500还可包括使用一个或多个面朝外的传感器(诸如HMD设备1500上的光学传感器1518)来捕捉图像数据的光学传感器系统。(多个)面朝外的传感器可检测其视野内的移动，诸如视野内的由佩戴者或由人或物理对象所执行的基于姿势的输入或其他移动。(多个)面朝外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。例如，该面朝外的传感器可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
光学传感器系统可包括经由一个或多个深度相机来生成深度跟踪数据的深度跟踪系统。在一个示例中，每个深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间解析(time-resolved)图像可与彼此配准和/或与来自另一光学传感器(诸如可见光谱相机)的图像配准，并且可被组合以产生深度解析(depth-resolved)视频。
在其他示例中，结构化光深度相机可被配置成投射结构化红外照明，并且对从照明被投射到其之上的场景所反射的该照明进行成像。可基于所成像的场景的各个区域内邻近特征之间的间隔来构造该场景的深度图。在其他示例中，深度相机可采用飞行时间(time-of-flight)深度相机的形式，其被配置成将脉冲式红外照明投射到场景上并且检测从该场景被反射的照明。例如，照明可由红外光源1520提供。将理解，在本公开的范围内可使用任何其他合适的深度相机。
(多个)面朝外的传感器可捕捉HMD设备的佩戴者位于其中的物理环境的图像。关于HMD设备1500，在一个示例中，增强现实显示增强程序可包括使用这样的捕获图像来生成对HMD设备的佩戴者周围的物理环境进行建模的虚拟环境的3D建模系统。在一些实施例中，光学传感器1518可与IMU协作以在六个自由度上确定HMD设备1500的位置和朝向。这样的位置和朝向信息可被用来经由透明显示器1504来显示具有世界锁定(world-locked)位置的一个或多个虚拟对象，其中每个虚拟对象的位置相对于通过透明显示器可见的现实世界对象而言看上去是固定的，并且每个虚拟对象的位置相对于透视显示器的佩戴者而言看上去是可移动的。
HMD设备1500还可包括麦克风系统，该麦克风系统包括捕捉音频数据的一个或多个麦克风，诸如麦克风1522。在其他示例中，音频可经由一个或多个扬声器(诸如HMD设备1500上的扬声器1524)被呈现给佩戴者。
HMD设备1500还可包括控制器，诸如控制器1526。如下文参考图17更详细地讨论的，控制器1526可包括与HMD设备1500的各种传感器和系统进行通信的逻辑子系统和存储子系统。在一个示例中，存储子系统可包括能由逻辑子系统执行以接收来自传感器的输入、确定HMD设备1500的姿势以及调整经由透明显示器1504所显示的内容的显示属性的指令。
图16A和16B例示了根据本公开的示例的用于确定用户眼睛的估计的瞳孔区域的方法1600的流程图。参考以上所描述的并在图1至15中示出的系统10的软件和硬件组件来提供方法1600的以下描述。将理解，方法1600还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图16A，在1604，方法1600可包括接收用户眼睛的图像，其中该图像包括多个像素。在1608，方法1600可包括使用多个像素的至少一个子集来生成粗略的瞳孔区域。在1612，方法1600可包括从该图像中提取一个或多个稳定的区域。在1616，方法1600可包括以线性时间来标识一个或多个最大稳定极值区域。
在1620，方法1600可包括使用一个或多个分类器将多个像素的子集中的每一个像素分类到多个分类区域中的一个。在1624(其中粗略的瞳孔区域包括一个或多个连通分量)，方法1600可包括使用对应于不同瞳孔特性的多个试探法对连通分量中的每一个进行评分。
在1628，方法1600可包括从粗略的瞳孔区域提取多个瞳孔边界点候选。现在参考图16B，在1632，方法1600可包括对于瞳孔边界点候选中的每一个，基于瞳孔边界点候选的至少两个相邻像素的颜色值对该瞳孔边界点候选进行加权以生成经加权的瞳孔边界点候选。在1636，方法1600可包括确定沿着从估计的中心延伸通过瞳孔边界点候选的射线的位于瞳孔边界点候选与粗略的瞳孔区域的估计的中心之间的多个内部像素中的每一个的颜色值。在1640，方法1600可包括确定沿着射线定位的多个外部像素中的每一个的颜色值，该多个外部像素位于与内部像素相对的瞳孔边界点候选的相对侧上。
在1644，方法1600可包括对多个内部像素的颜色值进行平均，以及对多个外部像素的颜色值进行平均。在1648，方法1600可包括根据瞳孔边界点候选的内部像素的平均颜色值和它们的外部像素的平均颜色值在二维颜色空间中对瞳孔边界点候选进行聚类。在1652，方法1600可包括基于瞳孔边界点候选中的每一个与占优群集的中心的距离对每个瞳孔边界点候选分配权重。
在1656，方法1600可包括将参数曲线拟合到经加权的瞳孔边界点候选，以确定用户眼睛的估计的瞳孔区域。在1660，方法1600可包括将使用经加权的瞳孔边界点候选中的每一个计算出的成本函数最小化。在1664，对成本函数有贡献的一个或多个元素可包括经加权的瞳孔边界点候选中的每一个的图像空间梯度与参数曲线法线之间的差异中的一个或多个，以及经加权的瞳孔边界点候选中的每一个与参数曲线的距离。
将理解，方法1600是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法1600可包括相对于图16A和16B中例示出的那些步骤而言是附加的和/或替换的步骤。并且，应当理解，方法1600可以以任何合适的顺序来执行。此外，应当理解，在不脱离本公开的范围的情况下，可以从方法1600中省略一个或多个步骤。
图17示意性地示出了可执行一个或多个上述方法和过程的计算系统1700的非限制性实施例。计算设备22可采用计算系统1700的形式或包括计算系统1700的一个或多个方面。以简化形式示出了计算系统1700。应当理解，在不脱离本公开的范围的情况下，实际上可使用任何计算机架构。在不同的实施例中，计算系统1700可采用大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
如图17所示，计算系统1700包括逻辑子系统1704、存储子系统1708、以及传感器子系统1712。计算系统1700可任选地包括显示子系统1716、通信子系统1720、输入子系统1722和/或在图17中未示出的其他子系统和组件。计算系统1700还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统1700还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器，和/或触摸屏等等。此外，在某些实施例中，本文所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统1704可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统1704可被配置成执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统1704可包括被配置成执行软件指令的一个或多个处理器。附加地或替代地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核，并且在其上执行的程序可被配置成用于并行或分布式处理。逻辑子系统可任选地包括遍布两个或更多个设备分布的独立组件，该设备可被远程定位和/或被配置成用于进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统1708可包括被配置成保持可由逻辑子系统1704执行以实现本文所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现这样的方法和过程时，存储子系统1708的状态可以被变换(例如，以保持不同的数据)。
存储子系统1708可包括可移动介质和/或内置设备。存储子系统1708可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统1708可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。
在一些实施例中，可以将逻辑子系统1704和存储子系统1708的各方面集成在一个或多个常见设备中，通过该一个或多个常见设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图17还示出以可移动计算机可读存储介质1724形式的存储子系统1708的一方面，该介质可被用来储存可执行以实现本文所述的方法和过程的数据和/或指令。可移动计算机可读存储介质1724可采用CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘等形式。
应当理解的是，存储子系统1708包括一个或多个物理持久设备。相比之下，在一些实施例中，本文中所描述的指令的各方面可通过纯信号(例如，电磁信号、光信号等)以暂态方式传播，该纯信号在至少有限持续时间内不由物理设备保持。此外，与本公开有关的数据和/或其他形式的信息可经由计算机可读通信介质通过纯信号来传播。
如上所述，传感器子系统1712可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、定向、位置等)的一个或多个传感器。传感器子系统1712例如可被配置成向逻辑子系统1704提供传感器数据。这样的数据可包括图像信息、环境光信息、深度信息、音频信息、位置信息、运动信息，用户位置信息，和/或可被用来执行上述方法和过程的任何其他合适的传感器数据。
当被包括时，显示子系统1716可被用来呈现由存储子系统1708保存的数据的视觉表示。由于以上所描述的方法和过程改变了由存储子系统1708保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统1716的状态以在视觉上表示底层数据的改变。显示子系统1716可包括使用几乎任何类型的技术的一个或多个显示设备。可将这样的显示设备与逻辑子系统1704和/或存储子系统1708组合在共享封装中，或者这样的显示设备可以是外围显示设备。
当被包括时，通信子系统1720可被配置成将计算系统1700与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统1720可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统1720可被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统1700经由诸如互联网之类的网络发送消息至其他设备和/或从其他设备接收消息。
当被包括时，输入子系统1722可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或者与它们对接。在某些实施例中，输入子系统1722可包括所选的自然用户输入(NUI)部件或者与其对接。这样的部件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
术语“模块”可被用来描述被实现来执行一个或多个特定功能的系统10的一个方面。在某些情况下，这样的模块可经由执行存储子系统1708所保持的指令的逻辑子系统1704被实例化。可以理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块。同样，可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一模块。术语“模块”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。由此，所例示的各个动作可以按所例示的顺序执行、按其他顺序执行、并行地执行，或者在某些情况下被省略。同样，上述过程的顺序可被改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (16)

1.一种用于确定用户眼睛的估计的瞳孔区域的方法，所述方法包括：
接收所述用户的眼睛的图像，所述图像包括多个像素；
使用所述多个像素的至少一个子集来生成粗略的瞳孔区域；
从所述粗略的瞳孔区域提取多个瞳孔边界点候选；
针对所述瞳孔边界点候选中的每一个，基于所述瞳孔边界点候选的至少两个相邻像素的颜色值对所述瞳孔边界点候选进行加权，以生成经加权的瞳孔边界点候选；以及
将参数曲线拟合到所述经加权的瞳孔边界点候选以确定所述用户的眼睛的所述估计的瞳孔区域；
其中基于至少两个相邻像素的颜色值对所述瞳孔边界点候选中的每一个进行加权还包括：
确定沿着从所述粗略的瞳孔区域的估计的中心延伸通过所述瞳孔边界点候选的射线的位于所述瞳孔边界点候选与所述粗略的瞳孔区域的所述估计的中心之间的多个内部像素中的每一个的颜色值；
确定沿着所述射线定位的多个外部像素中的每一个的颜色值，所述多个外部像素位于与所述内部像素相对的所述瞳孔边界点候选的相对侧上；
根据所述瞳孔边界点候选的内部像素的平均颜色值和所述瞳孔边界点候选的外部像素的平均颜色值在二维颜色空间中对所述瞳孔边界点候选进行聚类；以及
基于所述瞳孔边界点候选中的每一个与所述二维颜色空间中的占优群集的中心的距离对所述瞳孔边界点候选中的每一个分配权重。
2.根据权利要求1所述的方法，其特征在于，其中基于至少两个相邻像素的颜色值对所述瞳孔边界点候选中的每一个进行加权还包括对所述多个内部像素的颜色值进行平均，以及对所述多个外部像素的颜色值进行平均。
3.根据权利要求1所述的方法，其特征在于，其中将所述参数曲线拟合到所述经加权的瞳孔边界点候选还包括：
将使用所述经加权的瞳孔边界点候选中的每一个计算出的成本函数最小化。
4.根据权利要求3所述的方法，其特征在于，其中对所述成本函数有贡献的一个或多个元素包括所述经加权的瞳孔边界点候选中的每一个的图像空间梯度与参数曲线法线之间的差异中的一个或多个，以及所述经加权的瞳孔边界点候选中的每一个与所述参数曲线的距离。
5.根据权利要求1所述的方法，其特征在于，其中生成粗略的瞳孔区域还包括从所述图像中提取一个或多个稳定的区域。
6.根据权利要求5所述的方法，其特征在于，其中从所述图像提取一个或多个稳定的区域还包括标识一个或多个最大稳定极值区域。
7.根据权利要求1所述的方法，其特征在于，其中生成粗略的瞳孔区域还包括使用一个或多个分类器将所述多个像素的子集中的每个像素分类到多个分类区域中的一个。
8.根据权利要求1所述的方法，其特征在于，所述粗略的瞳孔区域包括一个或多个连通分量，并且所述方法还包括使用对应于不同瞳孔特性的多个试探法对所述连通分量中的每一个进行评分。
9.一种用于确定用户眼睛的估计的瞳孔区域的系统，所述系统包括：
计算设备；以及
由所述计算设备的处理器执行的瞳孔检测模块，所述瞳孔检测模块被配置成：
接收所述用户的眼睛的图像，所述图像包括多个像素；
使用所述多个像素的至少一个子集来生成粗略的瞳孔区域；
从所述粗略的瞳孔区域提取多个瞳孔边界点候选；
针对所述瞳孔边界点候选中的每一个，基于所述瞳孔边界点候选的至少两个相邻像素的颜色值对所述瞳孔边界点候选进行加权，以生成经加权的瞳孔边界点候选；以及
将参数曲线拟合到所述经加权的瞳孔边界点候选以确定所述用户的眼睛的所述估计的瞳孔区域；
其中为了基于至少两个相邻像素的颜色值来对所述瞳孔边界点候选中的每一个进行加权，所述瞳孔检测模块还被配置成：
确定沿着从所述粗略的瞳孔区域的估计的中心延伸通过所述瞳孔边界点候选的射线的位于所述瞳孔边界点候选与所述粗略的瞳孔区域的所述估计的中心之间的多个内部像素中的每一个的颜色值；
确定沿着所述射线定位的多个外部像素中的每一个的颜色值，所述多个外部像素位于与所述内部像素相对的所述瞳孔边界点候选的相对侧上；
根据所述瞳孔边界点候选的内部像素值和所述瞳孔边界点候选的外部像素值在二维颜色空间中对所述瞳孔边界点候选进行聚类；以及
基于所述瞳孔边界点候选中的每一个与所述二维颜色空间中的占优群集的中心的距离对所述瞳孔边界点候选中的每一个分配权重。
10.根据权利要求9所述的系统，其特征在于，其中为了基于至少两个相邻像素的颜色值来对所述瞳孔边界点候选中的每一个进行加权，所述瞳孔检测模块还被配置成：
对所述多个内部像素的颜色值进行平均，以及
对所述多个外部像素的颜色值进行平均。
11.根据权利要求9所述的系统，其特征在于，其中为了将所述参数曲线拟合到所述经加权的瞳孔边界点候选，所述瞳孔检测模块进一步被配置成将使用所述经加权的瞳孔边界点候选中的每一个计算出的成本函数最小化。
12.根据权利要求11所述的系统，其特征在于，其中对所述成本函数有贡献的一个或多个元素包括所述经加权的瞳孔边界点候选中的每一个的图像空间梯度与参数曲线法线之间的差异中的一个或多个，以及所述经加权的瞳孔边界点候选中的每一个与所述参数曲线的距离。
13.根据权利要求9所述的系统，其特征在于，其中为了生成粗略的瞳孔区域，所述瞳孔检测模块还被配置成从所述图像提取一个或多个稳定的区域。
14.根据权利要求13所述的系统，其特征在于，其中为了从所述图像提取一个或多个稳定的区域，所述瞳孔检测模块还被配置成标识一个或多个最大稳定极值区域。
15.根据权利要求9所述的系统，其特征在于，其中为了生成粗略的瞳孔区域，所述瞳孔检测模块还被配置成使用一个或多个分类器将所述多个像素的子集中的每个像素分类到多个分类区域中的一个。
16.一种用于确定用户眼睛的估计的瞳孔区域的方法，所述方法包括：
接收所述用户的眼睛的图像，所述图像包括多个像素；
使用所述多个像素的至少一个子集来生成粗略的瞳孔区域；
从所述粗略的瞳孔区域提取多个瞳孔边界点候选；
对所述瞳孔边界点候选中的每一个进行加权以生成经加权的瞳孔边界点候选，其中对所述瞳孔边界点候选中的每一个进行加权包括：
确定沿着从所述粗略的瞳孔区域的估计的中心延伸通过所述瞳孔边界点候选的射线的位于所述瞳孔边界点候选与所述粗略的瞳孔区域的所述估计的中心之间的多个内部像素中的每一个的颜色值；
确定沿着所述射线定位的多个外部像素中的每一个的颜色值，所述多个外部像素位于与所述内部像素相对的所述瞳孔边界点候选的相对侧上；
根据所述瞳孔边界点候选的内部像素的平均颜色值和所述瞳孔边界点候选的外部像素的平均颜色值在二维颜色空间中对所述瞳孔边界点候选进行聚类；以及
基于所述瞳孔边界点候选中的每一个与所述二维颜色空间中的占优群集的中心的距离对所述瞳孔边界点候选中的每一个分配权重；以及
将参数曲线拟合到所述经加权的瞳孔边界点候选以确定所述用户的眼睛的所述估计的瞳孔区域。
CN201580041095.4A 2014-07-24 2015-07-22 瞳孔检测 Active CN106575357B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/340,279 2014-07-24
US14/340,279 US9355315B2 (en) 2014-07-24 2014-07-24 Pupil detection
PCT/US2015/041433 WO2016014607A1 (en) 2014-07-24 2015-07-22 Pupil detection

Publications (2)

Publication Number Publication Date
CN106575357A CN106575357A (zh) 2017-04-19
CN106575357B true CN106575357B (zh) 2020-04-17

Family

ID=53783985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041095.4A Active CN106575357B (zh) 2014-07-24 2015-07-22 瞳孔检测

Country Status (5)

Country Link
US (2) US9355315B2 (zh)
EP (1) EP3172695B1 (zh)
KR (2) KR102456046B1 (zh)
CN (1) CN106575357B (zh)
WO (1) WO2016014607A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US9665172B2 (en) 2013-09-03 2017-05-30 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9851568B2 (en) 2013-09-25 2017-12-26 Logitech Europe S.A. Retinal display projection device
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
US9639951B2 (en) * 2014-10-23 2017-05-02 Khalifa University of Science, Technology & Research Object detection and tracking using depth data
US9921645B2 (en) * 2015-06-29 2018-03-20 Logitech Europe S.A. Retinal projection device and method for activating a display of a retinal projection device
JP6536324B2 (ja) * 2015-09-30 2019-07-03 富士通株式会社 視線検出システム、視線検出方法および視線検出プログラム
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10664949B2 (en) * 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning
US9996744B2 (en) * 2016-06-29 2018-06-12 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
WO2018057947A1 (en) 2016-09-22 2018-03-29 Apple, Inc. Eye and head tracking
JP2018061621A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
US10275648B2 (en) * 2017-02-08 2019-04-30 Fotonation Limited Image processing method and system for iris recognition
TW201901528A (zh) * 2017-05-22 2019-01-01 宏達國際電子股份有限公司 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
EP3638095B1 (de) * 2017-06-12 2023-06-07 Rodenstock GmbH Verfahren zum hochgenauen bestimmen eines pupillendurchmessers eines auges und eine diesbezügliche vorrichtung
US10909369B2 (en) * 2017-07-14 2021-02-02 Mitsubishi Electric Research Laboratories, Inc Imaging system and method for object detection and localization
US10474231B2 (en) 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
ES2936093T3 (es) * 2017-09-11 2023-03-14 Tobii Ab Fiabilidad de los datos de seguimiento de la mirada para el ojo izquierdo y derecho
CN111511268B (zh) 2017-11-07 2023-12-26 诺达尔视觉有限公司 视网膜成像设备和相关方法
CN111542258B (zh) 2017-11-07 2023-10-20 诺达尔视觉有限公司 用于眼科成像设备的对准的方法和系统
EP3486834A1 (en) * 2017-11-16 2019-05-22 Smart Eye AB Detection of a pose of an eye
CN109840461B (zh) * 2017-11-28 2021-05-25 武汉真元生物数据有限公司 一种基于动态虹膜图像的识别方法及装置
CN107976887B (zh) * 2017-12-18 2020-06-16 苏州大学 一种能减少再现浪费信息的计算全息三维显示方法及系统
CN108280403B (zh) 2017-12-27 2020-08-04 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置
CN112040834A (zh) 2018-02-22 2020-12-04 因诺登神经科学公司 眼球跟踪方法及系统
US10713483B2 (en) 2018-03-20 2020-07-14 Welch Allyn, Inc. Pupil edge detection in digital imaging
JP7378431B2 (ja) 2018-06-18 2023-11-13 マジック リープ， インコーポレイテッド フレーム変調機能性を伴う拡張現実ディスプレイ
WO2019246044A1 (en) * 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
CN109190548B (zh) * 2018-08-28 2021-04-20 武汉真元生物数据有限公司 基于gabor滤波的快速眼睑检测方法及系统
US10595722B1 (en) 2018-10-03 2020-03-24 Notal Vision Ltd. Automatic optical path adjustment in home OCT
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
US10951904B2 (en) 2018-12-14 2021-03-16 Apple Inc. Gaze-driven recording of video
US10653311B1 (en) 2019-06-12 2020-05-19 Notal Vision Ltd. Home OCT with automatic focus adjustment
US20230025493A1 (en) * 2019-12-24 2023-01-26 Kowa Company, Ltd. Ophthalmic image processing method, ophthalmic image processing device, and ophthalmic image processing program
US20210350550A1 (en) * 2020-05-11 2021-11-11 Nvidia Corporation Gaze estimation using one or more neural networks
KR102308190B1 (ko) * 2020-06-26 2021-10-01 이종우 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
US11900667B2 (en) * 2021-04-28 2024-02-13 International Business Machines Corporation Parametric curves based detector network
CN113729616B (zh) * 2021-09-01 2022-10-14 中国科学院上海微系统与信息技术研究所 一种瞳孔中心位置数据的确定方法、装置及存储介质
KR102667772B1 (ko) * 2021-11-30 2024-05-21 주식회사 디엔 스마트폰을 이용한 동공반응 검사방법
CN115393350B (zh) * 2022-10-26 2023-06-09 广东麦特维逊医学研究发展有限公司 虹膜定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006027627A1 (en) * 2004-09-11 2006-03-16 Univeristy Of Abertay Object tracking system
CN101266645A (zh) * 2008-01-24 2008-09-17 电子科技大学中山学院 一种基于多分辨率分析的虹膜定位方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000189403A (ja) * 1998-12-25 2000-07-11 Oki Electric Ind Co Ltd 虹彩領域抽出方法及び個体識別装置
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
KR100397750B1 (ko) * 2000-03-24 2003-09-13 김회율 홍채 인식을 위한 실시간 동공 검출 방법
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US7436986B2 (en) * 2003-03-25 2008-10-14 Bausch & Lomb Incorporated Positive patient identification
US7260251B2 (en) * 2003-03-31 2007-08-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
JP4431949B2 (ja) * 2003-10-27 2010-03-17 ノーリツ鋼機株式会社 赤目補正方法及びこの方法を実施する装置
US20050111704A1 (en) * 2003-11-24 2005-05-26 Verghis James S. Iris mapping and compatibility and personality evaluation
US7444017B2 (en) * 2004-11-10 2008-10-28 Eastman Kodak Company Detecting irises and pupils in images of humans
KR100826876B1 (ko) * 2006-09-18 2008-05-06 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
TW200816060A (en) * 2006-09-29 2008-04-01 Univ Nat Chiao Tung Iris recognition method
US7764846B2 (en) * 2006-12-12 2010-07-27 Xerox Corporation Adaptive red eye correction
DE602008002276D1 (de) 2007-04-26 2010-10-07 St Microelectronics Rousset Lokalisierungsverfahren und -vorrichtung einer menschlichen Iris in einem Bild
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
KR20120089452A (ko) * 2009-08-04 2012-08-10 아이큐 비젼 테크놀로지즈 리미티드 물체 추출 시스템 및 방법
CN102893292B (zh) * 2010-04-30 2016-02-10 诺基亚技术有限公司 用于补偿眼睛颜色缺陷的方法及装置
JP5538160B2 (ja) 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP4893862B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
KR20120135381A (ko) * 2011-06-03 2012-12-13 한국기초과학지원연구원 동공 경계 정보를 이용한 생체 인식 방법 및 이를 적용하는 장치
US9195890B2 (en) * 2012-12-10 2015-11-24 Sri International Iris biometric matching system
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006027627A1 (en) * 2004-09-11 2006-03-16 Univeristy Of Abertay Object tracking system
CN101266645A (zh) * 2008-01-24 2008-09-17 电子科技大学中山学院 一种基于多分辨率分析的虹膜定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adapting Starburst for Elliptical Iris Segmentation;Wayne J.Ryan等;《Biometrics：Theory，Applications and Systems》;20081231;第1-7页 *

Also Published As

Publication number Publication date
KR20170036764A (ko) 2017-04-03
KR102583437B1 (ko) 2023-09-26
EP3172695A1 (en) 2017-05-31
US20160259961A1 (en) 2016-09-08
US9355315B2 (en) 2016-05-31
CN106575357A (zh) 2017-04-19
WO2016014607A1 (en) 2016-01-28
US20160026847A1 (en) 2016-01-28
KR20220143171A (ko) 2022-10-24
US9773170B2 (en) 2017-09-26
KR102456046B1 (ko) 2022-10-17
EP3172695B1 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN106575357B (zh) 瞳孔检测
KR102460047B1 (ko) 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
US10248199B2 (en) Gaze detection calibration
KR102334271B1 (ko) 제스처 파라미터 튜닝
CN107004279B (zh) 自然用户界面相机校准
CN107209386B (zh) 增强现实视野对象跟随器
CN107111753B (zh) 用于注视跟踪模型的注视检测偏移
KR102283747B1 (ko) 시선 추적을 갖는 타겟 위치결정
US9348141B2 (en) Low-latency fusing of virtual and real content
CN106489171B (zh) 立体图像显示器
US20140071163A1 (en) Augmented reality information detail
US20130326364A1 (en) Position relative hologram interactions
KR20170035995A (ko) 가상 현실 환경에서 몰입된 때의 안티 트립
CN106537261A (zh) 全息键盘显示
US20180158390A1 (en) Digital image modification
US10896548B1 (en) Identity-based inclusion/exclusion in a computer generated reality experience
EP2887639A1 (en) Augmented reality information detail

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant