CN106133752B - 眼睛注视跟踪 - Google Patents

眼睛注视跟踪 Download PDF

Info

Publication number
CN106133752B
CN106133752B CN201580016687.0A CN201580016687A CN106133752B CN 106133752 B CN106133752 B CN 106133752B CN 201580016687 A CN201580016687 A CN 201580016687A CN 106133752 B CN106133752 B CN 106133752B
Authority
CN
China
Prior art keywords
eye
stable
eyeball
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580016687.0A
Other languages
English (en)
Other versions
CN106133752A (zh
Inventor
左使·K·萨里帕勒
R·R·德拉赫沙尼
维卡斯·格特木库拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jumio Inc
Original Assignee
EyeVerify Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EyeVerify Inc filed Critical EyeVerify Inc
Publication of CN106133752A publication Critical patent/CN106133752A/zh
Application granted granted Critical
Publication of CN106133752B publication Critical patent/CN106133752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供用于眼睛注视跟踪的方法及系统，其中接收至少一只眼睛的多个图像，且针对所述眼睛的每一图像，识别与所述眼睛的脉管相关联的多个稳定脉管点。基于所述接收到的所述眼睛的图像中的所述所识别的稳定脉管点，确定所述眼睛的注视角。

Description

眼睛注视跟踪
相关申请案的交叉参考
本申请案主张2014年2月25日申请且标题为“眼纹注视跟踪(Eyeprint GazeTracking)”的第61/944,438号美国临时专利申请案的优先权及权益，所述美国临时专利申请案以全文引用的方式并入本文中。
背景技术
本发明大体上涉及图像分析，且更特定来说，涉及用于实时眼睛注视跟踪的系统及方法。
眼睛跟踪是指识别眼睛的注视或移动的过程。近来，眼睛跟踪技术的可得性已导致其在各种领域中的使用激增，例如，用户接口控制、网页设计、广告宣传、汽车工程及许多其它领域。鉴于眼睛跟踪技术的当前及潜在用途的数目，眼睛跟踪技术的准确度及效率的改进对保证眼睛跟踪功能性可易于并入到各种类型的装置(例如，可穿戴式及其它移动装置)中是关键的。
发明内容
描述用于基于眼白区域上的可见脉管的位置进行眼睛注视跟踪的系统及方法。用于跟踪的数字图像可来源于作为可穿戴式计算装置或其它装置(例如，智能电话或膝上型计算机)的部分的图像传感器硬件。
一方面，一种计算机实施的方法包括：接收至少一只眼睛的多个图像；针对接收到的所述至少一只眼睛的每一图像，识别与所述至少一只眼睛的脉管相关联的多个稳定脉管点；及基于所述接收到的所述至少一只眼睛的图像中的所识别的稳定脉管点确定所述至少一只眼睛的注视角。此方面的其它实施例包含对应系统及计算机程序。
在一个实施方案中，所述方法进一步包含：提取所述所识别的稳定脉管点周围的多个特征描述符；及基于所述特征描述符及所识别的稳定脉管点创建多个模板。所述方法可进一步包含：通过将所述模板中的一或多者与一或多个注册模板匹配以确定注视角来确定所述注视角。
在另一实施方案中，所述方法进一步包含：基于所述接收到的所述眼睛的图像中的一或多者，识别一或多个稳定的眼周锚点。确定所述注视角可包含：随着时间跟踪所述所识别的稳定脉管点中的一或多者；及基于所述所识别的稳定脉管点中的一或多者相对于所述稳定的眼周锚点中的一或多者的位移确定所述注视角。特定的稳定的眼周锚点可包含眼角及/或眼球外部的其它标志物(例如，鼻梁)。
在另外实施方案中，所述方法包含：增强接收到的眼睛的特定图像中的眼白部分的对比度；及/或从接收到的眼睛的特定图像中的眼白部分移除噪声(例如，眼睫毛)。所述方法可进一步包含：基于接收到的眼睛的特定图像，确定眼睛虹膜的近似位置。
在附图及下文描述中陈述本说明书中描述的标的物的一或多个实施方案的细节。将从描述、图式及权利要求书明白标的物的其它特征、方面及优点。
附图说明
在图式中，相似的元件符号大体上是指贯穿不同视图的相似部件。此外，图式不一定是按比例的，而是通常将重点放在说明实施方案的原理上。在以下描述中，参考附图描述各种实施方案，其中：
图1是描绘根据实施方案的用于眼睛注视跟踪的系统的实例架构的图。
图2到4是描绘根据各种实施方案的用于眼睛注视跟踪的实例方法的流程图。
图5到6分别是描绘测量的左眼及右眼的注视角的图。
图7描绘对眼睛的图像执行的图像处理技术的实例结果。
具体实施方式
可使用眼白中的可见脉管的区别性特征跟踪眼睛的移动及/或确定眼睛注视(即，方向点)。举例来说，可通过多个时间实例获得个别人的眼白的图像，且分析所述图像以识别所关注的脉管点及其它眼睛特征。可使用这些特征随着时间的移动或变化以确定个别人在特定的时间点所看向的位置。
可见脉管对应于眼白中所见的脉管。眼白具有数个层。巩膜是眼睛中含有胶原蛋白及弹性纤维的大部分不透明纤维状保护层。巩膜由结膜覆盖，结膜具有特别大量的延伸通过其及越过其的血管及静脉。巩膜外层由球结膜覆盖，球结膜是透明薄膜，其与眼睑介接，或在眼睑打开时与环境介接。血管(一般来说，脉管)中的一些，尤其是球结膜及巩膜外层中的血管，是可见的，且可在眼睛的图像中被检测到。
图1说明用于眼睛注视跟踪的定位系统的一个实施方案。用户装置100包含图像传感器130、处理器140、存储器150、眼睛跟踪组件160，及系统总线，所述系统总线将包含存储器150的各种系统组件耦合到处理器140。眼睛跟踪组件160可包含硬件及/或软件模块，其对由图像传感器130捕获的图像执行操作。举例来说，眼睛跟踪组件160可处理及分析眼睛图像以识别脉管点、提取所关注点周围的特征描述符、基于脉管点及特征创建模板，及随着时间基于模板确定眼睛的移动。由眼睛跟踪组件160提供的功能性可包含用于下文进一步描述的注视跟踪的各种方法。
使用与用户装置100相关联的图像传感器130(例如，摄像机)捕获用户眼睛的图像。用户装置100可包含(例如)可穿戴式装置及/或移动装置。用户装置100的实例可包含(但不限于)智能电话、智能手表、智能眼镜、平板计算机、膝上型计算机、游戏装置、掌上计算机、便携式计算机、电视机、个人数字助理、无线装置、工作站或操作为通用计算机或可执行本文中描述的功能性的专用硬件装置的其它计算装置。
通过说明，摄像机可为数字摄像机、三维(3D)摄像机或光场传感器。在一些实施方案中，摄像机可为具有眼镜形状因子的可穿戴式装置中的面向内的模块，且所述摄像机可用于捕获眼白的图像。在一些实施方案中，可穿戴式装置上的各个位置处的多个摄像机可一起使用以捕获两只眼睛的眼白。可以静止模式或视频模式捕获图像。当用户看向左或右时，此可将较大的眼白区域暴露到虹膜的右侧或左侧以用于捕获数据，而当用户向前看向摄像机时，此可将两个较小的眼白片段提供到每只眼睛中的虹膜的左侧及右侧。在一些实施方案中，修剪所获取的图像以获得一或多只眼睛的RGB图像。因此，如本文中使用，“图像”或“捕获的图像”也都可指经修剪的眼睛的RGB图像。
非常适于基于眼睛的图像识别特征的技术可在以下专利案中找到：2013年2月5日发布且标题为“用于生物认证的纹理特征(Texture Feature for BiometricAuthentication)”的第8,369,595号美国专利案；及2014年5月9日申请且标题为“生物认证的特征提取及匹配(Feature Extraction and Matching for BiometricAuthentication)”的第14/274,385号美国专利申请案，所述美国专利案以全文引用的方式并入本文中。举例来说，图像锐化技术可有助于有效的特征检测。脉管点检测(VPD)技术可检测来自眼睛的可见脉管的所关注的点，且扩展的多半径局部二值模式的模式直方图(PH-EMR-LBP)、增强的多半径局部二值模式(EMR-LBP)、增强的多半径中心对称局部二值模式(EMR-CS-LBP)，及/或扩展的多半径中心对称局部二值模式的模式直方图(PH-EMR-CS-LBP)可有效提供脉管的所关注点周围的图像的部分的特征描述。可见脉管被围封于巩膜掩模中，其可为包含眼白且从眼睛图像排除眼白周围的图像部分的二值图像掩模。匹配技术可通过使用异常值检测改进基于距离或相关性的匹配的效率及/或精确度。并入的参考文献中描述的技术还允许创建、更新及匹配从参考图像导出的模板(其包含(例如)通常用于生物认证的注册及验证模板)。特定模板可包含一些关注点(例如，脉管点)以及对应特征描述符。
本文中描述的系统的实施方案可使用适当的硬件或软件；举例来说，系统可执行于能够运行例如Microsoft操作系统、Apple OS操作系统、Apple平台、Google AndroidTM平台、操作系统及操作系统的其它变体及类似者的操作系统的硬件上。系统可包含存储于存储器150中且执行于处理器140上的多个软件处理模块。通过说明，程序模块可呈一或多种适合的编程语言的形式，将所述编程语言转换成机器语言或目标代码以允许处理器执行指令。软件可呈以适合的编程语言或框架实施的独立应用程序的形式。
另外或替代地，可在云中或经由软件即服务远程执行一些或全部功能性。举例来说，可将某些功能(例如，图像处理、模板创建、模板匹配等等)执行于一或多个远程服务器或与用户装置100通信的其它装置上。远程功能性可执行于具有足够的存储器、数据存储装置及处理能力且运行服务器类操作系统(例如，及族操作系统)的服务器类计算机上。举例来说，服务器与用户装置之间的通信可通过媒体(例如，标准电话线、LAN或WAN链路(例如，T1、T3、56kb、X.25)、宽带连接(ISDN、帧中继、ATM)、无线链路(802.11(Wi-Fi)、蓝牙、GSM、CDMA等等))发生。预期其它通信媒体。网络可载送TCP/IP协议通信及由网页浏览器做出的HTTP/HTTPS请求，且可通过此类TCP/IP网络传达用户装置与服务器之间的连接。预期其它通信协议。
本文中描述的技术的方法步骤可由一或多个可编程处理器执行，所述一或多个可编程处理器执行一或多个计算机程序以通过对输入数据进行操作及产生输出来执行功能。也可由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行方法步骤，且可将模块实施为专用逻辑电路。模块可能是指计算机程序的部分及/或实施那种功能性的处理器/特殊电路。
适于执行计算机程序的处理器包含(通过实例)通用及专用微处理器两者。一般来说，处理器将从只读存储器或随机存取存储器或两者接收指令及数据。计算机的必要元件是用于执行指令的处理器及用于存储指令及数据的一或多个存储器装置。适于体现计算机程序指令及数据的信息载体包含全部形式的非易失性存储器，其包含(通过实例)半导体存储器装置，例如，EPROM、EEPROM，及快闪存储器装置；磁盘，例如，内部硬盘或可换磁盘；磁光盘；及CD-ROM及DVD-ROM盘。一或多个存储器可存储指令，所述指令在由处理器执行时形成本文中描述的模块及其它组件且执行与所述组件相关联的功能性。处理器及存储器可由专用逻辑电路增补或被并入专用逻辑电路中。
也可将系统实施于分布式计算环境中，其中由通过通信网络链接的远程处理装置执行任务。在分布式计算环境中，程序模块可定位于包含存储器存储装置的本地及远程计算机存储媒体两者中。也可取决于装置的容量及所需数据处理能力的量，使用除本文中描述的系统硬件及软件外的其它类型的系统硬件及软件。也可将系统实施于执行例如上文提出的虚拟化操作系统的虚拟化操作系统的一或多个虚拟机上，且所述虚拟机操作于具有例如本文中描述的硬件的硬件的一或多个计算机上。
还应注意，可提供系统及方法的实施方案作为体现于一或多个制品上或中的一或多个计算机可读程序。程序指令可编码在人工产生的传播信号(例如，机器产生的电信号、光学信号、或电磁信号)，所述信号经产生以对信息进行编码以用于发射到适合的接收器设备以用于由数据处理设备执行。计算机存储媒体可为或可包含于计算机可读存储装置、计算机可读存储衬底、随机或串行存取存储器阵列或装置、或其中一或多者的组合。此外，虽然计算机存储媒体并非传播信号，但计算机存储媒体可为编码于人工产生的传播信号中的计算程序指令的源或目的地。计算机存储媒体也可为或可包含于一或多个单独的物理组件或媒体(例如，多个CD、磁盘或其它存储装置)。
图2描绘用于眼睛注视跟踪的方法的一个实施方案。在步骤202中，眼睛跟踪组件160接收眼睛的图像。可从(例如)用户装置100的图像传感器130接收图像。图像可为彩色或灰度。在步骤206中，眼睛跟踪组件160执行计算机视觉算法以检测一或多个稳定的眼周锚点(例如，下眼睑上的点、眼角、鼻梁等等)以配准图像。举例来说，可使用模板相关或眼形检测方法实现眼角的检测。可执行图像处理算法以增强图像中眼白部分的对比度(步骤210)，及使用(例如)预定义的加博(Gabor)滤波器从眼白部分移除噪声元素(例如，眼睫毛)(步骤214)。
在步骤218中，眼睛跟踪组件160计算图像中包含虹膜的眼白部分的垂直投影。垂直投影是强度像素在灰度或彩色图像中利用巩膜及虹膜掩模中的区域的列平均。掩模可为排除图像的虹膜结构瞳孔区域及其它部分的二值掩模。图像区域在巩膜及虹膜掩模中的投影导致具有基于巩膜掩模宽度的长度的单维向量。假设信号的长度为N。在一个实施方案中，使用滑动窗技术，其中窗大小等于单维向量的长度的1/10，以计算垂直投影的平均值(M＝m1、m2、m3、…、mN)。所得信号保持高于某一阈值，且抑制信号中的平均值的剩余部分。可将阈值计算为阈值＝最大值(M)＝范围(M)。在阈值化之后估价的留存平均值中的峰值提供虹膜边缘边界的近似位置及其它信息，例如虹膜的长轴及短轴。
也可将虹膜周围的边缘边界及虹膜本身的中心用作额外辅助点，(例如)以在充足VPD点不可用时增强注视角检测。可从眼周标志物(例如眼角或眼睑下或鼻梁上的其它稳定的结构(例如，皮肤纹理))获得眼外参考点。在一个实施方案中，可配准来自所关注的用户眼周区域的图像模板，且将其存储为锚点模板。在注视跟踪期间，这些模板可经匹配以准确地恢复那些眼外参考点的位置，以便获得不考虑头部移动的注视信息。接着，可使用各种方法以识别锁存于可见脉管上的脉管关注点(步骤224)及确定跟踪注视(步骤226)。举例来说，为了识别稳定且可靠的脉管点，可使用例如脉管点检测(VPD)的关注点检测器或来自加速分段测试的特征(FAST)。
图3描绘在步骤226中确定注视的一个实施方案。眼睛跟踪组件160提取检测到的关注点周围的一或多个特征描述符(步骤302)。在一个实例中，使用的特征描述符是PH-EMR-LBP及/或PH-EMR-CS-LBP。在考虑眼白上的脉管的可见度不一致且预期环境及传感器噪声的情况下使用这些描述符。在步骤306中，针对每一注视，创建一或多个模板，其中每一模板包含关注点位置及对应局部特征。在注册过程中，要求用户在视觉提示的辅助下以各种角度注视。在一个实例中，这些视觉提示被投影在可穿戴式装置的透镜上。在每一注视处，可见眼白区域改变，从而导致可见脉管的不同图案。归因于可见脉管的信息的改变，模板或大量模板伴随每一注视。接着，可使所创建的模板与先前提出的眼周参考点的模板一起与对应的验证模板匹配以确定注视角(步骤310)。
图4描绘在步骤226中确定注视的另一实施方案。眼睛跟踪组件160随着时间跟踪使用关注点检测器识别的稳定的脉管点(步骤402)。可实时地或定期(在测量之间具有延迟)连续跟踪脉管点。在步骤406中，基于多个点(光流)相对于稳定的眼周点的位移确定注视。举例来说，可基于眼角(锚点)与一或多个稳定的脉管点之间的相对距离及角的测量来跟踪眼睛注视，如上文提及。
可使用各种技术测量眼角。在一个实施方案中，可使用拟合到由加博(Gabor)内核过滤的预处理的图像上的上眼睑及下眼睑的抛物线的交叉点估计中间眦及侧眦(内眼角及外眼角)的近似位置。在另一实施方案中，可使用以下技术改进从前述过程计算出的内角及外角的位置。在注册用户时，找出眦的(多尺度)模板(例如，使用局部二值模式(LBP)、定向LBP(OLBP)、PH-EMR-CS-LBP、或PH-EMR-LBP)。使用来自注册的眦模板通过经由多尺度滑动相关将其匹配到其注册模板而调整验证眦位点来精细调整从抛物线拟合导出的锚点的位置。可以与锚点类似的方式使用其它稳定的位置，例如，边缘边界、虹膜中心、鼻子、皮肤上的纹理等等。在其它实施方案中，可使用例如光流的方法实时跟踪这些锚点。
在一个实施方案中，可使用来自(使用(例如)FAST、VPD等等获得的)经识别的脉管点周围的局部描述符(例如，PH-EMR-LBP、PH-EMR-CS-LBP、加速稳健特征(SURF)、LBP及定向梯度直方图(HoG))的信息识别较强的脉管点。在另一实施方案中，替代边缘边界附近的单个稳定点，可使用来自所关注区域的多个稳定点基于从一或多个锚点的位移及角确定注视。
实例实施方案
校准及数据收集
在一个实施方案中，为了校准系统，将目标定位成与眼睛的视线以5度间隔。要求对象使用一只眼睛看向目标同时闭上另一只眼。据观测，左眼的运动范围是-45度到+30度(参见图5)，且右眼的运动范围是-30度到+45度(参见图6)。
使用来自iPhone 5S的处在每秒120帧(fps)的视频模式中的后置摄像头收集数据(然而，应注意，也可使用在不同fps下的视频模式中具有各种分辨率的视频摄像机)。从全帧手动地修剪眼睛区域。替代地，可训练使用Haar或似Haar滤波器的眼睛修剪方法以自动检测眼睛区域。使用基于椭圆估计的分段算法提取眼白(所关注区域(ROI))。如图7中所展示，检测到眼睫毛且使用基于加博(Gabor)的滤波方法从提取的ROI移除眼睫毛。甚至在直方图剪裁之前使用加博(Gabor)滤波器消除ROI中的噪声像素(眼睫毛)。可使用在具有可调整的波长及x及y方向上的分散度的各种定向下的一组复杂的加博(Gabor)滤波器检测ROI中的线状结构及曲线状结构。此外，可将检测到的像素分组到直方图及超出经修剪的某一阈值的值中。
关注点检测及特征提取
可使用各种点检测算法识别凸点，其潜在地识别为ROI内的脉管点邻域。一个实例是VPD算法，其是可识别ROI中的脉管结构及稳定的脉管点的图像解析算法。SURF算法是另一点检测算法，其可用于使用海塞(Hessian)矩阵的行列式识别关注点。FAST算法是另一关注点寻找器，如果预定义的像素邻域中的某一数目个连续像素比中心点亮或暗，那么寻找器将像素标记为“角”点。Harris及Stephens(HS)算法是通过将较小窗放置于其上且在不同方向上移动窗、计算局部邻域中的自动相关来找出关注点的另一角检测算法。基于前述邻域自动相关矩阵的特征值，将关注点指派为角。
在使用例如上文描述的那些点检测算法的一或多个点检测算法识别关注点之后，从每一候选点周围的ROI位置获得一组局部图像描述符。可使用多种算法产生这些局部图像分块描述符。HoG是一种此类算法，其计算定向梯度直方图。SURF根据尺度不变特征变换(SIFT)描述符建立，但具有比使用哈尔(Haar)小波及积分图像更好的计算效率。局部二值模式(LBP)及定向局部二值模式(DLBP)是两种其它二值图像特征提取器。在一个实施方案中，将LBP直方图(HLBP)及DLBP直方图(HDLBP)用作下文进一步详细描述的特征提取器算法。可使用其它特征描述符算法或此类算法的组合以在ROI的关注点周围产生图像描述符。
可如下计算关注点周围的LBP描述符。假定当前关注点在像素位置(x0,y0)处。比较中心点的中间8个邻域(x0,y0),{(xi,yi)},i＝1,2,...,8的强度值与中心点的强度值，且将结果(0或1)存储于Ki中。最终，给定(x0,y0)的LBP8(8位码)为
在一个实施方案中，可针对LBP8的外方中的像素重复相同过程，从而针对给定的相同关注点创建16位(两字节)LBP16码。因此，针对每一关注点，产生总共三个字节的LBP码。针对(x0,y0)的5x5像素邻域重复过程，从而在给定中心点周围产生总共5x5＝25次的以上LBP8(一个字节)+LBP16(两字节)计算的重复，从而针对例如(x0,y0)的每一关注点产生3x25＝75字节二值描述符。
如上文提及，DLBP类似于LBP，然而，每一成对像素比较的参考点是所关注中心点的8或16个邻域中的斜对角的像素，而非中心点的强度值，从而导致与LBP特征相比的一半位数。LBP及DLBP描述符两者都是二进制数。
如上文提及，使用围绕关注点定义的某一大小(以像素计)的邻域计算HoG。将那个邻域划分成预定义数目个子区域，在所述子区域内创建某些角的边缘定向的直方图，且将其统一用作那个关注点的局部描述符。这些基于直方图的描述符是实数向量。在一个实施方案中，大小为4x4像素的邻域平铺成具有分选成6个(各自30度间隔开)的定向直方图的2x2子区域，且将其用作特征描述符。在一个实施方案中，可将平铺成具有分选成6个频格(各自30度间隔开)的定向直方图的3x3子区域的大小为4x4像素的邻域用作特征描述符。
如上文提及，使用关注点周围的某一大小(以像素计)的邻域计算HLBP描述符，其类似于HoG。将那个邻域划分成预定义数目个子区域，在所述子区域内，按上述那样创建LBP码。然后，为了创建直方图，产生每一位位置出现的计数。这些LBP码直方图的级联创建HLBP特征。这些描述符是实数向量。大小为mxm(m＝4、5、…、11)像素的邻域平铺成nxn(n＝2、3、…、7)个重叠子区域(平铺块)，其中每一LBP位位置的出现直方图用作特征描述符。
在一个实施方案中，大小为9x9像素的邻域(已产生其LBP8及LBP16码)平铺成十六个3x3子区域，各自具有一个像素重叠。将LBP8及LBP16的每一子区域的字符串转换成无符号的长度为9的8位数字。将这些无符号8位数字转换成无符号的16位数字字符串，且计算每一位位置的另外出现直方图(递送长度为16位的向量)。最终，每一子区域将具有来自LBP8及LBP16的经级联以使用16个子区域递送512的最终HLBP长度的长度为16的两个向量。
使用关注点周围的某一大小(以像素计)的邻域计算PH-EMR-LBP描述符。针对邻域中的每一像素，跨多个半径(例如，在3x3及5x5块中)计算LBP，且将其级联以获得单个特征(EMR-LBP)。将定义的邻域进一步划分成重叠的子区域。计算每一位位置在子区域内的出现次数以产生直方图。将这些EMP-LBP码直方图跨越全部子区域的级联定义为PH-EMR-LBP特征。
在关注点周围的固定邻域中计算PH-EMR-CS-LBP。最初，在此实施方案中，每一成对像素比较的参考点包含所关注点的中心的8像素或16像素邻域中的斜对角像素，而非中心点的强度值，从而导致与EMR-LBP特征(EMR-CS-LBP)相比的一半位数。然后，将定义的邻域划分成预定义数目个重叠子区域。产生每一位位置在子区域内的出现计数。这些EMR-CS-LBP码直方图的级联可提供PH-EMR-CS-LBP特征。
在一些实施方案中，可从如上文描述的单个特征描述符算法或多个不同特征描述符算法导出关注点周围的图像分块的特征描述符。在其它实施方案中，可在多个图像尺度下导出候选点周围的特征描述符(多尺度特征提取)。举例来说，可使用三级高斯图像金字塔检测关注点及其对应的局部图像描述符。
模板匹配
模板匹配是找出用户的(一或多个)保存注册模板与(一或多个)验证模板之间的相似性的过程。如果验证模板与注册模板的相似性(表达为匹配分值)超过阈值，那么验证成功；否则，验证失败。计算二值描述符(快速视网膜关键点(FREAK)、DLBP、LBP)的汉明(Hamming)距离(越小越好)，以便找出注册模板与验证模板之间的最匹配的点对。对于实数值的描述符向量，可比较注册模板的SURF、HoG、PH-EMR-LBP，及/或PH-EMR-CS-LBP描述符之间的欧几里德(Euclidean)距离、曼哈顿(Manhattan)距离、相关距离、或马氏(Mahalanobis)距离与验证模板相应的SURF、HoG、PH-EMR-LBP，及/或PH-EMR-CS-LBP描述符，以确定其是否满足给定阈值。预期其它距离测量。接着，可基于与针对部分或全部注视方向存储的模板的所获得的最高匹配分值确定注视。
本文中运用的术语及表达式用作描述的术语及表达式且不具限制性，且在使用此类术语及表达式时，不希望排除所展示及描述的特征或其部分的任何等效物。另外，在已在本发明中描述某些实施方案的情况下，所属领域的一般技术人员应明白，可在不背离本发明的精神及范围的情况下，使用并入本文中揭示的概念的其它实施方案。可以各种组合及排列布置各种实施方案的特征及功能，且认为所述全部者均在揭示的发明的范围内。因此，应在所有方面将描述的实施方案视为说明性且非限制性的。本文中描述的配置、材料及尺寸也希望为说明性的且完全不具限制性。类似地，尽管出于解释目的已提供物理解释，但不希望由任何特定理论或机构界定，或根据其限制权利要求书。

Claims (18)

1.一种计算机实施的方法，其包括：
引导用户在多个定义的角度中注视；
对于所述多个定义的角度中的每一角度，创建至少一个注册模板，所述至少一个注册模板包含眼睛脉管关注点位置及对应的局部特征；
接收所述用户的至少一只眼睛的至少一个图像；
对于接收到的所述至少一只眼睛的所述至少一个图像，识别与所述至少一只眼睛的脉管相关联的多个稳定的脉管点；
基于所述多个稳定的脉管点而创建至少一个验证模板；及
基于所述至少一个验证模板与所述注册模板中的至少一者匹配而确定所述至少一只眼睛的注视角。
2.根据权利要求1所述的方法，其进一步包括：
提取所识别的稳定的脉管点周围的多个特征描述符，其中创建所述至少一个验证模板包括基于所述特征描述符及所识别的稳定的脉管点创建多个模板。
3.根据权利要求1所述的方法，其进一步包括：基于所述接收到的所述至少一只眼睛的所述至少一个图像识别一或多个稳定的眼周锚点。
4.根据权利要求3所述的方法，其进一步包括：
随着时间跟踪所识别的稳定的脉管点中的一或多者；及
基于所识别的稳定的脉管点中的一或多者相对于所述稳定的眼周锚点中的一或多者的位移确定所述至少一只眼睛的注视角。
5.根据权利要求4所述的方法，其中特定的稳定的眼周锚点包括所述至少一只眼睛的眼角。
6.根据权利要求4所述的方法，其中所识别的稳定的脉管点包括左眼及右眼上的稳定的脉管点，且其中所述稳定的眼周锚点包括相对于所述左眼及所述右眼的稳定眼周锚点。
7.根据权利要求1所述的方法，其进一步包括：
增强接收到的所述至少一只眼睛的特定图像中所述至少一只眼睛的眼白部分的对比度；及
从接收到的所述至少一只眼睛的特定图像中的所述至少一只眼睛的眼白部分移除噪声。
8.根据权利要求7所述的方法，其中所述噪声包括眼睫毛。
9.根据权利要求1所述的方法，其进一步包括：基于接收到的所述至少一只眼睛的特定图像确定所述至少一只眼睛的虹膜的近似位置。
10.一种用于眼睛注视跟踪的系统，其包括：
一或多个计算机，其经编程以执行包括以下各者的操作：
引导用户在多个定义的角度中注视；
对于所述多个定义的角度中的每一角度，创建至少一个注册模板，所述至少一个注册模板包含眼睛脉管关注点位置及对应的局部特征；
接收所述用户的至少一只眼睛的至少一个图像；
对于接收到的所述至少一只眼睛的所述至少一个图像，识别与所述至少一只眼睛的脉管相关联的多个稳定的脉管点；
基于所述多个稳定的脉管点而创建至少一个验证模板；及
基于所述至少一个验证模板与所述注册模板中的至少一者匹配而确定所述至少一只眼睛的注视角。
11.根据权利要求10所述的系统，其中所述操作进一步包括：
提取经识别的稳定的脉管点周围的多个特征描述符，其中创建所述至少一个验证模板包括基于所述特征描述符及所识别的稳定的脉管点创建多个模板。
12.根据权利要求10所述的系统，其中所述操作进一步包括：基于所述接收到的所述至少一只眼睛的图像中的一或多者识别一或多个稳定的眼周锚点。
13.根据权利要求12所述的系统，其中所述操作进一步包括：
随着时间跟踪所识别的稳定的脉管点中的一或多者；及
基于所识别的稳定的脉管点中的一或多者相对于所述稳定的眼周锚点中的一或多者的位移确定所述至少一只眼睛的注视角。
14.根据权利要求13所述的系统，其中特定的稳定的眼周锚点包括所述至少一只眼睛的眼角。
15.根据权利要求13所述的系统，其中所识别的稳定的脉管点包括左眼及右眼上的稳定的脉管点，且其中所述稳定的眼周锚点包括相对于所述左眼及所述右眼的稳定眼周锚点。
16.根据权利要求10所述的系统，其中所述操作进一步包括：
增强接收到的所述至少一只眼睛的特定图像中所述至少一只眼睛的眼白部分的对比度；及
从接收到的所述至少一只眼睛的特定图像中的所述至少一只眼睛的眼白部分移除噪声。
17.根据权利要求16所述的系统，其中所述噪声包括眼睫毛。
18.根据权利要求10所述的系统，其中所述操作进一步包括：基于接收到的所述至少一只眼睛的特定图像确定所述至少一只眼睛的虹膜的近似位置。
CN201580016687.0A 2014-02-25 2015-02-25 眼睛注视跟踪 Active CN106133752B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461944438P 2014-02-25 2014-02-25
US61/944,438 2014-02-25
PCT/US2015/017604 WO2015130849A1 (en) 2014-02-25 2015-02-25 Eye gaze tracking

Publications (2)

Publication Number Publication Date
CN106133752A CN106133752A (zh) 2016-11-16
CN106133752B true CN106133752B (zh) 2019-08-30

Family

ID=52669667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580016687.0A Active CN106133752B (zh) 2014-02-25 2015-02-25 眼睛注视跟踪

Country Status (8)

Country Link
US (1) US9939893B2 (zh)
EP (1) EP3111421A1 (zh)
JP (1) JP6329635B2 (zh)
KR (1) KR101950562B1 (zh)
CN (1) CN106133752B (zh)
BR (1) BR112016019529B1 (zh)
MY (1) MY180872A (zh)
WO (1) WO2015130849A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529428B1 (en) * 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
BR112018004755A2 (pt) * 2015-09-11 2018-09-25 EyeVerify Inc. qualidade de imagem e característica, melhoria de imagem e extração de característica para reconhecimento ocular-vascular e facial e fusão de informação ocular-vascular e/ou subfacial para sistemas biométricos
US10445606B2 (en) * 2015-10-08 2019-10-15 Microsoft Technology Licensing, Llc Iris recognition
CN105577886A (zh) * 2015-12-16 2016-05-11 努比亚技术有限公司 移动终端解锁装置及方法
JP2017151556A (ja) * 2016-02-22 2017-08-31 富士通株式会社 電子機器、認証方法および認証プログラム
KR102556320B1 (ko) 2016-03-04 2023-07-14 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
CN113589529A (zh) 2016-03-25 2021-11-02 奇跃公司 虚拟和增强现实系统和方法
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
EP3465536A1 (en) 2016-05-27 2019-04-10 Jeff B. Pelz System and method for eye tracking
CN109478334B (zh) * 2016-07-20 2021-04-20 富士胶片株式会社 关注位置识别装置、摄像装置、显示装置、关注位置识别方法及非暂时性有形介质
WO2018067357A2 (en) 2016-10-05 2018-04-12 Magic Leap, Inc. Periocular test for mixed reality calibration
CN106990839B (zh) * 2017-03-21 2020-06-05 张文庆 一种眼球识别多媒体播放器及其实现方法
CN107862673B (zh) * 2017-10-31 2021-08-24 北京小米移动软件有限公司 图像处理方法及装置
US20210264618A1 (en) 2018-06-12 2021-08-26 University Of Tsukuba Eye movement measurement device, eye movement measurement method, and eye movement measurement program
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
TWI685772B (zh) * 2018-11-23 2020-02-21 國立臺灣大學 取得眼球追蹤位置的影像運算方法和其系統
CN110969084B (zh) * 2019-10-29 2021-03-05 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN112883767B (zh) * 2019-11-29 2024-03-12 Oppo广东移动通信有限公司 眼跳图像的处理方法及相关产品
KR102396519B1 (ko) 2020-08-18 2022-05-11 고려대학교 산학협력단 Mri 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법, 이를 수행하기 위한 기록 매체 및 장치
CN116507267A (zh) * 2020-09-22 2023-07-28 苹果公司 用于视网膜眼睛跟踪的多个注视相关照明源
WO2023133072A2 (en) 2022-01-07 2023-07-13 Jumio Corporation Biometric authentication using head-mounted devices
CN115984952B (zh) * 2023-03-20 2023-11-24 杭州叶蓁科技有限公司 基于球结膜血管图像识别的眼动跟踪系统及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774207A (zh) * 2003-04-11 2006-05-17 博士伦公司 用于获取数据以及对准和跟踪眼睛的系统和方法
JP2008099716A (ja) * 2006-10-17 2008-05-01 Tokyo Institute Of Technology 眼球運動計測装置
CN101523895A (zh) * 2006-10-02 2009-09-02 索尼爱立信移动通讯有限公司 通过注视方向选择对焦区域
CN101861118A (zh) * 2007-11-16 2010-10-13 视瑞尔技术公司 用于发现和跟踪双眼的方法和装置
CN201767950U (zh) * 2009-10-22 2011-03-23 哈尔滨理工大学 球结膜微循环生物信息采集用眼球固定器
CN102245085A (zh) * 2008-10-14 2011-11-16 俄亥俄大学 利用眼跟踪的认知和语言评估

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002361210A1 (en) * 2001-12-21 2003-07-09 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
US20040196399A1 (en) * 2003-04-01 2004-10-07 Stavely Donald J. Device incorporating retina tracking
WO2013125707A1 (ja) * 2012-02-24 2013-08-29 国立大学法人筑波大学 眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラム
US8369595B1 (en) 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774207A (zh) * 2003-04-11 2006-05-17 博士伦公司 用于获取数据以及对准和跟踪眼睛的系统和方法
CN101692979A (zh) * 2003-04-11 2010-04-14 博士伦公司 用于获取数据以及对准和跟踪眼睛的系统和方法
CN101523895A (zh) * 2006-10-02 2009-09-02 索尼爱立信移动通讯有限公司 通过注视方向选择对焦区域
JP2008099716A (ja) * 2006-10-17 2008-05-01 Tokyo Institute Of Technology 眼球運動計測装置
CN101861118A (zh) * 2007-11-16 2010-10-13 视瑞尔技术公司 用于发现和跟踪双眼的方法和装置
CN102245085A (zh) * 2008-10-14 2011-11-16 俄亥俄大学 利用眼跟踪的认知和语言评估
CN201767950U (zh) * 2009-10-22 2011-03-23 哈尔滨理工大学 球结膜微循环生物信息采集用眼球固定器

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Adaptive Object Tracking for Improved Gaze Estimation Based on Fusion of Starburst Algorithm and Natural Features Tracking;Peter Bazanov;《9TH CONFERENCE OF OPEN INNOVATIONS COMMUNITY FRUCT》;20111231;全文
An Algorithm to Detect a Center of Pupil for Extraction of Point of Gaze;S. I. Kim et al.;《《Proceedings of the 26th Annual International Conference of the IEEE EMBS》》;20040905;第II节、图4
Aydın Kaya1 et al..Designing A Pattern Stabilization Method Using Scleral Blood Vessels For Laser Eye Surgery.《IEEE》.2010,
Gaze estimation for near-eye display based on fusion of starburst algorithm and fern natural features;Peter Bazanov et al.;《Fruct Org》;20111231;第2.2节、图2
Subpixel Eye Gaze Tracking;Jie Zhu et al.;《IEEE》;20021231;第2.3节
一种可克服头动影响的视线跟踪系统;秦华标 等;《电子学报》;20131231;第41卷(第12期);摘要、第5.2节

Also Published As

Publication number Publication date
MY180872A (en) 2020-12-10
BR112016019529A8 (pt) 2022-12-13
US9939893B2 (en) 2018-04-10
US20150241967A1 (en) 2015-08-27
BR112016019529B1 (pt) 2023-03-07
WO2015130849A1 (en) 2015-09-03
BR112016019529A2 (zh) 2017-08-15
JP2017515182A (ja) 2017-06-08
KR20160124870A (ko) 2016-10-28
KR101950562B1 (ko) 2019-02-20
CN106133752A (zh) 2016-11-16
EP3111421A1 (en) 2017-01-04
JP6329635B2 (ja) 2018-05-23

Similar Documents

Publication Publication Date Title
CN106133752B (zh) 眼睛注视跟踪
CN107438854B (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法
KR20190094352A (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
CN105426843B (zh) 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法
JP2012155391A (ja) 姿勢状態推定装置および姿勢状態推定方法
Choi et al. Accurate eye pupil localization using heterogeneous CNN models
Choi et al. Eye pupil localization algorithm using convolutional neural networks
Donida Labati et al. A scheme for fingerphoto recognition in smartphones
Matveev et al. Detecting precise iris boundaries by circular shortest path method
JP5134655B2 (ja) 個人認証システム、個人認証装置、及び血管画像撮影装置
Bashir et al. Video surveillance for biometrics: long-range multi-biometric system
Ponz et al. Topography-based detection of the iris centre using multiple-resolution images
JP5789691B2 (ja) 個人認証装置、及び血管画像撮影装置
Kerdvibulvech Hybrid model of human hand motion for cybernetics application
JP2012128868A (ja) 特徴画像撮影装置、及び個人認証装置
JP6082766B2 (ja) 血管画像撮影装置
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)
JP5752175B2 (ja) 血管画像撮影装置
Lau et al. An energy function for facial feature extraction
JP4961492B2 (ja) 個人認証装置及び方法
JP4603609B2 (ja) 個人認証装置
JP4603610B2 (ja) 入退室管理システム
Beauchemin et al. COBVIS-D: A computer vision system for describing the cephalo-ocular behavior of drivers in a driving simulator
Matveev et al. Refining eye pupil border by circular shortest path method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1228074

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230113

Address after: California, USA

Patentee after: JUMIO Inc.

Address before: Missouri, USA

Patentee before: EYEVERIFY