CN106462236A - 在眼睛追踪中处理眩光 - Google Patents

在眼睛追踪中处理眩光 Download PDF

Info

Publication number
CN106462236A
CN106462236A CN201580023544.2A CN201580023544A CN106462236A CN 106462236 A CN106462236 A CN 106462236A CN 201580023544 A CN201580023544 A CN 201580023544A CN 106462236 A CN106462236 A CN 106462236A
Authority
CN
China
Prior art keywords
light source
light
eye
image
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580023544.2A
Other languages
English (en)
Other versions
CN106462236B (zh
Inventor
M·阿格拉瓦尔
V·图克拉尔
I·埃登
D·尼斯特
S·斯瓦米纳桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201910413521.2A priority Critical patent/CN110266916B/zh
Publication of CN106462236A publication Critical patent/CN106462236A/zh
Application granted granted Critical
Publication of CN106462236B publication Critical patent/CN106462236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了用于眼睛追踪系统和方法的实施例。示例眼睛追踪系统包括多个光源以及被配置为捕获来自光源的从眼睛反射的光的图像的相机。眼睛追踪系统还包括逻辑设备和存储设备，所述存储设备存储可以由逻辑设备执行以通过以下方式来获得眼睛追踪数据的帧的指令：迭代地投射来自多个光源的光源的不同组合的光，并且在每个组合的投射期间捕获眼睛的图像。所述指令可以进一步可执行以基于对在图像中所检测到的遮挡的确定来选择用于眼睛追踪的经选择的光源的组合，并且经由用于眼睛追踪的经选择的光源的组合来投射光，其中所述遮挡是由位于眼睛和相机之间的透明或半透明的光学结构而产生的。

Description

在眼睛追踪中处理眩光
背景技术
用户可以使用多种输入机制来与计算系统接合。例如，可以利用眼睛视线(gaze)追踪来与图形用户界面进行交互，其中，用户视线与图形用户界面相交的所确定的位置可以用作位置信号以用于与用户界面进行交互。视线追踪技术可以采用一个或多个光源来将光投射到眼睛上，并且采用一个或多个相机来捕获从眼睛反射的所投射的光的闪光的图像。可以利用图像中的闪光和/或瞳孔的位置来确定指示视线方向的瞳孔位置。
发明内容
公开了有关在存在眩光源的情况下执行眼睛视线追踪的实施例，所述眩光源例如位于眼睛追踪相机与被追踪的眼睛之间的眼镜。例如，在一个实施例中，示例眼睛追踪系统包括多个光源以及被配置为捕获从眼睛反射的来自光源的光的图像的相机。眼睛追踪系统还包括逻辑设备和存储设备，所述存储设备存储可以由逻辑设备执行以通过以下方式来获得眼睛追踪数据的帧的指令：迭代地投射来自多个光源的光源的不同组合的光，并且在对每个组合的投射期间捕获眼睛的图像。所述指令可以进一步可执行以基于对在图像中所检测到的遮挡(occlusion)的确定来选择用于眼睛追踪的经选择的光源的组合，并且经由用于眼睛追踪的所选择的光源的组合来投射光，其中所述遮挡是由位于眼睛和相机之间的透明或半透明的光学结构而产生的。
提供了该发明内容以用简化的形式介绍在以下的具体实施方式中所进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在该公开的任何部分中所述的任何或全部缺点的实现。
附图说明
图1示出了示例眼睛追踪环境的实施例。
图2是描绘了对眼睛追踪系统中的光源进行排序的方法的实施例的流程图。
图3是描绘了对来自眼睛追踪系统的图像中的反射进行分类的方法的实施例的流程图。
图4示出了根据本公开的实施例的由眼睛追踪系统所捕获的示例图像。
图5示出了根据本公开的实施例的由眼睛追踪系统所捕获的图像的示例，其中该图像被处理以识别图像的饱和区域。
图6A和6B示出了根据本公开的实施例的针对眼睛追踪系统的示例光源布置的两个视图。
图7是计算系统的实施例的框图。
图8示出了根据本公开的实施例的光源的示例序列。
具体实施方式
在眼睛追踪系统中，相机和/或光源可以位于与用户的眼睛和/或头部分隔的位置。因此，在相机/光源与眼睛之间可以存在诸如眼镜之类的对象，该对象可能产生对由光源投射的光的额外的反射。这些反射可能在图像中表现为眩光，并且可能遮挡闪光和/或瞳孔中的一个或多个。因此，这样的眩光可能干扰眼睛追踪。
由于这样的眩光和其他伪反射对眼睛追踪闪光的遮挡可以随着用户相对于闪光光源和相机的位置和/或朝向而变化，因此不同的光源配置以及不同类型和/或厚度的眼镜可以产生不同的眩光位置。因此，公开了有关投射不同配置的光源以帮助识别这样一种光源配置的实施例，该光源配置允许执行眼睛追踪而没有来自由眼镜等引起的眩光的对眼睛闪光的不可接受的遮挡。
图1示出了示例眼睛追踪环境100，其中，用户在戴眼镜106的同时查看计算设备104。计算设备104被描绘为平板计算机，但应当理解的是，任何其他合适的计算设备都可以利用眼睛追踪。示例包括但不限于：智能电话、膝上型计算机、个人计算机、电视、以及可穿戴计算设备(例如，头戴式显示设备)。
计算设备104包括眼睛追踪系统，该眼睛追踪系统包括多个光源108以及相机110。光源108可以包括例如多个发光二极管(LEDS)、和/或其他合适的发光设备。在一些实施例中，光源108可以发射红外光、可见光、或者可见光与红外光的组合(例如，光源108的一个子集可以投射红外光，而光源108的另一个子集可以投射可见光)。相机110可以包括任何合适的成像设备，包括但不限于深度相机、RGB(彩色成像)相机、灰度相机、立体相机对、和/或任何其他合适的相机或相机的组合。应当理解的是，可以将光源、相机、和/或眼睛追踪系统的任何其他元件中的一个或多个元件集成在单个计算设备内、与计算设备分离地封装、或者以任何其组合来布置。
如在图1中由虚线所示，每个光源108都可以朝着用户102的眼睛发出光。相机110可以捕获用户102的眼睛的图像，该图像包括从光源108投射的光从眼睛的反射。可以基于来自相机110的图像中的所投射的光的反射相对于用户的眼睛的瞳孔(或者虹膜或其他合适的眼睛结构)的位置来确定视线的方向。这可以允许从眼睛投射视线，以使得可以确定所投射的视线与用户界面或真实世界对象相交的位置。这可以允许用户经由视线与计算设备进行交互。此外，视线位置随着时间的变化可以用作针对计算设备的手势输入。
图2示出了描绘了用于追踪眼睛移动的方法200的实施例的流程图，当在用户的眼睛与光源/相机之间存在眼镜或其它这样的结构时，该方法可以有助于实现鲁棒的眼睛追踪性能。可以由计算设备(例如，图1中的计算设备104)中的眼睛追踪系统来执行方法200。
在202处，方法200包括获取眼睛追踪数据。如上所述，可以通过朝着用户的眼睛发出光(例如，红外光)并捕获从用户眼睛反射的光的图像来执行眼睛追踪。然而，由于光也可以从眼镜或者光源与用户的眼睛之间的其他透明或半透明光学结构反射，因此可能会出现遮挡来自用户眼睛的光的反射的眩光。
因此，如在204处所指示的，方法200可以包括迭代地投射来自光源的不同组合的光，并且在206处，在光源的每个不同组合的投射期间捕获眼睛的图像，如在206处所指示的。这些过程可以包含，例如，投射来自在不同组合中的不同数量的光源的光、和/或投射来自具有不同位置/朝向的光源的光。作为更加具体的示例，图8示意性地示出了包括四个光源802a-802d的眼睛追踪系统，其中照明光源由表示光源的框内的斜线示出。迭代地投射来自光源的不同组合的光可以包括投射来自所有光源的光(如在时间T1处所示)；并且接着投射来自三个光源的不同组合的光(如在时间T2、T3、T4、和T5处所示)；并且接着投射来自两个光源的不同组合的光(如在时间T6和T7处所示)或者投射仅仅一个光源的光(未在图中示出)。应当理解的是，可以以任何合适的顺序来执行光源投射的这样的循环。例如，在需要最精确的视线追踪的情况下，可以在尝试具有更少数量的光源的组合之前尝试具有更多数量的照明光源的组合，而在需要省电的情况下、或者在玻璃表面趋向于产生更多的眩光的情况下，可以在尝试具有更多数量的光源的组合之前尝试那些具有更少数量的光源的组合。
此外，在一些实施例中，可以基于头部/HMD位置和/或光源的朝向/位置而可选地选择进行投射光源的组合的顺序。例如，可以知道当头部位于给定的角度时，特定数量和/或图案(pattern)的光源可以产生较少的遮挡。通过基于上述信息来选择下一组合，可以以智能的方式来迭代地循环光源的不同组合，以增加可以在早期的迭代中利用的光源的合适的组合的可能性，从而减少对光源的不同组合进行循环所花费的时间量。通过该方式，眼睛追踪系统可以估计光源的哪个组合将产生最低量的遮挡，并且以基于该估计的顺序来迭代地投射来自光源的不同组合的光。应当理解的是，在其他实施例中，可以基于图像中的遮挡的量来选择光源的组合，如在下文中所描述的。
在210处，方法200包括针对每个经测试的光源来确定在图像中是否存在不可接受的遮挡，以及在212处选择光源的组合以用于执行眼睛追踪。如在214处所指示的，可以基于在图像中所检测到的遮挡的量来选择光源的组合。在一些实施例中，在识别并选择了合适的组合之后，可以停止对每个组合的迭代测试，而在其他实施例中，在选择一个组合之前可能测试了一整组组合。作为对每个组合进行测试的一部分，对于给定的光源配置，眩光可以与它们的对应的闪光相匹配，或者可以获得眩光与瞳孔或闪光之间的遮挡度量。在高遮挡(例如，遮挡超过阈值)的情况下，可以从序列中选择下一个光源配置。接着可以重复该过程直到获得具有高置信度分数的未遮挡或部分遮挡的瞳孔闪光。接着可以跨未来的帧而利用该配置直到检测到下一个遮挡为止，此时再次循环通过这些配置直到再次确定合适的光源配置为止。
方法200还包括：在216处，经由光源的经选择的组合来投射光，以及在218处，通过检测来自光源的从眼睛反射的光来追踪一个或多个眼睛的视线位置。此外，在220处，方法200包括响应于眼睛追踪而执行动作。可以使用眼睛追踪来执行任何合适的动作。例如，可以利用眼睛追踪来检测眼睛姿态以检测针对图形用户界面的位置信号等。
以任何合适的方式来确定对由眩光造成的眼睛闪光反射的不可接受的遮挡的量。图3示出了描绘了方法300的示例实施例的流程图，该方法300用于对由眼睛追踪系统的相机所捕获的图像中的反射和/或眩光或其他干扰进行分类。应当理解的是，可以由被配置为处理眼睛追踪系统中的图像的计算设备(例如，图1的计算设备104)来执行方法300。
在302处，方法300包括从相机接收图像数据。相机可以被集成在计算设备中或者相对于计算设备外部地/远程地放置。在304处，方法300还包括在所接收的图像中检测饱和区域。例如，可以分析图像以确定图像中具有高于阈值的饱和度值的像素。
由于眩光可以是由来自眼镜或其他平滑结构的镜面反射所引起的，因此眩光可以具有类似于光源本身的强度分布的高度饱和的核心。因此，由从在眼睛追踪系统中所使用的光源投射的光所形成的眩光可以在中心处具有高强度的图案，其在远离中心时该图案突然消失(dissipate)，这有时会导致闪耀(flare)的出现。根据这样的特性，由从光源投射的反射所形成的眩光可以区别于从用户的眼睛的光的反射并且区别于由于环境中的其他IR源的存在而引起的其他漫反射。
图4示出了对由眼睛追踪系统的相机所捕获的图像400的示例描绘，并且示出了佩戴眼镜404的用户402的视图。可以由眼镜404以及用户402的眼睛406的瞳孔来反射眼睛追踪系统的光源(以及环境光源)的光。来自眼镜404的这种反射可以产生眩光408，而来自眼睛的反射可以产生闪光410，所述闪光由眼睛406的瞳孔区域中的4个均匀间隔的点所示出。当闪光410表现为小的、大体为圆形的点时，眩光408可以具有喇叭形(flared)、星形的形状。
回到图3，方法300可以包括识别并选择图像的饱和的像素，以及如在306处所指示的执行对图像的饱和像素的前景距离变换，以使得前景距离变换后的像素强度是到反射的边界的距离的函数。这可以有助于基于饱和区域的大小和/或该饱和区域的轮廓来提供对眩光候选者的轮廓的指示。例如，大于阈值大小的饱和区域可以被认为是眩光候选者，而小于阈值大小的饱和区域可以不被认为是眩光候选者。
在308处，方法300包括例如通过移除具有低于距离阈值的距离值的轮廓来移除图像中的噪声。通过该方式，可以对眩光/眩光候选者的喇叭形轮廓进行平滑。此外，在310处，方法300包括确定每个剩余的饱和区域的边界框(例如，在308处所确定的眩光/眩光候选者的核心)。如在312处所指示的，边界框的大小可以被选择为具有使得该框能够包括饱和像素的阈值百分比。例如，可以在眩光/眩光候选者的核心周围形成边界框，并且可以增加该边界框的大小直到边界框中的饱和像素百分比超过某一阈值为止。该重新设置大小可以有助于确保将框置于每个饱和区域周围。在眩光的情况下，框包括饱和的中心，而在假阳性(例如，不反光)的情况下，饱和像素在整个框中随机扩展。短暂地转到图5，示出了图4的图像400的经处理的版本，其中饱和区域502(例如，眩光候选者)由边界框504包围。
回到图3，在314处，方法300包括将统计分布拟合至第一饱和区域。例如，可以将高斯模型或其他统计分布模型拟合至所检测的眩光中心，以形成眩光候选者区域中的饱和像素的标准化分布。接着，可以将每个饱和区域/眩光候选者的统计分布的拟合的参数与阈值条件进行比较。例如，可以针对拟合至该饱和区域的高斯模型来确定高斯模型误差，并且在316处可以确定该误差与阈值误差的比较。如果参数满足阈值(例如，如果模型误差低于阈值)，则在318处可以确定该区域是眩光，并且方法可以前进至320，在320处确定是否已经分析了所有饱和区域。例如，由于展示眩光类特征(例如，中心区域的饱和像素的集中度以及在周期性间隔的外围区域处突出的眩光)的相关联的框内的饱和像素的分布，可以将图5中的眩光候选者506a、506b、506c、506d、和506e分类为眩光。在在316处确定的参数不满足阈值的情况下，方法可以前进至320而不将饱和区域分类为眩光(例如，由于缺少饱和核心和/或不存在其他眩光特征，可以不将眩光候选者506f、506g、506h、506i、506j、和506k分类为眩光)。
在320处，如果确定还没有分析所有的饱和区域(例如，在320处为“否”)，则方法300包括迭代地执行过程316、318和320直到已经分析了所有饱和区域为止。如果已经分析了所有饱和区域(例如，在320处为“是”)，则方法300包括，在324处，基于被分类为眩光的饱和区域的数量和/或位置来确定遮挡等级。例如，遮挡等级可以基于眩光的大小、眩光的数量、和/或眩光多接近眼睛的瞳孔/从眼睛的瞳孔反射的闪光。
在上文中关于方法300所描述的各种阈值(例如，308处的距离阈值、312处的阈值百分比、和316处的阈值条件)可以是预先确定的和/或是基于统计数据来选择的。在额外的或可替代的实施例中，可以经由学习算法(例如，利用分类器)来确定阈值中的一个或多个阈值。例如，经由学习算法来确定阈值可以包括基于针对特定的用户、环境、照明布置、和/或其他合适的条件所测量/记录的数据来随着时间动态地改变阈值。在使用分类器确定了阈值之后，可以添加多个其他功能(例如，二次拟合误差、相对于眼角的位置、消失梯度等)来优化已分析的图像中的眩光与非眩光之间的分隔。
图6A和6B示出了眼睛追踪系统的示例光源布置600的不同的视图。在前视图6A中，个体光源602被示出为布置在外壳结构604周围。在一些实施例中，外壳结构604可以包括眼睛追踪系统的相机、集成在眼睛追踪系统的相机内部、和/或安装到眼睛追踪系统的相机上。在其他实施例中，外壳结构604可以配置为安装到其他元件上。如图所示，每个光源602都可以相对于其他光源而位于不同的位置。通过该方式，从每个光源602投射的光可以被引导至不同的位置和/或以与从光源装置600中的其他光源投射的光不同的角度到达特定的位置。这可以允许使用光源的不同组合来形成从眼睛的反射以避免如在上文中所描述的来自眩光的遮挡。
此外，如在图6B中所示出的光源布置600的斜视图中所示，光源602中的一个或多个光源可以与布置中的其他光源不同地朝向。虚线箭头指示从每个光源602所发出的光的方向。通过该方式，从每个光源602投射的光可以被引导至不同的位置和/或以与从光源装置600的其他光源投射的光不同的角度到达特定的位置。
眼睛追踪图像中的瞳孔闪光的遮挡可以基于根据光学结构的特征，例如位置、大小、强度分布、以及到光源的映射而对光学结构上的反射进行的分类。通过提供包括引导来自不同位置/角度的光的光源在内的光源布置，光源可以迭代地打开/关闭以在眼睛追踪系统中生成光源投射的不同组合。对在光的投射期间从不同光源的每个组合所捕获的图像进行分析可以识别眩光(例如，确定眩光相对于眼睛的位置)和/或将眩光与特定的光源/光源的组合进行匹配。从而，可以选择产生所获得的具有高置信度分数的未遮挡的瞳孔闪光的光源的组合、具有对眼睛/从眼睛反射的闪光的最小数量的遮挡的光源的组合、和/或以其他方式产生合适的眼睛追踪图像的光源的组合以用于执行眼睛追踪。针对给定的用户/环境来选择特定的光源组合可以使得系统能够在更宽泛的范围的条件下操作，所述条件包括在眼睛追踪相机/光源与正在被追踪的眼睛之间存在诸如眼镜之类的光学结构的条件。
在一些实施例中，在本文中所描述的方法和过程可以与一个或多个计算设备的计算系统相联系。特别地，可以将这样的方法和步骤实现为计算机应用程序或服务、应用程序接口(API)、库、和/或其他计算机程序产品。
图7示意性地示出了可以实现在上文中所描述的方法和过程中的一个或多个方法和过程的计算系统700的非限制性实施例。以简化形式示出了计算系统700。计算系统可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、可穿戴计算设备、和/或其他计算设备的形式。例如，计算系统700可以是图1的计算设备104的示例和/或可以执行在图2和图3中所描述的方法。
计算系统700包括逻辑设备702和存储设备704。计算系统700可以可选地包括显示子系统706、输入子系统708、通信子系统710、和/或未在图7中示出的其他组件。
逻辑设备702包括被配置为执行指令的一个或多个物理设备。例如，逻辑设备可以被配置为执行作为一个或多个应用程序、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构件的一部分的指令。可以实现这样的指令来执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或者以其他方式达到所期望的结果。
逻辑设备702可以包括被配置为执行软件指令的一个或多个处理器。额外地或可替代地，逻辑设备可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核的或多核的，并且在其上执行的指令可以针对顺序、并行、和/或分布式处理而被配置。逻辑设备的个体组件可以可选地分布在两个或多个分离的设备之间，所述两个或多个分离的设备可以远程定位和/或针对协同处理而被配置。逻辑设备的各种方面可以被虚拟化并且由在云计算配置中所配置的远程可访问的、联网的计算设备来执行。
存储设备704包括一个或多个物理设备，其被配置为保存可以由逻辑设备执行以实现在本文中所描述的方法和过程的指令。当现实了这样的方法和过程时，可以转换存储设备704的状态以例如保存不同的数据。
存储设备704可以包括可移动的和/或内置的设备。存储设备704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储设备704可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址的设备。
应当理解的是，存储设备704包括一个或多个物理设备。然而，可以可选地由通信介质(例如，电磁信号、光学信号等)来传播在本文中所描述的没有由物理设备保存了有限的持续时间的指令的方面。
可以将逻辑设备702和存储设备704的方面一起集成到一个或多个硬件逻辑组件中。这样的硬件逻辑组件可以包括例如现场可编程门阵列(FPGS)、程序和应用专用集成电路(PASIC/ASICs)、程序和应用专用标准产品(PSSP/ASSPs)、片上系统(SOC)、以及复杂可编程逻辑设备(CPLDs)。
术语“模块”、“程序”和“引擎”可以用来对被实现为执行特定功能的计算系统700的方面进行描述。在一些情况下，模块、程序、或引擎可以经由执行由存储设备704所保存的指令的逻辑设备702而被实例化。应当理解的是，不同的模块、程序、和/或引擎可以由相同的应用、服务、代码块、对象、库、例程、API、函数等来实例化。同样，相同的模块、程序、和/或引擎可以由不同的应用、服务、代码块、对象、库、例程、API、函数等来实例化。术语“模块”、“程序”、和“引擎”可以包含可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或分组。
应当理解的是，如在本文中所使用的“服务”是跨多个用户会话可执行的应用程序。服务可以对一个或多个系统组件、程序、和/或其他服务是可用的。在一些实现中，服务可以在一个或多个服务器-计算设备上运行。
当被包括时，显示子系统706可以用来呈现由存储设备704所保存的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于在本文中所描述的方法和过程改变了由存储设备所保存的数据，并且因此转换了存储设备的状态，因此同样可以转换显示子系统706的状态来视觉地表示底层数据的改变。显示子系统706可以包括几乎利用了任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享的封装中与逻辑设备702和/或存储设备704相结合，或者这样的显示设备可以是外围显示设备。
输入子系统708可以包括诸如眼睛追踪系统(例如，图1中的计算设备104的眼睛追踪系统)、键盘、鼠标、触摸屏、手写指向设备、或游戏控制器之类的一个或多个用户输入设备或者与所述一个或多个用户输入接合。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或者与所选择的NUI组件接合。这样的组件可以是集成的或者是外围的，并且输入动作的转换和/或过程可以在板上或板外处理。示例NUI组件可以包括用于话音和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外的、彩色的、立体的、和/或深度相机；头部追踪器，眼睛追踪器，加速度计、和/或用于运动检测和/或意图识别的陀螺仪；以及用于评估大脑活动的电场感应组件。例如，输入子系统可以包括眼睛追踪系统和/或用于执行图2和3的方法200和/或300的眼睛追踪系统的一部分。
当被包括时，通信子系统710可以被配置为将计算系统700与一个或多个其他计算设备通信地进行耦合。通信子系统710可以包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以针对经由无线电话网络、或者有线或无线局域网或广域网的通信而被配置。在一些实施例中，通信子系统可以允许计算系统700经由网络(例如，互联网)向其他设备发送消息和/或从其它设备中接收消息。
应当理解的是，在本文中所描述的配置和/或方法本质上是示例性的，并且这些具体实施例和/或示例不应该被理解为限制性意义，这是因为多种变型是可能的。在本文中所描述的具体例程或方法可以表示任意数量的处理策略中的一个或多个处理策略。因此，所示出和/或描述的各种行为可以以所示出和/或描述的顺序来执行、以其他顺序来执行、并行地执行、或者被省略。同样，可以改变上述过程的顺序。
本公开的主题包括各种过程、系统、和配置的全部新颖的和非显而易见的组合和子组合、以及在本文中所公开的其他特征、功能、行为、和/或属性、及其任何和全部等价物。

Claims (10)

1.一种眼睛追踪系统，包括：
多个光源；
相机，所述相机被配置为捕获来自光源的从眼睛反射的光的图像；
逻辑设备；以及
存储设备，所述存储设备存储能够由所述逻辑设备执行以执行以下操作的指令：
通过迭代地投射来自所述多个光源的光源的不同组合的光并且在每个组合的投射期间捕获所述眼睛的图像来获得眼睛追踪数据的帧；
基于对在所述图像中所检测到的遮挡的确定来选择用于眼睛追踪的经选择的光源的组合，所述遮挡是由于位于所述眼睛与所述相机之间的透明的或半透明的光学结构而产生的；以及
经由用于眼睛追踪的所选择的光源的组合来投射光。
2.根据权利要求1所述的眼睛追踪系统，其中，迭代地投射来自光源的不同组合的光包括：以基于针对一个或多个组合中的每个组合所预测的遮挡的顺序来迭代地投射来自光源的所述不同组合的光。
3.根据权利要求2所述的眼睛追踪系统，还包括：检测头部姿势，以及基于所述头部姿势来确定估计。
4.根据权利要求1所述的眼睛追踪系统，还包括：将图像中的饱和点指定为眩光，以及将所述眩光与在光源的第一组合中所选择的光源进行匹配，所述匹配基于对在下一图像中是否存在所述眩光的确定，所述下一图像是在不包括所述所选择的光源的光源的第二、不同的组合的投射期间所捕获的。
5.根据权利要求1所述的眼睛追踪系统，其中，迭代地投射来自光源的不同组合的光包括：在第一次迭代期间投射来自所述多个光源中的所有光源的光，以及在一个或多个其他迭代期间投射来自所述多个光源中的一个或多个子集的光。
6.根据权利要求1所述的眼睛追踪系统，其中，所述多个光源中的一个或多个光源彼此不同地朝向，并且其中，迭代地投射来自光源的不同组合的光包括迭代地投射来自具有朝向的不同组合的光源的不同组合的光。
7.一种对来自眼睛追踪系统的相机的图像数据中的眩光进行分类的方法，所述方法包括：
从所述相机接收图像；
检测所述图像中的饱和区域；
确定针对所述饱和区域的每个核心的边界框；
将统计分布拟合至每个边界框内的每个饱和区域；以及
如果拟合至所述饱和区域的所述统计分布的参数满足阈值统计分布拟合条件，则将边界框内的饱和区域分类为眩光。
8.根据权利要求7所述的方法，其中，确定每个饱和区域的边界框包括增加所述边界框的大小直到所述边界框中的饱和像素的百分比满足阈值边界框条件。
9.根据权利要求8所述的方法，还包括对所述图像执行前景距离变换，以及移除具有小于距离阈值的距离值的所述图像中的轮廓以检测所述饱和区域的核心。
10.根据权利要求9所述的方法，其中，经由学习算法来确定所述距离阈值、所述阈值边界框条件、以及所述阈值统计分布拟合条件中的一个或多个。
CN201580023544.2A 2014-04-29 2015-04-23 在眼睛追踪中处理眩光 Active CN106462236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910413521.2A CN110266916B (zh) 2014-04-29 2015-04-23 用于在眼睛追踪中处理眩光的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/264,952 2014-04-29
US14/264,952 US9454699B2 (en) 2014-04-29 2014-04-29 Handling glare in eye tracking
PCT/US2015/027185 WO2015167906A1 (en) 2014-04-29 2015-04-23 Handling glare in eye tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910413521.2A Division CN110266916B (zh) 2014-04-29 2015-04-23 用于在眼睛追踪中处理眩光的方法和系统

Publications (2)

Publication Number Publication Date
CN106462236A true CN106462236A (zh) 2017-02-22
CN106462236B CN106462236B (zh) 2019-06-04

Family

ID=53059471

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580023544.2A Active CN106462236B (zh) 2014-04-29 2015-04-23 在眼睛追踪中处理眩光
CN201910413521.2A Active CN110266916B (zh) 2014-04-29 2015-04-23 用于在眼睛追踪中处理眩光的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910413521.2A Active CN110266916B (zh) 2014-04-29 2015-04-23 用于在眼睛追踪中处理眩光的方法和系统

Country Status (18)

Country Link
US (2) US9454699B2 (zh)
EP (1) EP3137973B1 (zh)
JP (2) JP6592000B2 (zh)
KR (1) KR102358936B1 (zh)
CN (2) CN106462236B (zh)
AU (1) AU2015253554B2 (zh)
BR (1) BR112016024889B1 (zh)
CA (1) CA2943426C (zh)
CL (1) CL2016002668A1 (zh)
IL (1) IL247738B (zh)
MX (1) MX366780B (zh)
MY (1) MY184112A (zh)
NZ (1) NZ724321A (zh)
PH (1) PH12016501886B1 (zh)
RU (1) RU2678478C2 (zh)
SG (1) SG11201608289YA (zh)
TW (1) TW201541284A (zh)
WO (1) WO2015167906A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729334A (zh) * 2017-10-27 2019-05-07 三星电子株式会社 去除反射区的方法以及眼部跟踪方法和设备
CN110069124A (zh) * 2018-01-22 2019-07-30 简韶逸 双模式视线追踪方法与系统
CN110573996A (zh) * 2017-10-31 2019-12-13 谷歌有限责任公司 用于vr/ar系统的多视角眼睛追踪
CN110914638A (zh) * 2017-07-18 2020-03-24 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
CN111355940A (zh) * 2018-12-21 2020-06-30 代傲航空航天有限公司 避免光源致人眩晕
CN112384102A (zh) * 2018-07-18 2021-02-19 莱雅公司 用于指导化妆的带眼睛跟踪的化妆盒
CN113316411A (zh) * 2018-09-19 2021-08-27 艾维德洛公司 用于眼部治疗期间的眼部追踪的系统及方法
CN113608620A (zh) * 2018-12-21 2021-11-05 托比股份公司 使用眼睛跟踪系统对闪光进行分类

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
KR20190040962A (ko) * 2016-07-05 2019-04-19 예청 우 라이브 이미지 캡처 중 스푸핑 공격 검출
US20180081434A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
CN106874895B (zh) 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
JP7138168B2 (ja) * 2017-10-31 2022-09-15 シーイング マシーンズ リミテッド 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
CN108510542B (zh) * 2018-02-12 2020-09-11 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
WO2020047140A1 (en) 2018-08-29 2020-03-05 Intuitive Surgical Operations, Inc. Dynamic illumination for eye-tracking
US10948729B2 (en) 2019-04-16 2021-03-16 Facebook Technologies, Llc Keep-out zone for in-field light sources of a head mounted display
US10877268B2 (en) * 2019-04-16 2020-12-29 Facebook Technologies, Llc Active control of in-field light sources of a head mounted display
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
IT201900011403A1 (it) * 2019-07-10 2021-01-10 Ambarella Int Lp Detecting illegal use of phone to prevent the driver from getting a fine
US11327318B2 (en) * 2019-08-13 2022-05-10 Htc Corporation Head-mounted display
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN112578556B (zh) * 2019-09-27 2023-02-21 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
US11076080B2 (en) * 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US11340701B2 (en) * 2019-12-16 2022-05-24 Nvidia Corporation Gaze determination using glare as input
WO2021125993A1 (ru) * 2019-12-16 2021-06-24 Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" Способ определения направления взгляда
WO2021125992A1 (ru) * 2019-12-16 2021-06-24 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Устройство определения направления взгляда
CN111772575A (zh) * 2020-06-02 2020-10-16 岭南师范学院 基于led光学无损特殊儿童检测仪及检测方法
CN112198965B (zh) * 2020-12-04 2021-03-09 宁波圻亿科技有限公司 一种ar眼镜护目自动控制方法及装置
JP6956985B1 (ja) * 2020-12-22 2021-11-02 株式会社スワローインキュベート 目検出方法、目検出装置及び目検出プログラム
US11972042B2 (en) * 2021-06-15 2024-04-30 Microsoft Technology Licensing, Llc Variable intensity distributions for gaze detection assembly
JP2023041097A (ja) * 2021-09-13 2023-03-24 矢崎総業株式会社 検出システム
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
EP1655687A2 (en) * 2004-10-27 2006-05-10 Delphi Technologies, Inc. Illumination and imaging system and method
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20120229681A1 (en) * 2011-03-07 2012-09-13 Sony Corporation System and method for automatic flash removal from images
US20130285901A1 (en) * 2012-04-27 2013-10-31 Dongguk University Industry-Academic Cooperation Foundation System and method for tracking gaze at distance

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
JP4250506B2 (ja) * 2003-10-31 2009-04-08 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム
JP2006318374A (ja) 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd 眼鏡判別装置および認証装置ならびに眼鏡判別方法
EP1977374A4 (en) * 2005-11-30 2012-09-05 Seeing Machines Pty Ltd VISUAL TRACKING OF GLASSES IN VISUAL HEAD AND EYE TRACKING SYSTEMS
US7630002B2 (en) 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
CN101008982A (zh) * 2006-01-27 2007-08-01 侯雨石 消除眼镜干扰的虹膜采集方法和装置
JP4643715B2 (ja) 2006-02-14 2011-03-02 テセラ テクノロジーズ アイルランド リミテッド 赤目ではない目の閃光による不良の自動的な検知および補正
CN101499127B (zh) * 2008-02-03 2012-07-18 上海银晨智能识别科技有限公司 防止眼镜镜片反光干扰而导致无法识别人脸的方法
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8324602B2 (en) 2009-04-14 2012-12-04 Intersil Americas Inc. Optical sensors that reduce specular reflections
CN101545588A (zh) * 2009-04-30 2009-09-30 清华大学 一种防止眼镜反光的机器视觉照明系统
US8333475B2 (en) * 2009-11-12 2012-12-18 Panasonic Corporation Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
EP2339534A1 (en) 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
RU93553U1 (ru) * 2009-11-19 2010-04-27 Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера
US20110170060A1 (en) 2010-01-08 2011-07-14 Gordon Gary B Gaze Tracking Using Polarized Light
CN102939557B (zh) 2010-05-29 2014-07-30 蒋文宇 用于制造和使用具有通过凝视距离和低功率视线跟踪驱动的自适应透镜的眼镜的系统、方法和设备
WO2012047221A1 (en) 2010-10-07 2012-04-12 Sony Computer Entertainment Inc. 3-d glasses with camera based head tracking
EP2724292A4 (en) 2011-06-18 2015-05-06 Identix Inc SYSTEMS AND METHOD FOR RECOGNIZING A MIRROR REFLECTION MODEL FOR BIOMETRIC ANALYZES
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
US9192305B2 (en) * 2012-09-28 2015-11-24 Align Technology, Inc. Estimating a surface texture of a tooth
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
EP1655687A2 (en) * 2004-10-27 2006-05-10 Delphi Technologies, Inc. Illumination and imaging system and method
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20120229681A1 (en) * 2011-03-07 2012-09-13 Sony Corporation System and method for automatic flash removal from images
US20130285901A1 (en) * 2012-04-27 2013-10-31 Dongguk University Industry-Academic Cooperation Foundation System and method for tracking gaze at distance

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110914638A (zh) * 2017-07-18 2020-03-24 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
CN109729334A (zh) * 2017-10-27 2019-05-07 三星电子株式会社 去除反射区的方法以及眼部跟踪方法和设备
CN109729334B (zh) * 2017-10-27 2022-06-14 三星电子株式会社 去除反射区的方法以及眼部跟踪方法和设备
CN110573996A (zh) * 2017-10-31 2019-12-13 谷歌有限责任公司 用于vr/ar系统的多视角眼睛追踪
CN110069124A (zh) * 2018-01-22 2019-07-30 简韶逸 双模式视线追踪方法与系统
CN110069124B (zh) * 2018-01-22 2022-02-18 简韶逸 双模式视线追踪方法与系统
CN112384102A (zh) * 2018-07-18 2021-02-19 莱雅公司 用于指导化妆的带眼睛跟踪的化妆盒
CN112384102B (zh) * 2018-07-18 2024-01-02 莱雅公司 用于指导化妆的带眼睛跟踪的化妆盒
CN113316411A (zh) * 2018-09-19 2021-08-27 艾维德洛公司 用于眼部治疗期间的眼部追踪的系统及方法
CN111355940A (zh) * 2018-12-21 2020-06-30 代傲航空航天有限公司 避免光源致人眩晕
CN113608620A (zh) * 2018-12-21 2021-11-05 托比股份公司 使用眼睛跟踪系统对闪光进行分类

Also Published As

Publication number Publication date
JP6592000B2 (ja) 2019-10-16
WO2015167906A1 (en) 2015-11-05
CA2943426A1 (en) 2015-11-05
NZ724321A (en) 2020-03-27
US20150310253A1 (en) 2015-10-29
MX2016014094A (es) 2017-02-09
KR20160146858A (ko) 2016-12-21
CA2943426C (en) 2021-11-09
BR112016024889A8 (pt) 2021-06-08
PH12016501886A1 (en) 2016-12-19
EP3137973A1 (en) 2017-03-08
US20160358009A1 (en) 2016-12-08
RU2016142286A (ru) 2018-04-27
IL247738A0 (en) 2016-11-30
AU2015253554B2 (en) 2019-12-19
KR102358936B1 (ko) 2022-02-04
US9916502B2 (en) 2018-03-13
JP6845295B2 (ja) 2021-03-17
RU2678478C2 (ru) 2019-01-29
CN106462236B (zh) 2019-06-04
EP3137973B1 (en) 2020-03-25
RU2016142286A3 (zh) 2018-11-19
SG11201608289YA (en) 2016-11-29
US9454699B2 (en) 2016-09-27
TW201541284A (zh) 2015-11-01
IL247738B (en) 2019-06-30
CN110266916B (zh) 2021-09-21
BR112016024889B1 (pt) 2022-09-27
CN110266916A (zh) 2019-09-20
PH12016501886B1 (en) 2016-12-19
CL2016002668A1 (es) 2017-04-21
JP2020013601A (ja) 2020-01-23
MX366780B (es) 2019-07-24
AU2015253554A1 (en) 2016-10-20
BR112016024889A2 (pt) 2017-08-15
MY184112A (en) 2021-03-18
JP2017521738A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
CN106462236A (zh) 在眼睛追踪中处理眩光
US9773170B2 (en) Pupil detection
CN107466411B (zh) 二维红外深度感测
US10713492B2 (en) Processing an image to identify a metric associated with the image and/or to determine a value for the metric
JP6560748B2 (ja) アイウェアを通じた視線追跡
US8929668B2 (en) Foreground subject detection
CN107735816A (zh) 增强显示环境中的颜色填充
CN107111629A (zh) 用于检测感兴趣的对象的方法和系统
US20170293353A1 (en) Gaze Point Detection Using Dynamic Facial Reference Points Under Varying Lighting Conditions
Zhong Video processing for safe food handling
Kowalczyk et al. Wink Detection on the Eye Image as a Control Tool in Multimodal Interaction
Bahramitooran et al. Diagnosis Oculomotor Dysfunction with Eye Tracking Technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1234172

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant