CN105373218A - 用于改进眼睛跟踪的场景分析 - Google Patents

用于改进眼睛跟踪的场景分析 Download PDF

Info

Publication number
CN105373218A
CN105373218A CN201510483043.4A CN201510483043A CN105373218A CN 105373218 A CN105373218 A CN 105373218A CN 201510483043 A CN201510483043 A CN 201510483043A CN 105373218 A CN105373218 A CN 105373218A
Authority
CN
China
Prior art keywords
target
staring
stare
scene information
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510483043.4A
Other languages
English (en)
Other versions
CN105373218B (zh
Inventor
E·克鲁格里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Priority to CN201810951547.8A priority Critical patent/CN109062415A/zh
Priority to KR1020150113317A priority patent/KR101850586B1/ko
Publication of CN105373218A publication Critical patent/CN105373218A/zh
Priority to KR1020180041622A priority patent/KR101950641B1/ko
Application granted granted Critical
Publication of CN105373218B publication Critical patent/CN105373218B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请总体描述了与用于改进眼睛跟踪的场景分析相关的技术。在一些示例中，可从来自面对眼睛的传感器的凝视方向信息得到被检测凝视目标。可通过捕捉并分析来自眼睛可见的场景的数字场景信息来改进被检测凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景信息以标识潜在凝视目标，诸如静止型凝视目标、移动型凝视目标和/或加速型凝视目标。可将被检测凝视目标修改到被选定凝视目标的位置。

Description

用于改进眼睛跟踪的场景分析
背景技术
除非在本文中另外表明，否则本部分中所述的材料对于本申请中的权利要求来说不是现有技术并且不由于包括在本部分中而被承认是现有技术。
眼睛跟踪系统可包括可跟踪人眼运动的小型照相机。眼睛跟踪具有各种有用且有趣的应用。例如，眼睛跟踪可被部署在增强现实(AR)应用以及各种医疗和工业应用中。眼睛跟踪还具有各种潜在的用户界面(UI)应用，诸如允许装置用户凝视来控制选择指针。装置用户可凝视诸如文件的虚拟对象，按下按钮，然后凝视对象的目的地位置，并释放按钮以传送该对象。眼睛跟踪还提供了收集用户兴趣和用户活动信息、例如以理解用户是否看过广告的机会。眼睛跟踪的这些和其它用途提供了许多有趣的可能性。然而，眼睛跟踪技术仍停留在相对早的开发阶段，并且随着眼睛跟踪成熟，存在许多要解决的挑战。
概述
本公开总体地描述了包括与用于改进眼睛跟踪的场景分析相关的装置、方法和计算机可读介质的技术。由计算装置执行的一些示例眼睛跟踪方法可包括：从面对眼睛的传感器接收眼睛凝视方向信息；从数字照相机接收数字场景信息，其中数字照相机可被定向为从眼睛可见的场景捕捉数字场景信息；基于凝视方向信息来确定数字场景信息内的被检测凝视目标；分析数字场景信息以标识数字场景信息内的潜在凝视目标，其中潜在凝视目标可包括例如静止型凝视目标、移动型凝视目标和/或加速型凝视目标；选择潜在凝视目标；和/或将被检测凝视目标修改到被选定凝视目标的位置。
本公开还公开了具有实施本文中所述的各种技术的指令的计算装置和计算机可读介质。示例计算机可读介质可包括具有处理器可执行的计算机可执行指令的非暂时性计算机可读存储介质，这些指令当被处理器执行时使处理器实现本文中所提供的各种方法的任何组合。示例计算装置可包括例如头戴式装置，这些头戴式装置包括数字照相机、面对眼睛的传感器和计算装置，该计算装置配备有被配置为实现本文中所提供的各种方法的任何组合的眼睛跟踪精度提高器。
前述概述仅仅是说明性的，而并不意图以任何方式是限制性的。除了说明性的方面，上述实施例和特征、另外的方面、实施例和特征将通过参考附图和下面的详细描述而变得显而易见。
附图说明
通过结合附图进行的以下描述和所附权利要求，本公开的前述和其它特征将变得更充分地显而易见。理解，这些附图仅仅描绘了根据本公开的几个实施例，因此，不应被认为是限制其范围，将通过使用附图来更具体地、更详细地描述本公开，在附图中：
图1是说明被用户佩戴的示例头戴式装置的示图；
图2是说明包括潜在凝视目标、被检测凝视目标和它们的运动的示图；
图3是作为合并在头戴式装置内的计算机的一个示例的计算装置的框图；
图4是说明示例眼睛跟踪方法的流程图；
图5是说明示例眼睛跟踪精度提高器的框图；
图6是说明包括潜在凝视目标、被检测凝视目标、被选定凝视目标的场景以及关于被选定凝视目标的AR信息的示图；
图7是说明包括潜在凝视目标、被检测凝视目标和被选定凝视目标的场景的示图，其中被选定凝视目标可被用作控制至少一个计算装置功能的用户输入，所有附图都是依照本文所述的至少一些实施例来安排的。
具体实施方式
在以下详细描述中，对附图进行参考，所述附图形成详细描述的一部分。除非上下文另外指示，否则在附图中，相似的符号通常标识相似的部件。在详细描述、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离这里所提供的主题的精神或范围的情况下，可以利用其它实施例，以及可以进行其它改变。将易于理解的是，如在本文中一般地描述的和在图中示出的那样，本公开的各方面可以以广泛多样的不同配置被布置、替代、组合和设计，所有这些都被明确地构想并成为本公开的部分。
本公开尤其是针对包括与用于改进眼睛跟踪的场景分析相关的方法、装置、系统和/或部署在其中的计算机可读介质的技术进行一般性的描写的。在一些示例中，可从来自面对眼睛的传感器的凝视方向信息得到凝视目标。可通过捕捉并分析来自眼睛可见的场景的数字场景信息来改进凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景信息以标识潜在凝视目标，诸如，举例来说，静止型凝视目标、移动型凝视目标和/或加速型凝视目标。可将被检测凝视目标修改为包括被选定的潜在凝视目标(在本文中也被称为“被选定凝视目标”)的位置。
在一些实施例中，本文中所述的技术可被合并到头戴式装置中，所述头戴式装置诸如，举例来说，GOOGLE类型的装置。这样的装置可提供例如用户可通过其观看物理世界的透明镜片。装置还可在镜片上显示数字对象和信息。装置可允许用户(诸如头戴式装置的佩戴者)选择将显示的数字对象和信息以及与这些对象和信息进行交互。装置可选地可以例如通过无线地连接到互联网而连接到计算机网络。装置还可包括集成数字照相机，并且装置可允许用户捕捉通过镜片观看的场景的数字照片和视频。除了示例装置中可包括的这些和其它特征之外，装置还可合并面对眼睛的传感器，并且可被配备为执行眼睛跟踪方法，诸如本文中所述的那些方法。
面对眼睛的传感器可包括较高成本、较高精度的传感器或较低成本、较低精度的传感器。本公开的实施例可涉及任何类型的面对眼睛的传感器。较高成本、较高精度的传感器可以例如包括捕捉眼睛的高分辨率可见光图像的照相机，并且眼睛跟踪系统可进行相对多的处理来实现所计算的眼睛位置的较高精度。较低成本、较低精度的传感器可以例如包括捕捉眼睛的低分辨率红外(IR)光图像的照相机，并且眼睛跟踪系统可进行相对不太广泛的处理而实现所计算的眼睛位置的相对低的精度。
在眼睛跟踪中存在由难以分辨光滑球体(即，眼睛)中的非常小的、低对比度的旋转而导致的基本困难。一些面对眼睛的传感器和相应的眼睛跟踪系统的一个问题是，适度强度和对比度的反射IR光导致跳跃的难以分辨的运动，该运动可导致估计不精确的凝视方向。虽然高分辨率可见光眼睛跟踪系统可能进展更好，但是这样的眼睛跟踪系统使用更昂贵的面对眼睛的传感器和更多处理能力，并且在低光状况下不会同样地作用。
眼睛跟踪的困难在物理环境、而不是虚拟环境的背景下尤其明显。在物理环境下，当前技术没有提供关于人眼在所观看的物理场景内感兴趣的点或感兴趣的其它潜在凝视目标的信息。因此，在一些实施例中，本文中所述的技术可捕捉并分析来自眼睛可见的物理场景的数字场景信息，标识潜在凝视目标，并使用这样标识的潜在凝视目标来改进从面对眼睛的传感器得到的凝视目标位置和/或凝视目标运动。
在一些实施例中，眼睛跟踪系统可通过将检测的眼睛跟踪位置、速度和/或加速度值和与物理世界潜在凝视目标相应的估计眼睛跟踪值进行比较来产生改进的眼睛跟踪目标估计(在本文中也被称为凝视目标估计)。潜在凝视目标可以例如在物理世界场景的实时视频中被标识。
潜在凝视目标可以例如通过下述方式被标识，例如，使用对象识别，或者应用各种图形分析算法中的任何一种来标识潜在凝视目标，或者例如通过标识场景中的对象运动。实施例随后可确定每个标识的潜在凝视目标的位置值、速度值和/或加速度值，并且可将这样的确定的值与检测的眼睛跟踪位置值、速度值和/或加速度值进行比较。
实施例可选择适当的潜在凝视目标，该目标包括基本上与检测的眼睛跟踪位置值、速度值和/或加速度值匹配的位置值、速度值和/或加速度值。实施例然后可推断：正确的眼睛跟踪位置值、速度值和/或加速度值是被选定凝视目标的那些值。修改的、改进的眼睛跟踪位置值、速度值和/或加速度值可以例如被存储或者以其它方式被用于使用眼睛跟踪信息的任何应用。
实施例可视情况执行数据变换以使得能够在检测的眼睛跟踪位置值、速度值和/或加速度值与潜在凝视目标位置值、速度值和/或加速度值之间进行比较。例如，在一些实施例中，检测的眼睛跟踪位置值可包括与眼睛凝视方向相应的角坐标。同时，潜在凝视目标位置值可至少最初包括例如捕捉的视频帧的平面内的二维x、y坐标。检测的眼睛跟踪角坐标可以例如使用照相机位置与眼睛位置之间的几何关系而被转换为二维x、y坐标以支持比较操作，或者反过来。还将理解，实施例可根据需要将所有信息转换到任何中间坐标系中以支持比较操作。
在一些实施例中，眼睛跟踪系统可将被检测凝视目标与物理场景中的静止潜在凝视目标的位置进行比较，并且视情况，可通过将在它们的噪声边界内的被检测凝视目标修改到静止潜在凝视目标的位置来校正这些被检测凝视目标。在一些实施例中，眼睛跟踪系统可将被检测凝视方向和与物理场景中的静止潜在凝视目标的估计位置相应的凝视方向进行比较，并且可通过将在它们的噪声边界内的被检测凝视方向修改到估计的凝视方向来校正这些被检测凝视方向。
在一些实施例中，眼睛跟踪系统可将被检测凝视目标运动(其可包括凝视目标速度和/或凝视目标加速度，并且可以例如从物理场景中的一系列被检测凝视目标得出)与跟随物理场景中的移动潜在凝视目标的建模凝视目标运动进行比较，并且实施例可通过将在其噪声边界内的被检测凝视目标运动修改为跟随物理场景中的移动潜在凝视目标的建模凝视目标运动来校正这些被检测凝视目标运动。在一些实施例中，眼睛跟踪系统可将被检测眼睛运动(其可以例如从一系列被检测凝视方向得到)和与跟随物理场景中的移动潜在凝视目标相关联的建模眼睛运动进行比较，并且实施例可通过将在其噪声边界内的被检测眼睛运动修改为跟随物理场景中的移动潜在凝视目标的建模眼睛运动或者修改为与建模眼睛运动匹配的潜在凝视目标来校正这些被检测眼睛运动。
示例实施例可捕捉用户所观看的物理世界的图像或者其逼近。例如，实施例可使用邻近用户的眼睛的数字照相机来捕捉视频。实施例可分析捕捉的物理世界图像以提取物理世界潜在凝视目标。在一些实施例中，这样的分析可包括对象识别。在一些实施例中，各种算法中的任何一种可适用于标识例如可以例如通过颜色、接近度、纹理等相关的相关图形特征的集合。示例算法包括加速鲁棒特征(SURF)、尺度不变特征变换(SIFT)以及Kanade-Lucas-Tomasi(KLT)类型的算法。标识的相关图形特征的每个集合可被认为是潜在凝视目标，并且通过跟踪标识的相关图形特征的每个集合在多个视频帧上的位置，实施例可建立相应的潜在凝视目标的速度和加速度。
实施例可计算多个视频图像上关于每个标识的潜在凝视目标的位置信息的一阶导数，以计算关于移动潜在凝视目标的速度信息。实施例可计算多个视频图像上关于每个标识的潜在凝视目标的位置信息的二阶导数，以计算关于加速潜在凝视目标的加速度信息。实施例还可计算关于被检测凝视目标的一阶导数信息和二阶导数信息和/或凝视方向用于与潜在凝视目标速度和加速度进行比较。如将理解的，实施例可使用各种数学方法中的任何一种来计算一阶导数信息和二阶导数信息，以生成适合于比较操作的综合运动流。
实施例可通过推断意图凝视方向或凝视目标为物理世界中的具有基本上与被检测眼睛跟踪数据特性匹配的位置、速度和/或加速度的潜在凝视目标的凝视方向或凝视目标来修改被检测眼睛跟踪数据。例如，实施例可选择具有基本上与预期的凝视目标位置、预期的凝视目标速度和/或预期的凝视目标加速度(这些基本上与被检测凝视目标位置和/或其一阶导数或二阶导数匹配)匹配的标识的潜在凝视目标。实施例可修改被检测凝视目标以生成修改的精度提高的、包括被选定凝视目标的位置的凝视目标信息。
图1是示出根据本公开的至少一些实施例布置的、被用户佩戴的示例头戴式装置的示图。图1示出用户150、用户150佩戴的头戴式装置100、被检测凝视目标141以及被选定凝视目标142。头戴式装置100包括计算机101、数字照相机102以及面对眼睛的传感器103。头戴式装置100还包括镜片或其它观看光学器件110，但是在一些实施例中，可省略(不包括)观看光学器件110。在图1中，面对眼睛的传感器103可适用于检测关于用户150的眼睛的实时凝视方向信息。数字照相机102可被定向为从用户150的至少一只眼睛可见的场景捕捉实时数字场景信息，所述场景例如包括被检测凝视目标141和被选定凝视目标142的场景。图2中示出示例场景。
图2是示出根据本公开的至少一些实施例布置的包括潜在凝视目标、被检测凝视目标以及它们的运动的场景的示图。图2示出场景200，其例如可被数字照相机102捕捉为实时视频。场景200包括潜在凝视目标201、潜在凝视目标202、潜在凝视目标203以及潜在凝视目标204。
潜在凝视目标201可具有由从潜在凝视目标201延伸的运动矢量示出的运动M(F1)。潜在凝视目标201是场景200内的示例移动型凝视目标，潜在凝视目标201可以例如呈现出相对恒定的速度，但没有呈现出加速度。潜在凝视目标202可具有运动M(F2)。潜在凝视目标202是场景200内的示例静止型凝视目标，潜在凝视目标202可基本上没有呈现出速度或加速度。潜在凝视目标203可具有运动M(F3)，潜在凝视目标204可具有运动M(F4)。潜在凝视目标203-204是场景200内的示例加速型凝视目标，潜在凝视目标203-204可呈现出变化的速度。
四个潜在凝视目标201-204被例示在场景200内的示例位置处，并且被例示为具有示例运动。然而，如将理解，场景可包括任何数量的、在任何位置处的、呈现出任何运动的潜在凝视目标。如本文中所使用的术语“运动”是指速度、加速度或这两者。
图2还示出了在场景200内的示例凝视目标位置处的、呈现出示例的被检测的目标运动M(DT)的被检测凝视目标141，所述被检测的目标运动M(DT)由从被检测凝视目标141延伸的运动矢量示出。M(DT)可呈现出例如场景200内的加速度，该加速度包括根据所示的运动矢量的变化速度。凝视目标141不是数字照相机102所捕捉的场景200的部分，然而，可从在面对眼睛的传感器103处检测到的实时凝视方向信息得出凝视目标141在场景200内的位置和运动。图2还示出了场景200内的被选定凝视目标142，其中计算机101可以例如选择潜在凝视目标204作为被选定凝视目标142。
计算机101可被配备例如如结合图3描述的、被存储在存储器中且由处理器可执行的眼睛跟踪精度提高器。在一些实施例中，眼睛跟踪精度提高器可被配置为：从面对眼睛的传感器103接收实时凝视方向信息；从数字照相机102接收实时数字场景信息(例如，来自场景200)；基于来自面对眼睛的传感器103的凝视方向信息来确定来自场景200的实时数字场景信息内的被检测凝视目标141，例如，通过确定被检测凝视目标141在场景200内的位置、速度和/或加速度来确定；分析来自场景200的实时数字场景信息以标识潜在凝视目标201-204；在标识的潜在凝视目标201-204之中选择潜在凝视目标204；将凝视目标141修改为包括被选定凝视目标142的至少一个位置(多个位置)。一旦被选定凝视目标142被建立，被选定凝视目标142就可被用于范围广泛的应用中的任何一个，例如，确定用于显示的AR信息和/或将被选定凝视目标142应用作为控制计算装置101的功能的用户输入。
在一些实施例中，基于来自面对眼睛的传感器103的凝视方向信息确定来自场景200的实时数字场景信息内的被检测凝视目标141的步骤可包括：应用三角法、几何学等的数学原理来将被检测凝视方向投影到场景200上。例如，计算机101可计算被检测凝视目标141在中心点(x＝0,y＝0)在场景200的中心处的坐标系中的x、y坐标。实施例可使用例如切线函数或余切函数或者其数学等同形式，其中被检测凝视方向信息的x分量θx和y分量θy可与已知的相邻三角形侧边距离D(例如，从用户150的眼睛到观看光学器件110的距离)一起被用来分别对x和y中的每个进行求解。在一些实施例中，可使用凝视方向(例如，眼睛角度)和相应的凝视目标位置的列表，来实现基于来自面对眼睛的传感器103的凝视方向信息确定来自场景200的实时数字场景信息内的被检测凝视目标141，其中实施例可查找与被检测凝视方向相应的凝视目标位置。实施例还可基于例如凝视目标矢量历史来确定凝视目标速度和/或加速度，所述凝视目标矢量历史从自场景200捕捉的多个视频帧上的凝视目标位置得到。
在一些实施例中，可使用眼睛机械模型仿真器来比较凝视目标速度和/或加速度。人眼运动近似于由具有内置延迟的反馈环路驱动的二阶弹簧-质量系统(secondorderspring-masssystem)。这可表现为落后于加速对象的明显上升时间以及当目标改变速度时的过冲。因此，例如，可通过反映用户150观看的潜在凝视目标的可能运动的眼睛机械模型仿真器的操作，而不是使用严格地应用被检测凝视方向进行比较的“原始”M(DT)函数来调整场景200内的M(DT)。
如本文中所描述的，一些实施例可在眼睛方向坐标空间，而不是被捕捉场景坐标空间中进行操作。例如，不是确定场景200内的被检测凝视目标141，实施例而是可确定与潜在凝视目标201-204相关联的预期凝视方向。这样的实施例还可使用眼睛机械模型仿真器例如来仿真跟随潜在凝视目标201-204中的每个的预期眼睛移动，采用滞后、过冲和/或其它机械伪像来完成。无论技术方法如何，实施例可将来自面对眼睛的传感器103的眼睛跟踪信息及其变化与潜在凝视目标201-204的位置、速度和/或加速度进行比较以选择场景200内的用户150可能最有可能观看的潜在凝视目标。
计算机101可应用各种算法来标识场景200内的图像或视频数据中的潜在凝视目标201-204，诸如，举例来说，如本文中所公开的SURF、SIFT和/或KLT类型的算法。在一些实施例中，计算机101可应用对象识别来分析来自场景200的数字场景信息，从而标识可能是潜在凝视目标201-204的对象。在一些实施例中，计算机101可至少部分地通过标识相关图形特征的集合来分析来自场景200的数字场景信息，相关图形特征的每个集合包括例如潜在凝视目标，诸如潜在凝视目标201-204之一。
计算机101可以例如通过将被检测凝视目标141的位置、速度和/或加速度与潜在凝视目标201-204的位置速度和/或加速度进行比较来在潜在凝视目标201-204之中选择被选定凝视目标142。例如，在一些实施例中，被选定凝视目标142可在来自场景200的数字场景信息内具有特征位置，该特征位置可以在围绕被检测凝视目标141的误差边界内。误差边界可取决于面对眼睛的传感器103的精度、照相机图像和眼睛之间的对齐、和/或用于将被检测凝视目标141映射到场景200上的计算。误差边界可限定围绕被检测凝视目标141的区域，在该区域内，被检测凝视目标141可被修改。在一些实施例中，被选定凝视目标142还可包括具有基本上与被检测凝视目标141的速度匹配的凝视目标速度的移动型凝视目标。在一些实施例中，被选定凝视目标142还可包括具有基本上与被检测凝视目标141的加速度匹配的凝视目标加速度的加速型凝视目标。
在一些可能的物理世界情景中，几个潜在凝视目标可表现出在凝视目标误差边界内的位置以及至少与被检测凝视目标的速度和/或加速度相似的速度和加速度。实施例因此可应用在几个可能的候选者之中选择适当的潜在凝视目标的技术。计算机101可以例如动态地将权重分配给多个潜在凝视目标201-204。计算机101可使用动态分配的权重来选择潜在凝视目标。例如，计算机101可根据潜在凝视目标201-204中的每个与被检测凝视目标141的接近度来将权重分配给它们，其中更强权重被应用于更加接近的潜在凝视目标。计算机101可根据潜在凝视目标的速度和/或加速度与被检测凝视目标141的速度和/或加速度之间的匹配程度来将权重分配给潜在凝视目标201-204中的每个，其中更强权重被应用于具有更加匹配的速度和/或加速度的潜在凝视目标。然后可选择最强加权的潜在凝视目标作为被选定凝视目标142。
在一些实施例中，加速度匹配可与相对较强的范围的权重相关联，而速度匹配可与中间范围的权重相关联，位置匹配可与相对较弱范围的权重相关联。当潜在凝视目标表现出与被检测凝视目标141的运动匹配的运动时，计算机101从而可提高潜在凝视目标选择的精度。
在一些实施例中，当在计算机101处接收到来自面对眼睛的传感器103的实时凝视方向信息和来自数字照相机102的实时数字场景信息时，计算机101可实时地处理该实时凝视方向信息和实时数字场景信息以实时地连续地输出被选定凝视目标，诸如被选定凝视目标142。将理解，在其它实施例中，计算机101可存储所接收的凝视方向信息和数字场景信息，并在以后，即，不是实时地处理该凝视方向信息和数字场景信息，以确定可能尽管如此但是被证明对除了实时应用之外的应用有用的被选定凝视目标。
在一些实施例中，数字照相机102可适用于以多个不同的帧率或分辨率捕捉视频。例如，数字照相机102可具有默认帧率和/或默认分辨率，然而，计算机101可适用于调整数字照相机102的默认设置来以其它帧率和/或分辨率操作数字照相机102。计算机101可适用于将数字照相机102的帧率和/或分辨率调整为适合于与根据本公开捕捉数字场景信息结合使用。例如，计算机101可适用于通过以降低帧率和/或降低分辨率(即，低于默认帧率或分辨率的帧率或分辨率)操作数字照相机102来保持头戴式装置100的电池寿命。在功率没有限制和/或精度最重要的应用中，计算机101可适用于以提高帧率和/或提高分辨率(即，高于默认帧率或分辨率的帧率或分辨率)操作数字照相机102。在一些实施例中，计算机101可适用于根据用户的眼睛的移动的速度和频率和/或环境或其中的潜在凝视目标的移动的速度和频率来改变帧率和/或分辨率。
图3是根据本公开的至少一些实施例布置的、作为合并在头戴式装置内的计算机的一个示例的计算装置的框图。在非常基本的配置301中，计算装置300可包括一个或多个处理器310和系统存储器320。存储器总线330可被用于处理器310和系统存储器320之间的通信。
取决于期望的配置，处理器310可以是任何类型，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或它们的任何组合。处理器310可包括一个或多个等级的高速缓存，诸如等级一高速缓存311和等级二高速缓存312、处理器核313和寄存器314。处理器核313可包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或它们的任何组合。存储器控制器315也可与处理器310一起被使用，或在一些实施方式中存储器控制器315可以是处理器310的内部部分。
取决于期望的配置，系统存储器320可以是任何类型，包括但不限于易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或它们的任何组合。系统存储器320通常包括操作系统321、一个或多个应用322以及程序数据325。在一些实施例中，操作系统321可包括由虚拟机管理器(VMM)管理的虚拟机。应用522可包括例如如本文中所述的眼睛跟踪精度提高器模块(一个或多个)323。程序数据325可包括分别地例如可从面对眼睛的传感器103接收的实时凝视方向信息326、例如可从数字照相机102接收的实时数字场景信息327、以及可从实时数字场景信息327提取的潜在凝视目标328。
计算装置300可具有其它特征或功能以及用于促进基本配置301和任何所需的装置和接口之间的通信的附加接口。例如，总线/接口控制器340可被用来促进基本配置301与一个或多个数据存储装置350之间经由存储接口总线341的通信。数据存储装置350可以是可移除存储装置351、不可移除存储装置352或它们的组合。可移除存储装置和不可移除存储装置的示例举几个例子来说包括诸如软盘驱动器和硬盘驱动器(HDD)的磁盘装置、诸如压缩盘(CD)驱动器或数字通用盘(DVD)驱动器的光盘驱动器、固态驱动器(SSD)和磁带驱动器。示例计算机存储介质可包括在信息存储的任何方法或技术中被实施的易失性和非易失性、可移除和不可移除的介质，诸如计算机可读指令、数据结构、程序模块或其它数据。
等级一高速缓存311、等级二高速缓存312、系统存储器320、可移除存储装置351和不可移除存储装置352是计算机存储介质的示例。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字通用盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储器装置或可用于存储期望的信息以及可被计算装置300访问的任何其它介质。任何这样的计算机存储介质可以是计算装置300的一部分。
计算装置300也可包括用于促进从各种接口装置(例如，输出接口、外围接口和通信接口)到基本配置301的经由总线/接口控制器340的通信的接口总线342。示例输出装置360包括图形处理单元361和音频处理单元362，其可被配置为与诸如显示器或扬声器的各种外部装置经由一个或多个A/V端口363进行通信。示例外围接口370可包括串行接口控制器371或并行接口控制器372，其可被配置为通过经由一个或多个I/O端口373与诸如数字照相机102、面对眼睛的传感器103和/或其它输入装置(例如，键盘、鼠标、笔、语音输入装置、触摸输入装置等)或其它外围装置(例如，打印机、扫描仪等)的装置的有线或无线连接进行通信。其它常规的I/O装置也可被连接，诸如鼠标、键盘等。示例通信装置380包括网络控制器381，其可被布置为促进与一个或多个其它计算装置390经由一个或多个通信端口382在网络通信上的通信。
计算机存储介质可以是通信介质的一个示例。通信介质通常可以被体现为计算机可读指令、数据结构、程序模块或诸如载波或其它传输机制的调制数据信号中的其它数据，并且可包括任何信息递送介质。“调制数据信号”可以是具有其特性集合中的一个或多个或者被更改为对信号中的信息进行编码的信号。举例来说，而非限制，通信介质可包括诸如有线网络或有线直接连接的有线介质、诸如声学、射频(RF)、红外(IR)和其它无线介质的无线介质。
计算装置300也可被实施为集成在诸如图1中所示的头戴式装置内的计算机。计算装置300也可被实施为在诸如图1中所示的头戴式装置的外部、但是尽管如此却与这样的头戴式装置进行有线或无线通信以便从其接收实时凝视方向信息326和实时数字场景信息的计算机。例如，计算装置300可被实施为包括膝上型计算机和非膝上型计算机配置两者的个人或企业使用计算机、或数据中心中的服务器。根据本公开，还可设计计算装置300非实时地使用非实时的凝视方向信息和数字场景信息进行操作的实施例。
图4是示出根据本公开的至少一些实施例布置的示例眼睛跟踪方法的流程图。示例流程图可包括如方框401-407所示的一个或多个操作/模块，这些方框表示在方法中可执行的操作、在计算装置300中的功能模块、和/或可被记录在计算机可读介质450上的指令。
在图4中，方框401-407被示为包括顺序地执行的方框，例如，首先执行方框401，最后执行方框407。然而，将理解，这些方框可以被重新布置为便于适合特定实施例，并且这些方框或者其部分在一些实施例中可同时执行。还将理解，在一些示例中，各个块可被除去，可被划分为附加块，和/或可与其它块组合。
图4示出计算装置300可通过其进行眼睛跟踪的示例方法，在该方法中，可通过执行场景分析、潜在凝视目标的选择以及眼睛跟踪数据的修改来改进来自面对眼睛的传感器的眼睛跟踪数据以提高其精度。
在“从面对眼睛的传感器接收凝视方向信息”方框401，计算装置300可从面对眼睛的传感器103接收关于至少一只眼睛(例如，用户150的眼睛)的凝视方向信息。包括集成的面对眼睛的传感器的计算装置可从集成的面对眼睛的传感器接收凝视方向信息。与外部的面对眼睛的传感器通信地耦合的计算装置可从外部的面对眼睛的传感器接收凝视方向信息，可选地经由任何数量的中间装置或网络基础设施。方框401之后可以接着是方框402。
在“从数字照相机接收数字场景信息”方框402，计算装置300可从数字照相机102接收数字场景信息。数字照相机102可被定向为从用户150的眼睛可见的场景捕捉数字场景信息，该场景可在方框401被跟踪。包括集成的数字照相机的计算装置可从集成的数字照相机接收数字场景信息。与外部的数字照相机通信地耦合的计算装置可从外部的数字照相机接收数字场景信息，可选地经由任何数量的中间装置或网络基础设施。在一些实施例中，计算装置300可在方框402调整数字照相机102的帧率和/或分辨率，例如，数字照相机102可具有默认帧率或默认分辨率，并且计算装置300可以以不同的帧率和/或不同的分辨率操作数字照相机102。方框402之后可以接着是方框403。
在“确定数字场景中的凝视目标位置、速度和/或加速度”方框403，计算装置300可基于在方框401接收的凝视方向信息来确定在方框402接收的数字场景信息内的凝视目标。确定凝视目标可包括例如：确定多个不同的视频帧中的凝视目标，并计算相应的一阶导数和/或二阶导数以确定包括凝视目标位置、速度和/或加速度的凝视目标矢量历史。在一些实施例中，确定凝视目标可包括应用眼睛机械模型仿真器来基于检测的眼睛移动对对象在方框402处接收的数字场景信息内的移动进行仿真。一些实施例可省略凝视目标确定，并且可改为计算例如用于在眼睛坐标空间中进行比较的眼睛角度方向、眼睛角度速度和眼睛角度加速度，该比较例如可在方框405进行。方框403之后可以接着是方框404。
在“分析数字场景以标识潜在凝视目标以及它们的位置、速度和/或加速度”方框404，计算装置300可分析在方框402接收的数字场景信息以标识其中的潜在凝视目标。例如，计算装置300可对如本文中所公开的在方框402接收的数字场景信息应用对象识别和/或图形分析算法。标识的潜在凝视目标可包括例如静止型凝视目标、移动型凝视目标和/或加速型凝视目标。计算装置300可跟踪潜在凝视目标在多个不同的视频帧上的位置，并且可计算相应的一阶导数和/或二阶导数以确定潜在凝视目标位置、速度和/或加速度。在一些实施例中，潜在凝视目标位置、速度和/或加速度可被转化到例如用于在方框401接收的凝视方向信息中的凝视方向的角坐标系或眼坐标空间。眼睛机械模型仿真器可被用来基于潜在凝视目标位置、速度和/或加速度对眼睛的移动进行仿真。方框404之后可以接着是方框405。
在“选择与被检测凝视目标位置、速度和/或加速度匹配的潜在凝视目标”方框405，计算装置300可在方框404标识的特征之中选择一个特征。在一些实施例中，计算装置300可选择可具有在方框404确定的位置的潜在凝视目标，该位置可在围绕被检测凝视目标的误差边界内，该误差边界可在方框403被确定。在一些实施例中，可选地，可将多个被检测凝视目标位置与在方框402接收的多个视频帧上的与标识的潜在凝视目标相关联的多个潜在凝视目标位置进行比较。在一些实施例中，计算装置300可选择具有基本上与被检测凝视目标速度匹配(包括例如基本上与速率和方向匹配)的速度的潜在凝视目标。在一些实施例中，计算装置300可选择具有基本上与被检测凝视目标加速度匹配(包括例如基本上与加速度的幅值和方向匹配)的加速度的潜在凝视目标。在一些实施例中，如本文中所述，计算装置300可动态地将权重分配给在方框404标识的多个潜在凝视目标，并且计算装置300可使用动态分配的权重来选择潜在凝视目标。方框405之后可以接着是方框406。
在“修改被检测凝视目标”方框406，计算装置300可将被检测凝视目标(包括例如在方框403确定的其位置、速度和/或加速度)修改为包括在方框405选择的被选定凝视目标的位置、速度和/或加速度。在一些实施例中，修改的凝视目标信息可被存储或发送到另一计算机以供存储和/或进一步分析。在一些实施例中，描述在方框405选择的潜在凝视目标的信息可被与修改的凝视目标信息一起存储或发送，例如，被选定凝视目标的快照或者标识对象或标识例如被选定凝视目标内的广告的文本可被与修改的凝视目标信息一起存储或发送。方框406之后可以接着是方框407。
在“应用修改的凝视目标信息”方框407，计算装置300可结合对其使用眼睛跟踪信息的任何应用来应用来自方框406的修改的凝视目标信息。例如，计算装置300可使用来自方框406的修改的凝视目标信息来确定用于显示的信息，诸如，举例来说，标识、描述修改的凝视目标处的对象或以其它方式与该对象相关联的信息。在另一示例中，计算装置300可应用来自方框406的修改的凝视目标信息作为控制至少一个计算装置功能的用户输入。如将理解的，多种多样的其它应用是可能的，并且本公开不限于任何特定应用。
在一些实施例中，方框401-406以及可选地还有方框407可由计算装置300实时地执行，也就是说，分别在方框401和402接收的凝视方向信息和数字场景信息可包括实时凝视方向信息和实时数字场景信息。计算装置300还可随着实时凝视方向信息和实时数字场景信息被接收到而实时地执行方框403-407。
图5是示出根据本公开的至少一些实施例布置的示例眼睛跟踪精度提高器的框图。图5示出眼睛跟踪精度提高器500，其可用作结合图3和图4描述的眼睛跟踪精度提高器323的替换安排。眼睛跟踪精度提高器500包括潜在凝视目标检测器510、潜在凝视目标选择器520、速度提取器530和速度提取器540、加速度提取器550、滤波器560、加速度提取器570以及眼睛机械模型仿真器580。潜在凝视目标选择器520包括加权位置比较器521、加权速度比较器522以及加权加速度比较器523。
在图5中，潜在凝视目标选择器520可接收作为输入的凝视坐标流501，其中凝视坐标流501可包括来自面对眼睛的传感器103的输出，或者可从面对眼睛的传感器103的输出得到。潜在凝视目标选择器520还可接收作为输入的潜在凝视目标坐标流502，其中潜在凝视目标坐标流502可包括来自潜在凝视目标检测器510的输出，或者可从潜在凝视目标检测器510的输出得到，凝视目标检测器510分析来自数字照相机102的数字场景信息以标识潜在凝视并提取相应的潜在凝视目标坐标流502。潜在凝视目标选择器520可生成作为输出的被选定凝视目标坐标流503，并且眼睛跟踪精度提高器500可应用被选定凝视目标坐标流503作为修改的凝视坐标流504。
在一些实施例中，潜在凝视目标检测器510可分析从数字照相机102接收的视频流以从其提取潜在凝视目标。潜在凝视目标检测器510可供给潜在凝视目标坐标流502，包括每个标识的潜在凝视目标的位置坐标的流。如本文中所述，眼睛跟踪精度提高器500可选地可将潜在凝视目标坐标流502转化到任何期望的坐标空间。同时，眼睛跟踪精度提高器500还可将凝视坐标流501转化到与潜在凝视目标坐标流502的坐标空间相同的坐标空间。凝视坐标流501可包括用于被跟踪的眼睛的位置坐标的流。
在一些实施例中，加权位置比较器521可将潜在凝视目标坐标流502中的每个中的位置坐标与凝视坐标流501中的位置坐标进行比较。加权位置比较器521可基于每个标识的潜在凝视目标的相应的潜在凝视目标坐标流与凝视坐标流501中的位置坐标的接近度来将权重分配给每个标识的潜在凝视目标。加权位置比较器521可将较强权重分配给具有与凝视坐标流501更加接近的坐标流的标识的潜在凝视目标。在一些实施例中，凝视坐标流501和潜在凝视目标坐标流502可包括时间信息，并且加权位置比较器521可适用于比较多个不同的时刻的位置坐标。在一些实施例中，加权位置比较器521可适用于除去标识的潜在凝视目标，这些潜在凝视目标具有包括基本上在用于凝视坐标流501的误差边界外部的位置坐标的坐标流。除去的潜在凝视目标可被眼睛跟踪精度提高器500临时作为当前选择操作的候选者移除。
在一些实施例中，速度提取器530可适用于计算凝视坐标流501的一阶时间导数d/dt，从而捕捉凝视速度。相似地，速度提取器540可适用于计算每个潜在凝视目标坐标流502的一阶时间导数d/dt以计算每个标识的潜在凝视目标(除了可被加权位置比较器521从当前选择操作除去的那些标识的潜在凝视目标之外)的速度。
加权速度比较器522可适用于将计算的每个潜在凝视目标坐标流502的速度与计算的凝视坐标流501的速度进行比较。加权速度比较器522可基于计算的每个标识的潜在凝视目标的速度和计算的凝视坐标流501的速度之间的匹配程度来将权重分配给每个标识的潜在凝视目标。加权速度比较器522可将较强权重分配给具有与凝视坐标流501的速度更加匹配的速度的标识的潜在凝视目标。在一些实施例中，加权速度比较器522可将大体上更强的权重(例如，强于加权位置比较器521应用的权重)分配给具有基本上与凝视坐标流501的眼睛速度匹配的速度的标识的潜在凝视目标，而加权速度比较器522可以以其它方式将很小的权重分配给具有基本上与凝视坐标流501的速度不匹配的速度的标识的潜在凝视目标，或者不将权重分配给这些标识的潜在凝视目标。加权速度比较器522可适用于比较多个不同时刻的速度。在一些实施例中，加权速度比较器522可适用于除去标识的潜在凝视目标，这些潜在凝视目标具有基本上不同于对凝视坐标流501计算的速度的速度，诸如，举例来说，具有基本上不同方向(例如，90度差或更大)的速度，或者具有基本上不同幅值(诸如，举例来说，凝视速度的50％或更小，或者凝视速度的200％或更大)的速度。
在一些实施例中，加速度提取器550可适用于计算凝视坐标流501的二阶导数d2/dt2以计算凝视加速度。相似地，加速度提取器570可适用于计算每个潜在凝视目标坐标流502的二阶时间导数d2/dt2以计算每个标识的潜在凝视目标(除了可被加权位置比较器521和/或加权速度比较器522从当前选择操作除去的那些标识的潜在凝视目标之外)的加速度。
滤波器560可适用于对来自加速度提取器550的计算的加速度输出进行滤波。在一些情况下，加速度输出可证明对有用的比较而言噪声太大。滤波器560可平滑加速度输出，例如以除去某些快速往返类型的眼睛加速度和/或捕捉更广泛的眼睛加速度信息，同时除去“跳跃的”小尺度的短时间帧眼睛加速度。
眼睛机械模型仿真器580可适用于通过对跟随相应的标识的潜在凝视目标的假想眼睛仿真眼睛加速度来修改对每个潜在凝视目标坐标流502计算的加速度。在一些实施例中，眼睛机械模型仿真器580可以例如将滞后和过冲运动注入到对每个潜在凝视目标坐标流502计算的加速度中。在一些实施例中，代替加速度提取器570和加权加速度比较器523之间的眼睛机械模型仿真器580或者除此之外，眼睛机械模型仿真器可被放置在速度提取器540和加权速度比较器522之间和/或放置在潜在凝视目标坐标流502和加权位置比较器521之间。
加权加速度比较器523可适用于将每个潜在凝视目标坐标流502的计算的加速度(可选地被眼睛机械模型仿真器580修改)与凝视坐标流501的计算的加速度(可选地被滤波器560修改)进行比较。加权加速度比较器523可基于每个标识的潜在凝视目标的计算的加速度和凝视坐标流501的计算的加速度之间的匹配程度来将权重分配给每个标识的潜在凝视目标。加权加速度比较器523可将较强的权重分配给具有与凝视坐标流501的加速度更加匹配的加速度的标识的潜在凝视目标。在一些实施例中，加权加速度比较器523可将非常强的权重(例如，强于加权位置比较器521和/或加权速度比较器522应用的权重)分配给具有基本上与凝视坐标流501的加速度匹配的加速度的标识的潜在凝视目标，而加权加速度比较器523可以以其它方式将很小的权重分配给具有基本上与凝视坐标流501的加速度不匹配的加速度的标识的潜在凝视目标，或者不将权重分配给这些标识的潜在凝视目标。加权加速度比较器523可适用于比较多个不同时刻的加速度。
在一些实施例中，潜在凝视目标选择器520可适用于对每个标识的潜在凝视目标聚合加权位置比较器521、加权速度比较器522和/或加权加速度比较器523中的每个应用的权重。潜在凝视目标选择器520可选择具有最强的聚合权重的标识的潜在凝视目标。潜在凝视目标选择器520可输出被选定凝视目标坐标流503，该被选定凝视目标坐标流503包括例如与被选定凝视目标相应的潜在凝视目标坐标流502之中的坐标流。在一些实施例中，随着不同的标识的潜在凝视目标被潜在凝视目标选择器520基于凝视坐标流501的变化动态地选择，被选定凝视目标坐标流503可实时地动态地在不同的被选定凝视目标坐标流之间切换。眼睛跟踪精度提高器500可存储、发送被选定凝视目标坐标流503，或者以其它方式应用被选定凝视目标坐标流503作为修改的凝视坐标流504。
图6是示出根据本公开的至少一些实施例布置的、包括潜在凝视目标、被检测凝视目标、被选定凝视目标的场景以及关于被选定凝视目标的AR信息的示图。图6示出场景600。场景600包括表现出运动M(F1)的潜在凝视目标601、表现出运动M(F2)的潜在凝视目标602以及表现出运动M(F3)的潜在凝视目标603。被检测凝视目标141可表现出运动M(DT)。潜在凝视目标601-603、被检测凝视目标141和它们的运动可如本文中所公开的那样被获取，并且潜在凝视目标603可根据本文中所公开的技术被选为被选定凝视目标142。
在图6中，诸如计算装置300的计算装置可确定关于被选定凝视目标142的AR信息。例如，当计算装置300的用户正在观看赛车时，计算装置300可显示标识被选定凝视目标142处的汽车的AR信息，可选地连同关于该汽车的速度、驾驶员或其它信息。可使用从场景600得到的标识被选定凝视目标142处的汽车的信息，从存储在计算装置300本地的信息和/或从计算机网络检索这样的AR信息。
图7是示出根据本公开的至少一些实施例布置的包括潜在凝视目标、被检测凝视目标和被选定凝视目标的场景的示图，其中被选定凝视目标可被用作控制至少一个计算装置功能的用户输入。图7示出场景700。场景700包括潜在凝视目标701、潜在凝视目标702、潜在凝视目标703、潜在凝视目标704、潜在凝视目标705、潜在凝视目标706以及潜在凝视目标707，其中潜在凝视目标701-705在计算装置显示器处显示的UI内。潜在凝视目标706和707包括例如在场景700内标识的其它潜在凝视目标。潜在凝视目标701-707和被检测凝视目标141可如本文中所公开的那样被获取，并且潜在凝视目标703可被根据本文中所公开的技术选为被选定凝视目标142。眼睛跟踪匹配对于使眼睛运动与甚至静止对象的视野中的运动匹配可能是有用的，因为用户头部运动可使静止对象改变在眼睛坐标系中的位置。
在图7中，诸如计算装置300的计算装置可应用被选定凝视目标142作为控制计算装置功能(例如，场景700中的计算装置的功能)的用户输入。计算装置300可以例如将选择潜在凝视目标703处的UI元素的命令发送到场景700中的计算装置。计算装置300可适用于识别场景700中的计算装置以及UI710及其潜在凝视目标，以允许计算装置300将适当的UI命令发送到场景700中的计算装置。可选择地，计算装置300可预先例如被用户配置为：识别UI710及其各种控件，并与场景700中的计算装置进行通信。在一些实施例中，计算装置300可复制计算装置300处的UI710的功能以可选地控制计算装置300的功能。
系统的各方面的硬件实现和软件实现之间区别很小：硬件或软件的使用一般是(但不总是，因为在某些上下文下，硬件和软件之间的选择可能变得重要)表示成本对效率权衡的设计选择。存在通过其可实现本文中所述的处理和/或系统和/或其它技术的各种媒介物(例如，硬件、软件和/或固件)，并且优选媒介物将随着部署这些处理和/或系统和/或其它技术的上下文而变化。例如，如果实施者确定速度和精度是最重要的，则实施者可主要选择硬件和/或固件媒介物；如果灵活性是最重要的，则可主要选择软件实现；或者，再一次可替换地，实施者可选择硬件、软件和/或固件的某一组合。
前述的详细描述已经通过使用框图、流程图和/或示例阐述了装置和/或处理的各种实施例。只要这样的框图、流程图和/或示例包含一个或多个功能和/或操作，本领域技术人员将理解，这样的框图、流程图或示例内的每个功能和/或操作可单个地和/或共同地用范围广泛的硬件、软件、固件或它们的几乎任何组合来实施。在一个实施例中，本文中所述的主题的几个部分可经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它集成格式来实施。然而，本领域技术人员将认识到，本文中所公开的实施例的一些方面整个地或部分地可在集成电路中被等效地实施，被实施作为在一个或多个计算机上运行的一个或多个计算机程序(例如，在一个或多个计算机系统上运行的一个或多个程序)，被实施作为在一个或多个处理器上运行的一个或多个程序(例如，在一个或多个微处理器上运行的一个或多个程序)，被实施作为固件，或者被实施作为它们的几乎任何组合，并且根据本公开，设计电路和/或编写用于软件和/或固件的代码将在本领域技术人员的熟练技能内。另外，本领域技术人员将意识到，本文中所述的主题的机制能够以各种形式作为程序产品分布，并且本文中所述的主题的说明性实施例不管用于实际实现该分布的信号承载介质的具体类型如何都适用。信号承载介质的示例包括但不限于以下：可记录类型的介质，诸如软盘、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)、数字带、计算机存储器等；以及传输类型的介质，诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等)。
本领域技术人员将认识到，以本文中所阐述的方式描述装置和/或处理、其后使用工程实践将这样的所述的装置和/或处理集成到数据处理系统中在本领域内是常见的。也就是说，本文中所述的装置和/或处理的至少一部分可经由合理量的实验集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下中的一个或多个：系统单元壳体、视频显示装置、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统的计算实体、驱动器、图形用户界面、以及应用程序、诸如触控板或触摸屏的一个或多个交互装置、和/或包括反馈回路和控制电机的控制系统(例如，用于感测位置和/或速度的反馈；用于移动和/或调整部件和/或量的控制电机)。典型的数据处理系统可利用任何合适的市售部件来实施，诸如常见于数据计算/通信和/或网络计算/通信系统中的那些部件。本文中所述的主题有时说明包含在不同的其它部件内的或者与不同的其它部件耦合在一起的不同部件。要理解，这样的描绘的架构仅仅是示例，事实上，可实施实现相同功能的许多其它的架构。从概念的意义上来讲，实现相同功能的部件的任何布置是有效“关联的”，以使得期望的功能被实现。因此，本文中组合实现特定功能的任何两个部件可被看作彼此“关联”，以使得不管架构或中间部件如何期望的功能都被实现。同样地，相关联的任何两个部件也可被视为彼此“可操作地连接”或“可操作地耦合”来实现期望的功能，并且能够如此关联的任何两个部件也可被视为彼此“可操作地可耦合”来实现期望的功能。可操作地可耦合的具体示例包括但不限于可物理地连接和/或物理交互部件、和/或可无线地交互和/或无线地交互部件、和/或逻辑地交互和/或可逻辑地交互部件。
关于基本上任何复数和/或单数术语在本文中的使用，本领域技术人员可以按照其适用于的情景和/或应用而从复数转化到单数和/或从单数转化到复数。为了清楚起见，在本文中可能明确地阐述了各种单数/复数变换。
本领域技术人员将理解的是，总之，本文中且尤其是所附权利要求(例如所附权利要求的主体)中所使用的术语通常意图是“开放的”术语(例如术语“包括”应当被解释为“包括但不限于”，术语“具有”应当被解释为“至少具有”，术语“包含”应当被解释为“包含但不限于”，等等)。本领域技术人员将进一步理解的是，如果所引入的权利要求叙述的特定数字是有意的，这样的意图将被明确叙述在权利要求中，并且在没有这样的叙述的情况下不存在这样的意图。例如，作为理解的辅助，下面所附的权利要求可以包含引入性短语“至少一个”和“一个或多个”的使用以引入权利要求叙述。然而，这样的短语的使用不应被解释为暗示着通过不定冠词“一”或“一个”引入权利要求叙述将包含这样引入的权利要求叙述的任何特定权利要求限定到包含只有一个这样的叙述的实施例，即使当该同一权利要求包括引入性短语“一个或多个”或“至少一个”以及诸如“一”或“一个”的不定冠词时也是这样(例如，“一”和/或“一个”应当被解释为意味着“至少一个”或“一个或多个”)；对于用来引入权利要求叙述的定冠词的使用来说情况是同样的。此外，即使明确记载了所引入的权利要求叙述的特定数字，本领域技术人员也将认识到，这样的记载应当被解释为意味着至少所记载的数字(例如，在没有其它修饰的情况下，“两个叙述”的直率叙述意味着至少两个叙述或者两个或更多叙述)。此外，在其中使用类似于“A、B和C等中的至少一个”的惯例的那些实例中，通常这样的构造意图是本领域技术人员将理解该惯例的意义(例如，“具有A、B和C等中的至少一个的系统”将包括但不限于单独具有A、单独具有B、单独具有C、具有A和B一起、具有A和C一起、具有B和C一起以及/或者具有A、B和C一起等的系统)。在其中使用类似于“A、B或C等中的至少一个”的惯例的那些实例中，通常这样的构造意图是本领域技术人员将理解该惯例的意义(例如，“具有A、B或C等中的至少一个的系统”将包括但不限于单独具有A、单独具有B、单独具有C、具有A和B一起、具有A和C一起、具有B和C一起以及/或者具有A、B和C一起等的系统)。本领域技术人员将进一步理解的是，实际上任何转折性词语和/或提供两个或更多替换术语的短语无论是在说明书、权利要求中还是在附图中都应当被理解为构想包括这些术语中的一个、这些术语中的任一个或这些术语两个的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
虽然本文中已经使用各种方法、装置和系统描述和示出了某些示例技术，但是本领域技术人员应理解，在不脱离要求保护的主题的情况下，可进行各种其它的修改，并且可替换等同形式。另外，在不脱离本文中所述的中心概念的情况下，可进行许多修改以使特定情况适应要求保护的主题的教导。因此，意图是，要求保护的主题不限于所公开的特定示例，但是这样的要求保护的主题还可包括落在所附权利要求及其等同形式的范围内的所有实施方式。

Claims (21)

1.一种眼睛跟踪方法，包括：
计算装置从面对眼睛的传感器接收关于至少一只眼睛的凝视方向信息；
所述计算装置从数字照相机接收数字场景信息，其中所述数字照相机被定向为从所述至少一只眼睛可见的场景捕捉所述数字场景信息；
所述计算装置基于所述凝视方向信息来确定所述数字场景信息内的被检测凝视目标；
所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标，其中所述一个或多个潜在凝视目标包括以下中的一个或多个：
所述数字场景信息内的静止型凝视目标；
所述数字场景信息内的移动型凝视目标；或
所述数字场景信息内的加速型凝视目标；
所述计算装置在标识的所述一个或多个潜在凝视目标之中选择被选定凝视目标；以及
所述计算装置将所述被检测凝视目标修改为包括所述被选定凝视目标的位置。
2.根据权利要求1所述的眼睛跟踪方法，其中所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标的步骤包括：在所述数字场景信息内执行对象识别，从而确定包括被识别对象的潜在凝视目标。
3.根据权利要求1所述的眼睛跟踪方法，其中所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标的步骤包括：在所述数字场景信息内标识相关图形特征的一个或多个集合，从而确定包括相关图形特征的集合的潜在凝视目标。
4.根据权利要求1所述的眼睛跟踪方法，其中所述被选定凝视目标具有位于所述数字场景信息内的位置，并且其中所述被选定凝视目标位置位于围绕所述被检测凝视目标的误差边界内。
5.根据权利要求1所述的眼睛跟踪方法，其中所述被选定凝视目标包括移动型凝视目标，并且其中所述移动型凝视目标具有基本上与被检测凝视目标速度匹配的速度。
6.根据权利要求1所述的眼睛跟踪方法，其中所述被选定凝视目标包括加速型凝视目标，并且其中所述加速型凝视目标具有基本上与被检测凝视目标加速度匹配的加速度。
7.根据权利要求1所述的眼睛跟踪方法，还包括：基于被检测凝视目标矢量历史或眼睛机械模型仿真器中的一个或多个来确定被检测凝视目标速度或被检测凝视目标加速度中的一个或多个。
8.根据权利要求1所述的眼睛跟踪方法，其中所述计算装置选择被选定凝视目标的步骤包括：将权重动态分配给多个潜在凝视目标，并使用动态分配的权重来选择所述被选定凝视目标。
9.根据权利要求1所述的眼睛跟踪方法，还包括：所述计算装置基于所述被检测凝视目标的修改位置来确定用于显示的增强现实信息。
10.根据权利要求1所述的眼睛跟踪方法，还包括：所述计算装置应用所述被检测凝视目标的修改位置作为控制至少一个计算装置功能的用户输入。
11.根据权利要求1所述的眼睛跟踪方法，其中所述数字照相机具有默认帧率或默认分辨率中的一个或多个，并且所述眼睛跟踪方法还包括：所述计算装置以降低的帧率、降低的分辨率、提高的帧率或提高的分辨率中的一个或多个操作所述数字照相机，以捕捉所述数字场景信息，其中所述降低的帧率低于所述默认帧率，其中所述降低的分辨率低于所述默认分辨率，其中所述提高的帧率高于所述默认帧率，并且其中所述提高的分辨率高于所述默认分辨率。
12.根据权利要求1所述的眼睛跟踪方法，其中所述凝视方向信息和所述数字场景信息分别包括实时凝视方向信息和实时数字场景信息，并且其中随着所述实时凝视方向信息和实时数字场景信息被接收而实时地执行修改被检测凝视目标。
13.一种头戴式装置，包括：
数字照相机，其被定向为从至少一只眼睛可见的场景捕捉实时数字场景信息；
面对眼睛的传感器，其适用于检测关于所述至少一只眼睛的实时凝视方向信息；
处理器；
存储器；以及
眼睛跟踪精度提高器，其被存储在所述存储器中并可被所述处理器执行，其中所述眼睛跟踪精度提高器被配置为：
从所述面对眼睛的传感器接收所述实时凝视方向信息；
从所述数字照相机接收所述实时数字场景信息；
基于所述凝视方向信息来确定所述实时数字场景信息内的被检测凝视目标；
分析所述实时数字场景信息以标识所述实时数字场景信息内的一个或多个潜在凝视目标，其中所述一个或多个潜在凝视目标包括以下中的一个或多个：
所述实时数字场景信息内的静止型凝视目标；
所述实时数字场景信息内的移动型凝视目标；或
所述实时数字场景信息内的加速型凝视目标；
在所述一个或多个标识的潜在凝视目标之中选择被选定凝视目标；以及
将所述被检测凝视目标修改为包括所述被选定凝视目标的位置。
14.根据权利要求13所述的头戴式装置，其中所述被选定凝视目标具有位于所述实时数字场景信息内的位置，并且其中所述被选定凝视目标的位置位于围绕所述被检测凝视目标的误差边界内。
15.根据权利要求13所述的头戴式装置，其中所述被选定凝视目标包括移动被选定凝视目标，并且其中所述移动被选定凝视目标具有基本上与被检测凝视目标速度匹配的速度。
16.根据权利要求13所述的头戴式装置，其中所述被选定凝视目标包括所述加速型凝视目标，并且其中所述加速型凝视目标具有基本上与被检测凝视目标加速度匹配的加速度。
17.根据权利要求13所述的头戴式装置，其中所述眼睛跟踪精度提高器被配置为：至少部分地通过将权重动态分配给多个潜在凝视目标并使用所述权重选择所述被选定凝视目标来选择所述被选定凝视目标。
18.根据权利要求13所述的头戴式装置，还包括：
显示器；以及
增强现实信息提供器，其适用于提供用于实时覆盖在所述显示器上的增强现实信息；以及
其中所述眼睛跟踪精度提高器适用于将所述被检测凝视目标的修改位置提供给所述增强现实信息提供器。
19.根据权利要求13所述的头戴式装置，其中所述眼睛跟踪精度提高器适用于提供所述被检测凝视目标的修改位置作为控制至少一个头戴式装置功能的用户输入。
20.根据权利要求13所述的头戴式装置，其中所述数字照相机具有默认帧率或默认分辨率中的一个或多个，并且其中所述头戴式装置适用于以降低的帧率、降低的分辨率、提高的帧率或提高的分辨率中的一个或多个操作所述数字照相机，以捕捉所述数字场景信息，其中所述降低的帧率低于所述默认帧率，其中所述降低的分辨率低于所述默认分辨率，其中所述提高的帧率高于所述默认帧率，并且其中所述提高的分辨率高于所述默认分辨率。
21.一种具有处理器可执行的计算机可执行指令的非暂时性计算机可读存储介质，所述指令当被所述处理器执行时使所述处理器：
从面对眼睛的传感器接收关于至少一只眼睛的凝视方向信息；
从数字照相机接收数字场景信息，其中所述数字照相机被定向为从所述至少一只眼睛可见的场景捕捉所述数字场景信息；
基于所述凝视方向信息来确定所述数字场景信息内的被检测凝视目标；
分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标，其中所述一个或多个潜在凝视目标包括以下中的一个或多个：
所述数字场景信息内的静止型凝视目标；
所述数字场景信息内的移动型凝视目标；或
所述数字场景信息内的加速型凝视目标；
在标识的所述一个或多个潜在凝视目标之中选择被选定凝视目标；以及
将所述被检测凝视目标修改为包括所述被选定凝视目标的位置。
CN201510483043.4A 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析 Expired - Fee Related CN105373218B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810951547.8A CN109062415A (zh) 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析
KR1020150113317A KR101850586B1 (ko) 2014-08-13 2015-08-11 향상된 안구 추적을 위한 장면 분석
KR1020180041622A KR101950641B1 (ko) 2014-08-13 2018-04-10 향상된 안구 추적을 위한 장면 분석

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/458,577 US9489739B2 (en) 2014-08-13 2014-08-13 Scene analysis for improved eye tracking
US14/458,577 2014-08-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810951547.8A Division CN109062415A (zh) 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析

Publications (2)

Publication Number Publication Date
CN105373218A true CN105373218A (zh) 2016-03-02
CN105373218B CN105373218B (zh) 2018-09-18

Family

ID=55302541

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510483043.4A Expired - Fee Related CN105373218B (zh) 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析
CN201810951547.8A Pending CN109062415A (zh) 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810951547.8A Pending CN109062415A (zh) 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析

Country Status (3)

Country Link
US (2) US9489739B2 (zh)
KR (2) KR101850586B1 (zh)
CN (2) CN105373218B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526431A (zh) * 2016-06-21 2017-12-29 通用汽车环球科技运作有限责任公司 用于预测视觉注意力的目标的设备及方法
CN109375773A (zh) * 2018-10-24 2019-02-22 深圳市领点科技有限公司 一种基于vr设备的监督方法和装置
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
WO2020030122A1 (zh) * 2018-08-09 2020-02-13 黄钧鼎 影像处理方法及头戴式影像系统
CN111417885A (zh) * 2017-11-07 2020-07-14 大众汽车有限公司 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN111712781A (zh) * 2018-02-09 2020-09-25 微软技术许可有限责任公司 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
JP2016082462A (ja) * 2014-10-20 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
EP3216023A4 (en) 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
JP6495457B2 (ja) * 2014-12-16 2019-04-03 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 較正の改善、正確性の補償、及び注視定位平滑化を有する注視追跡システム
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
US10186086B2 (en) * 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US20180366089A1 (en) * 2015-12-18 2018-12-20 Maxell, Ltd. Head mounted display cooperative display system, system including dispay apparatus and head mounted display, and display apparatus thereof
WO2017120247A1 (en) 2016-01-05 2017-07-13 Reald Spark, Llc Gaze correction of multi-view images
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US10057511B2 (en) * 2016-05-11 2018-08-21 International Business Machines Corporation Framing enhanced reality overlays using invisible light emitters
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
WO2018186830A1 (en) * 2017-04-03 2018-10-11 Hewlett-Packard Development Company, L.P. Moving image rendering using eye-tracking sensor signal
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
EP4293574A3 (en) 2017-08-08 2024-04-03 RealD Spark, LLC Adjusting a digital representation of a head region
US11269405B2 (en) * 2017-08-31 2022-03-08 Tobii Ab Gaze direction mapping
US10761322B2 (en) 2018-01-25 2020-09-01 International Business Machines Corporation Targeted content with image capture
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US11783464B2 (en) * 2018-05-18 2023-10-10 Lawrence Livermore National Security, Llc Integrating extended reality with inspection systems
US11250819B2 (en) 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
CN109271027B (zh) * 2018-09-17 2022-10-14 北京旷视科技有限公司 页面控制方法、装置及电子设备
US11221671B2 (en) 2019-01-31 2022-01-11 Toyota Research Institute, Inc. Opengaze: gaze-tracking in the wild
US10948986B2 (en) 2019-04-09 2021-03-16 Fotonation Limited System for performing eye detection and/or tracking
US11046327B2 (en) * 2019-04-09 2021-06-29 Fotonation Limited System for performing eye detection and/or tracking
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) * 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
EP3973372A4 (en) * 2019-07-11 2023-01-11 Hewlett-Packard Development Company, L.P. EYE TRACKING FOR SCREENS
CN112580409A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 目标物体选择方法及相关产品
KR20210038782A (ko) 2019-09-30 2021-04-08 삼성디스플레이 주식회사 전자 장치
US11935291B2 (en) * 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11073907B1 (en) * 2020-01-28 2021-07-27 Dell Products L.P. System and method of adjusting of an environment associated with a user
CN111639017A (zh) * 2020-05-29 2020-09-08 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
US11687155B2 (en) * 2021-05-13 2023-06-27 Toyota Research Institute, Inc. Method for vehicle eye tracking system
EP4343516A4 (en) * 2021-08-23 2024-04-24 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
CN113822911B (zh) * 2021-10-08 2022-09-16 中国人民解放军国防科技大学 柱状倾斜目标的跟踪方法、装置、计算机设备和存储介质
KR20230065049A (ko) * 2021-11-04 2023-05-11 삼성전자주식회사 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US20140184550A1 (en) * 2011-09-07 2014-07-03 Tandemlaunch Technologies Inc. System and Method for Using Eye Gaze Information to Enhance Interactions
CN103955267A (zh) * 2013-11-13 2014-07-30 上海大学 光透视增强现实系统中双手人机交互方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2412431B (en) * 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
US20080165195A1 (en) * 2007-01-06 2008-07-10 Outland Research, Llc Method, apparatus, and software for animated self-portraits
US8259117B2 (en) * 2007-06-18 2012-09-04 Brian Mark Shuster Avatar eye control in a multi-user animation environment
PL2242419T3 (pl) * 2008-02-14 2016-05-31 Nokia Technologies Oy Urządzenie i sposób określania kierunku spojrzenia
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
WO2013103994A2 (en) * 2012-01-08 2013-07-11 Oppenheimer Steven Charles System and method for item self-assessment as being extant or displaced
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
KR102604648B1 (ko) * 2012-10-10 2023-11-21 코닝 인코포레이티드 감소된 번쩍임 현상을 제공하는 눈부심 방지층을 갖춘 디스플레이 장치
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
US20150088923A1 (en) * 2013-09-23 2015-03-26 Google Inc. Using sensor inputs from a computing device to determine search query
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US20140184550A1 (en) * 2011-09-07 2014-07-03 Tandemlaunch Technologies Inc. System and Method for Using Eye Gaze Information to Enhance Interactions
CN103955267A (zh) * 2013-11-13 2014-07-30 上海大学 光透视增强现实系统中双手人机交互方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526431A (zh) * 2016-06-21 2017-12-29 通用汽车环球科技运作有限责任公司 用于预测视觉注意力的目标的设备及方法
CN107526431B (zh) * 2016-06-21 2020-09-29 通用汽车环球科技运作有限责任公司 用于预测视觉注意力的目标的设备及方法
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN109715047B (zh) * 2016-09-07 2021-08-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN111417885A (zh) * 2017-11-07 2020-07-14 大众汽车有限公司 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN111712781A (zh) * 2018-02-09 2020-09-25 微软技术许可有限责任公司 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统
CN111712781B (zh) * 2018-02-09 2023-08-25 微软技术许可有限责任公司 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统
WO2020030122A1 (zh) * 2018-08-09 2020-02-13 黄钧鼎 影像处理方法及头戴式影像系统
CN109375773A (zh) * 2018-10-24 2019-02-22 深圳市领点科技有限公司 一种基于vr设备的监督方法和装置

Also Published As

Publication number Publication date
CN105373218B (zh) 2018-09-18
US20160048964A1 (en) 2016-02-18
US20170024893A1 (en) 2017-01-26
KR101850586B1 (ko) 2018-04-19
US9489739B2 (en) 2016-11-08
KR101950641B1 (ko) 2019-02-20
CN109062415A (zh) 2018-12-21
KR20180041642A (ko) 2018-04-24
US10394318B2 (en) 2019-08-27
KR20160020369A (ko) 2016-02-23

Similar Documents

Publication Publication Date Title
CN105373218A (zh) 用于改进眼睛跟踪的场景分析
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
Sridhar et al. Fast and robust hand tracking using detection-guided optimization
JP5967904B2 (ja) ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置
EP3811337A1 (en) System for predicting articulated object feature location
US11244506B2 (en) Tracking rigged polygon-mesh models of articulated objects
CN114981841A (zh) 用于视频对象分割(vos)的端到端合并
US20170186165A1 (en) Tracking rigged smooth-surface models of articulated objects
EP2880633A1 (en) Animating objects using the human body
KR20170056860A (ko) 이미지 생성 방법 및 장치
US11720745B2 (en) Detecting occlusion of digital ink
JP2017523498A (ja) 効率的なフォレストセンシングに基づくアイトラッキング
Thabet et al. Fast marching method and modified features fusion in enhanced dynamic hand gesture segmentation and detection method under complicated background
US10976829B1 (en) Systems and methods for displaying augmented-reality objects
WO2019022829A1 (en) HUMAN FEEDBACK IN A 3D MODEL ADJUSTMENT
CN111783600A (zh) 一种人脸识别模型训练方法、装置、设备及介质
Kim et al. Interactive image segmentation using semi-transparent wearable glasses
US20220159174A1 (en) Method of controlling electronic device by recognizing movement in peripheral zone of field of view of camera, and electronic device therefor
Song et al. Real-time single camera natural user interface engine development
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
US10671881B2 (en) Image processing system with discriminative control
CN109472860B (zh) 基于人工智能的深度图平衡选优方法及装置
Fogelton Real-time hand tracking using modificated flocks of features algorithm
EP4320585A1 (en) Bystander and attached object removal
Ferstl et al. Real-time hand gesture recognition in a virtual 3d environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180918

Termination date: 20200807