CN107533634A - 眼睛跟踪系统 - Google Patents

眼睛跟踪系统 Download PDF

Info

Publication number
CN107533634A
CN107533634A CN201680023197.8A CN201680023197A CN107533634A CN 107533634 A CN107533634 A CN 107533634A CN 201680023197 A CN201680023197 A CN 201680023197A CN 107533634 A CN107533634 A CN 107533634A
Authority
CN
China
Prior art keywords
camera
eye tracker
target
coordinate system
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680023197.8A
Other languages
English (en)
Inventor
哈伊姆·梅尔曼
尼尔·埃登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Control Radiation System Co Ltd
ControlRad Systems Inc
Original Assignee
Control Radiation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Control Radiation System Co Ltd filed Critical Control Radiation System Co Ltd
Publication of CN107533634A publication Critical patent/CN107533634A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Artificial Intelligence (AREA)

Abstract

一种用于评价使用者在物体上的凝视点的系统，所述系统包括：眼睛跟踪器，其包括与第一坐标系相关联的至少一个眼睛跟踪器相机；光源；与第二坐标系相关联的至少一个定位相机，物体的几何数据存储在所述至少一个计算机可访问的存储设备中；其中，所述至少一个计算机的任一组合被配置为：确定使用者相对于第一坐标系的凝视线；确定至一个眼睛跟踪器相机相对于第二坐标系的位置；确定物体相对于第二坐标系的位置；以及基于任一坐标系中的凝视线和至少一个物体在任一坐标系中的位置确定凝视点。

Description

眼睛跟踪系统
技术领域
本系统和装置大体涉及眼睛跟踪系统，特别是涉及具有处于可变空间布置中的系统元件的眼睛跟踪。
相关专利申请的交叉引用
本专利申请要求2015年3月23日提交的美国临时专利申请序列号62/136,643的优先权并且与之相关，该美国临时专利申请通过引用以其整体并入本文。
背景技术
眼睛跟踪是已知技术，其技术和方法记载在Andrew Duchowski的ISBN 978-1-84628-608-7的“眼睛跟踪方法论：理论与实际”中。该书籍描述了本领域已知用于从眼睛的图像计算凝视方向的各种方法。也可以获得公开使用眼睛跟踪技术的其他来源。
眼睛跟踪设备的主要应用之一是提供使用者在显示屏或任何其他物体上的凝视点。在一些情况下，凝视点被显示在这样的显示屏上，而在一些情况下，凝视点位置可用于其他目的，例如激活功能。
用于这样的目的的典型的眼睛跟踪系统被设计为使用眼睛跟踪器来跟踪显示屏表面上的凝视点，该眼睛跟踪器被安装在显示器的固定位置(通常为显示器的底部中心)并被设计为跟踪距显示器的通常距离为40～100cm处的使用者。因此，这样的眼睛跟踪器还被设计为跟踪通常距眼睛跟踪器40～100cm的使用者。这样的眼睛跟踪器允许使用者在眼睛跟踪器的头部箱(通常尺寸为40×40×40cm3)内自由运动。
在各种应用中，例如外科手术室，常常期望将显示器定位在距离使用者超过100cm的距离处。被设计为跟踪在最大100cm处的使用者的眼睛跟踪器在附接于距离使用者超过100cm远的显示器上时将无法再跟踪使用者。
长期以来需要一种在显示器(或任何其他被观察的物体)距离使用者比眼睛跟踪器距离使用者的最大可用距离还远的情况下能够使用这样的眼睛跟踪器的系统。本发明的系统还能够使眼睛跟踪器与显示器(或物体)之间的空间关系不固定，使得它们可以相对于彼此移动并仍在显示屏上保持凝视点跟踪。
在一个实施例中，本发明的系统被用来在外科手术过程中帮助使用者。在外科手术环境的一些布置中，紧邻使用者的空间可能会加载器械，达到希望将监视器移动更远的程度。如果使用者与监视器的显示器的期望位置之间的距离变得大于现有眼睛跟踪器的当前的典型范围时，将会损害这些眼睛跟踪器的正确使用。
发明内容
本发明提供除去眼睛跟踪器相对于监视器(或物体)的固定位置的自由度，并且允许在任何时间多方面定位和改变位置，而不干扰凝视点跟踪。该系统包括被配置为跟踪使用者的眼睛移动的相机和关联计算机、被配置为跟踪监视器屏幕(或任何其他物体)的相机和关联计算机以及被配置为控制该系统的操作的一个或多个计算机。所有计算机功能可以在单个计算机或任意数量的多个计算机的任一组合中处理。除了控制该系统之外，计算机可以被配置为或包括适于从拍摄使用者的眼睛运动的相机接收数据并计算使用者的凝视线(或从眼睛跟踪器接收使用者的凝视线)的机构。监视器跟踪器可以定位并识别监视器的空间位置(特别是其中显示的图像区域)。计算机可以被配置为计算凝视线在监视器屏幕区域上的入射点，以提供使用者在监视器屏幕上的凝视点。在一些实施例中，许多计算机可以参与该处理并且计算机的计算任务可以分配在多个计算机之间。
这样的系统以使用者、跟踪系统和监视器之间灵活的几何关系提供使用者在监视器显示屏上的凝视点。该系统还可以支持多个监视器和眼睛跟踪系统。该系统改变了现有感知，根据该现有感知，监视器屏幕应该与眼睛跟踪器成固定关系位于或定位于紧邻使用者的眼睛，其中眼睛跟踪器通常固定在监视器的底部。采用本发明，由于监视器屏幕现在能够定位在距离使用者较远的距离处，因此监视器屏的位置或定位变得灵活。
在本发明的一个实施例中，物体跟踪器相机相对于眼睛跟踪器安装在固定位置，以便跟踪物体，物体和眼睛跟踪器中的至少一个可相对于彼此移动，并且在监视器的情况下，凝视点可以标记在显示器上。
在本发明的另一个实施例中，物体跟踪器相机相对于物体安装在固定位置，以便跟踪眼睛跟踪器，物体和眼睛跟踪器中的至少一个可相对于彼此移动，并且在监视器的情况下，凝视点可以标记在显示器上。
在本发明的又一个实施例中，物体跟踪器相机位于任何位置并且被配置为跟踪物体和眼睛跟踪器二者，物体、物体跟踪器和眼睛跟踪器中至少一个可相对于彼此移动，并且在监视器的情况下，凝视点可以标记在显示器上。
本发明还提供使用可通过监视器显示的或可位于房间内的不同位置的目标(参考点)进行校准的方法。
本发明具体能够通过将显示器定位在较靠近眼睛跟踪器以便覆盖眼睛跟踪器的跟踪范围来校准比用于跟踪的显示器的范围大的范围。
本发明具体能够通过将显示器相对于眼睛跟踪器定位在多个位置以便覆盖眼睛跟踪器的跟踪范围来校准比用于跟踪的显示器的范围大的范围。
显示在房间内不同位置的校准目标可以包括安装在房间周围的特定目标形状、安装在房间周围的光源和使用一种目标或多种目标的混合同时或一个接一个投射到房间的不同固定元件(例如，墙壁和箱柜)上的目标中的任何一个。
本发明还提供在多个物体上跟踪凝视点，并且在监视器的情况下，在都位于不同位置并且可移动的多个监视器上跟踪凝视点，而不干扰一个或任意数量的物体(和监视器)的凝视点跟踪。
本发明还提供用于引入多个物体跟踪器(或物体跟踪器相机)的系统和方法。
本发明还提供用于引入多个眼睛跟踪器的系统和方法。
可使用立体成像和常规三角测量方法来设置3D坐标系，以在坐标系中描述物体的位置和取向。
可使用单个相机来使用2D-3D姿态方法确定物体在坐标系中的位置和取向，例如记载在下述文献中的2D-3D姿态方法：Rosenhahn,B.的“关于2D-3D姿态估计的基础”；Wikipedia:https://en.wikipedia.org/wiki/3D_pose_estimation；Rosenhahen,B.,Sommer G.：“针对不同对应实体的自适应姿态估计”，在Springer,Heidelberg(2002)出版的Van Gool,L.(主编)DAGM 2002，第2449卷，第265-273页；以及Daniel F.Dementhon,Larry S.Davis的“在25行代码中的基于模型的物体姿态”，国际计算机视觉杂志(1995年6月)，第15卷，第1期，第123-141页。
根据本发明的一个方面，提供一种用于评价使用者在物体上的凝视点的系统，所述系统包括：至少一个眼睛跟踪器相机和至少一个定位相机，所述至少一个眼睛跟踪器相机和所述至少一个定位相机被配置为相对于彼此设置在固定位置；至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；至少一个计算机；以及至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；其中，至少一个计算机的任一组合被配置为：(a)基于从至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于坐标系的凝视线；(b)基于从至少一个定位相机接收到的图像确定至少一个物体相对于坐标系的位置；以及(c)基于凝视线、至少一个物体的位置以及至少一个物体的几何数据确定凝视点。
至少一个物体可以包括至少两个物体；该至少两个物体可以被配置为相对于彼此设置在固定位置。
至少一个物体可以是监视器；该监视器可以被配置为显示至少一个标记。
至少一个定位相机可以包括至少两个定位相机；该至少两个定位相机可以被配置为能够使用立体方法确定至少一个物体的位置。
根据本发明的另一个方面，提供一种用于评价使用者在物体上的凝视点的系统，所述系统包括：至少一个眼睛跟踪器相机，其与相对于所述至少一个眼睛跟踪器相机固定的第一坐标系相关联；至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；至少一个计算机；至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；以及至少一个定位相机，其被配置为相对于所述至少一个物体设置在固定位置；所述至少一个定位相机被配置为与相对于所述至少一个定位相机固定的第二坐标系相关联；其中，所述至少一个计算机的任一组合被配置为：(a)基于从所述至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于所述第一坐标系的凝视线；(b)基于从所述至少一个定位相机接收到的至少一个图像确定所述至少一个眼睛跟踪器相机相对于所述第二坐标系的位置，由此确定一个坐标系在其他坐标系中的位置；以及(c)基于在任一坐标系中的凝视线、所述至少一个物体在任一坐标系中的位置以及所述至少一个物体的几何数据确定凝视点。
至少一个物体可以包括至少两个物体；其中该至少两个物体可以被配置为相对于彼此设置在固定位置。
至少一个定位相机可以包括至少两个定位相机；该至少两个定位相机可以被配置为能够使用立体方法确定至少一个物体的位置。
根据本发明的另一个方面，提供一种用于评价使用者在物体上的凝视点的系统，所述系统包括：眼睛跟踪器，其包括与相对于所述至少一个眼睛跟踪器相机固定的第一坐标系相关联的至少一个眼睛跟踪器相机、被配置为从使用者的至少一个眼睛提供角膜反射的光源以及至少一个计算机；至少一个定位相机，其与相对于所述至少一个定位相机固定的第二坐标系相关联；以及至少一个物体，其中所述至少一个物体的几何数据存储在所述至少一个计算机可访问的存储设备中；其中，所述至少一个计算机的任一组合被配置为：(a)基于从所述至少一个眼睛跟踪器相机接收到的图像确定使用者相对于所述第一坐标系的凝视线；(b)基于从至少一个定位相机接收到的图像确定所述至少一个眼睛跟踪器相机相对于所述第二坐标系的位置，由此确定一个坐标系在另一个坐标系中的位置；(c)基于来自所述至少一个定位相机的图像和存储的所述至少一个物体的几何数据确定所述至少一个物体相对于所述第二坐标系的位置；以及(d)基于在任一坐标系中的凝视线以及所述至少一个物体在任一坐标系中的位置确定凝视点。
第一定位相机可以被配置为确定至少一个眼睛跟踪器相机的位置，该第一定位相机与相对于所述第一定位相机固定的第二坐标系相关联；其中，第二定位相机可以被配置为确定所述至少一个物体的位置，所述第二定位相机与相对于所述第二定位相机固定的第三坐标系相关联；并且通过所述至少一个眼睛跟踪器确定的凝视线与所述至少一个物体的交点可以基于所述第二坐标系与所述第三坐标系之间的变换来确定。
至少一个物体可以包括至少两个物体；其中该至少两个物体可以被配置为相对于彼此设置在固定位置。
至少一个物体可以是监视器；该监视器可以被配置为显示至少一个标记。
至少一个定位相机可以包括至少两个定位相机；该至少两个定位相机可以被配置为能够使用立体方法确定所述至少一个物体的位置。
根据本发明的另一个方面，提供一种校准和使用眼睛跟踪器的方法，所述眼睛跟踪器被配置为跟踪使用者在显示器上的凝视点，其中所述显示器被配置为相对于用于跟踪的眼睛跟踪器定位在不同于校准位置的至少一个位置，所述方法包括下述步骤：将所述显示器置于靠近所述眼睛跟踪器，由此覆盖所述眼睛跟踪器的凝视范围所覆盖的整个区域；确定所述显示器与所述眼睛跟踪器相对于彼此的位置；在所述显示器上显示多个目标，所述多个目标中的每一个都基于所述眼睛跟踪器与所述显示器的相对位置提供该目标在第一坐标系中的凝视线的校准参数，其中所述多个目标覆盖所述眼睛跟踪器的凝视范围所覆盖的区域；存储校准数据；将所述显示器和所述眼睛跟踪器中的至少一个相对于彼此定位在不同于校准位置的使用位置；利用至少一个定位相机，由此确定所述显示器与所述眼睛跟踪器相对于彼此的位置；基于所述校准数据确定在所述第一坐标系中的凝视线；以及基于所述显示器与所述眼睛跟踪器的相对位置确定所述凝视线与所述显示器在任一坐标系中的交点，由此提供在所述显示器上的凝视点，其中所述显示器和所述眼睛跟踪器的相对位置是基于来自所述定位相机的至少一个图像确定的。
确定所述显示器与所述眼睛跟踪器相对于彼此的位置可以使用定位相机进行。
根据本发明的另一个方面，提供一种校准与显示器一起使用的眼睛跟踪器的方法，所述眼睛跟踪器和所述显示器被配置为相对于彼此定位在至少两个不同位置，用于跟踪在所述显示器上的凝视点，所述方法包括下述步骤：将所述显示器放置在第一位置，由此覆盖眼睛跟踪器的凝视范围可达到的角度的至少一部分；确定所述显示器与所述眼睛跟踪器相对于彼此的位置；在显示器上显示多个目标，所述多个目标中的每一个都基于所述眼睛跟踪器与所述显示器的相对位置提供该目标在第一坐标系中的凝视线的校准参数，其中所述多个目标覆盖所述显示器的区域的至少一部分；针对所述显示器的另一个位置至少重复上述步骤一次，由此校准眼睛跟踪器的凝视范围可达到的另外的凝视线；以及存储校准数据。
确定所述显示器与所述眼睛跟踪器相对于彼此的位置可以使用定位相机进行。
根据本发明的另一个方面，提供一种用于校准眼睛跟踪器的方法，所述方法包括下述步骤：引起使用者注意校准目标；利用至少一个定位相机和至少一个计算机，由此确定所述校准目标与所述眼睛跟踪器的坐标系相对于彼此的位置；针对所述校准目标确定凝视线在第一坐标系中的校准参数；重复上述步骤，由此提供凝视范围的期望部分以及校准目标分布；以及存储校准数据。
校准目标可以包括至少一个LED。
引起使用者的注意可以包括接通期望目标的至少一个LED并且关闭其他目标的其他LED。
可以通过由目标的至少一个LED限定的开/关顺序模式、颜色和形状中的任何一个来区分该目标。
目标的形状可以通过构成该目标的至少一个LED的布置来确定，该布置包括空间分布、开/关顺序和颜色中的任何一个。
校准目标可以包括物品。
引起使用者的注意可以包括照亮期望目标的物品。
可以通过照明的开/关顺序模式、颜色和形状中的任何一个区分目标。
可以使用至少一个投影仪将所述目标投射到基板上。
引起使用者的注意可以包括投影期望目标。
可以通过投影仪的开/关顺序模式、图像颜色以及图像形状中的任何一个区分目标。
在校准之后，可以改变所述眼睛跟踪器的位置，使得至少一个目标落入凝视范围内在所述校准期间没有目标的位置；所述方法还可以包括：使用所述至少一个目标重复所述校准过程。
至少一个定位相机可以被配置为拍摄目标的至少一部分。
计算机可以被配置为基于从所述至少一个定位相机接收到的至少一个图像以及目标的至少一部分的空间布置数据确定没有被所述定位相机拍摄到的至少一个目标与所述眼睛跟踪器坐标系相对于彼此的位置，其中所述目标的至少一部分包括没有被所述至少一个定位相机拍摄到的至少一个目标和被所述至少一个定位相机拍摄到的目标的至少一部分。
根据本发明的另一个方面，提供一种与角膜反射一起使用的眼睛跟踪器，所述眼睛跟踪器包括：眼睛跟踪器相机；以及至少两个光源，其被配置为产生角膜反射；所述至少两个光源中的至少第一光源和第二光源被配置为位置分开并且各自被配置为为至少一个相同的凝视线提供角膜反射；所述第一光源被配置为打开，并且所述第二光源被配置为关闭；在所述第一光源的角膜反射未被所述眼睛跟踪器检测到的情况下，所述第一光源被配置为关闭，并且所述第二光源被配置为打开。
附图说明
为了更好地理解本发明，并表明可以如何实施本发明，现在将仅通过举例参照附图。
将参照附图描述本系统和方法，附图中相同的附图标记被用于各图中共同的元件。
图中的相机和监视器通过电缆或无线方法直接地或通过其他方式连接至计算机或彼此连接，以便于参照图所描述的通信。为了清楚起见，这些连接没有明确地在附图中示出。连接和通信方式是本领域公知的。使计算机与其他元件(例如，主动校准目标、投影仪、监视器)的通信方式以及说明书中存在但不一定在附图中明确示出的两个以上物品之间的任何其他通信方式的方法相同。
现在在细节上具体参照附图，要强调的是，详情通过举例示出并且仅用于示例性讨论本发明的优选实施方式的目的，并且在提供被认为是对本发明的原理和概念方面最有用且最容易理解的描述的过程中给出。在这方面，除了对于基本理解本发明所必需的细节之外，没有尝试更详细地示出本发明的结构细节，用附图进行的描述使本领域技术人员清楚如何将本发明的若干形式体现在实践中。在附图中：
图1A为根据实施例的跟踪系统的图示；
图1B为根据实施例的跟踪系统的图示；
图2A为根据实施例的包括两个被跟踪物体的跟踪系统的图示；
图2B为根据实施例的包括由多个物品构成的被跟踪物体的跟踪系统的图示；
图3A为根据实施例的校准跟踪系统的图示；
图3B为根据实施例的校准跟踪系统的图示；
图4为根据实施例的基于立体成像的跟踪系统的图示；
图5为根据实施例的跟踪系统的图示，其中定位相机包括在物体组件中；
图6A为根据一个或多个定位相机独立于系统的其他部件安装的实施例的跟踪系统的图示；
图6B为根据一个或多个定位相机相对于眼睛跟踪器相机安装在特定位置的实施例的跟踪系统的图示；
图7为根据包括多个角膜反射光源的实施例的跟踪系统的图示；以及
图8为根据包括多个眼睛跟踪器的实施例的跟踪系统的图示。
术语表
视线/凝视线：延伸穿过使用者的眼睛并且穿过使用者正注视的点的假想线。
凝视点：使用者正注视的点，即凝视线与物体的点的交点。
凝视角：顶点在使用者的瞳孔处且一根光线穿过凝视点而另一根光线穿过眼睛跟踪器的镜头的中心的角
眼睛跟踪：确定使用者的视线的动作。
眼睛跟踪器：一种设备，例如可以执行眼睛跟踪的相机及关联照明源，包括算法和能够计算凝视线的计算机能力。
头部箱(head box)：意图包括使用者的至少一个眼睛的空间。
眼睛跟踪器的跟踪范围/跟踪范围：由可以被跟踪的整套凝视线限定的立体角。
物品：由物理材料构成的任何事物。
物体：意图为使用者的凝视对象的物品。
物体跟踪器：意图跟踪物体的系统，通常包括至少一个相机和计算能力。
物体箱(object box)：意图包括用于计算凝视点的物体的空间。其通过物体跟踪器的至少一个相机的视野以及至少一个相机的空间位置界定。
屏幕/显示器：用于显示图像、文字、数字、图形元素等的二维区域。
监视器：包括屏幕/显示器的三维物品。
监视器跟踪器：意图跟踪监视器的系统，通常包括至少一个相机和某些计算能力。这是物体跟踪器的一种具体实现方式。
使用者：使用该系统的任何人(也可以称为操作者、医师或外科医生)。
位置(物品在坐标系中的位置)：物品的至少一个点在坐标系中的坐标以及该物品相对于坐标系的取向，或者物品的不在直线上的至少三个点在坐标系中的坐标。
光：可使用常见的电光部件(例如，镜头、棱镜和传感器)处理的电磁辐射，包括可见范围内以及还有可见范围外(例如红外光)的辐射。
眼睛跟踪器相机：意图拍摄包括使用者的一只或两只眼睛的图像的相机
定位相机：意图拍摄包括任何物体和物品(通常为感兴趣的物体，例如监视器及关联显示器，以及可能情况下的标记)的图像的相机
具体实施方式
下文的描述将主要参照作为监视器的物体来进行以简化描述，并且集中于一个实施例上，但应懂得该描述适用于任何物体。还以手术室为例进行描述，但是本发明适用于参照物体使用眼睛跟踪的任何环境。
图1A为根据本发明的实施方式的跟踪系统的图示。跟踪系统100被配置为计算(使用者的)凝视线在监视器104(以及包含在内的屏幕124)上的入射点，以在监视器屏幕上提供凝视点。跟踪系统100包括眼睛跟踪器相机108、照明源132和计算机130，眼睛跟踪器相机108被配置为拍摄包括使用者112的眼睛的范围(volume)的图像。计算机130可以被配置为分析从相机108接收到的图像，并提供使用者112相对于坐标系的凝视线，在本实施例中该坐标系为坐标系144。相机116被配置为跟踪包围物体的空间，在本实施例中物体为监视器104。相机108、相机116和照明源132被安装在支撑件或平台128上。在本实施例中，坐标系144相对于支撑件128、相机108、相机116和照明源132固定。照明源132可以被配置为支持不同任务，例如用于眼睛跟踪的角膜反射。坐标系144可以是相机108和116、照明源132和支撑件128中的任何一个的坐标系。例如，也可以存在相对于相机恒定的任意坐标系。可以增加照明源142，其可以被配置为提供面部照明，以进行面部特征的检测和识别。例如，照明源142可以为可从美国亚历山大市的Luxand公司商购的FaceSDK。照明源142可安装在支撑件128上，但也可以安装在其他位置。可以增加照明源152，其可被配置为照亮包围监视器104和可被相机116观测到的其他物体的空间，以便于操作相机116，从而提供被充分照亮的物体的图像。照明源152可以安装在支撑件128上，但也可以安装在其他位置。相机108被配置为提供使用者112的眼睛的图像，并且向计算机130提供图像。虽然相机108可以具有摇摄(pan)和倾斜功能，但是其在坐标系144中是固定的。基于计算机130中进行的图像分析，计算机130可以使用相机108的已知坐标系与坐标系144之间的变换(如果使用的话，包括已知的摇摄和倾斜参数)提供相对于坐标系144的凝视线。通常，使用者112将进行外科手术并在监视器104的屏幕124上观察外科手术的进展，或者在观察屏幕124的同时进行另一动作。
跟踪系统100包括相机116，其被配置为提供可包括使用者感兴趣的物体或使用者可注视的物体的范围的图像。该范围可以包括位于该范围中的监视器104、附加监视器以及其他物体。相机116也安装在位于坐标系144中的已知位置的支撑件128上，使得在坐标系144中通过使用坐标系之间的已知变换也可以已知在相机116的坐标系中给定的点。与计算机130合作的相机116可使计算机130提供监视器104的坐标以及其他监视器和物体相对于坐标系144的坐标。在一些情况下，可以在计算机130中使用物体识别算法，而在一些情况下，物体可以配备有特定的识别符，以支持计算机130中更简便、更快速的图像识别和图像识别算法，并且识别物体及它们在坐标系144中的位置信息。在一些实施例中，计算机130可以被配置为提取监视器屏幕124上显示的图像元素相对于坐标系144的坐标。计算机130可以被配置为接收并分析显示在监视器屏幕124上的图像，并由此提供监视器屏幕124相对于坐标系144的平面和边界。监视器跟踪器也可以包括一个或多个附加照明源(未在图1中示出)，从而给相机116提供对存在于相机116所覆盖的范围(volume)内的物体的良好可视性。
相机108和相机116被配置为通过通信线路160与计算机130通信，该通信线路160可以是坚固的有线线路或无线通信线路。坚固的有线线路或无线通信线路在长度上没有限制，并且计算机130可以放置在任何位置。照明源132、142和152中的任何一个也都可以连接至可以被配置为控制照明源中任何一个的强度或切换照明源的开关的计算机130。在手术室的实施例中，手术台136通常位于使用者112与支撑件128之间。照明源142和152中的每一个也都可以由位于多个位置的多个照明单元组成，以提供不同需要，例如更高的照明强度、减少阴影并克服看不清的物体。监视器104或感兴趣的其他监视器或物体通常会在更加远离使用者的方向上位于相机116后面的空间中。
应懂得，坐标系144是举例提供的，其也可以为相机108或相机116的坐标系或相对于相机108和116固定的任何其他坐标系。相机可以通过任何方式相对于彼此安装在固定位置。
图1B为图1A的系统的另外的图示，其中系统100的大部分部件已从该图中移除，以提供对图1B所给出的新元件更好的清晰度和理解。相机108在此示出其头部箱162。头部箱162为其中相机108可以拍摄图像(包括使用者112的图像)的容积体，使得计算机130可以使用这些图像来提供信息，例如相对于坐标系144的使用者112的视线或面部识别数据。头部箱162通过参数限定，例如，相机108的传感器尺寸和分辨率、与相机108一起使用的镜头的焦距、景深和相机108的聚焦能力等。在一些相机构造中，变焦距(zoom)、摇动镜头和倾斜可以用于放大头部箱。
物体箱164为其中相机116可以拍摄物体(例如监视器104)的图像的容积体，使得计算机130可以使用这些图像来提供信息，例如监视器104和屏幕124相对于坐标系144的位置。与头部箱162的尺寸依赖于相机108的参数的方式相同，物体箱164的尺寸依赖于相机116的参数。
虽然在一些实施例中，便于操作跟踪系统100(图1A)的照明源142和152可能安装在天花板或墙壁或其他位置，或者根本不使用，但是这些照明源也可以安装在支撑件128上。监视器104也可以安装在支撑件上、安装在手推车上、附接于手术室的天花板上、悬于墙壁上或安装在可移动的悬挂物上。相机116与监视器104(或物体箱164中另一被跟踪的物体)之间的距离仅受相机116的性能以及确定凝视点在物体上的位置时的所需精度的限制。例如，距离可以为1.5米、2米、4米或6米；实际上可以为任何距离。以同样的方式，相机108(眼睛跟踪器相机)与监视器104(或物体箱164中的另一被跟踪的物体)之间的距离仅受到相机116的性能以及在确定凝视点在物体上的位置时的所需精度的限制。例如，距离可以为1.5米、2米、4米或6米；实际上可以为任何距离。也可以通过上述参考相机108描述的相同方式对相机116使用摇摄和倾斜，以增大物体箱的宽度和高度，并且仍允许计算机130使用已知的摇摄和倾斜值来确定物体在坐标系144中的位置，由此了解相机116的坐标系与坐标系144之间的坐标变换。应懂得，相机108与相机116之间的距离也可以固定到仅受眼睛跟踪器的性能(例如，最大可跟踪凝视角)限制的任何距离和任何相对位置。
任何物体的位置通常通过其在指定坐标系中的坐标来确定。在一个实施例中，支撑件128提供参考坐标系(通过箭头144示意性示出)。坐标系144相对于相机108、相机116和照明源142固定。使用者及手术室中的其他对象和物体的坐标也可以基于相机108和相机116在坐标系144中的已知位置通过这些相机的坐标系到坐标系144的坐标系变换而在坐标系144中确定。
参照图2A，其图示了两个可跟踪的物体。坐标系144在计算机130中实现。其原点可以在相对于支撑件128的任何位置和任何取向上实现。在本实施例中，X轴垂直于相机108的光学轴线并且平行于支撑件128，Y轴垂直于平台/支撑件128。
例如，相机的坐标系可以确定为其原点在图像传感器的中心、X轴平行于传感器行、Y轴平行于传感器列、Z轴指向镜头。相机108在坐标系144中的位置信息可以通过其传感器的中心的位置和传感器在坐标系144中的平面取向(通常通过垂直于传感器的平面的矢量的方向限定)来确定。头部箱空间中的点的坐标可以通过使用相机108拍摄的并提供给计算机130的图像并通过使用镜头信息和几何光学根据这些物体的图像在相机108的传感器上的位置来计算。当单个相机用于头部箱时，可以根据电动聚焦镜头的聚焦信息来计算到点的距离，并且如果镜头具有变焦距能力，也可以由变焦距程度(zoom level)或放大信息计算。使用面部识别算法来确定使用者的瞳孔的中心位置支持坐标系144中一个或两个瞳孔位置的中心的确定。
物体箱中的点在坐标系144中的位置信息可以通过相同的方式确定。在这种情况下，代替瞳孔，可能希望定位作为监视器104的屏幕区域124的有限平面。这可以通过向计算机130提供监视器参数信息(尺寸、颜色、特定特征)并使用物体识别软件(例如，可从立陶宛维尔纽斯的Neurotechnology公司获得的SentiSight SDK)来完成。在实际尺寸被传送给计算机130的已知物体(例如，监视器)的情况下，使用相机传感器和镜头信息，计算机130可以计算监视器104和屏幕124在坐标系144中的位置信息。
如图2A所示，物体(例如监视器)也可以配备具有形状、颜色、光源和后向反射器中任何一个的标记，该标记可以被配置为通过识别特定物体来进一步支持物体识别软件并帮助计算物体的空间位置。在监视器的情况下，标记可以显示在由监视器的显示能力产生的显示区域上。在该具体实施例中，监视器104具有位于监视器104的框架的角落处的4个标记202、204、206和208。这些标记可以是任何类型的上述标记。计算机130可以存储这些标记及它们的几何位置(和/或颜色、形状、尺寸)，并且监视器104可以被适当识别(因为在本实施例中其正好具有4个标记)。监视器104的位置信息可以从其出现在相机116的获取图像中时在4个标记之间绘制的假想四边形形状的相对几何形状和尺寸来提取，或者使用2D-3D姿态提取方法来提取，例如记载在下述文献中的2D-3D姿态提取方法：Rosenhahn,B.的“关于2D-3D姿态估计的基础”；Wikipedia:https://en.wikipedia.org/wiki/3D_pose_estimation；Rosenhahen,B.,Sommer G.：“针对不同对应实体的自适应姿态估计”，在Springer,Heidelberg(2002)出版的Van Gool,L.(ed)DAGM 2002，第2449卷，第265-273页；以及Daniel F.Dementhon,Larry S.Davis的“在25行代码中的基于模型的物体姿态”，国际计算机视觉杂志(1995年6月)，第15卷，第1期，第123-141页。
在监视器200的实施例中，除了置于角落处的4个标记212、214、216和218之外，还存在一个附加标记220。可使这样的标记布置对于监视器220而言独一无二，以便于使用物体识别软件来毫无疑义地识别该监视器并且还基于存储在计算机130中且可用于位置计算软件的标记的几何形状提供其空间位置。
图2B图示了4个监视器104、240、422和246聚集在一起提供物体230的实施例。三个标记232、234和236可用于识别物体230，将其与存储在计算机130中的该物体的几何信息关联起来，使得相机116拍摄的图像可被计算机130用于识别作为特定的物体230的物体。计算机130可仅使用所存储的物体230的几何信息或使用包括标记232、234、236的几何信息来计算物体230在期望的坐标系(例如，坐标系144)中的位置。计算机130还可以基于计算机130中存储的(或存储在其他任何地方并可被计算机130检索的)物体230的信息计算屏幕124、250、252和256中每一个在坐标系144中的位置。
应懂得，监视器不一定位于与图2B的实施例中相同的布置中，监视器不一定具有相同的尺寸，并且物品104、240、422和246中的任何一个不一定为监视器。任何两个以上物品可以通过在明确已知的布置中相对于彼此定位来构成这样的物体，从而允许物体信息存储于计算机130中并被计算机130使用。
为了起作用，必须校准跟踪系统100。校准该系统创建从使用者112的眼睛(位于头部箱162中)提取的凝视信息与使用者在特定物体(位于物体箱164中)上的凝视点之间的映射。跟踪系统100的校准通常通过提供校准目标来进行，该校准目标通常位于使用者前面比跟踪系统100更加远离使用者的空间中。对于每个这样的目标，结合使用者注视目标(位置也被记录的)时使用者的凝视信息(通常为其瞳孔与光源132的角膜反射之间的关系，偶尔也为头部箱的位置)来记录该目标在坐标系144中的位置，也记录该目标的位置。通过以为了精确可能需要的这种目标密度将这样的目标散布在物体箱中的相关空间中，映射整个期望空间并且完成校准。现在，从使用者112得到的凝视信息与物体箱空间中的对应凝视点(以及凝视线)之间存在直接映射。现在，对于从使用者112获得的任何凝视信息，使用记录数据(通过校准映射)来确定对应的凝视点。在简单的实现方式中，可以获得最近存储的凝视数据，并且相关联的目标的已知位置将指示凝视线所通过的点。在已知使用者的眼睛的位置的情况下，通过计算通过两个已知点的线的方程来确定凝视线。在另一个实施例中，可以相对于先前在校准期间记录的类似数据为当前凝视数据提取内插参数。记录的这些类似凝视数据在物体箱中具有可用于产生内插值的对应凝视点，内插值估计与所获得的这种特定凝视数据相关联的空间点。在更复杂的实施例中，可在校准期间进行线性回归，以将从使用者112记录的凝视数据映射到校准目标的已知位置。然后，该线性回归的系数可用于将来自使用者112的所有未来凝视数据转化成物体箱中的凝视点。这种眼睛跟踪校准的方法在本领域中是公知的。
图3A为校准概念的图示。在图3A中，目标为显示在监视器104的屏幕124上的十字标记304。包括目标304的屏幕124上显示的图像可以从计算机130或从另一来源提供。如果图像由另一来源提供，则该另一来源可以与计算机130通信，使得计算机130可以“请求”显示该目标或另一目标，并且还通知计算机130显示了所请求的目标并且可以开始参照该目标进行校准。通过了解监视器104的位置和信息(使用定位相机116和目标跟踪器功能)并且具有目标304在屏幕124内的位置信息，计算机130知道了目标304在坐标系144中的位置。计算机130还可以用合适的物体识别软件使用来自相机116的图像来检测期望的图像在屏幕124上的显示以及其在屏幕124上的位置。使用者112凝视目标304，从而从其眼睛312的位置到目标304的位置产生凝视线306。相机108拍摄使用者的眼睛312的图像，包括来自照明源132的角膜反射。计算机130根据图像眼睛跟踪参数(例如，角膜反射中心和瞳孔中心的位置)计算眼睛312在坐标系144中的位置。这可以使用相机108在坐标系144中的传感器信息以及镜头的聚焦和变焦距参数使得眼睛312在坐标系144中的3D位置变得被计算机130已知来完成。为此还可以使用立体方法，其将在下面描述。相机116拍摄其前面的图像，包括监视器104的图像和目标304的图像。计算机130利用上述任一种方法(例如，如果监视器具有标记，使用这些标记)使用该图像来识别监视器104，并利用存储的监视器104的已知几何形状来确定屏幕124在坐标系144中的位置。计算机130还使用该图像来识别目标图像(例如，在与屏幕124相关联的图像区域上使用针对已知目标形状的互关联方法)，并计算其在坐标系144中的位置。监视器屏幕的平面在坐标系144中的位置和取向以及目标在坐标系144中的方向允许计算机130计算来自相机116的视野线310与屏幕124的平面的交点，由此识别目标304在坐标系144中的3D位置。如下所述，为此还可以使用立体方法来代替，或者将立体方法与标记或物体的几何形状结合使用。根据相机108的图像计算的数据(眼睛312在坐标系144中的位置)和根据相机116的图像计算的数据(目标304在坐标系144中的位置)在坐标系144中确定凝视线306信息。该凝视线信息可以被记录并与根据相机108和相机116拍摄的图像计算的数据相关联地使用，以提供一个校准点。
使用显示在屏幕124上不同位置的另外的目标重复该过程，以提供屏幕124的尺寸可实现的期望的空间覆盖率，以支持任何点处所需的精度。应懂得，虽然是参照单个眼睛312的位置描述校准，但是眼睛跟踪算法通常包含旨在补偿头部(和眼睛)的移动的特征。该校准还可以包括相机108前面的有用范围上的不同眼睛位置。
在由于监视器104没有覆盖跟踪范围的立体角而校准尚未覆盖眼睛跟踪器的整个跟踪范围的情况下，现在监视器104可以移动到物体箱164中的另一位置，并且可针对之前未校准的凝视线继续校准(基本上，针对监视器104的不同位置重复上述过程)。可以重复其直到物体箱164的整个跨度或其任何期望的部分被校准，从而提供物体箱164内期望的校准覆盖范围和分辨率。
可以在不同位置放置多个监视器，以提供校准目标在物体箱164的较大部分上的散布(spread)。
监视器104也可定位为足够靠近相机116，以便屏幕124在一个位置覆盖跟踪范围的整个立体角。整个跟踪范围可以使用该布置进行校准，而不移动监视器。
代替使用监视器104来产生校准用的目标，目标可以通过在物体箱164内提供所需数量和分布的校准目标的方式分布在房间内。参照图3B描述实施例。
在图3B中，两个室壁通过附图标记330和332指示。室内的箱柜(或任何其他家具或物体)通过附图标记344表示。星形元素(例如324和334)表示校准目标。校准目标可以相同或者可以通过具有任何所需形状和颜色的不同图形来区分。它们甚至可以是光源(例如颜色不同或通过各种开/关顺序模式操作的LED)，并且可以具有随时间变化的强度。目标可以由一组LED构成。这组LED可以以任何空间分布、开/关顺序和颜色进行布置。目标可以为反射来自照明源152的光的后向反射器(图2A)。它们可以以任何形状、图像、颜色、开/关顺序和亮度被投射到房间的墙壁和其他物体上。目标在坐标系144中的位置可以使用相机116的图像结合镜头焦点/变焦距信息来确定。可替代地，可以将房间内目标的几何布置提供给计算机130。通过评价相机116拍摄的图像和空间中校准目标布置的知识，计算机130可以支持每个目标在坐标系144中的位置的计算。对于每个目标的视线的校准类似于上面的描述来进行。使用多个目标例(例如，分散在图3B的室内的324)进行的校准可以在没有监视器屏幕124的情况下完成。将眼睛跟踪器定位成使得定位相机116拍摄到目标以使用目标的任何子组或全部覆盖要校准的凝视角度范围就足够了。目标应该以足够的密度分布。目标彼此越靠近，校准越精确。为了增加在给定的一组目标的情况下的精度，眼睛跟踪器可以从一个校准会话(calibration session)移动到另一个校准会话，使得目标在定位相机116的视野中的新位置不同于先前的会话，由此提供实际更高的目标密度，促使校准精度更好。可以根据需要重复该步骤多次。还应懂得，所说明的校准用目标的使用可以使用任何定位相机完成，而不管其安装在何处，不管与其相关联的坐标系如何。
例如，目标光源可以连接至驱动盒340，该驱动盒340连接至计算机130。驱动盒340可以通过计算机130控制，并且可以被配置为控制每个目标的操作参数。
在投影仪的情况下，计算机130可以连接至投影仪342，以控制其在室壁、天花板、地板和家具中的任何一个上投射目标图像，或者在特定时刻简单地照亮特定的图形目标。
在一个方法中，当目标的相对几何数据不被系统所了解时，用于校准的每个目标都必须在跟踪范围内并且还必须在物体箱内。
在另一个方法中，当目标的相对几何数据为系统所了解时，(1)目标跟踪器足以识别最小数量的目标(通常为3个，但是在特殊布置中2个可能就足够了，例如，当定位相机相对于地板的高度和角度被固定时)，(2)系统足以了解哪个目标正用作当前的校准目标。这样，系统还可以针对在物体箱之外、但在跟踪范围内的目标进行校准。例如，当系统使用LED或投影仪来提供校准目标时，使用中的校准目标可以为系统所了解。
应懂得，当使用姿态检测技术来确定目标在坐标系中的位置时，目标相对于彼此的位置需要为系统所了解。这可以通过设计目标的位置来完成。
对使用者的任何一只眼睛、校准目标、物体的标记和物体在坐标系中的位置的检测也可以使用图4所示的立体成像来完成。相机108和408具有至少部分重叠的头部箱(未在图4中示出)。在重叠的容积体中，来自相机108和408的图像被计算机130用于提取从每个相机到眼睛312的方向和对应距离，使得眼睛在坐标系144中的位置被确定。通过计算机视觉三角测量技术提取点在3D空间的位置是本领域公知的，并且在维基百科(www.wikipedia.com)在值“Triangulation(computer vision)”下进行了描述。
当任何标记、目标物体检测与立体成像结合使用时，立体成像可以代替上述技术(例如，在图像中的位置、聚焦和姿态检测方法)或增加确定物品位置的精度。立体成像对使用者可能使用的眼镜的镜面眩目反射也不太敏感，因为立体图像通过使用放置在房间内的任意位置的两个相机并以不同角度自然观看布景和使用者来获得。
包括立体对的两个图像通常包含相同但在不同的像素位置处的面，因此，每个面的中心点可用作感兴趣点，以便从参考坐标点或参考坐标系提取到其的距离。这可以使用已知的立体三角测量原理和方程来完成。
根据定义，体视系统包括二重的系统部件(至少成双的相机)，使得在某些情况下，可以选择一个部件或者相比于一个部件优先考虑另一个部件，例如，以避免来自眼镜的镜面眩目反射。
相同的概念适用于物体的立体成像。在图1至图4中，相机116可以单独使用(或者与用于立体能力的相机416一起使用)以拍摄物体(例如，可以具有诸如232的标记的监视器104)的图像，并且计算机130可以使用这些图像来确定该物体在任何选定的坐标系(例如144)中的位置。
现在参照图5，其示出了附接于监视器104(或与监视器104成固定关系的任何位置)的物体跟踪器的定位相机500。在本发明的这个实施例中，被跟踪的物体是眼睛跟踪器。计算机130可以通过直接电缆连接或无线接收相机500拍摄的图像。在一些实施例中，拍摄的图像可以在存储介质(例如闪存盘)上或以任何其他方式馈送到计算机130。计算机130存储相机500的信息(镜头参数，传感器参数和相对于监视器104的传感器位置)。监视器104的几何形状也存储在计算机130中。可以将监视器104和相机500的几何形状与其他信息一起相对于坐标系544提供并存储，该坐标系544相对于相机500和监视器104是固定的。此外，相机108或支撑件128或标记502和504(位于均以固定关系组合在一起的支撑组件、相机108和照明源132中任何一个上)在相关联的坐标系144内的坐标存储在计算机130中。使用相机500拍摄的图像，计算机130可以使用支撑件128和眼睛跟踪器组件的位置信息来计算坐标系144在坐标系544中的相对位置。换句话说，计算机130可以计算坐标系144和544之间的变换。利用该信息，不需要相机来覆盖监视器104，由相机108的图像计算的凝视线与屏幕平面124(或任何已知物体表面)的交点可以在任何坐标系544、144或具有向544和144中至少一个的已知变换的任何其他坐标系中计算。
应懂得，不是需要位于支撑件128上的所有元件，并且不同元件可以相互补充。例如，将相机108的传感器和光学器件的参数与相机的外部几何形状一起存储在计算机130中可以与对象识别软件和参照相机108指定的坐标系一起合作，从而提供确定凝视线与物体的交叉点的所有必要信息。
校准基于以下假设：校准目标也将被包括在一个坐标系中，使得所有相关的系统信息可以用于计算凝视线以及凝视线与物体的交点。这被提供给显示在相对于物体坐标系的已知位置上的物体(例如，这样的物体为监视器104和坐标系544)上的校准目标。然而，在图5的实施例中，诸如324(图3B和图4)的校准目标使用任何上述方法都没有包括在坐标系144或544中的路径，因为它们不能被任何系统相机(108和500)窥见，并且这些目标的相对位置对于系统是未知的。为了克服这一点并校准大于由屏幕124的区域提供的立体角的物体箱，可以通过针对每个校准循环将监视器104移动到不同位置来重复校准循环直到覆盖期望的物体箱尺寸。尽管在Z方向上的位移不会影响该过程，但是这样的位移通常在X-Y方向上。每个定位相机500拍摄与支撑件128的组件相关联的标记的图像，并且向计算机130提供计算坐标系144和544之间的变换所必需的信息。该信息与坐标系544中的校准目标的位置结合来支持凝视线的校准。
此外，在该实施例中，镜头信息(变焦距、焦点)可以用于确定被拍摄的物体在坐标系544中的位置，并且可以向相机500增加附加相机以在确定被拍摄的物体在坐标系544中的位置中利用立体效益，或者可以将姿态确定方法与存储的供计算机130使用的、标记502和504至少一部分相对于彼此的位置的数据结合使用。应懂得，这些方法可以应用于先前给出的任何实施例。
图6A是本发明的另外的示例性实施例的图示，其中相机600用于拍摄诸如眼睛跟踪相机或眼睛跟踪组件的部件以及诸如监视器的物体。在图6A的实施例中，相机600拍摄监视器104(物体)和位于支撑件128上的元件的至少一部分，包括识别眼睛跟踪器相机的坐标系的位置(或者固定在眼睛跟踪器相机上的坐标系的位置，如144)所需的内容。相机600拍摄的图像被传送到计算机130。通过使用上述任何方法(例如，物体识别或标记)和存储的信息，计算机130计算物体(监视器104)在相机600的坐标系644中的位置以及还有坐标系144在坐标系644中的位置。实际上，这提供了两个坐标系之间的变换。计算机130可以使用该信息来计算坐标系144中给出的凝视线与物体(在本实施例中为监视器104)的交点。
应懂得，可以选择任何坐标系来计算凝视线与物体的交点，并且上面仅举例选择坐标系644。
校准可以通过在物体箱中移动监视器104以与参照图5所述的相同方式来完成。在图6A的实施例中，如果相机600拍摄另外的校准目标，例如图3B和图4的目标324，则这样的目标可以用于如上所述的校准。
可以增加更多的相机，例如相机602。虽然可以增加多个相机，并且每个相机也可以具有摇摄和倾斜功能，但是该描述将涉及一个附加相机，其中多个相机的使用是类似的并且被本领域技术人员充分理解。
相机602的坐标系646与相机600的坐标系644之间的变换可以是已知的并且存储在计算机130中。在一些实施例中，也可以通过计算机130使用已知存储的两个相机拍摄的数据来计算变换。一个实例可以是通过两个相机拍摄目标502和504。利用存储在计算机130中的这些目标的已知几何形状，可以计算每个相机相对于这些目标的位置，因此也可以计算坐标系644和646之间的变换。
不需要全部多个相机将都拍摄相同的物品以支持相机的坐标系之间的变换的计算。也不需要预先知道相机600、602和604的坐标系之间的变换。这可以通过相机拍摄的图像来提取。例如，相机600可以拍摄位于支撑件128上的元件，相机602可以拍摄位于支撑件128的元件以及物体104，相机604可以拍摄位于物体104上的元件。由于位于支撑件128上的元件通常被两个相机观测到，因此这些元件可被计算机用于计算坐标系644和646之间的变换。由于相机602拍摄到物体128和104二者，因此其图像可被计算机130用于计算坐标系644和648之间的变换。使用物体128计算坐标系644和646之间的变换和使用物体104计算坐标系646和648之间的变换有利于计算坐标系644和648之间的变换。例如，也可以通过如上所述的相机600和计算机130来支持坐标系644、646和648与坐标系144之间的变换。因此，所有采集的信息可以与任何一个所需的坐标系一起用于提供凝视线与物体的交点。
可以使用多个相机来覆盖房间中的任何部分或整个空间，使得只要物体被至少一个相机拍摄到，就可以使用任何物体位置，可以使用任何校准目标，并且可以将视野至少部分重叠的任何相机对用于重叠视野中的立体效益。
可以使用视野重叠的多个相机来提高位于相机的共同视野中的物品的确定精度。视野重叠的多个相机还可以用于提供备份，以防第一相机的视野线(line of site)受到房间中的人或任何其他物体的干扰，位于不同位置的第二或第三相机可以提供从另一个相机看不清楚的信息。
现在参照图6B，其示出的实施中，定位相机116、616和618被示出瞄准不同方向，以便提供一起比单独的相机116覆盖更大的房间体积的三个物体箱。定位相机116、616和618可以与或者不与定位相机600、602和604一起使用(在所有相机都相对于一个参照物(例如，支撑件128)固定的情况下，不需要标记502和504)。相机116、616和618与相机600、602/604的不同之处在于它们相对于位于支撑件或板128上的元件处于固定位置的布置。在更通用的方法中，相机116、616和618相对于坐标系144设置在固定位置。由于坐标系之间的变换(与相机600、602和604不同)是固定的并且存储在计算机130中，因此使用相机116、616和618，不需要计算相机的坐标系和坐标系144之间的变换的步骤。
应懂得，无论是否相对于另一物品处于固定位置，可以使用定位相机的任何组合，并且定位相机和眼睛跟踪器相机的数量可以不同。
某些使用者可以戴增强他们的视力的眼镜。通常使用者戴防护眼镜。当以某一角度被照射时，这样的眼镜可以产生由单个照明源(例如，源132)提供的照明的镜面反射。这种镜面反射可能使眼睛跟踪器108的操作复杂化。这种复杂性可以通过使用多于一个以不同角度照亮使用者112的光源来减轻。
现在参考图7，其提供使用多于一个提供角膜反射的光源的实施例。在该实施例中，除了先前图中所示的光源132之外，还提供了一个或多个附加光源，例如光源732。光源732位于与光源132相对于相机108不同的位置。光源732以与一个光源132照亮的不同角度照亮存在于照明空间中的使用者和物体。如果来自光源132的光被反射到相机108(例如，来自使用者112的眼镜的镜面反射)，使得相机108拍摄到的角膜反射不可检测或不可用于眼睛跟踪的目的，则可以关闭光源132并且可以打开以不同角度照射的光源732，以支持使用现在眼睛跟踪器可见的角膜反射的继续眼睛跟踪。通常，可以使用布置成不同角度的数量大于两个的照明源。应懂得，两个光源应当被布置成使得它们每一个在至少一部分凝视范围内为至少一条相同的凝视线提供角膜反射。
两个以上光源之间的周期性切换也是眼睛跟踪器可能的操作模式。可替代地，计算机130可以被配置为检测眼睛跟踪器的炫目并且在不同光源之间自动切换。由于光反射强度是偏振相关的，因此每个或至少一个光源可以被极化，进一步简化了眼睛跟踪器炫目的减轻。
为了校准的目的，当使用者112对诸如目标334的目标进行校准时，可以首先用一个光源然后用另一个光源来进行校准。为两个光源(或任何其他数量的光源)中的每一个生成校准图。应懂得，校准过程可以是选择一个校准目标，并针对所选择的目标对至少一些光源依次进行校准。可替代地，可以选择光源，然后通过校准目标的至少一部分或任何其他顺序混合的校准目标和光源来依次校准。应懂得，可以在使用者在校准期间不知晓到光源切换的情况下，尤其是在光源不在可见范围内(例如，红外光源)的情况下，完成光源之间的切换以使用一个目标(使用者112)校准多个光源。
参照图8，其示出了多个眼睛跟踪输入单元的实例。眼睛跟踪输入单元中之一是相机108，其与角膜反射光源132安装在与坐标系144和头部箱(未示出，为图1B的162)相关联的板或支撑件128上。虽然可以是无线连接，但相机108经由线路160连接至计算机130。第二眼睛跟踪输入单元是相机808，其与角膜反射光源832安装在与坐标系844相关联的板828上。相机808与对应的头部箱(未示出)相关联，并且经由线860连接至计算机130。在本实施例中示出了一个物体，即具有与其相关联的坐标系544的监视器104。
通过计算机130计算三个坐标系144、844和544之间的变换。计算机130接收相机116拍摄的包括监视器104的图像。使用存储的监视器104信息，分析图像以计算监视器104在坐标系144中的位置。坐标系544在坐标系144中的位置变为已知，从而计算机130可以计算144和544坐标系之间的变换。
以同样的方式，通过分析相机816拍摄的图像，坐标系544在坐标系844中的位置可以由计算机130计算。现在，也可以通过计算机130使用144和844两个坐标系所共有的坐标系544来计算844和144坐标系之间的变换。以类似的方式，三个坐标系144、454和844中的任意两个之间的坐标变换可以通过计算机130计算。
通过这种空间布置，使用者112可以在相机108的头部箱的外部移动并进入相机808的头部箱中，同时在相关坐标系中计算其凝视线，例如当其在相机108的头部箱中时在坐标系144中计算，而当其在相机808的头部箱中时在坐标系844中计算。在任何情况下，可以将凝视线变换为坐标系544，并且可以从凝视线和屏幕124在坐标系544中的交点提取凝视点。
应懂得，该实施例不限于两个眼睛跟踪器相机，并且可以在该空间中分布多个这样的眼睛跟踪器相机，以根据需要创建多个头部箱，并根据需要进行分布。此外，可以被跟踪的物体的数量不受限制。
还应懂得，眼睛跟踪器相机的数量不必等于定位相机的数量。例如，在使用者的位置被限制到相对较小的范围的情况下，一个或多个眼睛跟踪器相机可以覆盖所需的空间以拍摄凝视线，并且同时可以如图6B所示将多个定位相机定位成覆盖可能存在物体的大空间。上述方法的一部分或全部可用于获取凝视和物体信息，以计算凝视点。以同样的方式，在使用者移动通过大的体积并且物体被局限于小体积的情况，可以将多个眼睛跟踪器相机与一个或两个定位相机一起使用。
还应懂得，在具有显示能力的物体(例如，监视器)上确定凝视点的所有实施例中，由于凝视点在显示表面上的位置是已知的并且显示表面是已知的，因此可以使用某种图形叠加(例如，十字标记)来将凝视点显示在显示器上。此外，当物体表面上具有其他可控指示器(例如发光二极管(LED))时，当凝视点靠近或在LED上时，LED可以被接通(或关闭)，以便指示凝视点在那里。
应懂得，本发明不限于仅用作主要实例的外科手术的应用。所描述的系统和方法适用于可以从具有扩大范围的眼睛跟踪中受益的一些活动，包括军事应用、游戏、学术研究和营销研究。此外，应说明的是，由于典型的运动限制而造成以前不适合眼睛跟踪的许多应用可能会显露出来，从而扩大这种技术的富于想象和创造性的使用。
对于这种非手术应用，物体箱可以由环境中的角跨度限定。可以通过如下进行校准：将仅覆盖部分角跨度的监视器移动到物体箱中的各个位置，并按照前面所述的校准程序在每个位置进行校准。以这种方式，使用者可以在多个会话中完成校准过程，基本上允许系统包含任何尺寸的物体箱，其中较大的物体箱需要较长的校准过程。一旦校准，系统就可以在任何地方工作：其被校准的地方或相对于物体的任何其他位置，只要凝视范围包括追踪凝视点的物体，并且根据上述描述，实现了定位方案。
在这种情况下，环境可以是需要眼睛跟踪的任何房间或空间，例如：手术应用的手术室；军事应用的作战模拟器环境；游戏应用的客厅；市场研究应用的超市通道等。
本领域技术人员将懂得，本发明不限于上文具体示出和描述的内容。相反，本发明的范围由所附权利要求限定，并且包括上文描述的各种特征的组合和子组合以及本领域技术人员在阅读前述描述后将会想到的变化和修改。

Claims (31)

1.一种用于评价使用者在物体上的凝视点的系统，所述系统包括：
至少一个眼睛跟踪器相机和至少一个定位相机，所述至少一个眼睛跟踪器相机和所述至少一个定位相机被配置为相对于彼此设置在固定位置；
至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；
至少一个计算机；以及
至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；
其中，所述至少一个计算机的任一组合被配置为：
(a)基于从所述至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于坐标系的凝视线；
(b)基于从所述至少一个定位相机接收到的图像确定所述至少一个物体相对于坐标系的位置；以及
(c)基于所述凝视线、所述至少一个物体的位置以及所述至少一个物体的几何数据确定凝视点。
2.根据权利要求1所述的系统，其中，所述至少一个物体包括至少两个物体；所述至少两个物体被配置为相对于彼此设置在固定位置。
3.根据权利要求1所述的系统，其中，所述至少一个物体是监视器；所述监视器被配置为显示至少一个标记。
4.根据权利要求1所述的系统，其中，所述至少一个定位相机包括至少两个定位相机；所述至少两个定位相机被配置为能够使用立体方法确定所述至少一个物体的位置。
5.一种用于评价使用者在物体上的凝视点的系统，所述系统包括：
至少一个眼睛跟踪器相机，其与相对于所述至少一个眼睛跟踪器相机固定的第一坐标系相关联；
至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；
至少一个计算机；
至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；以及
至少一个定位相机，其被配置为相对于所述至少一个物体设置在固定位置；
所述至少一个定位相机被配置为与相对于所述至少一个定位相机固定的第二坐标系相关联；
其中，所述至少一个计算机的任一组合被配置为：
(a)基于从所述至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于所述第一坐标系的凝视线；
(b)基于从所述至少一个定位相机接收到的至少一个图像确定所述至少一个眼睛跟踪器相机相对于所述第二坐标系的位置，由此确定一个坐标系在其他坐标系中的位置；以及
(c)基于在任一坐标系中的凝视线、所述至少一个物体在任一坐标系中的位置以及所述至少一个物体的几何数据确定凝视点。
6.根据权利要求5所述的系统，其中，所述至少一个物体包括至少两个物体；其中所述至少两个物体被配置为相对于彼此设置在固定位置。
7.根据权利要求5所述的系统，其中，所述至少一个定位相机包括至少两个定位相机；所述至少两个定位相机被配置为能够使用立体方法确定所述至少一个物体的位置。
8.一种用于评价使用者在物体上的凝视点的系统，所述系统包括：
眼睛跟踪器，其包括：
至少一个眼睛跟踪器相机，其与相对于所述至少一个眼睛跟踪器相机固定的第一坐标系相关联；
光源，其被配置为从使用者的至少一个眼睛提供角膜反射；以及
至少一个计算机；
至少一个定位相机，其与相对于所述至少一个定位相机固定的第二坐标系相关联；以及
至少一个物体，其中所述至少一个物体的几何数据存储在所述至少一个计算机可访问的存储设备中；
其中，所述至少一个计算机的任一组合被配置为：
(a)基于从所述至少一个眼睛跟踪器相机接收到的图像确定使用者相对于所述第一坐标系的凝视线；
(b)基于从至少一个定位相机接收到的图像确定所述至少一个眼睛跟踪器相机相对于所述第二坐标系的位置，由此确定一个坐标系在另一个坐标系中的位置；
(c)基于来自所述至少一个定位相机的图像和存储的所述至少一个物体的几何数据确定所述至少一个物体相对于所述第二坐标系的位置；以及
(d)基于在任一坐标系中的凝视线以及所述至少一个物体在任一坐标系中的位置确定凝视点。
9.根据权利要求8所述的系统，其中，第一定位相机被配置为确定所述至少一个眼睛跟踪器相机的位置，所述第一定位相机与相对于所述第一定位相机固定的第二坐标系相关联；其中，第二定位相机被配置为确定所述至少一个物体的位置，所述第二定位相机与相对于所述第二定位相机固定的第三坐标系相关联；并且其中，通过所述至少一个眼睛跟踪器确定的凝视线与所述至少一个物体的交点基于所述第二坐标系与所述第三坐标系之间的变换来确定。
10.根据权利要求8所述的系统，其中，所述至少一个物体包括至少两个物体；其中所述至少两个物体被配置为相对于彼此设置在固定位置。
11.根据权利要求8所述的系统，其中，所述至少一个物体是监视器；所述监视器被配置为显示至少一个标记。
12.根据权利要求8所述的系统，其中，所述至少一个定位相机包括至少两个定位相机；所述至少两个定位相机被配置为能够使用立体方法确定所述至少一个物体的位置。
13.一种校准和使用眼睛跟踪器的方法，所述眼睛跟踪器被配置为跟踪使用者在显示器上的凝视点，其中所述显示器被配置为相对于用于跟踪的眼睛跟踪器定位在不同于校准位置的至少一个位置，所述方法包括下述步骤：
将所述显示器置于靠近所述眼睛跟踪器，由此覆盖所述眼睛跟踪器的凝视范围所覆盖的整个区域；
确定所述显示器与所述眼睛跟踪器相对于彼此的位置；
在所述显示器上显示多个目标，所述多个目标中的每一个都基于所述眼睛跟踪器与所述显示器的相对位置提供该目标在第一坐标系中的凝视线的校准参数，其中所述多个目标覆盖所述眼睛跟踪器的凝视范围所覆盖的区域；
存储校准数据；
将所述显示器和所述眼睛跟踪器中的至少一个相对于彼此定位在不同于所述校准位置的使用位置；
利用至少一个定位相机，由此确定所述显示器与所述眼睛跟踪器相对于彼此的位置；
基于所述校准数据确定在所述第一坐标系中的凝视线；以及
基于所述显示器与所述眼睛跟踪器的相对位置确定所述凝视线与所述显示器在任一坐标系中的交点，由此提供在所述显示器上的凝视点，其中所述显示器和所述眼睛跟踪器的相对位置是基于来自所述定位相机的至少一个图像确定的。
14.根据权利要求13所述的方法，其中，确定所述显示器与所述眼睛跟踪器相对于彼此的位置使用定位相机进行。
15.一种校准与显示器一起使用的眼睛跟踪器的方法，所述眼睛跟踪器和所述显示器被配置为相对于彼此定位在至少两个不同位置，用于跟踪在所述显示器上的凝视点，所述方法包括下述步骤：
将所述显示器放置在第一位置，由此覆盖眼睛跟踪器的凝视范围可达到的角度的至少一部分；
确定所述显示器与所述眼睛跟踪器相对于彼此的位置；
在显示器上显示多个目标，所述多个目标中的每一个都基于所述眼睛跟踪器与所述显示器的相对位置提供该目标在第一坐标系中的凝视线的校准参数，其中所述多个目标覆盖所述显示器的区域的至少一部分；
针对所述显示器的另一个位置至少重复上述步骤一次，由此校准眼睛跟踪器的凝视范围可达到的另外的凝视线；以及
存储校准数据。
16.根据权利要求15所述的方法，其中，确定所述显示器与所述眼睛跟踪器相对于彼此的位置使用定位相机进行。
17.一种用于校准眼睛跟踪器的方法，所述方法包括下述步骤：
引起使用者对校准目标的注意；
利用至少一个定位相机和至少一个计算机，由此确定所述校准目标与所述眼睛跟踪器的坐标系相对于彼此的位置；
针对所述校准目标确定凝视线在第一坐标系中的校准参数；
重复上述步骤，由此提供凝视范围的期望部分以及校准目标分布；以及
存储校准数据。
18.根据权利要求17所述的方法，其中，所述校准目标包括至少一个LED。
19.根据权利要求18所述的方法，其中，引起使用者的注意包括接通期望目标的至少一个LED并且关闭其他目标的其他LED。
20.根据权利要求18所述的方法，其中，通过由目标的至少一个LED限定的开/关顺序模式、颜色和形状中的任何一个来区分该目标。
21.根据权利要求20所述的方法，其中，目标的形状通过构成该目标的至少一个LED的布置来确定，该布置包括空间分布、开/关顺序和颜色中的任何一个。
22.根据权利要求17所述的方法，其中，所述校准目标包括物品。
23.根据权利要求22所述的方法，其中，引起使用者的注意包括照亮期望目标的物品。
24.根据权利要求22所述的方法，其中，通过照明的开/关顺序模式、颜色和形状中的任何一个区分目标。
25.根据权利要求17所述的方法，其中，使用至少一个投影仪将所述目标投射到基板上。
26.根据权利要求22所述的方法，其中，引起使用者的注意包括投影期望目标。
27.根据权利要求26所述的方法，其中，通过投影仪的开/关顺序模式、图像颜色以及图像形状中的任何一个区分目标。
28.根据权利要求17所述的方法，其中，在所述校准之后，改变所述眼睛跟踪器的位置，使得至少一个目标落入凝视范围内在所述校准期间没有目标的位置；所述方法还包括：
使用所述至少一个目标重复所述校准过程。
29.根据权利要求17所述的方法，其中，所述至少一个定位相机被配置为拍摄所述目标的至少一部分。
30.根据权利要求17所述的方法，其中，计算机被配置为基于从所述至少一个定位相机接收到的至少一个图像以及目标的至少一部分的空间布置数据确定没有被所述定位相机拍摄到的至少一个目标与所述眼睛跟踪器坐标系相对于彼此的位置，其中所述目标的至少一部分包括没有被所述至少一个定位相机拍摄到的至少一个目标和被所述至少一个定位相机拍摄到的目标的至少一部分。
31.一种与角膜反射一起使用的眼睛跟踪器，所述眼睛跟踪器包括：
眼睛跟踪器相机；以及
至少两个光源，其被配置为产生角膜反射；
所述至少两个光源中的至少第一光源和第二光源被配置为位置分开并且各自被配置为为至少一个相同的凝视线提供角膜反射；
所述第一光源被配置为打开，并且所述第二光源被配置为关闭；
在所述第一光源的角膜反射不能被所述眼睛跟踪器检测到的情况下，所述第一光源被配置为关闭，并且所述第二光源被配置为打开。
CN201680023197.8A 2015-03-23 2016-03-23 眼睛跟踪系统 Pending CN107533634A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562136643P 2015-03-23 2015-03-23
US62/136,643 2015-03-23
PCT/IL2016/050308 WO2016151581A1 (en) 2015-03-23 2016-03-23 Eye tracking system

Publications (1)

Publication Number Publication Date
CN107533634A true CN107533634A (zh) 2018-01-02

Family

ID=56978066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023197.8A Pending CN107533634A (zh) 2015-03-23 2016-03-23 眼睛跟踪系统

Country Status (5)

Country Link
US (4) US10761601B2 (zh)
EP (1) EP3274920A4 (zh)
JP (2) JP6839656B2 (zh)
CN (1) CN107533634A (zh)
WO (1) WO2016151581A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058693A (zh) * 2019-04-23 2019-07-26 北京七鑫易维科技有限公司 数据采集方法、装置、电子设备及存储介质
CN110363555A (zh) * 2018-04-10 2019-10-22 深圳市阿西莫夫科技有限公司 基于视线跟踪视觉算法的推荐方法和装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445606B2 (en) * 2015-10-08 2019-10-15 Microsoft Technology Licensing, Llc Iris recognition
TWI657431B (zh) * 2017-04-10 2019-04-21 鈺立微電子股份有限公司 動態顯示系統
US10304209B2 (en) 2017-04-19 2019-05-28 The Nielsen Company (Us), Llc Methods and systems to increase accuracy of eye tracking
DE102017114450B4 (de) * 2017-06-29 2020-10-08 Grammer Aktiengesellschaft Vorrichtung und Verfahren zum Abbilden von Bereichen
CN107633206B (zh) * 2017-08-17 2018-09-11 平安科技（深圳）有限公司 眼球动作捕捉方法、装置及存储介质
EP3710774A4 (en) * 2017-10-10 2021-12-29 Xiaochun Nie Systems and methods for calibrating an eye tracking system
CN108196676B (zh) * 2018-01-02 2021-04-13 联想(北京)有限公司 跟踪识别方法及系统
KR102503976B1 (ko) * 2018-07-02 2023-02-28 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
US10884492B2 (en) 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
EP3667462B1 (en) * 2018-12-11 2022-07-13 Tobii AB Screen position estimation
US11024038B2 (en) * 2019-01-31 2021-06-01 Comcast Cable Communications, Llc Display device motion exclusion from home surveillance motion detection
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
US11850730B2 (en) * 2019-07-17 2023-12-26 Asensus Surgical Us, Inc. Double eye tracker configuration for a robot-assisted surgical system
WO2021134160A1 (en) * 2019-12-30 2021-07-08 Fresenius Medical Care Deutschland Gmbh Method for driving a display, tracking monitor and storage medium
CN111311494B (zh) * 2020-02-13 2023-04-18 Oppo广东移动通信有限公司 眼球跟踪定位精度确定方法及相关产品
WO2023008023A1 (ja) * 2021-07-29 2023-02-02 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
CN101699510A (zh) * 2009-09-02 2010-04-28 北京科技大学 视线追踪系统中的基于粒子滤波的瞳孔跟踪方法
CN102325262A (zh) * 2011-09-26 2012-01-18 比比威株式会社 立体摄像装置控制系统
CN102547123A (zh) * 2012-01-05 2012-07-04 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
EP2709060A1 (en) * 2012-09-17 2014-03-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and an apparatus for determining a gaze point on a three-dimensional object
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
US20140145935A1 (en) * 2012-11-27 2014-05-29 Sebastian Sztuk Systems and methods of eye tracking control on mobile device

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) * 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
JPH09251539A (ja) * 1996-03-18 1997-09-22 Nissan Motor Co Ltd 視線計測装置
US6018340A (en) * 1997-01-27 2000-01-25 Microsoft Corporation Robust display management in a multiple monitor environment
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8803816B2 (en) * 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
CN102292017B (zh) * 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
FR2945333B1 (fr) * 2009-05-05 2015-08-07 Air Liquide Soupape a soufflet adaptee pour usage en cryogenie
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US9237844B2 (en) * 2010-03-22 2016-01-19 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
JP5325181B2 (ja) * 2010-08-26 2013-10-23 株式会社日立製作所 コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示システム
US9484046B2 (en) * 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9317113B1 (en) * 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
WO2014021169A1 (ja) * 2012-07-31 2014-02-06 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
WO2014160659A1 (en) * 2013-03-23 2014-10-02 Controlrad Systems, Inc. Operating room environment
US9480397B2 (en) * 2013-09-24 2016-11-01 Sony Interactive Entertainment Inc. Gaze tracking variations using visible lights or dots
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
EP3129849B1 (en) * 2014-04-11 2020-02-12 Facebook Technologies, LLC Systems and methods of eye tracking calibration
US9678567B2 (en) * 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
US10213105B2 (en) * 2014-12-11 2019-02-26 AdHawk Microsystems Eye-tracking system and method therefor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
CN101699510A (zh) * 2009-09-02 2010-04-28 北京科技大学 视线追踪系统中的基于粒子滤波的瞳孔跟踪方法
CN102325262A (zh) * 2011-09-26 2012-01-18 比比威株式会社 立体摄像装置控制系统
CN102547123A (zh) * 2012-01-05 2012-07-04 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
EP2709060A1 (en) * 2012-09-17 2014-03-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and an apparatus for determining a gaze point on a three-dimensional object
US20140145935A1 (en) * 2012-11-27 2014-05-29 Sebastian Sztuk Systems and methods of eye tracking control on mobile device
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KATARZYNA HAREZLAK 等: ""Towards Accurate Eye Tracker Calibration – Methods and Procedures"", 《PROCEDIA COMPUTER SCIENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363555A (zh) * 2018-04-10 2019-10-22 深圳市阿西莫夫科技有限公司 基于视线跟踪视觉算法的推荐方法和装置
CN110363555B (zh) * 2018-04-10 2024-04-09 释空(上海)品牌策划有限公司 基于视线跟踪视觉算法的推荐方法和装置
CN110058693A (zh) * 2019-04-23 2019-07-26 北京七鑫易维科技有限公司 数据采集方法、装置、电子设备及存储介质
CN110058693B (zh) * 2019-04-23 2022-07-15 北京七鑫易维科技有限公司 数据采集方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20220155862A1 (en) 2022-05-19
US10761601B2 (en) 2020-09-01
US20210149486A1 (en) 2021-05-20
WO2016151581A1 (en) 2016-09-29
US20180074581A1 (en) 2018-03-15
EP3274920A4 (en) 2018-11-07
JP6839656B2 (ja) 2021-03-10
US20190171286A1 (en) 2019-06-06
JP2021082329A (ja) 2021-05-27
JP2018512665A (ja) 2018-05-17
US11269412B2 (en) 2022-03-08
US10948984B2 (en) 2021-03-16
EP3274920A1 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
CN107533634A (zh) 眼睛跟踪系统
US11948332B2 (en) Method and an apparatus for determining a gaze point on a three-dimensional object
US20240110781A1 (en) Generation of one or more edges of luminosity to form three-dimensional models of objects
US7193773B2 (en) Stereomicroscopy method and stereomicroscopy system
CN108136258A (zh) 基于跟踪眼部运动来调整图像帧
CN109416744A (zh) 改进的相机校准系统、目标和过程
CN106575039A (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US20170308159A1 (en) Motion Tracker with an Array of Distinct Light Sources
CA3051425A1 (en) Tracking image collection for digital capture of environments, and associated systems and methods
US10685448B2 (en) Optical module and a method for objects' tracking under poor light conditions
EP4364396A1 (en) Augmented reality eyewear with x-ray effect
US20180192030A1 (en) 4-D Video Of An Object Using A Microscope
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
ES2255384B1 (es) Sistema portatil para captura y analisis tridimensional del movimiento humano en puestos de trabajo.
EP4322114A1 (en) Projective bisector mirror
JP2020517934A (ja) 後方散乱レーザスペックルパターンのオプティカルフローの追跡
US9769373B2 (en) Situation comprehending apparatus, situation comprehending method, and program for situation comprehension
TW202240267A (zh) 攝影裝置以及攝影系統
GB2572590A (en) Display control system and display controller
EP2595533A1 (en) Camera and method for forming a recording of an image of at least a part of an object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180102